JP6562253B2 - Image output device, image transmission device, image reception device, image output method and program - Google Patents
Image output device, image transmission device, image reception device, image output method and program Download PDFInfo
- Publication number
- JP6562253B2 JP6562253B2 JP2015169823A JP2015169823A JP6562253B2 JP 6562253 B2 JP6562253 B2 JP 6562253B2 JP 2015169823 A JP2015169823 A JP 2015169823A JP 2015169823 A JP2015169823 A JP 2015169823A JP 6562253 B2 JP6562253 B2 JP 6562253B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- resolution
- enlargement
- resolution image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000005540 biological transmission Effects 0.000 title claims description 38
- 238000000034 method Methods 0.000 title claims description 30
- 238000004891 communication Methods 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 description 60
- 238000006243 chemical reaction Methods 0.000 description 34
- 238000005286 illumination Methods 0.000 description 21
- 230000008859 change Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 239000000758 substrate Substances 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 239000004065 semiconductor Substances 0.000 description 8
- 239000000470 constituent Substances 0.000 description 7
- 238000009826 distribution Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000002834 transmittance Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 239000008393 encapsulating agent Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000001678 irradiating effect Effects 0.000 description 5
- 230000001575 pathological effect Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000035699 permeability Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000011068 loading method Methods 0.000 description 3
- 238000010827 pathological analysis Methods 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000002271 resection Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 229910010272 inorganic material Inorganic materials 0.000 description 1
- 239000011147 inorganic material Substances 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000011368 organic material Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 239000012192 staining solution Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Microscoopes, Condenser (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Description
本開示は、画像出力装置、画像送信装置および画像受信装置などに関する。 The present disclosure relates to an image output device, an image transmission device, an image reception device, and the like.
従来、生体組織などにおけるミクロ構造を観察するために光学顕微鏡が用いられてきた。光学顕微鏡は、観察対象を透過した光、あるいは反射した光を利用する。観察者は、レンズによって拡大された像を観察する。顕微鏡のレンズで拡大された像を撮影してディスプレイ上に表示するデジタル顕微鏡も知られている。デジタル顕微鏡を利用することにより、複数人での同時観察、遠隔地での観察などが可能である。 Conventionally, an optical microscope has been used to observe a microstructure in a living tissue or the like. The optical microscope uses light transmitted through an observation object or reflected light. The observer observes the image magnified by the lens. There is also known a digital microscope that takes an image magnified by a microscope lens and displays it on a display. By using a digital microscope, simultaneous observation by multiple people, observation at a remote location, etc. are possible.
近年、CIS(Contact Image Sensing)方式によってミクロ構造を観察する技術が注目されている。CIS方式による場合、観察対象は、イメージセンサの撮像面に近接して配置される。イメージセンサとしては、一般に、多数の光電変換部が撮像面内に行および列状に配列された2次元イメージセンサが用いられる。光電変換部は、典型的には、半導体層または半導体基板に形成されたフォトダイオードであり、入射光を受けて電荷を生成する。 In recent years, a technique for observing a microstructure by a CIS (Contact Image Sensing) method has attracted attention. In the case of the CIS method, the observation target is arranged close to the imaging surface of the image sensor. As the image sensor, a two-dimensional image sensor in which a large number of photoelectric conversion units are generally arranged in rows and columns in the imaging surface is used. The photoelectric conversion unit is typically a photodiode formed on a semiconductor layer or a semiconductor substrate, and generates charge upon receiving incident light.
イメージセンサによって取得される画像は、多数の画素によって規定される。各画素は、1つの光電変換部を含む単位領域によって区画されている。したがって、2次元イメージセンサにおける分解能(解像度)は、通常、撮像面上における光電変換部の配列ピッチに依存する。本明細書では、光電変換部の配列ピッチによって決まる分解能を、イメージセンサの「固有分解能」と呼ぶことがある。個々の光電変換部の配列ピッチは、可視光の波長程度まで短くなっているので、固有分解能をさらに向上させることは困難である。 An image acquired by the image sensor is defined by a large number of pixels. Each pixel is partitioned by a unit region including one photoelectric conversion unit. Therefore, the resolution (resolution) in the two-dimensional image sensor usually depends on the arrangement pitch of the photoelectric conversion units on the imaging surface. In this specification, the resolution determined by the arrangement pitch of the photoelectric conversion units may be referred to as “inherent resolution” of the image sensor. Since the arrangement pitch of the individual photoelectric conversion units is as short as the wavelength of visible light, it is difficult to further improve the intrinsic resolution.
イメージセンサの固有分解能を超える分解能(高解像度)を実現する技術が提案されている。特許文献1は、被写体の結像位置をシフトさせて得られる複数の画像を用いて当該被写体の画像(高解像度の画像)を形成する技術を開示している。
A technique for realizing a resolution (high resolution) exceeding the intrinsic resolution of an image sensor has been proposed.
しかしながら、高解像度の画像の生成には負担がかかるため、被写体の画像をスムーズに表示することが難しいという問題がある。 However, there is a problem that it is difficult to display an image of a subject smoothly because a high resolution image is generated.
そこで本開示では、被写体の画像をスムーズに表示することができる画像出力装置、画像送信装置および画像受信装置などを提供する。 Therefore, the present disclosure provides an image output device, an image transmission device, an image reception device, and the like that can smoothly display an image of a subject.
本開示の一態様に係る画像出力装置は、デジタル顕微鏡による撮影に基づいて得られる被写体の画像である第一解像度画像を取得する画像取得部と、前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である第二解像度画像を生成する高解像度画像生成部と、取得された前記第一解像度画像における一部の領域に対する拡大率と、当該領域の位置とを含む拡大情報を受け付ける拡大受付部と、前記拡大受付部によって受け付けられた前記拡大情報に基づいて前記第一解像度画像の前記領域に対する画素補間を行って当該領域を拡大することによって補間拡大画像を生成する補間画像生成部と、前記補間拡大画像を表示装置に出力することによって、前記補間拡大画像を前記表示装置に表示させる表示用出力部と、前記拡大受付部によって受け付けられた前記拡大情報に含まれる拡大率が所定の値よりも大きい場合に、前記拡大情報に応じた前記第二解像度画像を前記高解像度画像生成部に生成させ、前記表示用出力部に対して、前記表示装置に出力されている前記補間拡大画像を、前記拡大情報に応じた前記第二解像度画像に切り替えさせる切替部と、を備える。 An image output apparatus according to an aspect of the present disclosure includes an image acquisition unit that acquires a first resolution image that is an image of a subject obtained based on imaging by a digital microscope, and an image that has a higher resolution than the first resolution image. A high-resolution image generation unit that generates a second-resolution image that is an image of the subject obtained based on photographing by the digital microscope, and an enlargement ratio for a partial region in the acquired first-resolution image An enlargement reception unit that receives enlargement information including the position of the region, and enlarges the region by performing pixel interpolation on the region of the first resolution image based on the enlargement information received by the enlargement reception unit. An interpolated image generating unit that generates an interpolated magnified image, and outputting the interpolated magnified image to a display device. When the enlargement rate included in the enlargement information received by the display output unit displayed on the display device and the enlargement acceptance unit is larger than a predetermined value, the second resolution image corresponding to the enlargement information is displayed. A switching unit that causes the display output unit to switch the interpolation enlarged image output to the display device to the second resolution image corresponding to the enlargement information, which is generated by the high resolution image generation unit. .
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。 Note that these comprehensive or specific aspects may be realized by a system, a method, an integrated circuit, a computer program, or a recording medium such as a computer-readable CD-ROM, and the system, method, integrated circuit, and computer program. Alternatively, it may be realized by any combination of recording media.
本開示によれば、被写体の画像をスムーズに表示することができる。 According to the present disclosure, an image of a subject can be displayed smoothly.
(本発明の基礎となった知見)
本発明者は、「背景技術」の欄において記載した高解像度化の技術に関し、以下の問題が生じることを見出した。
(Knowledge that became the basis of the present invention)
The present inventor has found that the following problems occur with respect to the high resolution technology described in the “Background Art” column.
顕微鏡を用いた病理検査では、観察対象となる個々の検体(病理検体ともいう)の病状によって使用するレンズの倍率が異なる。例えば癌の検査では、まず、対物10倍のレンズで観察を行う。癌の疑いが高い領域がない検体に対しては対物20倍のレンズの観察のみで観察を終了するが、癌の疑いが高い領域があれば対物レンズを40倍のレンズに切り替えて検査を行う。 In a pathological examination using a microscope, the magnification of a lens to be used varies depending on the pathology of an individual specimen (also referred to as a pathological specimen) to be observed. For example, in the examination of cancer, first, observation is performed with a lens having a 10 × objective. For specimens that do not have a region with a high suspicion of cancer, the observation is completed only by observing a lens with a 20 × objective. .
デジタル顕微鏡による撮影によって得られる検体の画像を観察する場合、高い倍率に対しては解像度の高い画像(高解像度画像)が必要である。しかし、高解像度画像の取得には時間がかかる。9枚のサブ画像(低解像度画像)から高解像度画像を生成する場合には、100秒程度の時間を要する。つまり、9枚のサブ画像の撮影に60秒程度かかり、撮影された9枚のサブ画像から高解像度画像を生成するのに40秒程度かかる。したがって、高解像度画像を表示させようとしても、しばらく何も表示されない時間が発生してしまうなど、被写体の画像をスムーズに表示することができないという問題がある。 When observing an image of a specimen obtained by photographing with a digital microscope, an image with a high resolution (high resolution image) is necessary for a high magnification. However, it takes time to acquire a high-resolution image. When a high-resolution image is generated from nine sub-images (low-resolution images), it takes about 100 seconds. That is, it takes about 60 seconds to capture nine sub-images, and it takes about 40 seconds to generate a high-resolution image from the nine captured sub-images. Therefore, there is a problem that even if an attempt is made to display a high-resolution image, the image of the subject cannot be displayed smoothly, for example, a time during which nothing is displayed occurs for a while.
このような問題を解決するために、本発明の一態様に係る画像出力装置は、デジタル顕微鏡による撮影に基づいて得られる被写体の画像である第一解像度画像を取得する画像取得部と、前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である第二解像度画像を生成する高解像度画像生成部と、取得された前記第一解像度画像における一部の領域に対する拡大率と、当該領域の位置とを含む拡大情報を受け付ける拡大受付部と、前記拡大受付部によって受け付けられた前記拡大情報に基づいて前記第一解像度画像の前記領域に対する画素補間を行って当該領域を拡大することによって補間拡大画像を生成する補間画像生成部と、前記補間拡大画像を表示装置に出力することによって、前記補間拡大画像を前記表示装置に表示させる表示用出力部と、前記拡大受付部によって受け付けられた前記拡大情報に含まれる拡大率が所定の値よりも大きい場合に、前記拡大情報に応じた前記第二解像度画像を前記高解像度画像生成部に生成させ、前記表示用出力部に対して、前記表示装置に出力されている前記補間拡大画像を、前記拡大情報に応じた前記第二解像度画像に切り替えさせる切替部と、を備える。 In order to solve such a problem, an image output apparatus according to an aspect of the present invention includes an image acquisition unit that acquires a first resolution image that is an image of a subject obtained based on photographing by a digital microscope, and the first A high-resolution image generation unit that generates a second resolution image that is an image of the subject that is an image having a higher resolution than that of the one-resolution image and is obtained based on photographing by the digital microscope, and the acquired first resolution An enlargement accepting unit that accepts enlargement information including an enlargement ratio for a partial region in the image and the position of the region, and the region of the first resolution image based on the enlargement information accepted by the enlargement accepting unit An interpolation image generation unit that generates an interpolation enlarged image by performing pixel interpolation and enlarging the region, and outputs the interpolation enlarged image to a display device The display output unit for displaying the interpolated enlarged image on the display device, and the enlargement information included in the enlargement information received by the enlargement accepting unit is greater than a predetermined value. The corresponding second resolution image is generated in the high-resolution image generation unit, and the interpolation enlarged image output to the display device is output to the display output unit according to the enlargement information. A switching unit that switches to a resolution image.
これにより、まず、例えば検体などの被写体の画像を拡大して表示するときには、受け付けられた拡大率および位置に基づいて作成された補間拡大画像が表示される。そして、その拡大率が所定の値よりも大きいときには、その拡大率などに応じた第二解像度画像が高解像度画像として生成されて、表示されている補間拡大画像が、その拡大率などに応じた第二解像度画像に切り替えられる。したがって、第二解像度画像の生成に時間がかかるような場合であっても、その第二解像度画像が表示されるまで、補間拡大画像が表示されるため、被写体の画像をスムーズに表示することができる。 Thereby, first, for example, when an image of a subject such as a specimen is enlarged and displayed, an interpolation enlarged image created based on the accepted enlargement ratio and position is displayed. When the enlargement ratio is larger than a predetermined value, a second resolution image corresponding to the enlargement ratio is generated as a high resolution image, and the displayed interpolated enlarged image corresponds to the enlargement ratio or the like. Switching to the second resolution image. Therefore, even if it takes a long time to generate the second resolution image, the interpolation enlarged image is displayed until the second resolution image is displayed, so that the image of the subject can be displayed smoothly. it can.
また、本発明の一態様に係る画像出力装置では、第一解像度画像において拡大して表示されている領域から優先して高解像度画像が生成されて表示される。したがって、例えば、9枚のサブ画像(第一解像度画像)の撮影にかかる60秒に近い時間で、高解像度画像を表示することができる。その結果、手術中に悪性腫瘍の切除範囲を決定するような迅速検診であっても、高解像度画像の表示にかかる時間を短くすることができ、患者の負担を軽減することができる。 In the image output device according to an aspect of the present invention, a high-resolution image is generated and displayed in preference to an area that is enlarged and displayed in the first resolution image. Therefore, for example, a high-resolution image can be displayed in a time close to 60 seconds for capturing nine sub-images (first resolution images). As a result, even in the case of a rapid examination in which the resection range of a malignant tumor is determined during surgery, the time taken to display a high-resolution image can be shortened, and the burden on the patient can be reduced.
例えば、前記拡大受付部は、前記拡大情報を順次受け付け、前記表示用出力部は、前記拡大受付部によって前記拡大情報が受け付けられるごとに、当該拡大情報に基づく前記補間拡大画像、または、当該拡大情報に応じた前記第二解像度画像を前記表示装置に出力することによって、前記表示装置に表示される画像を切り替えてもよい。 For example, the enlargement receiving unit sequentially receives the enlargement information, and the display output unit receives the enlarged enlarged image based on the enlargement information or the enlargement every time the enlargement information is received by the enlargement receiving unit. The image displayed on the display device may be switched by outputting the second resolution image corresponding to the information to the display device.
これにより、表示装置に表示されている被写体の画像を、拡大情報を変更することによって適切に調整することができる。 Thereby, the image of the subject displayed on the display device can be appropriately adjusted by changing the enlargement information.
また、前記拡大受付部は、予め定められた調整期間に前記拡大情報を順次受け付け、前記切替部は、前記調整期間の経過時点において、当該経過時点の直前に受け付けられた前記拡大情報に含まれる拡大率が所定の値よりも大きい場合に、前記表示用出力部に対して、前記表示装置に出力されている前記補間拡大画像を、前記拡大情報に応じた前記第二解像度画像に切り替えさせてもよい。例えば、第二解像度画像が複数の第一解像度画像を用いて生成される場合、この調整期間は、第二解像度画像の生成に必要な数(例えば9枚)の第一解像度画像の撮影にかかる時間(例えば60秒)よりも長い。 The enlargement receiving unit sequentially receives the enlargement information during a predetermined adjustment period, and the switching unit is included in the enlargement information received immediately before the elapsed time at the time when the adjustment period has elapsed. When the enlargement ratio is larger than a predetermined value, the display output unit is caused to switch the interpolation enlarged image output to the display device to the second resolution image corresponding to the enlargement information. Also good. For example, when the second resolution image is generated using a plurality of first resolution images, this adjustment period is required to capture the number of first resolution images (for example, nine) necessary for generating the second resolution image. It is longer than the time (for example, 60 seconds).
これにより、調整期間において、拡大情報を変更することにより、表示装置に拡大して表示されている第一解像度画像の一部の領域(補間拡大画像)を適切に調整することができる。そして、調整期間が経過するときに、補間拡大画像を第二解像度画像に切り替えることができる。 Accordingly, by changing the enlargement information during the adjustment period, it is possible to appropriately adjust a partial region (interpolation enlargement image) of the first resolution image that is enlarged and displayed on the display device. Then, when the adjustment period elapses, the interpolation enlarged image can be switched to the second resolution image.
また、前記高解像度画像生成部は、前記画像取得部によって取得される複数の前記第一解像度画像を用いて前記第二解像度画像を生成し、前記画像出力装置は、さらに、前記第二解像度画像の生成に必要とされるだけの複数の前記第一解像度画像が前記画像取得部によって取得されたときに、撮影の完了をユーザに報知する報知部を備えてもよい。 The high-resolution image generation unit generates the second resolution image using the plurality of first resolution images acquired by the image acquisition unit, and the image output device further includes the second resolution image. When the plurality of first resolution images necessary for generating the image are acquired by the image acquisition unit, a notification unit that notifies the user of the completion of shooting may be provided.
これにより、ユーザに撮影の完了が報知されるため、ユーザは、その報知後に第二解像度画像の迅速な表示が可能であることを認識することができる。その結果、ユーザは、必要に応じて、拡大率を所定の値よりも大きくすることで、スムーズに第二解像度画像を表示装置に表示させることができる。 Accordingly, since the user is notified of the completion of shooting, the user can recognize that the second resolution image can be quickly displayed after the notification. As a result, the user can smoothly display the second resolution image on the display device by making the enlargement ratio larger than a predetermined value as necessary.
また、本発明の他の態様に係る画像出力装置は、画像送信装置と、前記画像送信装置と通信回線を介して接続された画像受信装置とを有する画像出力装置であって、前記画像送信装置は、デジタル顕微鏡による撮影に基づいて得られる被写体の画像である第一解像度画像を取得する画像取得部と、前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である第二解像度画像を生成する高解像度画像生成部とを備え、前記画像受信装置は、取得された前記第一解像度画像における一部の領域に対する拡大率と、当該領域の位置とを含む拡大情報を受け付ける拡大受付部と、前記拡大受付部によって受け付けられた前記拡大情報に基づいて、前記画像送信装置から送信された前記第一解像度画像の前記領域に対する画素補間を行って当該領域を拡大することによって補間拡大画像を生成する補間画像生成部と、前記補間拡大画像を表示装置に出力することによって、前記補間拡大画像を前記表示装置に表示させる表示用出力部と、前記拡大受付部によって受け付けられた前記拡大情報に含まれる拡大率が所定の値よりも大きい場合に、前記拡大情報に応じた前記第二解像度画像を前記高解像度画像生成部に生成させて、当該高解像度画像生成部から前記拡大情報に応じた前記第二解像度画像を取得し、前記表示用出力部に対して、前記表示装置に出力されている前記補間拡大画像を、前記拡大情報に応じた前記第二解像度画像に切り替えさせる切替部とを備える。 An image output apparatus according to another aspect of the present invention is an image output apparatus including an image transmission apparatus and an image reception apparatus connected to the image transmission apparatus via a communication line, the image transmission apparatus. Is an image acquisition unit for acquiring a first resolution image that is an image of a subject obtained based on photographing with a digital microscope, and an image having a higher resolution than the first resolution image, based on photographing with the digital microscope A high-resolution image generation unit that generates a second resolution image that is an image of the subject obtained in the above, and the image reception device includes an enlargement ratio for a partial region in the acquired first resolution image, and An enlargement receiving unit that receives enlarged information including the position of the region, and the image transmission device that is transmitted based on the enlarged information received by the enlargement receiving unit. An interpolation image generation unit for generating an interpolation enlarged image by performing pixel interpolation on the region of the first resolution image and enlarging the region, and outputting the interpolation enlarged image to a display device, thereby the interpolation enlarged image When the enlargement rate included in the enlargement information received by the enlargement reception unit is larger than a predetermined value, the second resolution image corresponding to the enlargement information is displayed on the display device. Is generated by the high-resolution image generation unit, the second resolution image corresponding to the enlarged information is acquired from the high-resolution image generation unit, and is output to the display device with respect to the display output unit. A switching unit that switches the interpolated enlarged image to the second resolution image corresponding to the enlarged information.
これにより、例えば被写体である検体が置かれた地点に病理医がいなくても、遠隔地にいる病理医は、その地点に設置された画像送信装置から送信される検体の画像を画像受信装置で取得して、その画像に基づく検体の診断を行うことができる。このときにも、第二解像度画像の生成に時間がかかるような場合であっても、その第二解像度画像が表示されるまで、補間拡大画像が表示されるため、被写体の画像をスムーズに表示することができる。 Thus, for example, even if there is no pathologist at the point where the specimen as the subject is placed, the pathologist at a remote location can use the image receiving apparatus to transmit the image of the specimen transmitted from the image transmission apparatus installed at that point. The specimen can be obtained and diagnosed based on the image. Even at this time, even if it takes time to generate the second resolution image, the interpolation enlarged image is displayed until the second resolution image is displayed. can do.
以下、実施の形態について、図面を参照しながら具体的に説明する。 Hereinafter, embodiments will be specifically described with reference to the drawings.
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。 It should be noted that each of the embodiments described below shows a comprehensive or specific example. The numerical values, shapes, materials, constituent elements, arrangement positions and connecting forms of the constituent elements, steps, order of steps, and the like shown in the following embodiments are merely examples, and are not intended to limit the present invention. In addition, among the constituent elements in the following embodiments, constituent elements that are not described in the independent claims indicating the highest concept are described as optional constituent elements.
(実施の形態1)
図1は、実施の形態1における画像出力装置を含む画像処理システムの一例を示す構成図である。
(Embodiment 1)
FIG. 1 is a configuration diagram illustrating an example of an image processing system including an image output apparatus according to the first embodiment.
画像処理システム1000は、デジタル顕微鏡1500、画像出力装置1001、および表示装置1501からなる。
The image processing system 1000 includes a
デジタル顕微鏡1500は、後述の画像取得装置であって、病理検体を被写体として撮影する。ここで、本明細書において「デジタル顕微鏡」とは、病理組織プレパラート標本の少なくとも一部をデジタル画像化する装置である。例えば、デジタル顕微鏡は、前記標本をコンタクトイメージセンシング(CIS:Contact Image Sensing)方式で撮影する後述の画像取得装置、またはバーチャルスライドスキャナ等である。ここで、CIS方式で撮影する画像取得装置は、イメージセンサの上に被写体を直接配置して撮影を行うことによって、被写体の画像である第一解像度画像および第二解像度画像を取得する装置である。具体的には、前記画像取得装置は、複数の異なる照射方向より光を被写体に照射してその被写体を撮影することで複数の第一解像度画像を生成する。そして、前記画像取得装置は、それらの複数の第一解像度画像の各画素を再配置することによって、各第一解像度画像よりも高い解像度の第二解像度画像を生成する。また、デジタル顕微鏡1500は、後述の画像取得装置の代わりに、複数の解像度の拡大画像を生成するバーチャルスライドスキャナ等のデジタル顕微鏡であっても構わない。バーチャルスライドスキャナは、顕微鏡を越しに検体を撮影する装置である。顕微鏡に対するスライドの相対位置をずらす操作と撮影する操作を繰り返し、得られる複数の画像をつなぎ合わせて広範囲の検体の画像を生成する。バーチャルスライドスキャナでは、顕微鏡に装着する対物レンズを変えることで、取得する画像の解像度を選択する。低い倍率の対物レンズを用いると、解像度は低くなるが、1枚の画像に撮影される検体の範囲が広くなるので撮影箇所は少なくてすみ撮影時間は短くなる。画像取得装置については、実施の形態3において詳細に説明する。
The
表示装置1501は、デジタル顕微鏡による撮影に基づいて得られる画像を操作者(例えば病理医)に表示する装置であって、例えば、液晶ディスプレイまたはプロジェクター等である。
The
画像出力装置1001は、デジタル顕微鏡1500による撮影によって得られた画像を取得して、その画像を表示装置1501に表示させる。この画像出力装置1001は、画像取得部1101、高解像度画像生成部1102、拡大受付部1201、切替部1202、表示用出力部1203、および補間画像生成部1210を備える。
The
画像取得部1101は、デジタル顕微鏡1500による撮影に基づいて得られる被写体の画像である第一解像度画像を取得する。なお、デジタル顕微鏡1500による撮影に基づいて得られる被写体の画像は、その撮影によって直接的に得られる画像であってもよく、直接的に得られた画像に対して処理を行うことによって得られる画像であってもよい。ここでは、画像取得部1101は、デジタル顕微鏡1500における例えばコンタクトイメージセンサによる撮影によって得られたサブ画像を第一解像度画像として取得する。なお、第一解像度画像の解像度を第一解像度と呼ぶ。
The
高解像度画像生成部1102は、第一解像度画像よりも高い解像度の画像であって、デジタル顕微鏡1500による撮影に基づいて得られる被写体の画像である第二解像度画像を生成する。なお、本実施の形態では、高解像度画像生成部1102は、画像取得部1101によって取得される複数の第一解像度画像を用いて、その第二解像度画像(すなわち高解像度画像)を生成する。なお、第二解像度画像の解像度を第二解像度と呼ぶ。ここでは、第一解像度は画素ピッチが0.9μm、第二解像度は画素ピッチが0.3μmとする。また、第二解像度の画素ピッチに対する第一解像度の画素ピッチの比を解像度比とするとき、解像度比は3となる。
The high-resolution
なお、第二解像度画像の生成に必要とされるだけの全ての数の第一解像度画像が画像取得部1101によって取得されていない場合がある。全ての数は例えば9である。したがって、高解像度画像生成部1102は、全ての数の第一解像度画像の取得が終了しているか否かを判定して、終了していると判定した後に高解像度画像の生成を実施する。
Note that the
拡大受付部1201は、取得された第一解像度画像における一部の領域に対する拡大率と、その領域の位置とを含む拡大情報を受け付ける。その領域の位置は、領域の中心位置(中心座標)であってもよく、矩形領域の左上端または右下端などであってもよい。具体的には、拡大受付部1201は、例えばキーボードの操作を介して拡大率および位置を取得する。また、拡大受付部1201は、拡大率および位置のそれぞれの変化量を取得することによって、受け付けられる拡大率および位置を更新してもよい。具体的には、拡大受付部1201は、例えばホイールを有するマウスの回転数を拡大率の変化値として用い、マウスの位置の変化量を上記領域の位置の変化量として用い、拡大率および位置を更新してもよい。このとき、拡大率の初期値は、例えば1であり、上記領域の位置の初期座標値は、例えば画像全体における中心の座標値である。
The
ここでは、後述の処理の説明を簡単にするために、拡大受付部1201によって受け付けられる拡大率Kの最大値は解像度比3以下の値とする。すなわち、受け付けられる拡大率Kが解像度比よりも大きな値である場合、拡大受付部1201は、その拡大率Kを解像度比に置き換える。置き換え後の拡大率が画像の拡大に用いられる。
Here, in order to simplify the description of the processing described later, the maximum value of the enlargement rate K accepted by the
なお、画像の拡大に用いられる拡大率は解像度比よりも大きな値であってもよい。その場合、表示用出力部1203は、第二解像度画像を出力する際、その拡大率に基づく第二解像度画像の補間と拡大を補間画像生成部1210に実行させる。そして、表示用出力部1203は、その補間と拡大が行われた第二解像度画像を表示装置1501に表示させる。
The enlargement ratio used for image enlargement may be a value larger than the resolution ratio. In that case, when outputting the second resolution image, the
補間画像生成部1210は、拡大受付部1201によって受け付けられた拡大情報に基づいて第一解像度画像の一部の領域に対する画素補間を行って当該領域を拡大することによって補間拡大画像を生成する。つまり、補間画像生成部1210は、その領域を拡大する際には、拡大情報に含まれる拡大率でその領域を拡大する。なお、画素補間は、画像に含まれる画素と画素の間に、本来、存在しない画素を作り出して補う処理であって、例えば、ニアレストネイバー法、バイリニア法またはバイキュービック法などによる補間である。 なお、解像度比よりも大きな値が拡大率として受け付けられ、補間および拡大の対象が第二解像度画像である場合、補間画像生成部1210は、受け付けられた拡大率を解像度比で割った値を、画像の拡大に用いられる実際の拡大率として扱う。つまり、補間画像生成部1210は、その実際の拡大率で第二解像度画像を拡大することによって、第二解像度画像に基づく補間拡大画像を生成し、第一解像度画像と第二解像度画像との解像度の違いを吸収する。例えば、受け付けられた拡大率が6の場合、補間画像生成部1210は、その拡大率6を解像度比3で割って得られる値2で第二解像度画像を補間拡大する。つまり、補間画像生成部1210は、拡大率6を2に変換し、その変換後の拡大率2によって第二解像度画像の補間拡大を行う。補間画像生成部1210は、領域の位置の座標に、その解像度比3を乗ずることによって、その領域の位置の座標を変換する。
The interpolated
表示用出力部1203は、上述の補間拡大画像を表示装置1501に出力することによって、その補間拡大画像を表示装置1501に表示させる。また、表示用出力部1203は、第一解像度画像または第二解像度画像を表示装置1501に出力することによって、それらの画像を表示装置1501に表示させてもよい。
The
切替部1202は、拡大受付部1201によって受け付けられた拡大情報に含まれる拡大率が所定の値よりも大きい場合に、その拡大情報に応じた第二解像度画像を高解像度画像生成部1102に生成させる。そして、切替部1202は、表示用出力部1203に対して、表示装置1501に出力されている補間拡大画像を、その拡大情報に応じた第二解像度画像に切り替えさせる。なお、拡大情報に応じた第二解像度画像は、第一解像度画像の全体の領域に対応する画像ではなく、第一解像度画像のうちの拡大情報に応じた一部の領域に対応する画像である。ここで、所定の値とは、例えば病理医または操作者によって任意に設定される値であっても、予め定められた値であってもよい。具体的には、所定の値は例えば解像度比(つまり、上述の例の場合には3)と等しい値であってもよい。なお、所定の値は1よりも大きい値である。ただし、所定の値を低い値にしてしまうと、画像の切り替えが頻繁に行われる事になる。これを避けるためには所定の値はできるだけ高い値であるこが望ましい。
The
また、所定の値を低い値にしてしまうと、第一解像度画像で撮影した全体の領域のうち、第二解像度画像を生成する領域が増大する。そのため、第二解像度画像生成の処理負荷が増大し、表示範囲の変更等の操作に対する反応速度が低下する。よって、第二解像度画像生成に使用するCPU性能が高い場合には、所定の値を3にし、CPU性能が低い場合には所定の値を10にする。また、第二解像度画像を生成する領域が増大すると転送する第二解像度画像の領域も増加するので、携帯電話回線等の細い回線では所定の値を10とし、光回線のような太い回線では、所定の値を3とする。 Further, if the predetermined value is set to a low value, the area for generating the second resolution image increases in the entire area captured by the first resolution image. Therefore, the processing load for generating the second resolution image increases, and the reaction speed for operations such as changing the display range decreases. Therefore, the predetermined value is set to 3 when the CPU performance used for generating the second resolution image is high, and the predetermined value is set to 10 when the CPU performance is low. Also, since the area of the second resolution image to be transferred increases as the area for generating the second resolution image increases, the predetermined value is set to 10 for a thin line such as a mobile phone line, and for a thick line such as an optical line, The predetermined value is 3.
つまり、切替部1202は、表示装置1501によって表示される画像を切り替える。例えば、切替部1202は、高解像度画像生成部1102によって第二解像度画像が生成された後に、表示装置1501に表示される画像を、補間拡大画像から、拡大情報に応じた第二解像度画像に切り替える。また、切替部1202は、補間画像生成部1210によって上述の第二解像度画像に基づく補間拡大画像が生成された場合には、その補間拡大画像に切り替えてもよい。
That is, the
図2Aは、表示装置1501によって表示される表示画面の一例を示す図である。
FIG. 2A is a diagram illustrating an example of a display screen displayed by the
表示装置1501は、終了ボタン602、俯瞰画像表示部603、所見入力欄604、読込ボタン605、拡大画像表示部606、および判定結果欄607を含む表示画面601を表示する。
The
拡大画像表示部606には、第一解像度画像または第二解像度画像が拡大されて表示される。終了ボタン602が選択されると、表示装置1501は、画像の表示を終了すべきことを知らせる信号を画像出力装置1001に送信する。俯瞰画像表示部603には、第一解像度画像または第二解像度画像の全体が表示される。所見入力欄604には、例えば病理医による所見が書き込まれる。読込ボタン605が選択されると、表示装置1501は、例えば、第一解像度画像の表示を終了し、第二解像度画像の読み込みを指示する信号を画像出力装置1001に送信する。
On the enlarged
ここで、上述のように、高解像度画像生成部1102は、第二解像度画像の生成に必要とされるだけの全ての数の第一解像度画像が画像取得部1101によって取得されているか否かを判定している。表示用出力部1203は、高解像度画像生成部1102によるその判定結果を受けて、その判定結果を表示装置1501に表示させる。例えば、図2Aに示すように、表示装置1501は、表示画面601のうちの判定結果欄607にその判定結果を表示する。判定結果が未取得を示す場合、つまり、デジタル顕微鏡1500による撮影が継続して行われている場合、表示装置1501は、判定結果として「撮影中」というメッセージを判定結果欄607に表示する。
Here, as described above, the high-resolution
図2Bは、表示装置1501によって表示される表示画面の他の例を示す図である。
FIG. 2B is a diagram showing another example of the display screen displayed by the
高解像度画像生成部1102による判定結果が取得完了を示す場合、表示装置1501は、その判定結果として「撮影完了」というメッセージを判定結果欄607に表示する。
When the determination result by the high-resolution
図3は、デジタル顕微鏡1500および画像出力装置1001の処理動作の一例を示すフローチャートである。
FIG. 3 is a flowchart showing an example of processing operations of the
まず、デジタル顕微鏡1500は、1枚目の第一解像度画像の撮影を行う(ステップS11)。そして、デジタル顕微鏡1500は、その第一解像度画像を画像出力装置1001に送信する(ステップS12)。その後、デジタル顕微鏡1500は、継続して2枚目以降の第一解像度画像のそれぞれの撮影と画像出力装置1001への送信とを順次行う(ステップS13)。
First, the
画像出力装置1001の画像取得部1101は、デジタル顕微鏡1500から送信された1枚目の第一解像度画像を取得する(ステップS21)。表示用出力部1203は、その1枚目の第一解像度画像を表示装置1501に出力することによって、その1枚目の第一解像度画像を表示装置1501に表示させる(ステップS22)。また、画像取得部1101は、ステップS13においてデジタル顕微鏡1500から2枚目以降の第一解像度画像が送信されるごとに、その送信されたタイミングに、2枚目以降の第一解像度画像を取得する。
The
次に、画像出力装置1001の拡大受付部1201は、操作者による例えばキーボードまたはマウスなどへの操作に応じて、拡大率と位置とを含む拡大情報を受け付ける(ステップS23)。拡大率は、表示装置1501に表示されている画像の一部の領域に対する拡大率であり、位置は、その領域の例えば中心位置である。そして、表示用出力部1203は、補間拡大画像を表示装置1501に表示させる(ステップS24)。つまり、表示用出力部1203は、ステップS23で受け付けられた拡大情報に応じて、1枚目の第一解像度画像から補間拡大画像を生成して表示装置1501に表示させる。
Next, the
ここで、高解像度画像生成部1102は、第二解像度画像を生成するために必要とされる全て数の第一解像度画像が取得されているか否かを判定する(ステップS25)。取得されていると判定されると(ステップS25のYes)、表示用出力部1203は、その判定結果として「撮影完了」を表示装置1501に表示させることによって、ユーザ(操作者または病理医)に撮影完了を報知する(ステップS26)。この報知によって、ユーザは、そのとき以降、拡大率を大きくすれば、高解像度画像(第二解像度画像)の迅速な表示が可能であると判断することができる。また、全ての数の第一解像度画像が取得されていないと判定されたときには(ステップS25のNo)、画像出力装置1001は、ステップS23からの処理を繰り返し実行する。
Here, the high resolution
ステップS26において撮影完了が報知されると、切替部1202は、拡大受付部1201によって最後に受け付けられた拡大情報に含まれる拡大率が閾値(所定の値)よりも大きいか否かを判定する(ステップS27)。例えば、閾値は解像度比の値(ここでは3)である。ここで、拡大率が閾値以下であると判定されると(ステップS27のNo)、表示用出力部1203は、補間拡大画像を表示装置1501に表示させる(ステップS28)。つまり、表示用出力部1203は、受け付けられた拡大情報に応じて、1枚目の第一解像度画像から補間拡大画像を生成して表示装置1501に表示させる。なお、その受け付けられた拡大情報は、ステップS23またはステップS33で受け付けられた拡大情報である。また、拡大情報がステップS23で受け付けられた情報である場合、ステップS28では、表示用出力部1203は、ステップS24で表示されている補間拡大画像を継続して表示装置1501に表示させる。
When the completion of shooting is notified in step S26, the
ステップS27において拡大率が閾値よりも大きいと判定されると(ステップS27のYes)、高解像度画像生成部1102は、受け付けられた拡大情報に応じた第二解像度画像が既に生成されて保存されているか否かを判定する(ステップS29)。第二解像度画像が保存されていないと判定されると(ステップS29のNo)、切替部1202は、受け付けられた拡大情報に応じた第二解像度画像を高解像度画像生成部1102に生成させて保存させる(ステップS31)。ステップS31の後、または、ステップS29において保存されていると判定されると(ステップS29のYes)、表示用出力部1203は、その拡大情報に応じた第二解像度画像を読み出して表示装置1501に表示させる(ステップS30)。
If it is determined in step S27 that the enlargement ratio is greater than the threshold (Yes in step S27), the high resolution
これにより、先にステップS24において補間拡大画像が表示され、その後に、その補間拡大画像は第二解像度画像に切り替えられる。つまり、切替部1202は、表示用出力部1203に対して、表示装置1501に出力されている補間拡大画像を、拡大情報に応じた第二解像度画像に切り替えさせる。
As a result, the interpolated enlarged image is displayed first in step S24, and then the interpolated enlarged image is switched to the second resolution image. That is, the
そして、表示用出力部1203は、終了ボタン602が選択されることによって表示装置1501から出力される信号に基づいて、画像の表示を終了すべきか否かを判定する(ステップS32)。終了すべきでないと判定されると(ステップS32のNo)、拡大受付部1201は、再び、操作者による例えばキーボードまたはマウスなどへの操作に応じて、拡大率と位置とを含む拡大情報を受け付ける(ステップS33)。そして、画像出力装置1001は、ステップS27からの処理を繰り返し実行する。一方、終了すべきであると判定されると(ステップS32のYes)、画像出力装置1001は、画像の表示処理を終了する。
Then, the
このように、拡大受付部1201は、ステップS23およびステップS33において拡大情報を順次受け付ける。そして、表示用出力部1203は、拡大受付部1201によって拡大情報が受け付けられるごとに、その拡大情報に基づく補間拡大画像、または、その拡大情報に応じた第二解像度画像を表示装置1501に出力する(ステップS24,S28,S30)。これによって、表示装置1051に表示される画像が切り替えられる。したがって、表示装置1501に表示されている被写体の画像を、拡大情報を変更することによって適切に調整することができる。
As described above, the
図4は、デジタル顕微鏡1500および画像出力装置1001の処理動作の他の例を示すフローチャートである。
FIG. 4 is a flowchart showing another example of processing operations of the
デジタル顕微鏡1500は、図3に示すフローチャートと同様、ステップS11〜S13の処理を実行する。
The
画像出力装置1001は、まず、図3に示すフローチャートと同様、ステップS21〜S23の処理を実行する。次に、画像出力装置1001の表示用出力部11203は、ステップS23で受け付けられた拡大情報に応じて、1枚目の第一解像度画像から補間拡大画像を生成して表示装置1501に表示させる(ステップS41)。
First, the
ここで、表示用出力部1203は、例えば、ステップS21で1枚目の第一解像度画像が取得されてから所定時間が経過したか否かを判定する(ステップS41)。この所定時間は、ステップS11において1枚目の第一解像度画像の撮影が行われてから、第二解像度画像を生成するために必要とされる全ての数の第一解像度画像の撮影が完了するまでの時間以上に設定されている。つまり、この所定時間が経過していれば、その全ての数の第一解像度画像が画像出力装置1001によって取得されている。
Here, for example, the
したがって、表示用出力部1203は、所定時間が経過したと判定すると(ステップS42のYes)、その判定結果として「撮影完了」を、表示装置1501に表示させることによって、ユーザに報知する(ステップS43)。一方、所定時間が経過していないと判定されると(ステップS42のNo)、画像出力装置1001はステップS23からの処理を繰り返し実行する。
Therefore, if the
ステップS43において撮影完了の報知が行われると、切替部1202は、所定時間の経過時点の直前に受け付けられた拡大情報に含まれる拡大率が閾値よりも大きいか否かを判定する(ステップS44)。ここで、閾値以下であると判定されると(ステップS44のNo)、表示用出力部1203は、ステップS41で表示された補間拡大画像を継続して表示装置1501に表示させる(ステップS45)。
When the completion of shooting is notified in step S43, the
一方、拡大率が閾値よりも大きいと判定されると(ステップS44のYes)、切替部1202は、その拡大情報に応じた第二解像度画像を高解像度画像生成部1102に生成させる(ステップS46)。そして、切替部1202は、表示用出力部1203に対して、表示装置1501に出力されている補間拡大画像を、拡大情報に応じた第二解像度画像に切り替えさせる(ステップS47)。つまり、表示用出力部1203は、拡大情報に応じた第二解像度画像を表示装置1501に表示させる。
On the other hand, if it is determined that the enlargement ratio is greater than the threshold (Yes in step S44), the
このように、図4に示す処理動作の例では、上述の所定時間は、第一解像度画像に基づいて補間拡大画像を調整するための調整期間として用いられる。つまり、拡大受付部1201は、予め定められた調整期間に拡大情報を順次受け付ける。そして、切替部1202は、調整期間の経過時点において、その経過時点の直前に受け付けられた拡大情報に含まれる拡大率が所定の値よりも大きい場合に、表示用出力部1203に対して画像を切り替えさせる。つまり、切替部1202は、表示用出力部1203に対して、表示装置1501に出力されている補間拡大画像を、拡大情報に応じた第二解像度画像に切り替えさせる。これにより、調整期間において、拡大情報を変更することにより、表示装置1501に拡大して表示されている第一解像度画像の一部の領域(補間拡大画像)を適切に調整することができる。そして、調整期間が経過するときに、補間拡大画像を第二解像度画像に切り替えることができる。
As described above, in the example of the processing operation illustrated in FIG. 4, the above-described predetermined time is used as an adjustment period for adjusting the interpolation enlarged image based on the first resolution image. That is, the
(効果)
このように、本実施の形態では、高解像度画像の生成に必要とされる全ての数の第一解像度画像の撮影が完了する前に、第一解像度画像を観察者(ユーザ)に提示して高解像度化を行うか否か、あるいは高解像度化を行う領域を決定することができる。
(effect)
As described above, in the present embodiment, the first resolution image is presented to the observer (user) before all the first resolution images required for generating the high resolution image are captured. It is possible to determine whether or not to increase the resolution, or to determine the area to increase the resolution.
また、本実施の形態では、例えば検体などの被写体の画像を拡大して表示するときには、受け付けられた拡大率および位置に基づいて作成された補間拡大画像が表示される。そして、その拡大率が所定の値よりも大きいときには、その拡大率などに応じた第二解像度画像が高解像度画像として生成されて、表示されている補間拡大画像が、その拡大率などに応じた第二解像度画像に切り替えられる。したがって、第二解像度画像の生成に時間がかかるような場合であっても、その第二解像度画像が表示されるまで、補間拡大画像が表示されるため、被写体の画像をスムーズに表示することができる。 In this embodiment, for example, when an image of a subject such as a specimen is enlarged and displayed, an interpolation enlarged image created based on the accepted enlargement factor and position is displayed. When the enlargement ratio is larger than a predetermined value, a second resolution image corresponding to the enlargement ratio is generated as a high resolution image, and the displayed interpolated enlarged image corresponds to the enlargement ratio or the like. Switching to the second resolution image. Therefore, even if it takes a long time to generate the second resolution image, the interpolation enlarged image is displayed until the second resolution image is displayed, so that the image of the subject can be displayed smoothly. it can.
また、本実施の形態では、第一解像度画像において拡大して表示されている領域から優先して高解像度画像が生成されて表示される。したがって、例えば、9枚のサブ画像(第一解像度画像)の撮影にかかる60秒に近い時間で、高解像度画像を表示することができる。その結果、手術中に悪性腫瘍の切除範囲を決定するような迅速検診であっても、高解像度画像の表示にかかる時間を短くすることができ、患者の負担を軽減することができる。 In the present embodiment, a high-resolution image is generated and displayed in preference to an area that is enlarged and displayed in the first resolution image. Therefore, for example, a high-resolution image can be displayed in a time close to 60 seconds for capturing nine sub-images (first resolution images). As a result, even in the case of a rapid examination in which the resection range of a malignant tumor is determined during surgery, the time taken to display a high-resolution image can be shortened, and the burden on the patient can be reduced.
また、本実施の形態では、表示用出力部1203は、第二解像度画像の生成に必要とされるだけの複数の第一解像度画像が画像取得部1101によって取得されたときに、撮影の完了をユーザに報知する。つまり、表示用出力部1203は、撮影完了をユーザに報知する報知部を備える。これにより、ユーザに撮影の完了が報知されるため、ユーザは、その報知後に第二解像度画像の迅速な表示が可能であることを認識することができる。
In the present embodiment, the
(実施の形態2)
本実施の形態における画像出力装置は、互いに通信回線を介して接続される画像送信装置と画像受信装置とから構成される。なお、本実施の形態における装置およびその構成要素のうち、実施の形態1と同じ装置およびその構成要素に対しては、実施の形態1と同じ符号を付し、それらの詳細な説明を省略する。
(Embodiment 2)
The image output apparatus according to the present embodiment includes an image transmission apparatus and an image reception apparatus that are connected to each other via a communication line. Of the apparatus and its constituent elements in the present embodiment, the same apparatus and its constituent elements as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment, and detailed descriptions thereof are omitted. .
図5は、実施の形態2における画像出力装置を含む画像処理システムの一例を示す構成図である。 FIG. 5 is a configuration diagram illustrating an example of an image processing system including the image output apparatus according to the second embodiment.
画像処理システム2000は、デジタル顕微鏡1500、画像出力装置2001、および表示装置1501からなる。
The image processing system 2000 includes a
画像出力装置2001は、通信回線を介して互いに接続される画像送信装置1100および画像受信装置1200を備える。なお、画像出力装置2001は全体として、実施の形態1の画像出力装置1001と同様の機能を有する。また、例えば、デジタル顕微鏡1500および画像送信装置1100を含むセットは、病理医のいない病院などの施設に配置される。画像受信装置1200および表示装置1501を含むセットは、例えば、その病院から遠く離れた、病理医がいる施設に配置される。
The
画像送信装置1100は、画像取得部1101、高解像度画像生成部1102、および通知部1113を備える。
The
高解像度画像生成部1102は、実施の形態1と同様、第二解像度画像の生成に必要とされる全て数の第一解像度画像が画像取得部1101によって取得されているか否かを判定する。
As in the first embodiment, the high-resolution
通知部1113は、全ての数の第一解像度画像が取得されたと高解像度画像生成部1102によって判定されたときには、通信回線を介して画像受信装置1200に撮影完了を通知する。
When the high-resolution
画像受信装置1200は、画像取得部1215、拡大受付部1201、補間画像生成部1210、表示用出力部1203、切替部1202、報知部1213、および画像保持部1212を備える。
The
画像取得部1215は、画像送信装置1100の画像取得部1101によってデジタル顕微鏡1500から取得された第一解像度画像(例えば1枚目の第一解像度画像)を、通信回線を介して画像送信装置1100から取得する。
The image acquisition unit 1215 receives the first resolution image (for example, the first first resolution image) acquired from the
報知部1213は、第二解像度画像の生成に必要とされるだけの複数の第一解像度画像が画像取得部1101によって取得されたときに、撮影の完了をユーザに報知する。つまり、報知部1213は、画像送信装置1100の通知部1113から撮影完了の通知を、通信回線を介して受けると、「撮影完了」というメッセージを表示装置1501に表示させる。これによって、報知部1213は、画像受信装置1200のユーザ(操作者)に、撮影完了を報知する。なお、報知部1213は、「撮影が完了しました」という音声を出力することによって、ユーザに撮影完了を報知してもよい。
The
画像保持部1212は、画像送信装置1100から通信回線を介して送信された第二解像度画像を保持するための記録媒体である。
The
図6Aは、デジタル顕微鏡1500、画像送信装置1100および画像受信装置1200の処理動作の一例を示すフローチャートである。
FIG. 6A is a flowchart illustrating an example of processing operations of the
デジタル顕微鏡1500は、図3に示すフローチャートと同様、ステップS11〜S13の処理を実行する。なお、ステップS12およびS13では、デジタル顕微鏡1500は、画像送信装置1100に対して第一解像度画像を送信する。
The
画像送信装置1100の画像取得部1101は、デジタル顕微鏡1500から1枚目の第一解像度画像を取得すると、通信回線を介してその第一解像度画像を画像受信装置1200に送信する(ステップS51)。さらに、画像取得部1101は、デジタル顕微鏡1500から順次送信される2枚目以降の第一解像度画像を取得する(ステップS52)。ここで、画像取得部1101は、第一解像度画像を取得するごとに、その第一解像度画像を高解像度画像生成部1102に出力する。高解像度画像生成部1102は、第二解像度画像を生成するために必要とされる全ての数の第一解像度画像が取得されているか否かを判定する。そして、取得されていると判定されると、通知部1113は、通信回線を介してその判定結果として「撮影完了」を画像受信装置1200に通知する(ステップS53)。
When acquiring the first first resolution image from the
画像受信装置1200の画像取得部1215は、通信回線を介して画像送信装置1100から送信された1枚目の第一解像度画像を取得する(ステップS21)。表示用出力部1203は、その1枚目の第一解像度画像を表示装置1501に出力することによって、その1枚目の第一解像度画像を表示装置1501に表示させる(ステップS22)。
The image acquisition unit 1215 of the
次に、画像受信装置1200の拡大受付部1201は、操作者による例えばキーボードまたはマウスなどへの操作に応じて、拡大率と位置とを含む拡大情報を受け付ける(ステップS23)。そして、表示用出力部1203は、補間拡大画像を表示装置1501に表示させる(ステップS24)。つまり、表示用出力部1203は、ステップS23で受け付けられた拡大情報に応じて、1枚目の第一解像度画像から補間拡大画像を生成して表示装置1501に表示させる。
Next, the
ここで、報知部1213は、ステップS53における画像送信装置1100からの撮影完了の通知があったか否かを判定する(ステップS25a)。通知があったと判定されると(ステップS25aのYes)、報知部1213は、その判定結果として「撮影完了」を表示装置1501に表示させることによって、ユーザ(操作者または病理医)に撮影完了を報知する(ステップS26)。この報知によって、ユーザは、そのとき以降、拡大率を大きくすれば、高解像度画像(第二解像度画像)の迅速な表示が可能であると判断することができる。また、通知がないと判定されたときには(ステップS25aのNo)、画像受信装置1200は、ステップS23からの処理を繰り返し実行する。
Here, the
ステップS26において撮影完了が報知されると、切替部1202は、拡大受付部1201によって最後に受け付けられた拡大情報に含まれる拡大率が閾値(所定の値)よりも大きいか否かを判定する(ステップS27)。ここで、拡大率が閾値以下であると判定されると(ステップS27のNo)、表示用出力部1203は、補間拡大画像を表示装置1501に表示させる(ステップS28)。
When the completion of shooting is notified in step S26, the
一方、拡大率が閾値よりも大きいと判定されると(ステップS27のYes)、切替部1202は、受け付けられた拡大情報に応じた第二解像度画像が既に生成されて画像保持部1212に保存されているか否かを判定する(ステップS29)。第二解像度画像が保存されていないと判定されると(ステップS29のNo)、切替部1202は、受け付けられた拡大情報に応じた第二解像度画像を、通信回線を介して画像送信装置1100に要求する(ステップS31a)。
On the other hand, if it is determined that the enlargement ratio is greater than the threshold (Yes in step S27), the
画像送信装置1100の高解像度画像生成部1102は、その要求を受け付けると(ステップS54)、受け付けられた拡大情報に応じた第二解像度画像を生成して、通信回線を介して画像受信装置1200に送信する(ステップS55)。
When receiving the request (step S54), the high-resolution
画像受信装置1200の切替部1202は、画像送信装置1100から送信された、拡大情報に応じた第二解像度画像を取得して画像保持部1212に保存する(ステップS31b)。ステップS31bの後、または、ステップS29において保存されていると判定されると(ステップS29のYes)、表示用出力部1203は、その拡大情報に応じた第二解像度画像を読み出して表示装置1501に表示させる(ステップS30)。
The
これにより、先にステップS24において補間拡大画像が表示され、その後に、その補間拡大画像は第二解像度画像に切り替えられる。つまり、切替部1202は、表示用出力部1203に対して、表示装置1501に出力されている補間拡大画像を、拡大情報に応じた第二解像度画像に切り替えさせる。
As a result, the interpolated enlarged image is displayed first in step S24, and then the interpolated enlarged image is switched to the second resolution image. That is, the
そして、表示用出力部1203は、終了ボタン602が選択されることによって表示装置1501から出力される信号に基づいて、画像の表示を終了すべきか否かを判定する(ステップS32)。終了すべきでないと判定されると(ステップS32のNo)、拡大受付部1201は、再び、操作者による例えばキーボードまたはマウスなどへの操作に応じて、拡大率と位置とを含む拡大情報を受け付ける(ステップS33)。そして、画像受信装置1200は、ステップS27からの処理を繰り返し実行する。一方、終了すべきであると判定されると(ステップS32のYes)、画像受信装置1200は、画像の表示処理を終了する。
Then, the
このように、拡大受付部1201は、ステップS23およびステップS33において拡大情報を順次受け付ける。そして、表示用出力部1203は、拡大受付部1201によって拡大情報が受け付けられるごとに、その拡大情報に基づく補間拡大画像、または、その拡大情報に応じた第二解像度画像を表示装置1501に出力する(ステップS24,S28,S30)。これによって、表示装置1051に表示される画像が切り替えられる。したがって、表示装置1501に表示されている被写体の画像を、拡大情報を変更することによって適切に調整することができる。
As described above, the
なお、報知部1213は、第二解像度画像の生成に必要とされる全ての数の第一解像度画像が取得された後に、撮影完了をユーザに報知するが、その取得の前に、報知してもよい。例えば、第二解像度画像の生成に必要とされる全ての数の第一解像度画像のうち、所定の割合(例えば90パーセントなど)の数の第一解像度画像が取得されたときに、報知部1213は、撮影完了をユーザに報知してもよい。また、撮影にかかる時間が一定であるため、報知部1213は、画像送信装置1100の通知部1113からの通知にかかわらず、1枚目の第一解像度画像の取得から所定時間が経過したときに、撮影完了をユーザに報知してもよい。その所定時間は、第二解像度画像の生成に必要とされる全ての数の第一解像度画像の撮影にかかる予想時間である。また、報知部1213は、その所定時間の前または後に報知を行ってもよい。
Note that the
(効果)
このような本実施の形態における画像出力装置2001では、被写体の画像を取得する施設と、その画像を観察する施設とが離れていても、実施の形態1と同様の効果を奏することができる。
(effect)
In such an
また、迅速診断では、速やかに診断が実施されることが重要である。しかし、画像全体の高解像度化には時間がかかる。本実施の形態では、低解像度な1枚目の第一解像度画像(サブ画像)が取得された段階で画像受信装置1200にサブ画像が送信されるので、そのサブ画像によって大まかな診断を早く開始することができる。また、第一解像度画像のうち表示装置1501に表示されている部分から高解像度化が行われて、画像受信装置1200に送信されて表示される。したがって、第一解像度画像のうちのうちの表示されている部分から優先して高解像度化を実施することができる。
In rapid diagnosis, it is important that diagnosis is performed promptly. However, it takes time to increase the resolution of the entire image. In the present embodiment, the sub-image is transmitted to the
また、本実施の形態では、画像保持部1212に第二解像度画像が保存されてなくても、高解像度画像の生成に必要とされる数の第一解像度画像の撮影が済んでいれば、1から数秒後に、拡大情報に応じた第二解像度画像が生成および送信されて表示される。一方、その必要とされる数の第一解像度画像の撮影が済んでいなければ、数十秒間待たなければ、高解像度画像が表示されない。本実施の形態では、報知部1213によって撮影完了が報知される。したがって、第二解像度画像が表示されない場合には、その原因が撮影未完了であるか、第二解像度画像の生成および送信であるかを、操作者は容易に把握することができる。これによって、操作者は、スムーズに画像受信装置1200を操作することができる。
In the present embodiment, even if the second resolution image is not stored in the
(変形例)
上記実施の形態2における画像受信装置1200は、図6AのステップS29およびS31aのように、拡大情報に応じた第二解像度画像が保存されていないと判定すると、その第二解像度画像を画像送信装置1100に要求する。本変形例にかかる画像受信装置1200は、第二解像度画像が保存されていないと判定したときであっても、その拡大情報がすぐに変更される場合には、第二解像度画像を画像送信装置1100に要求することはしない。
(Modification)
If the
図6Bは、本変形例にかかる画像受信装置1200の一部の処理を示すフローチャートである。
FIG. 6B is a flowchart showing a part of processing of the
本変形例にかかる画像受信装置1200は、上記実施の形態2における画像受信装置1200と同様、図6Aに示すステップS21〜S32を実行するとともに、さらに、ステップS29aの処理を実行する。
Similar to the
具体的には、切替部1202は、受け付けられた拡大情報に応じた第二解像度画像が既に生成されて画像保持部1212に保存されているか否かを判定する(ステップS29)。ここで、第二解像度画像が保存されていないと判定されると(ステップS29のNo)、切替部1202は、拡大情報(つまり拡大率と位置)が変更されることなく一定時間以上経過したか否かを判定する(ステップS29a)。切替部1202は、一定時間以上経過したと判定すると(ステップS29aのYes)、受け付けられた拡大情報に応じた第二解像度画像を、通信回線を介して画像送信装置1100に要求する(ステップS31a)。そして、画像受信装置1200は、上記実施の形態2と同様の処理を行う。一方、一定時間以上経過していない、つまり一定時間経過前に拡大情報が変更されたと判定されると(ステップS29aのNo)、表示用出力部1203は、補間拡大画像を表示装置1501に表示させる(ステップS28)。これにより、ステップS27において、受け付けられた拡大情報に応じた第二解像度画像が必要と判定されても、拡大情報の変更によって、その第二解像度画像が不要とされたときには、その第二解像度画像の要求、生成または読み出しを抑えることができる。つまり、第二解像度画像に関する無駄な処理の実行を抑えることができる。
Specifically, the
(効果)
上記実施の形態2では、拡大率が閾値よりも大きい状態で、表示中心位置をマウス操作により移動させた場合、表示中心位置が通過した全ての領域に対して第二解像度画像を生成しなければならない。なお、表示中心位置は、例えば上記拡大情報に含まれる位置である。操作者がマウスを移動させる範囲が広くなると、生成しなければならない第二解像度画像の領域が広くなり、実際に観察している領域の第二解像度画像が生成されるまでの待ち時間が増加する。しかし、観察者(病理医)は、しっかりと観察を行う診断上の重要な位置ではマウスを停止させる、または、マウスを移動させる速度を抑える。本変形例では、表示位置が一定時間停止した場合に第二解像度画像を作ることで、しっかりと観察する部分の第二解像度画像が生成されるまでの待ち時間を短縮することができる。
(effect)
In
なお、図6Bに示すフローチャートでは、ステップS29aにおいて、拡大情報の値が一定時間以上停止しているか否かを判定したが、表示中心位置の移動速度が所定の値以下であるか否かを判定してもよい。具体的には、表示中心位置の移動速度が所定の値以下であれば、画像受信装置1200はステップS31aの処理を実行し、移動速度が所定の値よりも大きければ、ステップS28の処理を実行する。
In the flowchart shown in FIG. 6B, it is determined in step S29a whether or not the value of the enlarged information has been stopped for a certain time or more, but it is determined whether or not the moving speed of the display center position is equal to or less than a predetermined value. May be. Specifically, if the moving speed of the display center position is equal to or less than a predetermined value, the
なお、上記実施の形態1および2とその変形例では、高解像度画像生成部1102は、複数の第一解像度画像を用いて、第二解像度画像を生成するが、それらの第一解像度画像を用いずに、第二解像度画像を生成してもよい。例えば、デジタル顕微鏡1500がバーチャルスライドスキャナなどである場合、被写体の撮影に用いられるレンズが変更される。例えば、対物10倍のレンズによって第一解像度画像が生成され、対物40倍のレンズによって、その第一解像度画像の一部の領域における第二解像度画像が生成される。高解像度画像生成部1102は、その対物40倍のレンズによって得られるデジタル顕微鏡1500からの画像信号に基づいて第二解像度画像を生成する。つまり、高解像度画像生成部1102は、拡大受付部1201によって受け付けられた拡大情報(例えば拡大率および位置)に応じた画像信号をデジタル顕微鏡1500に要求し、その画像信号に基づいて、拡大情報に応じた第二解像度画像を生成する。そして、高解像度画像生成部1102は、拡大情報が変更されるごとに、その拡大情報に応じた第二解像度画像を生成する。例えば、拡大情報に含まれる位置が変更されるごとに、高解像度画像生成部1102は、その位置における第一解像度画像の一部の領域に対応する第二解像度画像を生成する。
In
(実施の形態3)
ここで、上記各実施の形態およびその変形例におけるデジタル顕微鏡1500について、以下、詳細に説明する。なお、デジタル顕微鏡1500を、以下、画像取得装置(デジタイザ)と称する。
(Embodiment 3)
Here, the
<高解像度画像形成の原理>
本開では、照明光の照射方向を変えて複数回の撮影を実行することにより得られる複数の画像を用いて、それら複数の画像の各々よりも解像度(分解能)の高い画像(以下、「高解像度画像」または「高分解能画像」と呼ぶ。)を形成する。なお、高解像度画像は、上述の第二解像度画像に相当し、その高解像度画像の形成に用いられる複数の画像(サブ画像)のそれぞれは、上述の第一解像度画像に相当する。まず、図7A〜図12を参照して、高解像度画像形成の原理を説明する。ここでは、CCD(Charge Coupled Device)イメージセンサを例示して説明を行う。なお、以下の説明において、実質的に同じ機能を有する構成要素は共通の参照符号で示し、説明を省略することがある。
<Principle of high resolution image formation>
In Honkai, a plurality of images obtained by changing the irradiation direction of the illumination light and performing a plurality of shootings are used, and images having a higher resolution (resolution) than each of the plurality of images (hereinafter referred to as “high”). A resolution image "or a" high resolution image "). The high resolution image corresponds to the above-described second resolution image, and each of the plurality of images (sub-images) used for forming the high resolution image corresponds to the above-described first resolution image. First, the principle of high-resolution image formation will be described with reference to FIGS. Here, a CCD (Charge Coupled Device) image sensor will be described as an example. In the following description, components having substantially the same function are denoted by common reference numerals, and description thereof may be omitted.
図7Aおよび図7Bを参照する。図7Aは、被写体の一部を模式的に示す平面図である。図7Aに示す被写体2は、例えば、生物組織の薄片(典型的には、数十μm以下の厚さを有する。)である。被写体2の画像の取得時、被写体2は、イメージセンサの撮像面に近接して配置されている。イメージセンサの撮像面から被写体2までの距離は、典型的には1mm以下であり、例えば1μm程度に設定され得る。
Please refer to FIG. 7A and FIG. 7B. FIG. 7A is a plan view schematically showing a part of the subject. The subject 2 shown in FIG. 7A is, for example, a thin piece of biological tissue (typically having a thickness of several tens of μm or less). When the image of the subject 2 is acquired, the
図7Bは、イメージセンサのフォトダイオードのうち、図7Aに示されている領域の撮像に関わるフォトダイオードを抽出して模式的に示す平面図である。ここで説明する例では、イメージセンサ4に形成されたフォトダイオード4pのうち、6個のフォトダイオードが示されている。なお、参考のために、図7Bでは、互いに直交するx方向、y方向およびz方向を示す矢印が図示されている。z方向は、撮像面の法線方向を示している。図7Bでは、xy面内においてx軸からy軸に向かって45°回転した方向であるu方向を示す矢印も図示されている。他の図面においても、x方向、y方向、z方向またはu方向を示す矢印を図示することがある。
FIG. 7B is a plan view schematically showing extracted photodiodes related to imaging in the region shown in FIG. 7A out of the photodiodes of the image sensor. In the example described here, among the
イメージセンサ4におけるフォトダイオード4p以外の構成要素は、遮光層によって覆われている。図7B中、ハッチングされた領域は、遮光層によって覆われている領域を示している。CCDイメージセンサの撮像面上における1つのフォトダイオードの受光面の面積(S2)は、そのフォトダイオードを含む単位領域の面積(S1)よりも小さい。画素の面積S1に対する受光面積S2の比率(S2/S1)は、「開口率」と呼ばれている。ここでは、開口率が25%であるとして説明を行う。
Components other than the
図8Aおよび図8Bは、被写体2を透過してフォトダイオード4pに入射する光線の方向を模式的に示す。図8Aおよび図8Bは、撮像面に対して垂直な方向から光線を入射させた状態を示している。図8Aおよび図8Bにおいて模式的に示すように、ここでは、被写体2とイメージセンサ4との間に結像のためのレンズは配置されておらず、被写体2の画像は、被写体2を透過する実質的に平行な光線を用いて取得される。
8A and 8B schematically show the directions of light rays that pass through the
図8Cは、図8Aおよび図8Bに示す照射方向のもとで取得される画像Sa(第1のサブ画像Sa)を模式的に示す。図8Cに示すように、第1のサブ画像Saは、6個のフォトダイオード4pによって取得される6個の画素Paから構成される。画素Paの各々は、個々のフォトダイオード4pに入射した光の量を示す値(画素値)を持つ。
FIG. 8C schematically shows an image Sa (first sub-image Sa) acquired under the irradiation direction shown in FIGS. 8A and 8B. As shown in FIG. 8C, the first sub-image Sa is composed of six pixels Pa acquired by six
図8Aおよび図8Bに示すように、撮像面に垂直な方向から被写体2を照射したときには、被写体2の全体のうち、フォトダイオード4pの直上に位置する領域を透過した光がフォトダイオード4pに入射する。この例では、第1のサブ画像Saは、被写体2の全体のうち、領域A1、A2、A3、A4、A5およびA6(図7A参照)の情報を有している。なお、フォトダイオード4pの直上に位置しない領域を透過した光は、フォトダイオード4pには入射しない。したがって、第1のサブ画像Saでは、被写体2の全体のうち、領域A1、A2、A3、A4、A5およびA6以外の領域の情報が欠落している。
As shown in FIGS. 8A and 8B, when the
図9Aおよび図9Bは、図8Aおよび図8Bに示す照射方向とは異なる照射方向から光線を入射させた状態を示している。図9Aおよび図9Bに示す光線は、z方向に対してx方向に傾斜している。このとき、被写体2の全体のうち、フォトダイオード4pの直上に位置する領域とは異なる領域を透過した光がフォトダイオード4pに入射する。
9A and 9B show a state in which light rays are incident from an irradiation direction different from the irradiation direction shown in FIGS. 8A and 8B. The light rays shown in FIGS. 9A and 9B are inclined in the x direction with respect to the z direction. At this time, light that has passed through a region different from the region located immediately above the
図9Cは、図9Aおよび図9Bに示す照射方向のもとで取得される画像Sb(第2のサブ画像Sb)を模式的に示す。図9Cに示すように、第2のサブ画像Sbも、6個のフォトダイオード4pによって取得される6個の画素から構成されている。ただし、第2のサブ画像Sbを構成する画素Pbは、被写体2の全体のうち、領域A1、A2、A3、A4、A5およびA6とは異なる領域B1、B2、B3、B4、B5およびB6(図7A参照)に関する画素値を持つ。言い換えれば、第2のサブ画像Sbは、被写体2の全体のうち、領域A1、A2、A3、A4、A5およびA6の情報は有しておらず、代わりに、領域B1、B2、B3、B4、B5およびB6の情報を有している。ここでは、例えば領域B1は、被写体2において領域A1の右側に隣接する領域である(図7A参照)。
FIG. 9C schematically shows an image Sb (second sub-image Sb) acquired under the irradiation direction shown in FIGS. 9A and 9B. As shown in FIG. 9C, the second sub-image Sb is also composed of six pixels acquired by the six
図8Aおよび図8Bと、図9Aおよび図9Bとを比較することによって理解されるように、照射方向を適切に変更することにより、被写体2の異なる領域を透過した光線をフォトダイオード4pに入射させることができる。その結果、第1のサブ画像Saと第2のサブ画像Sbは、被写体2において異なる位置に対応する画素情報を含むことができる。
As understood by comparing FIGS. 8A and 8B with FIGS. 9A and 9B, by appropriately changing the irradiation direction, light beams that have passed through different regions of the subject 2 are incident on the
図10Aおよび図10Bは、図8Aおよび図8Bに示す照射方向ならびに図9Aおよび図9Bに示す照射方向とは異なる照射方向から光線を入射させた状態を示している。図10Aおよび図10Bに示す光線は、z方向に対してy方向に傾斜している。 10A and 10B show a state in which light rays are incident from an irradiation direction different from the irradiation direction shown in FIGS. 8A and 8B and the irradiation directions shown in FIGS. 9A and 9B. The light rays shown in FIGS. 10A and 10B are inclined in the y direction with respect to the z direction.
図10Cは、図10Aおよび図10Bに示す照射方向のもとで取得される画像Sc(第3のサブ画像Sc)を模式的に示す。図10Cに示すように、第3のサブ画像Scは、6個のフォトダイオード4pによって取得される6個の画素Pcから構成されている。図示するように、第3のサブ画像Scは、被写体2の全体のうち、図7Aに示す領域C1、C2、C3、C4、C5およびC6の情報を有している。ここでは、例えば領域C1は、被写体2において領域A1の上側に隣接する領域である(図7A参照)。
FIG. 10C schematically shows an image Sc (third sub-image Sc) acquired under the irradiation direction shown in FIGS. 10A and 10B. As shown in FIG. 10C, the third sub-image Sc is composed of six pixels Pc acquired by the six
図11Aは、図8Aおよび図8Bに示す照射方向、図9Aおよび図9Bに示す照射方向、ならびに図10Aおよび図10Bに示す照射方向とは異なる照射方向から光線を入射させた状態を示している。図11Aに示す光線は、z方向に対して、xy面内においてx軸と45°の角をなす方向に傾斜している。 11A shows a state in which light rays are incident from an irradiation direction shown in FIGS. 8A and 8B, an irradiation direction shown in FIGS. 9A and 9B, and an irradiation direction different from the irradiation directions shown in FIGS. 10A and 10B. . The light ray shown in FIG. 11A is inclined in a direction that forms an angle of 45 ° with the x axis in the xy plane with respect to the z direction.
図11Bは、図11Aに示す照射方向のもとで取得される画像Sd(第4のサブ画像Sd)を模式的に示す。図11Bに示すように、第4のサブ画像Sdは、6個のフォトダイオード4pによって取得される6個の画素Pdから構成されている。第4のサブ画像Sdは、被写体2の全体のうち、図7Aに示す領域D1、D2、D3、D4、D5およびD6の情報を有している。ここでは、例えば領域D1は、領域C1の右側に隣接する領域である(図7A参照)。このように、サブ画像Sa、Sb、ScおよびSdの各々は、被写体2の異なる部分から構成される像を含んでいる。
FIG. 11B schematically shows an image Sd (fourth sub-image Sd) acquired under the irradiation direction shown in FIG. 11A. As shown in FIG. 11B, the fourth sub-image Sd is composed of six pixels Pd acquired by six
図12は、4枚のサブ画像Sa、Sb、ScおよびSdから合成される高解像度画像HRを示している。図12に示すように、高解像度画像HRの画素数または画素密度は、4枚のサブ画像Sa、Sb、ScおよびSdの各々の画素数または画素密度の4倍である。 FIG. 12 shows a high-resolution image HR synthesized from four sub-images Sa, Sb, Sc, and Sd. As shown in FIG. 12, the number of pixels or the pixel density of the high-resolution image HR is four times the number of pixels or the pixel density of each of the four sub-images Sa, Sb, Sc, and Sd.
例えば、被写体2における、図7Aに示す領域A1、B1、C1およびD1のブロックに着目する。これまでの説明からわかるように、図12に示すサブ画像Saの画素Pa1は、上述のブロック全体ではなく、領域A1のみの情報を有している。したがって、サブ画像Saは、領域B1、C1およびD1の情報が欠落した画像であるということができる。 For example, attention is focused on the blocks of the areas A1, B1, C1, and D1 shown in FIG. As can be seen from the above description, the pixel Pa1 of the sub-image Sa shown in FIG. 12 has information on only the area A1, not the entire block described above. Therefore, it can be said that the sub-image Sa is an image in which information on the areas B1, C1, and D1 is missing.
しかしながら、被写体2において異なる位置に対応する画素情報を有するサブ画像Sb、ScおよびSdを用いることにより、図12に示すように、サブ画像Saにおいて欠落した情報を補完し、ブロック全体の情報を有する高解像度画像HRを形成することが可能である。個々のサブ画像の解像度がイメージセンサ4の固有解像度に等しいことに対し、この例では、イメージセンサ4の固有解像度の4倍の解像度が得られている。高解像度化(超解像)の程度は、イメージセンサの開口率に依存する。この例では、イメージセンサ4の開口率が25%であるため、異なる4方向からの光照射によって最大4倍の高解像度化が達成されている。Nを2以上の整数するとき、イメージセンサ4の開口率が近似的に1/Nに等しければ、最大N倍の高解像度化が可能である。
However, by using the sub-images Sb, Sc, and Sd having pixel information corresponding to different positions in the
このように、被写体を基準にして複数の異なる照射方向から、順次、平行光を照射して被写体の撮像を行うことにより、被写体から「空間的」にサンプリングされる画素情報を増加させることができる。得られた複数のサブ画像を合成することにより、複数のサブ画像の各々よりも解像度の高い高解像度画像を形成することが可能である。もちろん、照射方向は、図8A〜図11Bを参照して説明した照射方向に限定されない。 In this way, by imaging a subject by sequentially irradiating parallel light from a plurality of different irradiation directions with respect to the subject, pixel information sampled “spatially” from the subject can be increased. . By synthesizing the obtained plurality of sub-images, it is possible to form a high-resolution image having a higher resolution than each of the plurality of sub-images. Of course, the irradiation direction is not limited to the irradiation direction described with reference to FIGS. 8A to 11B.
なお、上記の例において、図12に示すサブ画像Sa、Sb、ScおよびSdは、被写体2における互いに異なる領域の画素情報を有しており、重なりを有していない。しかしながら、異なるサブ画像間において重なりを有していてもよい。また、上記の例では、被写体2において隣接する2つの領域を通過した光線は、いずれも、同一のフォトダイオードに入射している。しかしながら、照射方向の設定はこの例に限定されない。例えば、図13に示すように、被写体2の隣接する2つの領域を通過した光線が、それぞれ、異なるフォトダイオードに入射するように照射方向が調整されていてもよい。
In the above example, the sub-images Sa, Sb, Sc and Sd shown in FIG. 12 have pixel information of different regions in the
<モジュール>
図7A〜図12を参照して説明した原理に基づく高解像度画像の形成において、サブ画像の取得は、被写体2がイメージセンサ4の撮像面に近接して配置された状態で実行される。本開示の実施形態では、被写体2およびイメージセンサ4が一体化された構造を有するモジュールを用いてサブ画像の取得を行う。以下、図面を参照して、モジュールの構成の一例およびモジュールの作製方法の一例を説明する。
<Module>
In the formation of a high-resolution image based on the principle described with reference to FIGS. 7A to 12, the acquisition of the sub image is performed in a state where the
図14Aは、モジュールの断面構造の一例を模式的に示す。図14Aに示すモジュール10では、封入剤6によって覆われた被写体2がイメージセンサ4の撮像面4A上に配置されている。図示する例では、透明プレート(典型的にはガラス板)8が被写体2上に配置されている。すなわち、図14Aに例示する構成では、被写体2は、イメージセンサ4と透明プレート8との間に挟まれている。モジュール10が透明プレート8を有すると、作業性が向上するので有益である。透明プレート8としては、例えば、一般的なスライドガラスを使用することができる。なお、図中においては各要素が模式的に表されており、各要素における実際の大きさおよび形状は、図中に現された大きさおよび形状と必ずしも一致しない。以下において参照する他の図面においても同様である。
FIG. 14A schematically shows an example of a cross-sectional structure of the module. In the
図14Aに例示する構成において、イメージセンサ4は、パッケージ5に固定されている。図14Bは、図14Aに示すモジュール10をイメージセンサ4側から見たときの外観の一例を示す。図14Aおよび図14Bに示すように、パッケージ5は、透明プレート8とは反対側の面に裏面電極5Bを有する。この裏面電極5Bは、パッケージ5に形成された不図示の配線パターンを介してイメージセンサ4と電気的に接続されている。すなわち、裏面電極5Bを介して、イメージセンサ4の出力を取り出すことができる。本明細書では、パッケージとイメージセンサとが一体化された構造物を「撮像素子」と呼ぶ。
In the configuration illustrated in FIG. 14A, the
図15を参照して、モジュール10の作製方法の一例を説明する。ここでは、被写体2として生物組織の薄片(組織切片)を例示する。生物組織の薄片を被写体2として有するモジュール10は、病理診断に利用され得る。
An example of a method for manufacturing the
まず、図15に示すように、組織切片A02を透明プレート8に載せる。透明プレート8は、光学顕微鏡による試料の観察に用いられるスライドガラスであり得る。以下では、透明プレート8としてスライドガラスを例示する。次に、組織切片A02を透明プレート8ごと染色液Ssに漬けることにより、組織切片A02を染色する。次に、透明プレート8上に封入剤6を付与することにより、組織切片A02を染色することによって得られた被写体2を封入剤6によって覆う。封入剤6は、被写体2を保護する機能を有する。次に、撮像素子7を、イメージセンサ4の撮像面が被写体2に対向するようにして被写体2上に配置する。このようにして、モジュール10が得られる。
First, as shown in FIG. 15, the tissue section A02 is placed on the
モジュール10は、撮像の対象ごとに作製される。例えば病理診断の場面では、1つの検体から複数(例えば5〜20枚)の組織切片が用意される。そのため、同一の検体から得られた組織切片を被写体2として有する複数のモジュール10が作製され得る。これらの複数のモジュール10のそれぞれについて複数のサブ画像の取得を行えば、複数のモジュール10のそれぞれに対応した高解像度画像の形成が可能である。
The
図14Aに示すように、モジュール10は、光学顕微鏡による観察に用いられるプレパラートとは異なり、被写体2の画像を取得するイメージセンサ4を備えている。このようなモジュールを「電子プレパラート」と呼んでもよい。図14Aに示すように被写体2および撮像素子7が一体化された構造を有するモジュール10を用いることにより、被写体2とイメージセンサ4との間の配置を固定できるという利点が得られる。
As illustrated in FIG. 14A, the
モジュール10を用いて被写体2の画像の取得を実行するとき、透明プレート8を介して被写体2に照明光を照射する。被写体2を透過した照明光がイメージセンサ4に入射する。これにより、被写体2の画像が得られる。光源と被写体との相対的な配置を変えながら、順次、撮像を実行することにより、照射時において角度を変えて複数の異なる画像を取得することができる。例えば、図16Aに示すように、イメージセンサ4の直上に光源310を配置する。そして、コリメートされた光CLをイメージセンサ4の撮像面4Aの法線方向から被写体2に照射した状態で撮像を行えば、図8Cに示すサブ画像Saと同様のサブ画像が得られる。また、図16Bに示すように、モジュール10を傾けた状態でコリメートされた光CLを被写体2に照射して撮像を行えば、図9Cに示すサブ画像Sb(あるいは図10Cに示すサブ画像Sc)と同様のサブ画像が得られる。このように、光源に対するモジュール10の姿勢を変化させながら、順次、撮像を実行することにより、図7A〜図12を参照して説明した原理を適用して高解像度画像を得ることが可能である。
When acquiring an image of the subject 2 using the
<画像取得装置>
図17は、本開示の実施形態による画像取得装置の構成の一例の概略を示す。図17に示す画像取得装置100aは、照明システム30を有する。図17に例示する構成において、照明システム30は、照明光を生成する光源31、モジュール10が着脱自在に装填されるように構成されたステージ32、および、ステージ32の姿勢を変更可能に構成されたステージ駆動機構33を含んでいる。図17は、ステージ32にモジュール10が装填された状態を模式的に示している。ただし、モジュール10における封入剤6および透明プレート8の図示は省略している。モジュール10は、画像取得装置100aに必須の構成要素ではない。
<Image acquisition device>
FIG. 17 schematically illustrates an example of the configuration of an image acquisition device according to an embodiment of the present disclosure. An
モジュール10は、ステージ32に接続された状態において、被写体2を透過した照明光が撮像素子7に入射するような配置を有する。照明システム30は、例えばステージ32の姿勢を変化させることにより、被写体2を基準とする照射方向を変化させる。本明細書における「姿勢」の変化は、基準面に対する傾斜の変化、基準方位に対する回転角度の変化、および、基準点に対する位置の変化などを広く含む。被写体2を基準とする複数の異なる照射方向から、順次、光源31によって生成された照明光で被写体2を照射する。照明システム30の構成の詳細および動作の例は後述する。照射方向を変えて被写体2を照射することにより、複数の異なる照射方向に応じて異なる複数の画像(サブ画像)が撮像素子7によって取得される。得られた複数の画像を用いて、高解像度画像の形成が可能である。
The
図17に示す画像取得装置100aは、照射方向決定部40aを有する。この照射方向決定部40aは、撮像素子7による複数のサブ画像の取得時における複数の異なる照射方向を決定する。本開示の実施形態では、サブ画像の取得は、照射方向決定部によって決定された複数の異なる照射方向のもとで実行される。言い換えれば、本開示の実施形態におけるサブ画像は、照射方向決定部によって決定された複数の異なる照射方向に対応した複数の異なる画像である。
An
次に、図18A〜図19Bを参照して、被写体を基準とする照明光の照射方向を変更する方法の一例を説明する。 Next, an example of a method for changing the irradiation direction of the illumination light with the subject as a reference will be described with reference to FIGS. 18A to 19B.
図18Aおよび図18Bは、画像取得装置100aの例示的な外観を示す。図18Aに例示する構成において、画像取得装置100aは、光源31およびステージ32を含む本体110と、本体110に開閉可能に連結された蓋部120とを有している。蓋部120を閉じることにより、画像取得装置100aの内部に暗室を形成することができる(図18B参照)。
18A and 18B show an exemplary appearance of the
図示する例では、ステージ32上にモジュール10を保持するためのソケット130が接続されている。ソケット130は、ステージ32に固定されていてもよいし、ステージ32に着脱可能に構成されていてもよい。ここでは、ソケット130がステージ32に着脱可能に構成されている構成を例示する。ソケット130は、例えば、モジュール10が着脱可能に構成された下部基材132と、開口部Apが形成された上部基材134とを含む。図18Aに例示する構成では、ソケット130は、下部基材132と上部基材134との間にモジュール10を挟むことにより、モジュール10を保持する。
In the illustrated example, a
下部基材132は、モジュール10の撮像素子7との電気的接続のための電気的接点を有する電気接続部を有し得る。被写体の画像の取得時、撮像素子7の撮像面が光源31に対向するようにしてモジュール10が下部基材132に載せられる。このとき、電気接続部の電気的接点と撮像素子7の裏面電極5B(図14Aおよび図14B参照)とが接触することにより、モジュール10の撮像素子7と下部基材132の電気接続部とが電気的に接続される。
The
図18Cは、画像取得装置100aのステージ32に対するソケット130の装填方法の一例を示す。図18Cに例示する構成において、ソケット130は、底面から突出する電極136を有している。この電極136は、下部基材132の電気接続部の一部であり得る。また、図18Cに示す例では、画像取得装置100aのステージ32は、ジャック36が設けられた取付部34を有している。図18Cに示すように、例えばモジュール10を保持した状態のソケット130は、ジャック36にソケット130の電極136が挿入されるようにしてステージ32に装填される。これにより、ソケット130に保持されたモジュール10中の撮像素子7と、画像取得装置100aとの間の電気的接続が確立される。ステージ32は、モジュール10を保持するソケット130が装填された状態においてイメージセンサ4の出力を受け取る回路を有し得る。本開示の実施形態では、画像取得装置100aは、ソケット130が有する電気接続部を仲立ちとして被写体2の画像を示す情報(画像信号あるいは画像データ)を取得する。
FIG. 18C shows an example of a method for loading the
なお、複数のモジュール10を用いて複数の被写体の撮像を行う場合、モジュール10と同数のソケット130を用意し、モジュール10を保持した状態のソケット130を換装することによって撮像の対象を変更してもよい。あるいは、ステージ32に1つのソケット130を取り付けた状態のままモジュール10を換装することにより、撮像の対象を変更してもよい。
When imaging a plurality of subjects using a plurality of
図18Cに示すように、ソケット130をステージ32に装填することにより、ソケット130の底面と、取付部34の上面とを密着させ得る。これにより、ステージ32に対するソケット130の配置が固定される。したがって、ステージ32と、ソケット130に保持されたモジュール10との配置をステージ32の姿勢の変化の前後において一定に保つことができる。典型的には、ステージ32にソケット130が装填された状態において、モジュール10の透明プレート8の主面とステージ32とは、ほぼ平行である。
As illustrated in FIG. 18C, by loading the
図19Aは、照射方向を変更する方法の一例を示す。図示するように、ソケット130に保持されたモジュール10に、光源31から出射された照明光CLが照射される。照明光CLは、ソケット130に設けられた開口部Apを介して、モジュール10の被写体に入射する。被写体を透過した光が、モジュール10の撮像素子7の撮像面に入射する。
FIG. 19A shows an example of a method for changing the irradiation direction. As illustrated, the illumination light CL emitted from the
光源31から出射される光は、典型的には、コリメートされた光である。ただし、被写体に入射する光が実質的に平行光であるとみなせる場合には、光源31から出射される光はコリメートされた光でなくてもよい。
The light emitted from the
光源31は、例えばLEDチップを含む。光源31は、各々が異なる波長帯域にピークを有する複数のLEDチップを含んでいてもよい。例えば、光源31が、青色の光を出射するLEDチップ、赤色の光を出射するLEDチップ、および緑色の光を出射するLEDチップを含んでいてもよい。複数の発光素子を近接(例えば100μm程度)して配置した場合には、これらを点光源とみなし得る。
The
互いに異なる色の光を出射する複数の発光素子を使用し、例えば、異なる色の光を照射方向ごとにタイムシーケンシャルに照射することにより、それぞれの色についての複数のサブ画像を取得することができる。例えば、青色サブ画像のセット、赤色サブ画像のセット、および緑色サブ画像のセットを取得してもよい。取得されたサブ画像のセットを用いれば、カラーの高解像度画像を形成することができる。例えば病理診断の場面では、カラーの高解像度画像を利用することにより、病変の有無などに関するより多くの有益な情報を得ることができる。光源31として白色LEDチップを用い、かつ、光路上にカラーフィルタを配置することによって、互いに異なる色の照明光をタイムシーケンシャルに得てもよい。また、イメージセンサ4としてカラー撮像用のイメージセンサを用いてもよい。ただし、イメージセンサ4の光電変換部に入射する光量の低減を抑制する観点からは、カラーフィルタを配置しない構成の方が有利である。
Using a plurality of light emitting elements that emit light of different colors, for example, by sequentially irradiating light of different colors in each irradiation direction, a plurality of sub-images for each color can be acquired. . For example, a set of blue sub-images, a set of red sub-images, and a set of green sub-images may be obtained. By using the acquired set of sub-images, a color high-resolution image can be formed. For example, in a pathological diagnosis scene, more useful information regarding the presence or absence of a lesion can be obtained by using a color high-resolution image. By using a white LED chip as the
光源31は、LEDに限定されず、白熱電球、レーザ素子、ファイバーレーザ、放電管などであってもよい。光源31から出射される光は、可視光に限定されず、紫外線、赤外線などであってもよい。光源31が有する発光素子の数および配置も任意に設定可能である。
The
図17および図19Aに示すように、画像取得装置100aは、ステージ駆動機構33を有する。ステージ駆動機構33は、ゴニオ機構、回転機構などを含み、本体110に対するステージ32の傾斜および/またはステージ32の中心を通る軸に関する回転角を変化させる。ステージ駆動機構33が、ステージ32を基準面(典型的には水平面)内において平行移動させることが可能なスライド機構を含んでいてもよい。
As shown in FIGS. 17 and 19A, the
ステージ駆動機構33を動作させることにより、ステージ32の姿勢を変化させることができる。ここでは、モジュール10を保持した状態のソケット130がステージ32に取り付けられているので、ステージ32の姿勢を変化させることにより、モジュール10の姿勢を変化させることができる。例えば、ステージ32が基準面に対して傾斜していない時における照明光の入射方向がイメージセンサの撮像面の法線方向であるとする。ここでは、基準面に対するステージ32の傾斜と基準面に対するモジュール10の傾斜(透明プレート8の傾斜といってもよい。)との間の関係(例えば、平行)が、ステージ32の姿勢の変化の前後において一定に保たれている。そのため、図19Bに示すように、基準面に対してステージ32を角度θだけ傾斜させると、被写体に入射する光線の方向も角度θだけ傾斜する。なお、図19B中、破線Nは、イメージセンサの撮像面の法線を示している。
By operating the
このように、ステージ32とともにモジュール10の姿勢を変化させることにより、被写体2を基準として複数の異なる照射方向から、順次、照明光を被写体に照射することが可能である。したがって、被写体2を基準とする複数の異なる照射方向に応じた複数の画像をモジュール10の撮像素子7によって取得することができる。被写体2を基準とする照射方向は、例えば、イメージセンサの撮像面の法線Nと被写体2への入射光線とがなす角(図19Bに示す天頂角θ)、および撮像面上に設定した基準方位と入射光線の撮像面への射影とがなす角(方位角)の組によって表すことができる。
Thus, by changing the posture of the
なお、光源31を画像取得装置100a内において移動させたり、互いに異なる場所に配置された複数の光源を順次に点灯させたりすることによっても、複数の異なる照射方向から被写体2を照射することが可能である。例えば、光源31と被写体2とを結ぶ方向に沿って光源31を移動させることにより、照射方向を変更してもよい。ステージ32の姿勢の変化と光源31の移動とを組み合わせることによって照射方向を変化させてもよい。
It is possible to irradiate the subject 2 from a plurality of different irradiation directions by moving the
<モジュールに用いられるイメージセンサ>
なお、本開示の実施形態において、イメージセンサ4は、CCDイメージセンサに限定されず、CMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ、また
は、その他のイメージセンサ(一例として、後述する光電変換膜積層型イメージセンサ)であってもよい。CCDイメージセンサおよびCMOSイメージセンサは、表面照射型または裏面照射型のいずれであってもよい。以下、イメージセンサの素子構造と、イメージセンサのフォトダイオードに入射する光の関係を説明する。
<Image sensors used in modules>
In the embodiment of the present disclosure, the
図20は、CCDイメージセンサの断面構造と、被写体の相対的な透過率Tdの分布の例とを示す。図20に示すように、CCDイメージセンサは、概略的には、基板80と、基板80上の絶縁層82と、絶縁層82内に配置された配線84とを有している。基板80には、複数のフォトダイオード88が形成されている。配線84上には、遮光層(図20において不図示)が形成される。ここでは、トランジスタなどの図示は省略している。以下の図面においてもトランジスタなどの図示を省略する。なお、概略的には、表面照射型CMOSイメージセンサにおけるフォトダイオード近傍の断面構造は、CCDイメージセンサにおけるフォトダイオード近傍の断面構造とほぼ同様である。そのため、ここでは、表面照射型CMOSイメージセンサの断面構造の図示および説明を省略する。
FIG. 20 shows a cross-sectional structure of the CCD image sensor and an example of the distribution of the relative transmittance Td of the subject. As shown in FIG. 20, the CCD image sensor generally includes a
図20に示すように、照明光が撮像面の法線方向から入射する場合、被写体のうち、フォトダイオード88の直上にある領域R1を透過した照射光は、フォトダイオード88に入射する。一方、被写体のうち、配線84上の遮光層の直上にある領域R2を透過した照射光は、イメージセンサの遮光領域(遮光膜が形成された領域)に入射する。したがって、撮像面の法線方向から照射した場合には、被写体のうち、フォトダイオード88の直上にある領域R1を示す画像が得られる。
As shown in FIG. 20, when the illumination light is incident from the normal direction of the imaging surface, the irradiation light transmitted through the region R <b> 1 immediately above the
遮光膜の直上にある領域を示す画像を取得するためには、領域R2を透過した光がフォトダイオード88に入射するように、撮像面の法線方向に対して傾いた方向から照射を行えばよい。このとき、照射方向によっては、領域R2を透過した光のうちの一部が、配線84によって遮られることがある。図示する例では、ハッチングによって示す部分を通る光線はフォトダイオード88には届かない。そのため、斜め入射においては、画素値が幾分低下することがある。しかしながら、透過光の全てが遮られるわけではないので、このときに得られたサブ画像を用いた高解像度画像の形成は可能である。
In order to acquire an image showing a region immediately above the light shielding film, irradiation is performed from a direction inclined with respect to the normal direction of the imaging surface so that light transmitted through the region R2 enters the
図21Aおよび図21Bは、裏面照射型CMOSイメージセンサの断面構造と、被写体の相対的な透過率Tdの分布の例とを示す。図21Aに示すように、裏面照射型CMOSイメージセンサでは、斜め入射の場合であっても透過光が配線84によって遮られることがない。ただし、被写体のうち、撮像を行いたい領域とは異なる他の領域を透過した光(図21Aおよび後述する図21B中、太い矢印BAで模式的に示す光)が基板80に入射することによってノイズが発生し、サブ画像の品質が劣化するおそれがある。このような劣化は、図21Bに示すように、基板においてフォトダイオードが形成された領域以外の領域上に遮光層90を形成することにより低減することが可能である。
FIG. 21A and FIG. 21B show a cross-sectional structure of a backside illuminated CMOS image sensor and an example of a relative transmittance Td distribution of a subject. As shown in FIG. 21A, in the backside illuminated CMOS image sensor, transmitted light is not blocked by the
図22は、有機材料または無機材料で形成した光電変換膜を備えるイメージセンサ(以下、「光電変換膜積層型イメージセンサ」と呼ぶ。)の断面構造と、被写体の相対的な透過率Tdの分布の例とを示す。 FIG. 22 shows a cross-sectional structure of an image sensor (hereinafter referred to as a “photoelectric conversion film laminated image sensor”) including a photoelectric conversion film formed of an organic material or an inorganic material, and a distribution of relative transmittance Td of the subject. And an example.
図22に示すように、光電変換膜積層型イメージセンサは、概略的には、基板80と、複数の画素電極が設けられた絶縁層82と、絶縁層82上の光電変換膜94と、光電変換膜94上の透明電極96とを有している。図示するように、光電変換膜積層型イメージセンサでは、半導体基板に形成されるフォトダイオードの代わりに、光電変換を行う光電変換膜94が基板80(例えば半導体基板)上に形成されている。光電変換膜94および透明電極96は、典型的には、撮像面の全体にわたって形成される。ここでは、光電変換膜94を保護する保護膜の図示を省略している。
As shown in FIG. 22, the photoelectric conversion film stacked image sensor generally includes a
光電変換膜積層型イメージセンサでは、光電変換膜94における入射光の光電変換によって発生した電荷(電子または正孔)が画素電極92によって集められる。これにより、光電変換膜94に入射した光の量を示す値が得られる。したがって、光電変換膜積層型イメージセンサでは、撮像面において、1つの画素電極92を含む単位領域が1つの画素に相当するといえる。光電変換膜積層型イメージセンサでは、裏面照射型CMOSイメージセンサと同様に斜め入射の場合であっても透過光が配線によって遮られることがない。
In the photoelectric conversion film stacked image sensor, charges (electrons or holes) generated by photoelectric conversion of incident light in the
図7A〜図12を参照して説明したように、高解像度画像の形成においては、被写体の異なる部分から構成される像を示す複数のサブ画像が用いられる。ところが、典型的な光電変換膜積層型イメージセンサでは、撮像面の全体にわたって光電変換膜94が形成されているので、例えば垂直入射の場合であっても、被写体の所望の領域以外の領域を透過した光によっても光電変換膜94において光電変換が生じ得る。このときに発生した余分な電子または正孔が画素電極92に引き込まれると、適切なサブ画像が得られないおそれがある。したがって、画素電極92と透明電極96とが重なる領域(図22において網掛けされた領域)において発生した電荷を画素電極92に選択的に引き込むことが有益である。
As described with reference to FIGS. 7A to 12, in the formation of a high-resolution image, a plurality of sub-images showing images composed of different parts of the subject are used. However, in a typical photoelectric conversion film laminated image sensor, since the
図22に例示する構成では、画素電極92のそれぞれと対応して、画素内にダミー電極98が設けられている。被写体の像の取得時、画素電極92とダミー電極98との間には、適切な電位差が与えられる。これにより、画素電極92と透明電極96とが重なる領域以外の領域で発生した電荷をダミー電極98に引き込み、画素電極92と透明電極96とが重なる領域で発生した電荷を選択的に画素電極92に引き込むことができる。なお、透明電極96または光電変換膜94のパターニングによっても、同様の効果を得ることが可能である。このような構成においては、画素の面積S1に対する画素電極92の面積S3の比率(S3/S1)が、「開口率」に相当するということができる。
In the configuration illustrated in FIG. 22, a
既に説明したように、Nを2以上の整数とするとき、イメージセンサ4の開口率が近似的に1/Nに等しければ、最大N倍の高解像度化が可能になる。言い換えれば、開口率が小さい方が高解像度化には有利である。光電変換膜積層型イメージセンサでは、画素電極92の面積S3を調整することによって、開口率に相当する比率(S3/S1)を調整することが可能である。この比率(S3/S1)は、例えば10%〜50%の範囲に設定される。比率(S3/S1)が上記の範囲内にある光電変換膜積層型イメージセンサは、超解像に用いられ得る。
As already described, when N is an integer equal to or greater than 2, if the aperture ratio of the
なお、図20および図21Bからわかるように、CCDイメージセンサおよび表面照射型CMOSイメージセンサにおいて被写体と対向する表面は平坦ではない。例えば、CCDイメージセンサでは、その表面に段差が存在する。また、裏面照射型CMOSイメージセンサでは、高解像度画像を形成するためのサブ画像を取得するには、パターニングされた遮光層を撮像面上に設けることが必要であり、被写体と対向する表面は平坦ではない。 As can be seen from FIGS. 20 and 21B, the surface of the CCD image sensor and the front-illuminated CMOS image sensor that faces the subject is not flat. For example, a CCD image sensor has a step on its surface. Further, in the backside illumination type CMOS image sensor, in order to obtain a sub-image for forming a high-resolution image, it is necessary to provide a patterned light-shielding layer on the imaging surface, and the surface facing the subject is flat. is not.
これに対し、光電変換膜積層型イメージセンサの撮像面は、図22からわかるように、ほぼ平坦な面である。したがって、撮像面上に被写体を配置した場合であっても、撮像面の形状に起因する被写体の変形がほとんど生じない。言い換えれば、光電変換膜積層型イメージセンサを用いてサブ画像を取得することによって、被写体のより詳細な構造を観察し得る。 On the other hand, the imaging surface of the photoelectric conversion film laminated image sensor is a substantially flat surface as can be seen from FIG. Therefore, even when the subject is arranged on the imaging surface, the subject is hardly deformed due to the shape of the imaging surface. In other words, a more detailed structure of the subject can be observed by acquiring a sub-image using a photoelectric conversion film laminated image sensor.
以上、一つまたは複数の態様に係る画像出力装置について、いくつかの実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示に含まれてもよい。 As described above, the image output apparatus according to one or a plurality of aspects has been described based on some embodiments, but the present invention is not limited to these embodiments. Unless it deviates from the meaning of the present invention, various forms conceived by those skilled in the art may be applied to the present embodiment, and forms constructed by combining components in different embodiments may be included in the present disclosure. .
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像出力装置などを実現するソフトウェアは、図3、図4、図6A、または図6Bのフローチャートにおける各ステップをコンピュータに実行させるプログラムである。 In each of the above embodiments, each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component. Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory. Here, the software that realizes the image output apparatus of each of the above embodiments is a program that causes a computer to execute each step in the flowchart of FIG. 3, FIG. 4, FIG. 6A, or FIG.
また、本開示において、ユニット、デバイスの全部又は一部、又は図1および図5に示されるブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路(IC)、又はLSI(large scale integration)を含む一つ又は一つ以上の電子回路によって実行されてもよい。LSI又はICは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、LSIやICと呼んでいるが、集積の度合いによって呼び方が変わり、システムLSI、VLSI(very large scale integration)、若しくはULSI(ultra large scale integration) と呼ばれるかもしれない。 LSIの製造後にプログラムされる、Field Programmable Gate Array (FPGA)、又はLSI内部の接合関係の再構成又はLSI内部の回路区画のセットアップができるreconfigurable logic deviceも同じ目的で使うことができる。 Further, in this disclosure, all or part of a unit, a device, or all or part of the functional blocks in the block diagrams shown in FIGS. 1 and 5 may be a semiconductor device, a semiconductor integrated circuit (IC), or an LSI (large may be implemented by one or more electronic circuits including scale integration). The LSI or IC may be integrated on a single chip, or may be configured by combining a plurality of chips. For example, the functional blocks other than the memory element may be integrated on one chip. Here, it is called LSI or IC, but the name changes depending on the degree of integration and may be called system LSI, VLSI (very large scale integration), or ULSI (ultra large scale integration). A Field Programmable Gate Array (FPGA) programmed after manufacture of an LSI, or a reconfigurable logic device capable of reconfiguring junction relations inside the LSI or setting up circuit partitions inside the LSI can be used for the same purpose.
さらに、ユニット、装置、又は装置の一部の、全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は一つ以上のROM、光学ディスク、ハードディスクドライブ、などの非一時的記録媒体に記録され、ソフトウエアが、処理装置(processor)によって実行された場合に、ソフトウエアは、ソフトウエア内の特定の機能を、処理装置(processor)と周辺のデバイスに実行させる。システム又は装置は、ソフトウエアが記録されている一つ又は一つ以上の非一時的記録媒体、処理装置(processor)、及び必要とされるハードウエアデバイス、例えばインターフェース、を備えていても良い。 Further, all or part of the functions or operations of the unit, the apparatus, or a part of the apparatus can be executed by software processing. In this case, the software is recorded on a non-transitory recording medium such as one or more ROMs, optical disks, hard disk drives, etc., and the software is executed when the software is executed by a processor. Causes specific functions in the software to be executed by the processor and peripheral devices. The system or apparatus may comprise one or more non-transitory recording media in which software is recorded, a processor, and required hardware devices such as an interface.
本開示は、被写体の画像をスムーズに表示することができるという効果を奏し、例えば、病理検体の高解像度画像を表示するための画像出力装置などに適用することができる。 The present disclosure has an effect that an image of a subject can be displayed smoothly, and can be applied to, for example, an image output apparatus for displaying a high-resolution image of a pathological specimen.
1000,2000 画像処理システム
1001,2001 画像出力装置
1100 画像送信装置
1101 画像取得部
1102 高解像度画像生成部
1113 通知部
1200 画像受信装置
1201 拡大受付部
1202 切替部
1203 表示用出力部
1210 補間画像生成部
1213 報知部
1500 デジタル顕微鏡
1501 表示装置
1000, 2000
Claims (9)
前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である第二解像度画像を生成する高解像度画像生成部と、
取得された前記第一解像度画像における一部の領域に対する拡大率と、当該領域の位置とを含む拡大情報を受け付ける拡大受付部と、
前記拡大受付部によって受け付けられた前記拡大情報に基づいて前記第一解像度画像の前記領域に対する画素補間を行って当該領域を拡大することによって補間拡大画像を生成する補間画像生成部と、
前記補間拡大画像を表示装置に出力することによって、前記補間拡大画像を前記表示装置に表示させる表示用出力部と、
前記拡大受付部によって受け付けられた前記拡大情報に含まれる拡大率が所定の値よりも大きい場合に、前記拡大情報に応じた前記第二解像度画像を前記高解像度画像生成部に生成させ、前記表示用出力部に対して、前記表示装置に出力されている前記補間拡大画像を、前記拡大情報に応じた前記第二解像度画像に切り替えさせる切替部と、
を備える画像出力装置。 An image acquisition unit for acquiring a first resolution image that is an image of a subject obtained based on photographing by a digital microscope;
A high-resolution image generation unit that generates a second resolution image that is an image of the subject that is an image having a higher resolution than the first resolution image and is obtained based on photographing by the digital microscope;
An enlargement receiving unit for receiving enlargement information including an enlargement ratio for a partial area in the acquired first resolution image and a position of the area;
An interpolation image generation unit that generates an interpolation enlarged image by performing pixel interpolation on the region of the first resolution image based on the enlargement information received by the enlargement reception unit, and enlarging the region;
A display output unit for displaying the interpolated magnified image on the display device by outputting the interpolated magnified image to a display device;
When the enlargement ratio included in the enlargement information received by the enlargement reception unit is greater than a predetermined value, the second resolution image corresponding to the enlargement information is generated by the high-resolution image generation unit, and the display A switching unit that causes the output unit to switch the interpolated enlarged image output to the display device to the second resolution image according to the enlarged information;
An image output apparatus comprising:
前記表示用出力部は、前記拡大受付部によって前記拡大情報が受け付けられるごとに、当該拡大情報に基づく前記補間拡大画像、または、当該拡大情報に応じた前記第二解像度画像を前記表示装置に出力することによって、前記表示装置に表示される画像を切り替える
請求項1に記載の画像出力装置。 The expansion reception unit sequentially receives the expansion information,
The display output unit outputs the interpolated enlarged image based on the enlarged information or the second resolution image corresponding to the enlarged information to the display device every time the enlarged information is received by the enlarged receiving unit. The image output device according to claim 1, wherein the image displayed on the display device is switched.
前記切替部は、前記調整期間の経過時点において、当該経過時点の直前に受け付けられた前記拡大情報に含まれる拡大率が所定の値よりも大きい場合に、前記表示用出力部に対して、前記表示装置に出力されている前記補間拡大画像を、前記拡大情報に応じた前記第二解像度画像に切り替えさせる
請求項1に記載の画像出力装置。 The expansion receiving unit sequentially receives the expansion information during a predetermined adjustment period,
When the enlargement rate included in the enlargement information received immediately before the elapsed time is larger than a predetermined value at the time when the adjustment period has elapsed, the switching unit The image output device according to claim 1, wherein the interpolated enlarged image output to the display device is switched to the second resolution image corresponding to the enlarged information.
前記画像出力装置は、さらに、
前記第二解像度画像の生成に必要とされるだけの複数の前記第一解像度画像が前記画像取得部によって取得されたときに、撮影の完了をユーザに報知する報知部を備える
請求項1〜3の何れか1項に記載の画像出力装置。 The high-resolution image generation unit generates the second resolution image using the plurality of first resolution images acquired by the image acquisition unit;
The image output device further includes:
4. A notification unit for notifying a user of completion of photographing when a plurality of the first resolution images necessary for generating the second resolution image are acquired by the image acquisition unit. The image output device according to any one of the above.
前記画像送信装置は、
デジタル顕微鏡による撮影に基づいて得られる被写体の画像である第一解像度画像を取得する画像取得部と、
前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である第二解像度画像を生成する高解像度画像生成部とを備え、
前記画像受信装置は、
取得された前記第一解像度画像における一部の領域に対する拡大率と、当該領域の位置とを含む拡大情報を受け付ける拡大受付部と、
前記拡大受付部によって受け付けられた前記拡大情報に基づいて、前記画像送信装置から送信された前記第一解像度画像の前記領域に対する画素補間を行って当該領域を拡大することによって補間拡大画像を生成する補間画像生成部と、
前記補間拡大画像を表示装置に出力することによって、前記補間拡大画像を前記表示装置に表示させる表示用出力部と、
前記拡大受付部によって受け付けられた前記拡大情報に含まれる拡大率が所定の値よりも大きい場合に、前記拡大情報に応じた前記第二解像度画像を前記高解像度画像生成部に生成させて、当該高解像度画像生成部から前記拡大情報に応じた前記第二解像度画像を取得し、前記表示用出力部に対して、前記表示装置に出力されている前記補間拡大画像を、前記拡大情報に応じた前記第二解像度画像に切り替えさせる切替部とを備える、
画像出力装置。 An image output device having an image transmission device and an image reception device connected to the image transmission device via a communication line,
The image transmission device includes:
An image acquisition unit for acquiring a first resolution image that is an image of a subject obtained based on photographing by a digital microscope;
A high-resolution image generating unit that generates an image having a higher resolution than the first resolution image and a second resolution image that is an image of the subject obtained based on photographing by the digital microscope;
The image receiving device includes:
An enlargement receiving unit for receiving enlargement information including an enlargement ratio for a partial area in the acquired first resolution image and a position of the area;
Based on the enlargement information received by the enlargement accepting unit, an interpolated enlarged image is generated by performing pixel interpolation on the region of the first resolution image transmitted from the image transmission device and enlarging the region. An interpolation image generation unit;
A display output unit for displaying the interpolated magnified image on the display device by outputting the interpolated magnified image to a display device;
When the enlargement rate included in the enlargement information received by the enlargement acceptance unit is greater than a predetermined value, the second resolution image corresponding to the enlargement information is generated by the high-resolution image generation unit, The second resolution image corresponding to the enlarged information is acquired from a high-resolution image generation unit, and the interpolated enlarged image output to the display device is output to the display unit according to the enlarged information. A switching unit for switching to the second resolution image,
Image output device.
取得された前記第一解像度画像における一部の領域に対する拡大率と、当該領域の位置とを含む拡大情報を受け付け、
受け付けられた前記拡大情報に基づいて前記第一解像度画像の前記領域に対する画素補間を行って当該領域を拡大することによって補間拡大画像を生成し、
前記補間拡大画像を表示装置に出力することによって、前記補間拡大画像を前記表示装置に表示させ、
受け付けられた前記拡大情報に含まれる拡大率が所定の値よりも大きい場合に、
前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である、前記拡大情報に応じた第二解像度画像を生成し、
前記表示装置に出力されている前記補間拡大画像を、前記拡大情報に応じた前記第二解像度画像に切り替える
画像出力方法。 Obtain a first resolution image, which is an image of the subject obtained based on photography with a digital microscope,
Receiving enlargement information including an enlargement ratio for a partial area in the acquired first resolution image and a position of the area;
Generating an interpolated enlarged image by enlarging the region by performing pixel interpolation on the region of the first resolution image based on the received enlarged information;
By outputting the interpolated magnified image to a display device, the interpolated magnified image is displayed on the display device,
When the enlargement rate included in the accepted enlargement information is greater than a predetermined value,
Generating a second resolution image corresponding to the enlargement information, which is an image of a higher resolution than the first resolution image, and is an image of the subject obtained based on photographing by the digital microscope,
An image output method for switching the interpolated magnified image output to the display device to the second resolution image corresponding to the magnified information.
取得された前記第一解像度画像における一部の領域に対する拡大率と、当該領域の位置とを含む拡大情報を受け付け、
受け付けられた前記拡大情報に基づいて前記第一解像度画像の前記領域に対する画素補間を行って当該領域を拡大することによって補間拡大画像を生成し、
前記補間拡大画像を表示装置に出力することによって、前記補間拡大画像を前記表示装置に表示させ、
受け付けられた前記拡大情報に含まれる拡大率が所定の値よりも大きい場合に、
前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である、前記拡大情報に応じた第二解像度画像を生成し、
前記表示装置に出力されている前記補間拡大画像を、前記拡大情報に応じた前記第二解像度画像に切り替える
ことを、コンピュータに実行させるプログラム。 Obtain a first resolution image, which is an image of the subject obtained based on photography with a digital microscope,
Receiving enlargement information including an enlargement ratio for a partial area in the acquired first resolution image and a position of the area;
Generating an interpolated enlarged image by enlarging the region by performing pixel interpolation on the region of the first resolution image based on the received enlarged information;
By outputting the interpolated magnified image to a display device, the interpolated magnified image is displayed on the display device,
When the enlargement rate included in the accepted enlargement information is greater than a predetermined value,
Generating a second resolution image corresponding to the enlargement information, which is an image of a higher resolution than the first resolution image, and is an image of the subject obtained based on photographing by the digital microscope,
A program for causing a computer to switch the interpolated magnified image output to the display device to the second resolution image corresponding to the magnified information.
前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である第二解像度画像を生成する高解像度画像生成部と、
を備える画像送信装置と、通信回線を介して接続される画像受信装置であって、
前記画像受信装置は、
取得された前記第一解像度画像における一部の領域に対する拡大率と、当該領域の位置とを含む拡大情報を受け付ける拡大受付部と、
前記拡大受付部によって受け付けられた前記拡大情報に基づいて、前記画像送信装置から送信された前記第一解像度画像の前記領域に対する画素補間を行って当該領域を拡大することによって補間拡大画像を生成する補間画像生成部と、
前記補間拡大画像を表示装置に出力することによって、前記補間拡大画像を前記表示装置に表示させる表示用出力部と、
前記拡大受付部によって受け付けられた前記拡大情報に含まれる拡大率が所定の値よりも大きい場合に、前記拡大情報に応じた前記第二解像度画像を前記高解像度画像生成部に生成させて、当該高解像度画像生成部から前記拡大情報に応じた前記第二解像度画像を取得し、前記表示用出力部に対して、前記表示装置に出力されている前記補間拡大画像を、前記拡大情報に応じた前記第二解像度画像に切り替えさせる切替部とを備える、
画像受信装置。 An image acquisition unit for acquiring a first resolution image that is an image of a subject obtained based on photographing by a digital microscope;
A high-resolution image generation unit that generates a second resolution image that is an image of the subject that is an image having a higher resolution than the first resolution image and is obtained based on photographing by the digital microscope;
An image transmitting apparatus comprising: an image receiving apparatus connected via a communication line;
The image receiving device includes:
An enlargement receiving unit for receiving enlargement information including an enlargement ratio for a partial area in the acquired first resolution image and a position of the area;
Based on the enlargement information received by the enlargement accepting unit, an interpolated enlarged image is generated by performing pixel interpolation on the region of the first resolution image transmitted from the image transmission device and enlarging the region. An interpolation image generation unit;
A display output unit for displaying the interpolated magnified image on the display device by outputting the interpolated magnified image to a display device;
When the enlargement rate included in the enlargement information received by the enlargement acceptance unit is greater than a predetermined value, the second resolution image corresponding to the enlargement information is generated by the high-resolution image generation unit, The second resolution image corresponding to the enlarged information is acquired from a high-resolution image generation unit, and the interpolated enlarged image output to the display device is output to the display unit according to the enlarged information. A switching unit for switching to the second resolution image,
Image receiving device.
前記拡大受付部によって受け付けられた前記拡大情報に基づいて、画像送信装置から送信された前記第一解像度画像の前記領域に対する画素補間を行って当該領域を拡大することによって補間拡大画像を生成する補間画像生成部と、
前記補間拡大画像を表示装置に出力することによって、前記補間拡大画像を前記表示装置に表示させる表示用出力部と、
前記拡大受付部によって受け付けられた前記拡大情報に含まれる拡大率が所定の値よりも大きい場合に、前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である、前記拡大情報に応じた第二解像度画像を、前記画像送信装置の高解像度画像生成部に生成させて、当該高解像度画像生成部から前記拡大情報に応じた前記第二解像度画像を取得し、前記表示用出力部に対して、前記表示装置に出力されている前記補間拡大画像を、前記拡大情報に応じた前記第二解像度画像に切り替えさせる切替部と、
を備える画像受信装置と、通信回線を介して接続される前記画像送信装置であって、
前記画像送信装置は、
前記第一解像度画像を取得する画像取得部と、
前記第二解像度画像を生成する前記高解像度画像生成部とを備える、
画像送信装置。 An enlargement accepting unit that accepts enlargement information including an enlargement ratio with respect to a partial area in the first resolution image, which is an image of a subject obtained based on photographing by a digital microscope, and a position of the area;
Interpolation for generating an interpolated enlarged image by performing pixel interpolation on the region of the first resolution image transmitted from the image transmission device and enlarging the region based on the enlargement information received by the enlargement receiving unit An image generator;
A display output unit for displaying the interpolated magnified image on the display device by outputting the interpolated magnified image to a display device;
When the enlargement ratio included in the enlargement information received by the enlargement reception unit is larger than a predetermined value, the image is higher in resolution than the first resolution image, and is obtained based on the photographing by the digital microscope. A second resolution image corresponding to the enlargement information, which is an image of the subject to be generated, is generated by the high resolution image generation unit of the image transmission device, and the second resolution image corresponding to the enlargement information is generated from the high resolution image generation unit. A switching unit that acquires a two-resolution image and causes the display output unit to switch the interpolation enlarged image output to the display device to the second resolution image according to the enlarged information;
An image receiving apparatus comprising: the image transmitting apparatus connected via a communication line,
The image transmission device includes:
An image acquisition unit for acquiring the first resolution image;
The high-resolution image generation unit for generating the second resolution image,
Image transmission device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015169823A JP6562253B2 (en) | 2015-08-28 | 2015-08-28 | Image output device, image transmission device, image reception device, image output method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015169823A JP6562253B2 (en) | 2015-08-28 | 2015-08-28 | Image output device, image transmission device, image reception device, image output method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017045431A JP2017045431A (en) | 2017-03-02 |
JP6562253B2 true JP6562253B2 (en) | 2019-08-21 |
Family
ID=58211532
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015169823A Expired - Fee Related JP6562253B2 (en) | 2015-08-28 | 2015-08-28 | Image output device, image transmission device, image reception device, image output method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6562253B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109387517B (en) * | 2017-08-10 | 2023-08-29 | 爱科来株式会社 | Analysis device and analysis method |
JP7306810B2 (en) * | 2018-09-28 | 2023-07-11 | シスメックス株式会社 | MICROSCOPE SYSTEM CONTROL METHOD, MICROSCOPE SYSTEM, PROGRAM, RECORDING MEDIUM |
WO2020129213A1 (en) * | 2018-12-20 | 2020-06-25 | 株式会社島津製作所 | X-ray imaging device |
-
2015
- 2015-08-28 JP JP2015169823A patent/JP6562253B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2017045431A (en) | 2017-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6307770B2 (en) | Image sensor | |
CN103168272B (en) | Depth estimation camera head and photographing element | |
JP6631886B2 (en) | Image forming system, image forming method, image sensor, and program | |
JP2013534083A (en) | 2-sensor imaging system | |
JP6265153B2 (en) | Image sensor | |
KR20110010784A (en) | Capturing and processing of images using monolithic camera array with heterogeneous imagers | |
US20150309301A1 (en) | Image forming apparatus, image forming method, image forming system, and recording medium | |
JP2009260411A (en) | Image pickup apparatus | |
JP5532459B2 (en) | Microscope system | |
JP2013145979A (en) | Image generating method, imaging device, display device, program, and storage medium | |
JP6562253B2 (en) | Image output device, image transmission device, image reception device, image output method and program | |
US11064144B2 (en) | Imaging element, imaging apparatus, and electronic equipment | |
JP2017216745A (en) | Scan imaging system having new imaging sensor provided with gap for electronic circuit | |
JP2012060394A (en) | Image acquisition apparatus | |
JP2013214950A (en) | Imaging apparatus | |
JP5347051B2 (en) | Magnification observation apparatus, magnification observation method, and magnification observation program | |
JP6719104B2 (en) | Image output device, image transmission device, image reception device, image output method, and recording medium | |
JP6004245B1 (en) | Image acquisition apparatus, image forming system, and image forming method | |
US10048485B2 (en) | Image output device, image transmission device, image reception device, image output method, and non-transitory recording medium | |
JP6627083B2 (en) | Image acquisition device and image forming system | |
JP6106415B2 (en) | Imaging device and display device | |
JP6558609B2 (en) | Computer | |
JP2012002923A (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180807 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190610 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190618 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190710 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6562253 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |