WO2012060393A1 - ターゲット位置追跡装置およびターゲット発光検出装置 - Google Patents

ターゲット位置追跡装置およびターゲット発光検出装置 Download PDF

Info

Publication number
WO2012060393A1
WO2012060393A1 PCT/JP2011/075225 JP2011075225W WO2012060393A1 WO 2012060393 A1 WO2012060393 A1 WO 2012060393A1 JP 2011075225 W JP2011075225 W JP 2011075225W WO 2012060393 A1 WO2012060393 A1 WO 2012060393A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
detected
light emission
target position
living body
Prior art date
Application number
PCT/JP2011/075225
Other languages
English (en)
French (fr)
Inventor
石川　正純
俊幸 浜田
研一 本間
さと 本間
ケネス リー サザランド
Original Assignee
国立大学法人北海道大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人北海道大学 filed Critical 国立大学法人北海道大学
Publication of WO2012060393A1 publication Critical patent/WO2012060393A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes

Definitions

  • the present invention relates to a target position tracking device and a target light emission detection device for tracking a target in a living body.
  • gene expression is performed by binding a fluorescent substance gene or a luminescent substance gene to a target gene of a living subject such as a living mammal or its promoter, and detecting the amount of fluorescence or luminescence generated from the target.
  • a method for quantifying the amount is known (see Patent Document 1).
  • the fluorescence and luminescence from the gene products and the like as described above are weak, and the luminescence is often observed using a high sensitivity camera in a dark box.
  • the measurement may be performed under anesthesia conditions.
  • anesthesia due to restrictions on the use of anesthesia, even when observing changes over time in gene expression, it may be as short as about 6 hours. It can only be measured by time, and it is difficult to measure by day or month.
  • the present invention detects a pattern of a plurality of markers photographed on a living body by pattern matching between a plurality of marker patterns captured in advance and a pattern of a plurality of markers stored in advance. And a target position detecting means for detecting the target position based on the relative positional relationship of the target with respect to the plurality of known markers, and tracking the target position. To do.
  • a history storage unit that stores the target position detected by the target position detection unit, and to verify the target position detected this time from the past target history stored in the storage unit.
  • the marker is a part of a living body that emits light in the same manner as the target of the living body, an infrared reflecting means attached to the living body, or a scintillator that emits light by ultraviolet light or the like attached to the living body, and the target position detecting means It is preferable to detect light emission of the marker.
  • the present invention also provides a pattern of a plurality of imaging devices that capture a plurality of markers provided in a living body, and a plurality of marker patterns that are captured by each imaging device and a plurality of marker patterns that are stored in advance.
  • Target detection means for detecting the three-dimensional position of the target based on the result of marker position detection from a plurality of imaging devices and the relative positional relationship of the target with respect to the plurality of markers known in advance, and detection
  • a light emission amount detecting means for detecting the light emission amount of the target and a correction means for correcting the light emission amount of the detected target according to the three-dimensional position of the target, and the target light emission while tracking the target position It is characterized by detecting the quantity.
  • the target detection unit may detect a direction of the living body based on the three-dimensional positions of the plurality of markers, and the correction unit may correct the light emission amount of the detected target according to the detected direction of the living body. Is preferred.
  • the marker is an ultraviolet light emission scintillator, and an ultraviolet light emission scintillator having a different emission color is attached to each of a plurality of living bodies, and the target detection unit recognizes the plurality of living bodies individually from the difference in the emission color of the ultraviolet light emission scintillator. It is preferable that the target light emission amount detection unit detects a target light emission amount for each individual living body, and the correction unit corrects the light emission amount of the target of each living body.
  • history storage means for storing the detected target position, and to verify the target position detected this time from the past target history stored in the storage means.
  • the target position is detected as a relative position from a plurality of marker positions on the living body, the target position can be accurately detected. Therefore, it is possible to quantify the weak light emission amount at the target position.
  • FIG. 1 is a diagram illustrating a schematic configuration of a target detection system according to an embodiment.
  • a mouse 12 or the like which is an animal that holds the detection target 18, is bred in the cage 10 and freely moves in the cage 10.
  • one or two cameras 14 are installed, and an image including the mouse 12 is obtained. It is also preferable to irradiate the mouse 12 with light emitted from the light emitting device 24 (24a, 24b).
  • the light-emitting device 24 is, for example, a white LED, which irradiates the mouse 12 with white light, so that an image of the mouse 12 can be reliably captured.
  • fluorescence is generated from the mouse target 18 by binding a fluorescent substance gene or a luminescent substance gene to the target gene of the mouse 12 or its promoter.
  • the olfactory bulb of the mouse 12 is the target 18.
  • the ear and nose of the mouse 12 also emit similar fluorescence. Therefore, the ears and nose of the mouse 12 can be used as the marker 16.
  • the marker 16 emit light more reliably.
  • an infrared reflecting member an ultraviolet light emitting scintillator, or the like can be employed.
  • an infrared LED is employed as the light emitting device 24, and infrared reflected light generated therefrom is photographed by the camera 14. Irradiation with infrared rays is reflected by the marker 16, so that reflected light with sufficient intensity can be obtained, and the position of the marker 16 can be reliably detected.
  • an ultraviolet LED is employed as the light emitting device 24, and the camera 14 emits light emitted from the ultraviolet light emitting scintillator that is excited by the ultraviolet light generated therefrom and emits light.
  • the light emitted by ultraviolet irradiation can be determined as red, blue, or green depending on the material. Therefore, when there are a plurality of mice 12, the first mouse 12 has a red light emitting marker 16, the second mouse 12 has a green light emitting marker 16, and the third mouse 12 has a blue light emitting marker 16. You can change the color. Therefore, by making the camera 14 a color camera, the plurality of mice 12 can be recognized separately (individually) and the marker 16 can be detected.
  • the video from the camera 14 is supplied to the analysis device 20.
  • the analysis device 20 analyzes the video from the camera 14.
  • three markers 16 (16a, 16b, 16c) are attached to the mouse 12.
  • the relative positional relationship between the three markers 16 and the olfactory bulb serving as the target 18 is known in advance. Therefore, the target position can be determined from the detected three marker positions.
  • the relative position relationship between the marker 16 and the target 18 is known in advance, so that the target position can be detected from the obtained image.
  • the video supplied to the analysis device 20 includes the marker 16 and the patterns of the three markers 16 are also known in advance.
  • the three markers 16 are two ears and a nose, they form an approximately isosceles triangle when viewed from directly above. Therefore, the three markers 16 can be identified by comparing the three markers 16 appearing in the image with the patterns of the three markers stored as templates in advance and performing pattern matching.
  • the position of the target 18 can be specified based on the positions of the three markers on the image, and the light emission luminance of the target 18 can be detected.
  • the mouse 12 emits luminescence and fluorescence from the target gene product under the control of the promoter in the target 18 by binding the fluorescent substance gene or the luminescent substance gene to the target gene or its promoter. Since this light emission is very small, it is often difficult to detect it directly. According to this embodiment, the marker 16 is detected by pattern recognition. Therefore, accurate detection can be performed even with the relatively weak luminescent marker 16. In this way, the position of the olfactory bulb in the mouse 12 that is the target 18 is specified by the analysis device 20, and the luminescence intensity at that position is measured in the captured image, whereby the amount of luminescence of the target 18 can be quantified.
  • the position of these markers 16 can be specified as a three-dimensional position.
  • the direction of the surface formed by the three markers 16 can also be detected.
  • the brightness on the shooting screen of the target 18 varies depending on not only the light emission amount of the target 18 but also the distance from the target camera and the direction of the mouse 12. That is, the luminance on the image changes even with the same light emission amount.
  • the brightness is highest when the mouse 12 (target 18) is facing the front of the camera 14, and the brightness is reduced when shooting from the side. Basically, since the image is taken from above, the change is relatively small, but the brightness on the image changes depending on the position of the mouse 12 (distance from the camera) and the direction (angle with respect to the camera) even with the same amount of light emission. .
  • the three-dimensional positions of the three markers 16 are detected. Therefore, the direction of the surface defined by the three markers 16 can be known. This surface has a certain relationship with the orientation of the olfactory bulb of the mouse 12, and by examining this relationship in advance, the luminance of the target 18 detected from the screen can be corrected to detect the correct luminance. That is, by performing both the correction based on the target position (distance from the camera) and the correction from the direction of the target 18 detected from the three-dimensional position of the three markers 16, the light emission amount of the target 18 with higher accuracy can be obtained. Can be detected.
  • the relationship between the positions of the three markers 16 and the correction values may be stored in the map, but it is also preferable to combine corrections using conversion equations.
  • the history storage unit 22 is connected to the analysis device 20.
  • the history storage unit 22 stores the position of the target 18 and its emission intensity as time series data.
  • the target 18 is stored as a three-dimensional position within the cage 10, but preferably a history of the positions of the three markers 16 is also stored.
  • a plurality of markers 16 (16 a, 16 b, 16 c) serving as indices are arranged around the target 18. Then, a plurality of markers 16 are detected from the image captured by the camera 14 by pattern matching, and the position of the target 18 on the image is detected by the plurality of markers 16 detected by the analysis device 20. Therefore, a relatively accurate target can be detected.
  • the three-dimensional position and direction of the target 18 are specified by detecting the three-dimensional position of the marker 16 from images captured in stereo by the plurality of cameras 14 (14a, 14b). Therefore, the analysis device 20 detects the head direction and the elevation angle of the target mouse 12 and corrects the measurement amount from the distance and angle with respect to the camera 14. Thereby, the accuracy of quantitative determination of the light emission amount of the target 18 can be improved.
  • the history storage unit 22 stores a history of movement of the target 18 (mouse 12). Accordingly, the position of the target 18 can be filtered from the movement history in consideration of the turning angle and movement amount of the mouse 12, and the target 18 can be tracked with high accuracy. Detection with the target position can be prevented.
  • the marker 16 can be excited and emitted with ultraviolet rays using an ultraviolet light emitting scintillator. This makes it possible to observe and track even in the dark, and to track nocturnal animals. Furthermore, according to the ultraviolet light emission scintillator, the emission color can be selected from red, green, blue and the like. Therefore, by setting the ultraviolet light emitting scintillator used for the marker 16 for each mouse 12 to a different fluorescent color (wavelength) by irradiation with one ultraviolet ray, it becomes possible to identify each individual and discriminate the tracking target. become. Accordingly, it is possible to detect changes over time in the light emission amounts of the targets 18 of the plurality of mice 12 in a state where the plurality of mice 12 are housed in the same cage 10.
  • the target behavior pattern can also be measured.
  • the target can be used in various mammals and other organisms other than mice and rats.
  • Example A mouse olfactory bulb was selected as the target 18, and pattern matching using morphological information of the nose tip and both ears simultaneously emitting light was performed in order to measure the fluorescence emission. As a result, we succeeded in automatic tracking with high accuracy. The relative position of the olfactory bulb was calculated from the morphological structure, and automatic quantification of olfactory bulb luminescence was enabled.
  • the ultraviolet light scintillator attached around the mouse 12 olfactory bulb is excited and emitted by ultraviolet light, and stereo shooting is performed with a high-sensitivity camera. did. Further, it is possible to correct the light emission amount of the target 18 from the relationship between the target position and the direction of the mouse with respect to the three-dimensional positions of the plurality of markers.
  • the ear and nose are used as the three markers 16, the marker 16 is photographed by the camera 14, and the positions of the markers 16a to 16c are detected by the analysis device 20 (S1). This detection was performed by pattern matching with a template for a three-point pattern. Even if the amount of light emission was relatively small, the marker 16 could be accurately detected by pattern matching.
  • the position of the target 18 is specified by the relative position to the three markers 16 (S2).
  • the positions of the three markers 16 on the mouse 12 are known in advance, and the position of the target 18 can be uniquely determined in relation to the three markers 16.
  • the three-dimensional position of the target 18 is detected by stereo projection for comparing images from the two cameras 14 (S3). Based on the positions of the three markers 16 respectively detected by the two cameras 14, the three-dimensional position of the marker 16 is obtained, and the target position is obtained based on this. Then, based on the detected three-dimensional position, the intensity of the target 18 in the camera image is corrected (S4).
  • the light emission amount of the target 18 at this position is detected (S7).
  • the measurement of the amount of light emitted from the target 18 by the camera 14 is preferably an exposure time of about 0.5 seconds to 1 second, depending on the sensitivity of the camera 14. .
  • the three-dimensional positions of the three markers 16 can be detected, it is also preferable to perform correction based on the target orientation.
  • the plurality of markers 16 are detected by pattern recognition, and the light emission intensity of the target 18 at the position (same position) determined by the relative position of the mouse 12 to the marker 16 is detected. .
  • the problem that the emission intensity of the target 18 fluctuates greatly due to changes over time and cannot be tracked can be solved, and the intensity of the extremely weak fluorescence emission in the target 18 can be accurately recognized.
  • FIGS. 3 to 6 show an example in which the image of the olfactory bulb and the emission luminance of the actually moving mouse are detected over 60 seconds.
  • 3 and 4 are examples in which the expression of the clock gene Period1 is visualized and the expression level is relatively high.
  • FIGS. 5 and 6 are examples in which the expression of the clock gene Bmal1 is visualized and the expression level is relatively low. It is.
  • the light emission at the lower left is an image of the light emission of the olfactory bulb.
  • exposure is performed for 0.5 seconds.
  • FIG. 4 shows the results of obtaining one 0.5 second exposure image every second and quantifying the amount of light emitted from the olfactory bulb from each image.
  • the light emission value fluctuates because the surface of the olfactory bulb relative to the camera changes variously because the animal's head is moving.
  • FIGS. 3 and 4 are results of normal detection in a state where the image is taken with one camera and the marker is not used.
  • the amount of light emitted from the olfactory bulb can be accurately quantified and continuously measured for a long time (several months).
  • the light emission value photographed in FIG. 3 is a result of photographing when the light emission value is highest in the body. After 10 hours of shooting, almost no light is emitted from the olfactory bulb, making it difficult to detect. Therefore, by using an infrared reflection marker or an ultraviolet light emission scintillator, continuous detection can be performed without depending on the light emission period.
  • the quantification of the amount of luminescence in FIG. 4 is obtained by quantifying the images while observing the images one by one and enclosing the images with circles. It is considered that the olfactory bulb is facing the front (photographing angle) with respect to the CCD camera. In this case, the light emission value is 7.5 ⁇ 10 6 photon / pixel.
  • this value is an average of one pixel from the olfactory bulb (CCD: 512 ⁇ 512 pixels) during the shooting time of the camera of 0.5 seconds when the distance from the mouse olfactory bulb to the CCD sensor of the camera is about 30 cm. 5 ⁇ 10 6 is detected.
  • FIG. 5 is for Bmal1, but in this measurement apparatus, it is possible to detect about 60000 photons / pixel per second with 1 second exposure.
  • FIG. 6 shows the detection result for Bmal1 for 60 seconds, and it can be seen that the temporal change in the light emission amount can be measured.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　生体上のターゲット位置を正確に検出する。カメラ（撮影装置）１４により、生体（マウス）１２上の複数のマーカ１６を撮影する。解析装置（ターゲット位置検出手段）２０において、撮影された複数のマーカ位置をパターン認識で検出し、検出されたマーカ位置との相対関係に基づいて、ターゲット位置を検出し、ターゲット位置を追跡する。

Description

ターゲット位置追跡装置およびターゲット発光検出装置
　本発明は、生体内のターゲットを追跡するターゲット位置追跡装置およびターゲット発光検出装置に関する。
　従来、生きている哺乳動物などの生体対象の目的遺伝子あるいはそのプロモータに対して、蛍光物質遺伝子や発光物質遺伝子を結合させ、対象から発生される蛍光や発光の量を検出することにより、遺伝子発現量を定量化する方法が知られている（特許文献１参照）。
　このような手法により、生体対象における病原体など目標となる細胞の位置や細胞の増減の経過および病変による目的遺伝子産物の量的変化などを知ることができる。
特表２０００－５０２８８４号公報
　ここで、上述のような遺伝子産物等からの蛍光や発光は、微弱であり、暗箱内にて高感度カメラを使用して発光を観測することが多い。
　また、正確な測定のためには、測定の条件を同一とするために、対象を動かないように固定することが必要な場合がある。特にマウスやラットを用いる場合には、麻酔条件下で測定を行うこともあるが、この場合には麻酔使用上の制限から、遺伝子発現の経時変化を観測する場合でも、最大６時間程度の短時間でしか測定ができず、日単位や月単位での測定は困難である。
　一方、無麻酔無拘束条件下にてマウスやラットについての蛍光や発光の検出をしたいという要求もある。しかし、動きに伴う画像のぼけなどの原因で、蛍光や発光の定量は難しい。また、微弱光である上に、動きによる画像のぼけを伴うことにより、三次元空間内における蛍光や発光の位置を特定することが困難な場合も多い。
　本発明は、生体に備えられた複数のマーカを撮影する撮影装置と、撮影された複数のマーカのパターンを予め記憶されている複数のマーカのパターンとのパターンマッチングにより検出し、パターンマッチングにより検出された複数のマーカの位置と、予めわかっている複数のマーカに対するターゲットの相対位置関係に基づいて、ターゲット位置を検出するターゲット位置検出手段と、を有し、ターゲット位置を追跡することを特徴とする。
　また、前記マーカは、３個以上あることが好適である。
　また、前記ターゲット位置検出手段において検出したターゲット位置を記憶する履歴記憶手段を有し、前記記憶手段に記憶されている過去のターゲットの履歴から、今回検出したターゲット位置を検証することが好適である。
　また、前記マーカは、前記生体のターゲットと同様にして発光する生体の部分、または生体に取り付けられた赤外線反射手段、または生体に取り付けられた紫外線等により発光するシンチレータであり、前記ターゲット位置検出手段は前記マーカの発光を検出することが好適である。
　また、本発明は、生体に備えられた複数のマーカを撮影する複数の撮影装置と、各撮影装置により撮影された複数のマーカのパターンを、予め記憶されている複数のマーカのパターンとのパターンマッチングによりそれぞれ検出し、複数の撮影装置からのマーカの位置検出結果と、予めわかっている複数のマーカに対するターゲットの相対位置関係に基づいて、ターゲットの三次元位置を検出するターゲット検出手段と、検出したターゲットの発光量を検出する発光量検出手段と、検出したターゲットの発光量をターゲットの三次元位置に応じて、補正する補正手段と、を有し、ターゲット位置を追跡しながら、ターゲットの発光量を検出することを特徴とする。
　また、前記ターゲット検出手段は、複数のマーカの三次元位置に基づき、生体の向きを検出し、前記補正手段は、検出した生体の向きに応じて、検出したターゲットの発光量を補正することが好適である。
　また、前記マーカは、紫外線発光シンチレータであり、複数の生体毎に発光色の異なる紫外線発光シンチレータを取り付け、前記ターゲット検出手段は、紫外線発光シンチレータの発光色の違いから複数の生体を個別に認識し、前記ターゲット発光量検出手段は、個別の生体毎のターゲット発光量を検出し、前記補正手段は各生体のターゲットの発光量を補正することが好適である。
　また、検出したターゲット位置を記憶する履歴記憶手段を有し、前記記憶手段に記憶されている過去のターゲットの履歴から、今回検出したターゲット位置を検証することが好適である。
　本発明によれば、生体上の複数のマーカ位置から相対位置としてターゲット位置を検出するため、ターゲット位置を正確に検出することができる。従って、ターゲット位置における微弱な発光量の定量も可能となる。
実施形態の構成を示す図である。 処理の手順を示すフローチャートである。 Ｐｅｒｉｏｄ１の発現についての撮影画像の一例を示す写真である。 Ｐｅｒｉｏｄ１の発現についての６０秒間の発光量についての図である。 Ｂｍａｌ１の発現についての撮影画像の一例を示す写真である。 Ｂｍａｌ１の発現についての６０秒間の発光量についての図である。
　以下、本発明の実施形態について、図面に基づいて説明する。
　図１は、実施形態に係るターゲット検出システムの概略構成を示す図である。ケージ１０内には、検出ターゲット１８を保有する動物であるマウス等１２が飼育されており、ケージ１０内を自由に移動する。
　ケージ１０のマウス１２を観察しやすい位置（例えば、上部）には、１台または２台のカメラ１４（１４ａ，１４ｂ）が設置されており、マウス１２を含む映像を得る。マウス１２に発光装置２４（２４ａ，２４ｂ）から発せられる光をマウス１２に照射することも好適である。
　発光装置２４は、例えば白色ＬＥＤであり、これによって白色光がマウス１２に照射され、マウス１２の映像が確実に撮影できる。上述のように、マウス１２の目的遺伝子あるいはそのプロモータに対して、蛍光物質遺伝子や発光物質遺伝子を結合させることで、マウスのターゲット１８から蛍光が発生される。この例では、マウス１２の嗅球がターゲット１８であるが、この場合にマウス１２の耳や鼻なども同様の蛍光を発する。従って、マウス１２の耳や鼻をマーカ１６とすることが可能である。
　ここで、このようなターゲット１８となる嗅球と同様の発光（蛍光）はその発光強度が弱い。そこで、マーカ１６をもっと確実に発光するものにすることも好適である。このようなマーカ１６として、赤外線反射部材や、紫外線発光シンチレータなどが採用できる。
　マーカ１６として赤外線反射部材が採用された場合には、発光装置２４として赤外線ＬＥＤが採用され、ここから発生される赤外線の反射光がカメラ１４によって撮影される。赤外線を照射して、これをマーカ１６が反射するため、十分な強度の反射光が得られ、マーカ１６の位置を確実に検出することができる。
　また、マーカ１６として紫外線発光シンチレータが採用された場合には、発光装置２４として紫外線ＬＥＤが採用され、ここから発生される紫外線によって励起され発光する紫外線発光シンチレータからなるマーカ１６の発光がカメラ１４によって撮影される。
　特に、紫外線発光シンチレータの場合、紫外線の照射によって発光する光を材質によって、赤、青、緑のように決定できる。従って、複数のマウス１２が存在する場合に、第１のマウス１２には赤発光のマーカ１６、第２のマウス１２には緑発光のマーカ１６、第３のマウス１２には青発光のマーカ１６というように色を変更することができる。従って、カメラ１４をカラーのカメラにすることによって、複数のマウス１２をそれぞれ別に（個体）毎に認識して、マーカ１６を検出することが可能となる。
　カメラ１４からの映像は、解析装置２０に供給される。この解析装置２０はカメラ１４からの映像を解析する。ここで、マウス１２には、３つのマーカ１６（１６ａ，１６ｂ，１６ｃ）が取り付けられている。一対の耳、鼻を３つのマーカ１６として採用した場合、これら３つのマーカ１６と、ターゲット１８となる嗅球の相対位置関係は予めわかっている。従って、検出した３つのマーカ位置からターゲット位置を決定することができる。
　また、赤外線反射板や、紫外線発光シンチレータをマーカ１６として採用した場合も、これらマーカ１６とターゲット１８の相対位置関係は予めわかっているので、得られた画像からターゲット位置を検出することができる。
　すなわち、解析装置２０に供給された映像には、マーカ１６が含まれており、３つのマーカ１６のパターンも予めわかっている。３つのマーカ１６が２つの耳および鼻である場合、これらは真上から見てほぼ２等辺三角形をなす。従って、画像中に現れた３つのマーカ１６を予めテンプレートとして記憶してある３つのマーカのパターンと比較してパターンマッチングを行うことで、３つのマーカ１６を特定することができる。
　そして、３つのマーカの画像上の位置に基づき、ターゲット１８の位置も特定でき、ターゲット１８の発光輝度を検出することが可能となる。
　マウス１２には、目的遺伝子あるいはそのプロモータに対して、蛍光物質遺伝子や発光物質遺伝子を結合させることにより、目的とするターゲット１８においてプロモータ支配下にある目的遺伝子産物から発光や蛍光が発せられる。この発光量は非常に小さいため、直接検出することが困難な場合が多い。本実施形態によれば、パターン認識によりマーカ１６を検出する。従って、比較的微弱な発光のマーカ１６であっても正確な検出が行える。このようにして、ターゲット１８であるマウス１２における嗅球の位置を解析装置２０によって特定して、その位置の発光強度を撮影画像において測定することで、ターゲット１８の発光量を定量することができる。
　また、本実施形態においては、カメラ１４は、２台あり、マーカ１６をステレオ撮影している。このため、これらマーカ１６の位置を３次元位置として、特定できる。特に、３つのマーカ１６の三次元位置をそれぞれ検出できるため、これら３つのマーカ１６が形成する面の方向も検出できる。
　ターゲット１８の撮影画面における輝度は、ターゲット１８の発光量だけでなく、ターゲットのカメラからの距離、およびマウス１２の向きによって変化する。すなわち、同一の発光量であっても、画像上での輝度は変化する。マウス１２（ターゲット１８）がカメラ１４の正面を向いている場合が最も輝度が大きく、横からの撮影になると輝度が小さくなる。基本的には、上方から撮影しているので、比較的変化は小さいが、マウス１２の位置（カメラとの距離）、向き（カメラに対する角度）により同一の発光量でも画像上の輝度は変化する。
　本実施形態では、上述したように、３つのマーカ１６の三次元位置を検出する。従って、３つのマーカ１６が規定する面の方向がわかる。この面は、マウス１２の嗅球の向きと一定の関係があり、この関係を予め調べておくことによって、画面から検出したターゲット１８の輝度を補正して正しい輝度を検出することができる。すなわち、ターゲット位置（カメラからの距離）に基づく補正と、３つのマーカ１６の三次元位置から検出したターゲット１８の向きからの補正の両方を行うことで、より精度の高いターゲット１８の発光量の検出ができる。
　このような補正については、３つのマーカ１６位置と補正値の関係をマップに記憶しておけばよいが、変換式による補正を組み合わせることも好適である。
　解析装置２０には、履歴記憶部２２が接続されている。この履歴記憶部２２には、ターゲット１８の位置およびその発光強度が時系列データとして記憶される。ターゲット１８は、ケージ１０内の３次元位置として記憶されるが、３つのマーカ１６の位置の履歴も記憶されることが好適である。
「パターンマッチングについて」
　このように、本実施形態では、ターゲット１８における、蛍光または発光の位置を正確に特定するために、周囲に指標となる複数のマーカ１６（１６ａ，１６ｂ，１６ｃ）を配置している。そして、カメラ１４で撮影した画像から、複数のマーカ１６をパターンマッチングで検出し、解析装置２０において検出された複数のマーカ１６によって、ターゲット１８の画像上の位置を検出する。従って、比較的正確なターゲットの検出が行える。
「ステレオ撮影について」
　さらに、複数のカメラ１４（１４ａ，１４ｂ）においてステレオ撮影した画像から、マーカ１６の３次元位置を検出して、ターゲット１８の三次元位置および方向を特定する。従って、解析装置２０では、対象となるマウス１２の頭の向きおよび仰角を検出し、カメラ１４に対する距離および角度から、測定量に対する補正を行う。これによって、ターゲット１８の発光量の定量の精度向上が図れる。
　さらに、２台のカメラ１４から得られる情報を生かし、その平均値をとるなどして、より信頼性の高い測定が可能である。
「履歴の考慮について」
　また、履歴記憶部２２には、ターゲット１８（マウス１２）の動きの履歴を記憶する。従って、動きの履歴から、マウス１２の旋回角度、移動量を考慮して、ターゲット１８の位置についてフィルタリングすることができ、ターゲット１８の精度の高い追跡を行うことが可能となり、あり得ない場所をターゲット位置と検出することを防止することができる。
「複数個体の識別について」
　マーカ１６には、赤外線反射マーカの他、紫外線発光シンチレータを用いて紫外線で励起発光させることもできる。これによって、暗闇でも観察、追跡が可能になり、夜行性動物に対する追跡も可能になる。さらに、紫外線発光シンチレータによれば、発光色を赤、緑、青などと選択することができる。従って、１つの紫外線の照射によって、マウス１２毎のマーカ１６に用いる紫外線発光シンチレータを異なる蛍光色（波長）のものに設定することで、個体毎の識別が可能になり、追跡対象の弁別が可能になる。従って、複数のマウス１２を同一のケージ１０内に飼育した状態で、複数のマウス１２のターゲット１８の発光量の経時変化をそれぞれ検出することが可能になる。
　また、長期的に３次元座標を計測することで、対象の行動パターンなども計測できる。なお、対象は、マウスや、ラットなどのほか各種の哺乳動物や他の生物でも利用可能である。
「実施例」
　ターゲット１８として、マウスの嗅球を選択し、この蛍光発光を測定するために、同時に発光する鼻先および両耳の、形態情報を利用したパターンマッチングを行った。これによって、精度よく自動追跡することに成功した。形態構造から嗅球の相対的な位置を計算し、嗅球発光の自動定量が可能になった。
　さらにマウス１２嗅球の周りに貼り付けた紫外線発光シンチレータを紫外光により励起発光させ、高感度カメラでステレオ撮影することによって、自由に行動しているマウス頭部の経時的な３次元座標取得も成功した。また、複数のマーカの三次元位置から、ターゲット位置およびマウスのカメラに対する向きの関係から、ターゲット１８の発光量に対する補正が可能になった。
　ここで、解析装置２０において、実際のマーカ１６の検出、ターゲット１８の位置検出について、図２に基づいて説明する。
　３点のマーカ１６として耳、鼻を利用し、マーカ１６をカメラ１４で撮影し、解析装置２０において、マーカ１６ａ～１６ｃの位置を検出する（Ｓ１）。この検出は、３点のパターンについてのテンプレートとのパターンマッチングによって行った。比較的発光量が少なくても、パターンマッチングによりマーカ１６を正確に検出することができた。
　次に、３つのマーカ１６との相対位置によって、ターゲット１８の位置を特定する（Ｓ２）。マウス１２上の３つマーカ１６の位置は予めわかっており、この３つのマーカ１６との関係で、ターゲット１８位置を一義的に決定できる。
　次に、２つのカメラ１４から画像を比較するステレオ投影によって、ターゲット１８の３次元位置として検出する（Ｓ３）。２つのカメラ１４においてそれぞれ検出した３つのマーカ１６の位置に基づき、マーカ１６の３次元位置が求まり、これに基づいてターゲット位置が求まる。そして、検出した３次元位置に基づいて、カメラ画像におけるターゲット１８の強度を補正する（Ｓ４）。
　また、これまでに記憶されている過去のターゲット１８の位置の時系列データに基づいて、今回検出したターゲット１８の位置が許容される位置かを判定する（Ｓ５）。この判定において、許容できる場合には、最終的なターゲット１８の位置を確定し、この位置を出力すると共に、時系列データとして履歴記憶部２２に記憶する（Ｓ６）。
　また、ターゲット１８の位置が確定されるため、この位置におけるターゲット１８の発光量を検出する（Ｓ７）。この場合、カメラ１４によるターゲット１８の発光量（カメラ１４においては受光量）の測定は、カメラ１４の感度にもよるが、０．５秒～１秒程度の露光時間を用いるのが好適である。
　発光量が検出限界以下の場合（Ｓ７）および過去のターゲット位置との相対関係から認識したターゲット位置が許容できなかった場合（Ｓ５）には、測定したデータを採用しないなどの処理が可能である。
　また、上述したように、３つのマーカ１６の三次元位置が検出できることから、ターゲットの向きによる補正を行うことも好適である。
　このように、本実施形態では、複数のマーカ１６について、パターン認識により検出を行い、マウス１２のマーカ１６との相対位置で決定される位置（同一位置）でのターゲット１８の発光強度を検出する。これによって、ターゲット１８の発光強度が経時変化により、大きく変動し追跡できないという課題を解決でき、ターゲット１８における極微弱の蛍光発光の強度を正確に認識することができる。
　ここで、図３～６には、実際に動いているマウスについての嗅球の画像および発光輝度を６０秒間に渡って検出した例を示す。図３，４は、時計遺伝子Ｐｅｒｉｏｄ１の発現を可視化したもので、発現量が比較的高い例であり、図５，６は時計遺伝子Ｂｍａｌ１の発現を可視化したもので、発現量が比較的低い例である。
　図３において、左下の発光が嗅球の発光の画像であり、この例では０．５秒間露光している。また、１秒ごとに０．５秒露光の画像を１枚得て、各画像から嗅球の発光量を定量した結果が図４に示してある。図４において、発光値が変動しているのは動物の頭が動いているため、カメラに対する嗅球の面がいろいろ変化しているからである。なお、この図３，４は、１台のカメラで撮影し、マーカを利用しない状態で、普通に検出した結果である。
　上述のように、マーカのパターンマッチングを利用してターゲット位置を検出することで、正確な嗅球の発光量の定量が行え、長時間（数か月）連続測定できる。
　なお、図３で撮影した発光値は、体の中で一番発光値が高くなるときに撮影した結果である。この撮影の１０時間後にはほとんど嗅球での発光はなくなり、検出するのが難しくなる。従って、赤外線反射マーカや紫外線発光シンチレータを用いることにより、発光の周期に依存することなく、継続的な検出が行える。
　図４の発光量の定量は、画像を取得後、１枚１枚画像を見ながら画像を○で囲みながら定量したものであり、６０秒間に１秒間隔で６０枚撮影した中で最も発光値が高く、正確な値を示している、つまりＣＣＤカメラに対して、嗅球が正面を向いている（撮影角度）ものと考えられるものである。この場合の発光値が７．５×１０6ｐｈｏｔｏｎ／ｐｉｘｅｌである。
　ここで、この値は、マウス嗅球からカメラのＣＣＤセンサまでの距離が約３０ｃｍにおいて、カメラの撮影時間０．５秒の間に嗅球から平均的に１画素あたり（ＣＣＤ：５１２ｘ５１２画素において）７．５×１０6が検出されることを示している。
　一方、Ｂｍａｌ１の発現による発光量は極めて小さく、一般的にＣＣＤで撮影することが困難である。図５は、Ｂｍａｌ１についてのものであるが、本測定装置においては、１秒間露光で、１秒あたり約６００００ｐｈｏｔｏｎ／ｐｉｘｅｌを検出することが可能である。
　また、図６は、Ｂｍａｌ１についての６０秒間の検出結果であり、発光量の時間変化を計測できていることが分かる。
　１０　ケージ、１２　マウス、１４　カメラ、１８　ターゲット、２０　解析装置、２２　履歴記憶部。

Claims (9)

  1. 　生体に備えられた複数のマーカを撮影する撮影装置と、
    　撮影された複数のマーカのパターンを予め記憶されている複数のマーカのパターンとのパターンマッチングにより検出し、パターンマッチングにより検出された複数のマーカの位置と、予め記憶されている複数のマーカに対するターゲットの相対位置関係に基づいて、ターゲット位置を検出するターゲット位置検出手段と、
    　を有し、
    　ターゲット位置を追跡するターゲット位置追跡装置。
  2. 　請求項１に記載のターゲット位置追跡装置であって、
    　前記マーカは、３個以上あるターゲット位置追跡装置。
  3. 　請求項１または２に記載のターゲット位置追跡装置であって、
    　前記ターゲット位置検出手段において検出したターゲット位置を記憶する履歴記憶手段を有し、
    　前記記憶手段に記憶されている過去のターゲットの履歴から、今回検出したターゲット位置を検出するターゲット位置追跡装置。
  4. 　請求項１～３のいずれか１つに記載のターゲット位置追跡装置において、
    　前記マーカは、前記生体のターゲットと同様にして発光する生体の部分、または生体に取り付けられた赤外線反射手段、または生体に取り付けられた紫外線発光シンチレータであり、前記ターゲット位置検出手段は前記マーカの発光を検出するターゲット位置追跡装置。
  5. 　生体に備えられた複数のマーカを撮影する複数の撮影装置と、
    　各撮影装置により撮影された複数のマーカのパターンを、予め記憶されている複数のマーカのパターンとのパターンマッチングによりそれぞれ検出し、複数の撮影装置からのマーカの位置検出結果と、予めわかっている複数のマーカに対するターゲットの相対位置関係に基づいて、ターゲットの三次元位置を検出するターゲット検出手段と、
    　検出したターゲットの発光量を検出する発光量検出手段と、検出したターゲットの発光量をターゲットの三次元位置に応じて、補正する補正手段と、
    　を有し、
    　ターゲット位置を追跡しながら、ターゲットの発光量を検出することを特徴とするターゲット発光検出装置。
  6. 　請求項５に記載のターゲット発光検出装置において、
    　前記ターゲット検出手段は、複数のマーカの三次元位置に基づき、生体の向きを検出し、前記補正手段は、検出した生体の向きに応じて、検出したターゲットの発光量を補正するターゲット発光検出装置。
  7. 　請求項５または６に記載のターゲット発光検出装置において、
    　前記マーカは、前記生体のターゲットと同様にして発光する生体の部分、または生体に取り付けられた赤外線反射手段、または生体に取り付けられた紫外線発光シンチレータであり、前記ターゲット検出手段は前記マーカの発光を検出するターゲット発光検出装置。
  8. 　請求項５または６に記載のターゲット発光検出装置において、
    　前記マーカは、紫外線発光シンチレータであり、複数の生体毎に発光色の異なる紫外線発光シンチレータを取り付け、
    　前記ターゲット検出手段は、紫外線発光シンチレータの発光色の違いから複数の生体を個別に認識し、前記ターゲット発光量検出手段は、個別の生体毎のターゲット発光量を検出し、前記補正手段は各生体のターゲットの発光量を補正するターゲット発光検出装置。
  9. 　請求項１～４のいずれか１つに記載のターゲット位置追跡装置または請求項５～８のいずれか１つに記載のターゲット発光検出装置であって、
    　検出したターゲット位置を記憶する履歴記憶手段を有し、
    　前記記憶手段に記憶されている過去のターゲットの履歴から、今回検出したターゲット位置を検出する請求項１～４のいずれか１つに記載のターゲット位置追跡装置または請求項５～８のいずれか１つに記載のターゲット発光検出装置。
PCT/JP2011/075225 2010-11-01 2011-11-01 ターゲット位置追跡装置およびターゲット発光検出装置 WO2012060393A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010245624A JP2014016657A (ja) 2010-11-01 2010-11-01 ターゲット位置追跡装置およびターゲット発光検出装置
JP2010-245624 2010-11-01

Publications (1)

Publication Number Publication Date
WO2012060393A1 true WO2012060393A1 (ja) 2012-05-10

Family

ID=46024506

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/075225 WO2012060393A1 (ja) 2010-11-01 2011-11-01 ターゲット位置追跡装置およびターゲット発光検出装置

Country Status (2)

Country Link
JP (1) JP2014016657A (ja)
WO (1) WO2012060393A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9369677B2 (en) 2012-11-30 2016-06-14 Qualcomm Technologies International, Ltd. Image assistance for indoor positioning
CN114207378A (zh) * 2019-07-22 2022-03-18 国立大学法人东京大学 处理系统、标记方法、在该方法中检测的标记以及标记程序

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6233091B2 (ja) * 2014-02-24 2017-11-22 株式会社島津製作所 動体画像処理装置
KR102290218B1 (ko) * 2019-08-23 2021-08-20 한국기계연구원 복수의 카메라를 이용한 위치추적 시스템 및 이를 이용한 위치추적 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005069734A (ja) * 2003-08-20 2005-03-17 Tokyo Univ Of Marine Science & Technology 指さし行為による物体の空間位置の教示方法
JP2006284442A (ja) * 2005-04-01 2006-10-19 Shimadzu Corp 物体のモニタリング方法およびこれを用いたモーショントラッカ
JP2006304642A (ja) * 2005-04-27 2006-11-09 Hokkaido Univ ２つの時計遺伝子発現量を２つの発光酵素活性で測定するトランスジェニックマウス
JP2009500042A (ja) * 2005-07-07 2009-01-08 インジーニアス・ターゲティング・ラボラトリー・インコーポレーテッド ターゲットの運動行動の３ｄのモニタリング及び分析のためのシステム
JP2009089357A (ja) * 2007-09-13 2009-04-23 Panasonic Corp 撮像装置、撮像方法、プログラム、および集積回路

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005069734A (ja) * 2003-08-20 2005-03-17 Tokyo Univ Of Marine Science & Technology 指さし行為による物体の空間位置の教示方法
JP2006284442A (ja) * 2005-04-01 2006-10-19 Shimadzu Corp 物体のモニタリング方法およびこれを用いたモーショントラッカ
JP2006304642A (ja) * 2005-04-27 2006-11-09 Hokkaido Univ ２つの時計遺伝子発現量を２つの発光酵素活性で測定するトランスジェニックマウス
JP2009500042A (ja) * 2005-07-07 2009-01-08 インジーニアス・ターゲティング・ラボラトリー・インコーポレーテッド ターゲットの運動行動の３ｄのモニタリング及び分析のためのシステム
JP2009089357A (ja) * 2007-09-13 2009-04-23 Panasonic Corp 撮像装置、撮像方法、プログラム、および集積回路

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9369677B2 (en) 2012-11-30 2016-06-14 Qualcomm Technologies International, Ltd. Image assistance for indoor positioning
CN114207378A (zh) * 2019-07-22 2022-03-18 国立大学法人东京大学 处理系统、标记方法、在该方法中检测的标记以及标记程序
CN114207378B (zh) * 2019-07-22 2024-06-07 国立大学法人东京大学 处理系统、标记方法、在该方法中检测的标记以及标记程序

Also Published As

Publication number Publication date
JP2014016657A (ja) 2014-01-30

Similar Documents

Publication Publication Date Title
US9430833B2 (en) Image processing device and endoscope device
US8854471B2 (en) Infrared sensor and sensing method using the same
JP7068487B2 (ja) 電子内視鏡システム
JP2011128536A5 (ja) 撮像装置及び制御方法
JP6454489B2 (ja) 観察システム
CN105372244A (zh) 用于检测沉积在图像传感器上的样品中的粒子的无透镜成像系统和方法
JP2010219606A5 (ja)
WO2012060393A1 (ja) ターゲット位置追跡装置およびターゲット発光検出装置
US9500600B2 (en) Radiation image acquisition system
JP2005184508A5 (ja)
JP7084546B2 (ja) 内視鏡システム
US11950762B2 (en) Electronic endoscope system and data processing device
CN112930136B (zh) 电子内窥镜系统与数据处理装置
US20100025566A1 (en) Single spot focus control
JP2016193144A (ja) 内視鏡システムおよび計測方法
CN104586404A (zh) 体质监测的姿态识别方法及系统
CN112985587A (zh) 发光物料影像处理方法
JP2019184710A5 (ja) 撮像装置及びその制御方法並びにプログラム
US10060735B2 (en) Chassis measurement under ambient light
US11337771B2 (en) Method and device for measuring the fluorescence emitted at the surface of biological tissue
JP2012060439A5 (ja)
JP2010191266A5 (ja)
JP6120758B2 (ja) 医用システム
KR20160038647A (ko) 광조사 방법을 통한 3차원 대상체의 표면 정보 획득 방법
JP2019186651A5 (ja)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11838043

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11838043

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP