JP5608210B2 - Three-dimensional shape restoration apparatus and method using one captured image - Google Patents
Three-dimensional shape restoration apparatus and method using one captured image Download PDFInfo
- Publication number
- JP5608210B2 JP5608210B2 JP2012263336A JP2012263336A JP5608210B2 JP 5608210 B2 JP5608210 B2 JP 5608210B2 JP 2012263336 A JP2012263336 A JP 2012263336A JP 2012263336 A JP2012263336 A JP 2012263336A JP 5608210 B2 JP5608210 B2 JP 5608210B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- image
- unit
- dimensional shape
- separated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0073—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Computer Graphics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Description
本発明は、三次元形状復元装置及び方法に係り、特に三次元物体に対して一枚の二次元撮像映像を取得し、物体の三次元形状を復元する装置及びその方法に関する。 The present invention relates to a three-dimensional shape restoration apparatus and method, and more particularly to an apparatus and method for obtaining a two-dimensional captured image of a three-dimensional object and restoring the three-dimensional shape of the object.
一般的に、任意の物体の三次元形状を復元（すなわち、再構成）するためには、イメージングシステムは、複数個の二次元映像を必要とする。 In general, in order to reconstruct (ie, reconstruct) the three-dimensional shape of an arbitrary object, an imaging system requires a plurality of two-dimensional images.
例えば、Ｘ線を利用した医療映像装置は、物体（すなわち、患者の特定の部位）をカバーできる大面積のＸ線検出センサーを備え、前記特定の部位に回転中心を置いて３６０°回転しつつ、前記特定の部位を複数回撮影して、前記特定の部位に対する複数の断層映像を獲得し、それから三次元トモグラフィ映像として復元する。 For example, a medical imaging apparatus using X-rays includes a large-area X-ray detection sensor that can cover an object (that is, a specific part of a patient), and rotates 360 ° with the rotation center at the specific part. The specific part is imaged a plurality of times, a plurality of tomographic images for the specific part are acquired, and then restored as a three-dimensional tomographic image.
従来の技術による三次元トモグラフィ映像復元方法は、物体に対して複数回撮影して、三次元形状を復元するので、Ｘ線のような放射線を利用する医療映像装置の場合、被爆量が問題となる。また、位置を移動させつつ複数回撮影するので、位置移動のための機具的装置が必要であるだけでなく、動的物体に対して三次元形状を復元するのには困難がある。 The conventional 3D tomography image restoration method takes multiple shots of an object and restores the 3D shape, so the amount of exposure is a problem for medical imaging devices that use radiation such as X-rays. It becomes. In addition, since the image is taken a plurality of times while moving the position, not only a device for moving the position is required but also it is difficult to restore the three-dimensional shape of the dynamic object.
本発明の目的は、前記のような従来の技術による問題点を解決するために提案されたものであって、一枚の取得された映像から、任意の物体の三次元形状を復元する装置及び方法を提供することである。 An object of the present invention is proposed to solve the above-described problems caused by the conventional technique, and an apparatus for restoring a three-dimensional shape of an arbitrary object from one acquired image and Is to provide a method.
本発明の一側面による三次元形状復元装置は、異なる複数の照明源点を有する光を物体に照明する照明部と、物体を透過した光を、空間的領域で規則的なパターンに変調する光変調素子と、光変調素子で変調された映像を、一枚の二次元映像として撮像する撮像部と、撮像部で獲得された一枚の二次元映像から、照明源点別に単位映像を分離し、分離された単位映像を復元して、物体の三次元形状を復元する信号処理部と、を備える。 A three-dimensional shape restoration apparatus according to one aspect of the present invention includes an illumination unit that illuminates an object with light having a plurality of different illumination source points, and light that modulates light transmitted through the object into a regular pattern in a spatial region. The unit image is separated for each illumination source point from the modulation element, the imaging unit that images the image modulated by the light modulation element as a single two-dimensional image, and the single two-dimensional image acquired by the imaging unit. A signal processing unit that restores the separated unit video and restores the three-dimensional shape of the object.
光変調素子は、ピンホールアレイまたはレンズレットアレイであり、この場合、光変調素子は、照明源点を異ならせる光線を空間的に分離してもよい。 The light modulation element is a pinhole array or a lenslet array, and in this case, the light modulation element may spatially separate light rays that have different illumination source points.
信号処理部は、一枚の二次元映像から、ピンホールアレイのピンホール、あるいはレンズレットアレイのレンズレットそれぞれに対応する部分映像を分離し、部分映像で空間的に分離されたタイルを、照明源点別に分離された単位映像として再び組み合わせてもよい。 The signal processing unit separates a partial image corresponding to each pinhole of the pinhole array or each lenslet of the lenslet array from one 2D image, and illuminates tiles spatially separated by the partial image. You may combine again as a unit image separated according to the source point.
本発明の他の側面による三次元形状復元装置は、異なる複数の照明源点を有する光を物体に照明する照明部と、物体を透過した光を、周波数領域で規則的なパターンに変調する光変調素子と、光変調素子で変調された映像を、一枚の二次元映像として撮像する撮像部と、撮像部で獲得された一枚の二次元映像から、照明源点別に単位映像を分離し、分離された単位映像を復元して、物体の三次元形状を復元する信号処理部と、を備える。 A three-dimensional shape restoration apparatus according to another aspect of the present invention includes an illumination unit that illuminates an object with light having a plurality of different illumination source points, and light that modulates light transmitted through the object into a regular pattern in the frequency domain. The unit image is separated for each illumination source point from the modulation element, the imaging unit that images the image modulated by the light modulation element as a single two-dimensional image, and the single two-dimensional image acquired by the imaging unit. A signal processing unit that restores the separated unit video and restores the three-dimensional shape of the object.
光変調素子は、ＭＵＲＡパターンマスクまたはコサインパターンマスクであり、照明源点を異ならせる光線を周波数領域で分離してもよい。 The light modulation element may be a MURA pattern mask or a cosine pattern mask, and may separate light beams having different illumination source points in the frequency domain.
信号処理部は、一枚の二次元映像を周波数領域に変換し、周波数領域に変換された映像から、照明源点別に分離された単位映像として再び組み合わせてもよい。 The signal processing unit may convert a single two-dimensional image into the frequency domain, and recombine it as a unit image separated for each illumination source point from the image converted into the frequency domain.
照明部は、物体に異なる角度で光を照射する複数の発光源を備えてもよい。この時、複数の発光源は、可視光線源、赤外線源、紫外線源、またはＸ線源であってもよい。 The illumination unit may include a plurality of light emitting sources that irradiate the object with light at different angles. At this time, the plurality of light emitting sources may be a visible light source, an infrared light source, an ultraviolet light source, or an X-ray source.
三次元形状復元装置は、コンピュータ映像断層撮影装置であってもよい。 The three-dimensional shape restoration apparatus may be a computer video tomography apparatus.
信号処理部は、トモグラフィ法を利用して分離されたそれぞれの単位映像から、物体の三次元形状を復元してもよい。 The signal processing unit may restore the three-dimensional shape of the object from each unit video separated using the tomography method.
本発明のさらに他の側面による三次元形状復元方法は、異なる複数の照明源点を有する光を物体に照明するステップと、物体を透過した光を、空間的領域で規則的なパターンに変調するステップと、規則的なパターンに変調された映像を、一枚の二次元映像として撮像するステップと、一枚の二次元映像から、照明源点を異ならせる光それぞれにより生成された単位映像を分離するステップと、分離されたそれぞれの単位映像から、物体の三次元形状を復元するステップと、を含む。 According to another aspect of the present invention, there is provided a method for reconstructing a three-dimensional shape, illuminating an object with light having a plurality of different illumination source points, and modulating the light transmitted through the object into a regular pattern in a spatial domain. A step, a step of capturing an image modulated in a regular pattern as a single two-dimensional image, and a unit image generated by each of the light beams having different illumination source points from the single two-dimensional image And restoring the three-dimensional shape of the object from each of the separated unit images.
物体を透過した光を、空間的領域で規則的なパターンに変調するステップは、物体を透過した光を、ピンホールアレイまたはレンズレットアレイを透過させて、照明源点を異ならせる光線を空間的に分離してもよい。 The step of modulating the light transmitted through the object into a regular pattern in the spatial domain is to spatially transmit the light transmitted through the object through the pinhole array or lenslet array to make the light source point different. May be separated.
単位映像を分離するステップは、一枚の二次元映像から、ピンホールアレイのピンホール、あるいはレンズレットアレイのレンズレットそれぞれに対応する部分映像を分離するステップと、部分映像で空間的に分離されたタイルを、照明源点別に分離された単位映像として再び組み合わせるステップと、を含んでもよい。 The step of separating the unit image is spatially separated into a partial image and a step of separating a partial image corresponding to each pinhole of the pinhole array or each lenslet of the lenslet array from one two-dimensional image. Recombining the tiles as unit images separated by illumination source points.
本発明のさらに他の側面による三次元形状復元方法は、異なる複数の照明源点を有する光を物体に照明するステップと、物体を透過した光を、周波数領域で規則的なパターンに変調するステップと、規則的なパターンに変調された映像を、一枚の二次元映像として撮像するステップと、一枚の二次元映像から、照明源点を異ならせる光それぞれにより生成された単位映像を分離するステップと、分離されたそれぞれの単位映像から、物体の三次元形状を復元するステップと、を含む。 According to still another aspect of the present invention, there is provided a three-dimensional shape restoration method, illuminating an object with light having a plurality of different illumination source points, and modulating light transmitted through the object into a regular pattern in a frequency domain. And imaging the image modulated in a regular pattern as a single two-dimensional image, and separating the unit video generated by each of the lights having different illumination source points from the single two-dimensional image And a step of restoring the three-dimensional shape of the object from each separated unit image.
物体を透過した光を、周波数領域で規則的なパターンに変調するステップは、物体を透過した光を、ＭＵＲＡパターンマスクまたはコサインパターンマスクを透過させて、照明源点を異ならせる光線を周波数領域で分離してもよい。 The step of modulating the light transmitted through the object into a regular pattern in the frequency domain includes transmitting the light transmitted through the object through the MURA pattern mask or the cosine pattern mask and causing the light beam having different illumination source points in the frequency domain. It may be separated.
単位映像を分離するステップは、一枚の二次元映像を周波数領域に変換するステップと、周波数領域に変換された映像から、照明源点別に分離された単位映像として再び組み合わせるステップと、を含んでもよい。 The step of separating the unit video includes a step of converting a single two-dimensional video into the frequency domain, and a step of recombining the unit video separated by the illumination source point from the video converted into the frequency domain. Good.
異なる複数の照明源点は、物体に異なる角度で光を照明してもよい。 Different illumination source points may illuminate the object at different angles.
光を物体に照明する光は、可視光線、赤外線、紫外線、またはＸ線であってもよい。 The light that illuminates the object may be visible light, infrared light, ultraviolet light, or X-rays.
分離されたそれぞれの単位映像から、物体の三次元形状を復元するステップは、トモグラフィ法を利用してもよい。 The step of restoring the three-dimensional shape of the object from each separated unit video may use a tomography method.
本発明によれば、取得された一枚の映像から、任意の物体の三次元形状復元が可能であり、それによって、三次元形状復元にかかる映像獲得時間を画期的に短縮させることができる。病院でよく使われるコンピュータ映像断層撮影(Computerized Tomography: CT)装置に本発明が適用される場合、一枚のＸ線映像を取得して、人体の内部の三次元形状が得られるので、放射線の被爆量とＣＴ撮影にかかる時間を画期的に減らすことができ、心臓のように速く動く臓器のリアルタイム三次元形状取得にも有効に使われる。 According to the present invention, it is possible to restore a three-dimensional shape of an arbitrary object from a single acquired image, and thereby dramatically shorten the video acquisition time required for three-dimensional shape restoration. . When the present invention is applied to a computerized tomography (CT) apparatus often used in hospitals, a single X-ray image can be acquired to obtain a three-dimensional shape inside the human body. The amount of exposure and the time required for CT imaging can be dramatically reduced, and it can be effectively used for real-time 3D shape acquisition of organs that move fast like the heart.
以下、添付された図面を参照して、本発明の実施形態を詳細に説明する。図面において、同じ参照符号は、同じ構成要素を指し、各構成要素のサイズや厚さは、説明の明瞭性のために誇張される。 Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals denote the same components, and the size and thickness of each component are exaggerated for clarity of explanation.
図１は、本発明の一実施形態による三次元形状復元装置１００の構成を概略的に示すものである。 FIG. 1 schematically shows a configuration of a three-dimensional shape restoration apparatus 100 according to an embodiment of the present invention.
図１を参照すれば、本実施形態による三次元形状復元装置１００は、複数の照明源点を有する光を物体１０に照明する照明部１１０と、物体１０を透過した光を変調する光変調素子１２０と、光変調素子１２０で変調された物体１０の映像を撮像する撮像部１３０と、撮像部１３０で撮像された映像を処理する信号処理部１５０とを備える。照明部１１０と光変調素子１２０との間には、物体１０が位置する。 Referring to FIG. 1, the three-dimensional shape restoration apparatus 100 according to the present embodiment includes an illumination unit 110 that illuminates an object 10 with light having a plurality of illumination source points, and a light modulation element that modulates light transmitted through the object 10. 120, an imaging unit 130 that captures an image of the object 10 modulated by the light modulation element 120, and a signal processing unit 150 that processes the image captured by the imaging unit 130. The object 10 is located between the illumination unit 110 and the light modulation element 120.
照明部１１０は、離隔して配列された複数個の発光源１１１を備える。発光源１１１の発光位置が、それぞれ照明源点として理解される。これによって、発光源１１１は、異なる照射角度で物体１０を照明する。発光源１１１は、二次元平面あるいは曲面上に配列されても、三次元的に配列されてもよい。発光源１１１の配列間隔は、一定であっても、規則的に変更されてもよい。発光源１１１は、可視光線源、赤外線源、テラヘルツ波源、紫外線源、Ｘ線源などの公知の光源であり、応用分野によって選択される。 The illumination unit 110 includes a plurality of light emitting sources 111 that are spaced apart. The light emission position of the light source 111 is understood as an illumination source point. Thereby, the light emission source 111 illuminates the object 10 at different irradiation angles. The light emitting sources 111 may be arranged on a two-dimensional plane or curved surface, or may be arranged three-dimensionally. The arrangement interval of the light emitting sources 111 may be constant or may be changed regularly. The light emission source 111 is a known light source such as a visible light source, an infrared light source, a terahertz wave source, an ultraviolet light source, or an X-ray source, and is selected according to the application field.
図２は、ピンホールアレイタイプの光変調素子１２０の平面図である。図２を参照すれば、ピンホールアレイタイプの光変調素子１２０は、複数のピンホール１２１，１２２，…が二次元平面上に規則的に配列され、ピンホール１２１，１２２，…は、光が通過する開口である。一方、光変調素子１２０において、ピンホール１２１，１２２，…を除いた残りの領域では、光が遮断される。ピンホール１２１，１２２，…の配列間隔Ｄは、後述するように、一つのピンホール１２１を通過して、撮像部１３０で形成される像Ｐ１（図３）が、隣接するピンホール１２２を通過して、撮像部１３０で形成される像と空間的に重ならないように設定される。かかるピンホールアレイタイプの光変調素子１２０は、物体１０を透過した光を、照明部１１０の照明源点によって空間的に規則的なパターンに変調して、照明部１１０の照明源点による映像情報を分離する光学装置の一例である。 FIG. 2 is a plan view of a pinhole array type light modulation element 120. Referring to FIG. 2, a pinhole array type light modulation device 120 has a plurality of pinholes 121, 122,... Regularly arranged on a two-dimensional plane, and the pinholes 121, 122,. It is an opening that passes through. On the other hand, in the light modulation element 120, light is blocked in the remaining region excluding the pinholes 121, 122,. The arrangement interval D of the pinholes 121, 122,... Passes through one pinhole 121 and the image P1 (FIG. 3) formed by the imaging unit 130 passes through the adjacent pinhole 122, as will be described later. Thus, it is set so as not to spatially overlap an image formed by the imaging unit 130. The pinhole array type light modulation element 120 modulates the light transmitted through the object 10 into a spatially regular pattern by the illumination source point of the illumination unit 110, and image information by the illumination source point of the illumination unit 110. It is an example of the optical apparatus which isolate | separates.
撮像部１３０は、光変調素子１２０で変調された映像を、一枚の二次元映像として撮像する装置である。撮像部１３０は、光を検出して、電気的信号に切り替える光電変換素子が二次元配列された構造を有する。撮像部１３０の光電変換素子は、照明部１１０で採択された光源の波長によって適切に選択される。 The imaging unit 130 is an apparatus that captures an image modulated by the light modulation element 120 as a single two-dimensional image. The imaging unit 130 has a structure in which photoelectric conversion elements that detect light and switch to electrical signals are two-dimensionally arranged. The photoelectric conversion element of the imaging unit 130 is appropriately selected according to the wavelength of the light source adopted by the illumination unit 110.
光変調素子１２０の前方あるいは後方には、撮像部１３０に物体１０の像を結像するための結像光学系（図示せず）がさらに設けられる。結像光学系において、センサーは、照明部１１０で採択された光源の波長によって適切に選択され、例えば、可視光線、赤外線、または紫外線に対しては、屈折レンズが結像光学系として使われ、Ｘ線に対しては、減衰性質の光変調素子が結像光学系として使われる。 An imaging optical system (not shown) for forming an image of the object 10 on the imaging unit 130 is further provided in front of or behind the light modulation element 120. In the imaging optical system, the sensor is appropriately selected according to the wavelength of the light source adopted by the illumination unit 110. For example, for visible light, infrared light, or ultraviolet light, a refractive lens is used as the imaging optical system. For X-rays, a light modulation element having an attenuation property is used as an imaging optical system.
信号処理部１５０は、撮像部１３０で撮像された一枚の二次元映像を照明源点別に分離して、複数の単位映像を抽出し、それらの複数の単位映像から、物体１０の三次元形状を復元する。信号処理部１５０での三次元形状復元プロセスは、三次元形状を復元する方法と共に説明する。 The signal processing unit 150 separates one two-dimensional image captured by the imaging unit 130 for each illumination source point, extracts a plurality of unit images, and extracts the three-dimensional shape of the object 10 from the plurality of unit images. To restore. The three-dimensional shape restoration process in the signal processor 150 will be described together with a method for restoring the three-dimensional shape.
図３ないし図８を参照して、物体１０の三次元形状を復元する方法を説明する。図３は、本実施形態の三次元形状復元装置１００における光線を示す。図４は、撮像部１３０が撮像したサンプル映像を示し、図５は、図４において、Ａ部分の映像を拡大したものである。図４及び図５は、三次元形状復元装置１００の照明部１１０が、６行６列に配列された総３６個の発光源１１１を有する場合に撮像された映像である。 A method for restoring the three-dimensional shape of the object 10 will be described with reference to FIGS. FIG. 3 shows light rays in the three-dimensional shape restoration apparatus 100 of the present embodiment. FIG. 4 shows a sample video imaged by the imaging unit 130, and FIG. 5 is an enlarged view of the video image of part A in FIG. 4 and 5 are images captured when the illumination unit 110 of the three-dimensional shape restoration apparatus 100 has a total of 36 light emission sources 111 arranged in 6 rows and 6 columns.
図３を参照すれば、照明部１１０の発光源１１１から出発した光線Ｌは、光変調素子１２０のピンホール１２１を通過して、撮像部１３０の撮像面１３１に結像される。一方、光変調素子１２０の一つのピンホール１２１を通過する光の光線は、撮像部１３０の撮像面１３１に、一つのピンホール部分映像Ｐ１として結像される。同様に、前記ピンホール１２１に隣接したピンホール１２２を通過する光は、撮像部１３０の撮像面１３１に、ピンホール部分映像Ｐ２として結像される。この時、ピンホール１２１，１２２，…の配列間隔Ｄは、ピンホール部分映像Ｐ１とピンホール部分映像Ｐ２とが空間的に分離されるように設定される。 Referring to FIG. 3, the light beam L starting from the light source 111 of the illumination unit 110 passes through the pinhole 121 of the light modulation element 120 and is imaged on the imaging surface 131 of the imaging unit 130. On the other hand, a light ray passing through one pinhole 121 of the light modulation element 120 is imaged on the imaging surface 131 of the imaging unit 130 as one pinhole partial image P1. Similarly, the light passing through the pinhole 122 adjacent to the pinhole 121 is imaged on the image pickup surface 131 of the image pickup unit 130 as a pinhole partial image P2. At this time, the arrangement interval D of the pinholes 121, 122,... Is set so that the pinhole partial video P1 and the pinhole partial video P2 are spatially separated.
図５において、一つの四角形で表示された領域は、光変調素子１２０の一つのピンホール１２１により形成されたピンホール部分映像Ｐ１である。図４及び図５を参照すれば、ピンホール部分映像Ｐ１が、サンプル映像の全域にわたって行と列に配列されている。かかるピンホール部分映像Ｐ１の配列パターンは、光変調素子１２０のピンホール１２１，１２２，…の配列パターンに対応する。 In FIG. 5, a region represented by one square is a pinhole partial image P <b> 1 formed by one pinhole 121 of the light modulation element 120. 4 and 5, the pinhole partial image P1 is arranged in rows and columns over the entire area of the sample image. The arrangement pattern of the pinhole partial image P1 corresponds to the arrangement pattern of the pinholes 121, 122,.
照明部１１０の発光源１１１それぞれは、照明源点を異ならせるので、物体１０に入射される光線は、照明部１１０の発光源１１１別に入射角を異ならせる。したがって、ピンホール部分映像Ｐ１は、図５に示したように、発光源１１１別に空間的に分離されたタイルで形成されている。すなわち、照明部１１０が６行６列に配列された総３６個の発光源１１１を有する場合、ピンホール部分映像Ｐ１は、総３６個の発光源１１１にそれぞれ対応する３６個のタイルで形成される。 Since each of the light emission sources 111 of the illumination unit 110 has a different illumination source point, a light beam incident on the object 10 has a different incident angle for each light emission source 111 of the illumination unit 110. Therefore, as shown in FIG. 5, the pinhole partial image P1 is formed of tiles spatially separated for each light source 111. That is, when the illumination unit 110 has a total of 36 light sources 111 arranged in 6 rows and 6 columns, the pinhole partial image P1 is formed of 36 tiles respectively corresponding to the 36 light sources 111 in total. The
前記のように、光変調素子１２０のピンホール１２１から、発光源１１１別に光の光線が分離されるのは、光が空間的に変調されるものと理解される。かかる空間的な変調によって、物体１０の各位置及び方向についての映像情報が、撮像部１３０で撮像された二次元映像に空間的に分離可能に含まれている。 As described above, the separation of light rays from the pinhole 121 of the light modulation element 120 for each light source 111 is understood to mean that the light is spatially modulated. By such spatial modulation, video information about each position and direction of the object 10 is included in the two-dimensional video imaged by the imaging unit 130 so as to be spatially separable.
図６は、図５において、ピンホール部分映像Ｐ１を拡大したものである。ここで、ｉ，ｊは、図４に示したサンプル映像の全体で、ピンホール部分映像Ｐ１の位置を示すインデックスである。すなわち、図５において、ピンホール部分映像Ｐ１は、サンプル映像の全体で、ｉ番目の行、ｊ番目の列に位置したものと理解される。 FIG. 6 is an enlarged view of the pinhole partial image P1 in FIG. Here, i and j are indexes indicating the position of the pinhole partial video P1 in the entire sample video shown in FIG. That is, in FIG. 5, it is understood that the pinhole partial video P1 is located in the i-th row and the j-th column in the entire sample video.
図６において、ピンホール部分映像Ｐ１内で、最初の発光源によるタイルは、Ｉ１ ｉｊで表示され、二番目の発光源によるタイルは、Ｉ２ ｉｊで表示され、同様な方式によって、３６番目の発光源によるタイルは、Ｉ３６ ｉｊで表示される。図６を参照すれば、一つのピンホール部分映像Ｐ１内にある小さいタイルＩ１ ｉｊ，Ｉ２ ｉｊ，Ｉ３ ｉｊ，…，Ｉ３６ ｉｊの個数は、照明部１１０で使われた発光源１１１の個数である３６個と同じである。すなわち、一つのピンホール部分映像Ｐ１内に存在するタイルＩ１ ｉｊ，Ｉ２ ｉｊ，…，Ｉ３６ ｉｊは、６（横）×６（縦）の発光源１１１から出発した光線が、一つのピンホール１２１を通過して空間的に分離された状態で、撮像部１３０に撮像されたものである。 In FIG. 6, in the pinhole partial image P1, the tile from the first light source is displayed as I 1 ij , and the tile from the second light source is displayed from I 2 ij. The tiles from the light emitting sources are indicated by I 36 ij . Referring to FIG. 6, the number of small tiles I 1 ij , I 2 ij , I 3 ij ,..., I 36 ij in one pinhole partial image P 1 is the light emitting source 111 used in the illumination unit 110. This is the same as the number of 36. That is, the tiles I 1 ij , I 2 ij ,..., I 36 ij existing in one pinhole partial image P 1 are obtained from the light rays starting from the light source 111 of 6 (horizontal) × 6 (vertical). The image is captured by the image capturing unit 130 while being spatially separated through the pinhole 121.
図７及び図８は、撮像された映像から、個別的な発光源が照射した光による映像を分離する過程を示すものである。説明の簡略化のために、サンプル映像をなす複数のピンホール部分映像のうち、行インデックスがｉ＝１，２，３であり、複数の四角形領域の列インデックスがｊ＝１，２，３であるもののみを考慮する。 7 and 8 show a process of separating an image by light emitted from an individual light source from a captured image. For simplification of description, among the plurality of pinhole partial images constituting the sample image, the row index is i = 1, 2, 3 and the column index of the plurality of rectangular areas is j = 1, 2, 3 Only consider certain things.
図７を参照すれば、９個のピンホール部分映像それぞれで、最初のタイルＩ１ １１，Ｉ１ １２，Ｉ１ １３，Ｉ１ ２１，Ｉ１ ２２，Ｉ１ ２３，Ｉ１ ３１，Ｉ１ ３２，Ｉ１ ３３は、最初の発光源から出発した光線により形成された像として理解される。同様に、９個のピンホール部分映像それぞれで、二番目のタイルＩ２ ｉｊ（図６）は、二番目の発光源から出発した光線により形成された像として理解される。 Referring to FIG. 7, the first tiles I 1 11 , I 1 12 , I 1 13 , I 1 21 , I 1 22 , I 1 23 , I 1 31 , I 1 in each of nine pinhole partial images. 32 , I 1 33 is understood as an image formed by light rays starting from the first light source. Similarly, in each of the nine pinhole partial images, the second tile I 2 ij (FIG. 6) is understood as an image formed by light rays starting from the second light source.
光変調素子１２０による空間的な変調によって、図８に示したように、これらの最初の発光源から照射された光で形成されたタイルＩ１ １１，Ｉ１ １２，Ｉ１ １３，Ｉ１ ２１，Ｉ１ ２２，Ｉ１ ２３，Ｉ１ ３１，Ｉ１ ３２，Ｉ１ ３３は分離されて、最初の単位映像Ｉ１として再び組み合わせられ、二番目の発光源から照射された光で形成されたタイルＩ２ １１，Ｉ２ １２，Ｉ２ １３，Ｉ２ ２１，Ｉ２ ２２，Ｉ２ ２３，Ｉ２ ３１，Ｉ２ ３２，Ｉ２ ３３は分離されて、二番目の単位映像Ｉ２として再び組み合わせられる。かかる単位映像の再び組み合わせは、反復的に行われ、最後に３６番目の発光源から照射された光で形成されたタイルＩ３６ １１，Ｉ３６ １２，Ｉ３６ １３，Ｉ３６ ２１，Ｉ３６ ２２，Ｉ３６ ２３，Ｉ３６ ３１，Ｉ３６ ３２，Ｉ３６ ３３は分離されて、３６番目の単位映像Ｉ３６として再び組み合わせられる。 As shown in FIG. 8, tiles I 1 11 , I 1 12 , I 1 13 , I 1 21 formed by light emitted from these first light emission sources by spatial modulation by the light modulation element 120. , I 1 22 , I 1 23 , I 1 31 , I 1 32 , I 1 33 are separated and recombined as the first unit image I 1 and formed by the light emitted from the second light source The tiles I 2 11 , I 2 12 , I 2 13 , I 2 21 , I 2 22 , I 2 23 , I 2 31 , I 2 32 , I 2 33 are separated and again as the second unit video I 2. Can be combined. Such recombination of unit images is repeatedly performed, and finally, tiles I 36 11 , I 36 12 , I 36 13 , I 36 21 , I 36 22 formed with light emitted from the 36th light source. , I 36 23 , I 36 31 , I 36 32 , I 36 33 are separated and recombined as the 36th unit video I 36 .
かかるプロセスを通じて得られる単位映像Ｉ１，Ｉ２，…，Ｉ３６は、異なる照明源点で照射される光により得られる映像である。このように、異なる照明源点を有する光による映像から、三次元形状を復元することは、公知のトモグラフィ法を通じて行われる。一例として、単位映像Ｉ１，Ｉ２，…，Ｉ３６をＡＲＴ(Algebraic Reconstruction Technique)法により復元することで、三次元形状が得られる。 Unit images I 1 , I 2 ,..., I 36 obtained through such a process are images obtained by light irradiated from different illumination source points. In this way, the three-dimensional shape is restored from an image of light having different illumination source points through a known tomography method. As an example, the unit images I 1 , I 2 ,..., I 36 are restored by the ART (Algebraic Reconstruction Technique) method, thereby obtaining a three-dimensional shape.
次いで、本実施形態による三次元形状復元方法を説明する。図９は、本実施形態による三次元形状復元方法を説明するフローチャートである。 Next, the three-dimensional shape restoration method according to the present embodiment will be described. FIG. 9 is a flowchart illustrating the three-dimensional shape restoration method according to the present embodiment.
図１ないし図９を参照すれば、異なる複数の照明源点を有する光を物体１０に照明する（Ｓ１１０）。次いで、ピンホールアレイのような光変調素子１２０を利用して、物体１０を透過した光を規則的に変調する（Ｓ１２０）。次いで、変調された物体１０の映像を、一枚の二次元映像として撮像する（Ｓ１３０）。次いで、図７及び図８を参照して説明したように、撮像された一つの映像を、光変調素子１２０のレンズレット１２１それぞれに対応する部分映像に分離し、各部分映像で空間的に分離されたタイルを照明源点別に再び組み合わせて、複数の単位映像を抽出する（Ｓ１４０）。最後に抽出された複数の単位映像から、トモグラフィ法を利用して三次元映像を復元する（Ｓ１５０）。 1 to 9, the object 10 is illuminated with light having a plurality of different illumination source points (S110). Next, the light modulation element 120 such as a pinhole array is used to regularly modulate the light transmitted through the object 10 (S120). Next, the modulated image of the object 10 is captured as a single two-dimensional image (S130). Next, as described with reference to FIGS. 7 and 8, one captured image is separated into partial images corresponding to the lenslets 121 of the light modulation element 120, and spatially separated in each partial image. The combined tiles are combined again for each illumination source point to extract a plurality of unit images (S140). A 3D image is restored from the last extracted unit images using a tomography method (S150).
＜実験例＞
図１０は、前述した実施形態による三次元形状復元装置１００を実験的にセッティングした実験例を示す。本実験例において、照明部１１０は、白色発光ダイオード素子（ＬＥＤ）が二次元配列された構成を有し、物体１０に該当するコップを透過した光は、ピンホールアレイの光変調素子１２０を経た後、撮像部１３０で撮像される。図１１は、撮像部１３０で撮像された一枚の映像から、照明源点別に分離された単位映像を示す。図１１を参照すれば、単位映像は、物体１０を多様な角度で撮像されたものに対応する。図１２Ａ及び図１２Ｂは、照明源点別に分離された単位映像を三次元映像として復元したものを示す。
<Experimental example>
FIG. 10 shows an experimental example in which the three-dimensional shape restoration apparatus 100 according to the above-described embodiment is experimentally set. In this experimental example, the illumination unit 110 has a configuration in which white light emitting diode elements (LEDs) are two-dimensionally arranged, and light transmitted through a cup corresponding to the object 10 passes through a light modulation element 120 of a pinhole array. Thereafter, the image is captured by the imaging unit 130. FIG. 11 shows unit images separated by illumination source points from one image captured by the imaging unit 130. Referring to FIG. 11, the unit video corresponds to the object 10 captured at various angles. FIG. 12A and FIG. 12B show a unit image separated for each illumination source point restored as a three-dimensional image.
図１３は、前述した実施形態の三次元形状復元装置における光変調素子１２０として採用されるレンズレットアレイタイプの光変調素子を示す。 FIG. 13 shows a lenslet array type light modulation element employed as the light modulation element 120 in the three-dimensional shape restoration apparatus of the above-described embodiment.
前述した実施形態において、光変調素子１２０は、ピンホールアレイを例として説明したが、これに限定されるものではない。三次元形状復元装置１００に採用される光変調素子１２０として、ピンホールアレイの代わりに、図１３に示したようなレンズレットアレイが使われてもよい。 In the above-described embodiment, the light modulation element 120 has been described using a pinhole array as an example, but the present invention is not limited to this. As the light modulation element 120 employed in the three-dimensional shape restoration apparatus 100, a lenslet array as shown in FIG. 13 may be used instead of the pinhole array.
レンズレットアレイは、図１３でＢ領域を拡大した図面で見られるように、複数のレンズレット１２５が二次元平面上に配列されたものである。レンズレット１２５の間隔は、レンズレット１２５それぞれにより形成された像が互いに重ならないサイズに設定される。異なる照明源点から出発して、一つのレンズレット１２５に入射した光線は、異なる入射角を有し、したがって、レンズレット１２５で異なる屈折角を有して出射される。したがって、異なる照明源点から出発した光線は、レンズレット１２５で空間的に分離される。すなわち、レンズレット１２５は、図３を参照して説明したピンホール１２１での空間的変調と実質的に同じ効果が得られるということが分かり、図１ないし図９を参照して説明した実施形態で、ピンホールアレイの光変調素子１２０と実質的に同じ機能を行えるということが分かる。 The lenslet array is formed by arranging a plurality of lenslets 125 on a two-dimensional plane, as can be seen in FIG. The interval between the lenslets 125 is set to a size such that images formed by the lenslets 125 do not overlap each other. Starting from different illumination source points, light rays incident on one lenslet 125 have different incident angles and are therefore emitted at the lenslet 125 with different refraction angles. Thus, rays originating from different illumination source points are spatially separated by the lenslet 125. That is, it can be seen that the lenslet 125 has substantially the same effect as the spatial modulation in the pinhole 121 described with reference to FIG. 3, and the embodiment described with reference to FIGS. Thus, it can be seen that substantially the same function as the light modulation element 120 of the pinhole array can be performed.
図１４は、本発明の他の実施形態による三次元形状復元装置２００の構成を概略的に示す。図１４を参照すれば、本実施形態による三次元形状復元装置２００は、複数の照明源点を有する光を物体１０に照明する照明部１１０と、物体１０を透過した光を変調する光変調素子２２０と、光変調素子２２０で変調された物体１０の映像を撮像する撮像部１３０と、撮像部１３０で撮像された映像を処理する信号処理部１５０とを備える。 FIG. 14 schematically illustrates a configuration of a three-dimensional shape restoration apparatus 200 according to another embodiment of the present invention. Referring to FIG. 14, the three-dimensional shape restoration apparatus 200 according to the present embodiment includes an illumination unit 110 that illuminates an object 10 with light having a plurality of illumination source points, and a light modulation element that modulates light transmitted through the object 10. 220, an imaging unit 130 that captures an image of the object 10 modulated by the light modulation element 220, and a signal processing unit 150 that processes the image captured by the imaging unit 130.
照明部１１０と撮像部１３０とは、図１ないし図９を参照して説明した実施形態と実質的に同じである。 The illumination unit 110 and the imaging unit 130 are substantially the same as those described with reference to FIGS. 1 to 9.
図１５及び図１６は、本実施形態の三次元形状復元装置２００に採用される周波数ドメインパターンマスクタイプの光変調素子２２０の平面図である。周波数ドメインパターンマスクは、周波数領域で物体１０を透過した光を、照明部１１０の照明源点によって分離されるように変調する光学素子である。かかる周波数ドメインパターンマスクは、図１５に示したＭＵＲＡ(Modified Uniformly Redundant Arrays)パターンや、図１６に示したコサインパターンに形成される。 FIGS. 15 and 16 are plan views of a frequency domain pattern mask type light modulation element 220 employed in the three-dimensional shape restoration apparatus 200 of the present embodiment. The frequency domain pattern mask is an optical element that modulates the light transmitted through the object 10 in the frequency domain so as to be separated by the illumination source point of the illumination unit 110. Such a frequency domain pattern mask is formed in the MURA (Modified Uniformly Redundant Arrays) pattern shown in FIG. 15 or the cosine pattern shown in FIG.
図１７ないし図２０は、本実施形態の三次元形状復元装置１００での物体１０の像が周波数領域で変調及び復調される過程を説明する。 17 to 20 illustrate a process in which the image of the object 10 is modulated and demodulated in the frequency domain by the three-dimensional shape restoration apparatus 100 of the present embodiment.
図１７は、本実施形態の三次元形状復元装置２００における光線を示し、図１８は、周波数領域に変換された映像の一例を示し、図１９は、物体１０を透過した映像が変調された一例を周波数平面で示し、図２０は、撮像部１３０に撮像された映像の復元を説明する。図１８及び図１９において、ｆＸ軸は、空間に対する周波数領域を表し、ｆθ軸は、撮像部１３０に入射される光の入射角θに対する周波数領域を表す。図１９及び図２０において、Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５は、照明源点を異ならせる光線Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５による映像を表す。 FIG. 17 shows light rays in the three-dimensional shape restoration apparatus 200 of the present embodiment, FIG. 18 shows an example of an image converted into the frequency domain, and FIG. 19 shows an example of an image that has been transmitted through the object 10 modulated. Is shown on the frequency plane, and FIG. 20 illustrates restoration of the video imaged by the imaging unit 130. 18 and 19, the f X axis represents a frequency region with respect to space, and the f θ axis represents a frequency region with respect to an incident angle θ of light incident on the imaging unit 130. 19 and 20, I 1 , I 2 , I 3 , I 4 , and I 5 represent images of light rays L 1 , L 2 , L 3 , L 4 , and L 5 that make the illumination source point different.
図１７を参照すれば、照明部１１０の異なる発光源１１１から出発した光線Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５は、物体１０を透過した後、光変調素子２２０により周波数領域で変調され、撮像部１３０に一枚の映像として撮像される。 Referring to FIG. 17, light beams L 1 , L 2 , L 3 , L 4 , and L 5 starting from different light sources 111 of the illumination unit 110 pass through the object 10 and are then transmitted in the frequency domain by the light modulation element 220. The modulated image is picked up by the image pickup unit 130 as a single image.
図１８を参照すれば、撮像部１３０に達する光フィールドは、照明源点別に物体１０の位置についての情報と、角度についての情報とをいずれも有しているが、光変調素子２２０の変調がない場合であれば、撮像部１３０により実質的に撮像される映像は、ｆθ＝０の領域である。したがって、光変調素子２２０の変調がない場合であれば、撮像部１３０により撮像された映像は、いずれも周波数領域でｆθ＝０である領域Ｃにあるので、撮像面１３１に入射される光線の角度についての情報がなくなる。 Referring to FIG. 18, the light field reaching the imaging unit 130 includes both information on the position of the object 10 and information on the angle for each illumination source point. If not, the image substantially captured by the imaging unit 130 is an area where f θ = 0. Therefore, if there is no modulation of the light modulation element 220, the images picked up by the image pickup unit 130 are all in the region C where f θ = 0 in the frequency region. There is no information about the angle.
図１９を参照すれば、異なる照明源点を有する映像Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５は、光変調素子２２０の周波数ドメインパターンによって、周波数領域ｆＸの所定の区間別に異なるサイズでｆθ軸方向に変調される。その結果、ｆθ＝０である領域Ｄに置かれた変調された映像Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５は、変調前を基準として、異なるｆθでの映像となる。ｆθ＝０である領域Ｄに置かれた変調された映像Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５は、撮像部１３０により一枚の映像として撮像される。したがって、光変調素子２２０により変調された後、撮像部１３０により撮像された一枚の映像には、撮像面１３１に入射される光線の角度θについての情報が含まれる。入射角θは、照明部１１０の照明源点によって変わるので、撮像部１３０により撮像された一枚の映像は、照明部１１０の照明源点についての情報を含んでいると理解される。したがって、図２０に示したように、撮像された一枚の映像内に属する映像Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５から、本来のｆθ値の位置に再配置することで（すなわち、照明源点別に映像を復元することで）、三次元形状を復元できる。 Referring to FIG. 19, images I 1 , I 2 , I 3 , I 4 , and I 5 having different illumination source points are different for each predetermined section of the frequency domain f X depending on the frequency domain pattern of the light modulation element 220. The size is modulated in the fθ- axis direction. As a result, the modulated images I 1 , I 2 , I 3 , I 4 , and I 5 placed in the region D where f θ = 0 are images with different f θ on the basis of the pre-modulation. The modulated images I 1 , I 2 , I 3 , I 4 , and I 5 placed in the region D where f θ = 0 are captured as one image by the imaging unit 130. Therefore, one image captured by the imaging unit 130 after being modulated by the light modulation element 220 includes information about the angle θ of the light ray incident on the imaging surface 131. Since the incident angle θ varies depending on the illumination source point of the illumination unit 110, it is understood that one image captured by the imaging unit 130 includes information about the illumination source point of the illumination unit 110. Therefore, as shown in FIG. 20, by rearranging the images I 1 , I 2 , I 3 , I 4 , and I 5 belonging to one captured image to the position of the original f θ value. The three-dimensional shape can be restored (that is, by restoring the image for each illumination source point).
前記のような本実施形態の三次元形状復元装置１００は、コンピュータ映像断層撮影(Computerized Tomography: CT)装置であってもよい。この場合、照明部１１０の発光源１１１は、Ｘ線チューブのようなＸ線源であり、撮像部１３０は、Ｘ線検出イメージセンサーである。このように、本実施形態の三次元形状復元装置１００をＣＴ装置に適用する場合、一枚のＸ線映像から、人体の内部の動的に動く臓器の三次元形状が得られるので、高速のＣＴ装置を具現できる。従来のＣＴ装置では、人体の内部の動的に動く臓器の撮像が困難であったが、本実施形態の三次元形状復元装置１００は、連続的に撮像された個別的な映像から、個別的に三次元形状を獲得できるので、動的に動く臓器の三次元形状復元が容易である。また、従来のＣＴ装置の場合、三次元形状を復元するために、照射角度を異ならせる写真を複数枚撮像するため、Ｘ線の被爆量が問題となる。一方、本実施形態の三次元形状復元装置１００は、一枚の映像により三次元形状を復元するので、Ｘ線の被爆量を最小化できる。 The three-dimensional shape restoration apparatus 100 of the present embodiment as described above may be a computerized tomography (CT) apparatus. In this case, the light emission source 111 of the illumination unit 110 is an X-ray source such as an X-ray tube, and the imaging unit 130 is an X-ray detection image sensor. As described above, when the 3D shape restoration apparatus 100 according to the present embodiment is applied to a CT apparatus, a 3D shape of a dynamically moving organ inside a human body can be obtained from a single X-ray image. A CT apparatus can be implemented. In the conventional CT apparatus, it has been difficult to image a dynamically moving organ inside the human body. However, the three-dimensional shape restoration apparatus 100 according to the present embodiment is capable of performing individual imaging from continuously captured individual images. Therefore, it is easy to restore the 3D shape of a dynamically moving organ. Further, in the case of a conventional CT apparatus, in order to restore a three-dimensional shape, a plurality of photographs with different irradiation angles are taken, so the amount of X-ray exposure becomes a problem. On the other hand, the three-dimensional shape restoration apparatus 100 according to the present embodiment restores the three-dimensional shape from a single image, so that the amount of X-ray exposure can be minimized.
本実施形態の三次元形状復元装置１００は、可視光三次元カメラシステムに適用されることも可能である。この場合、照明部１１０の発光源１１１は、可視光発光ダイオードのような可視光線源であり、撮像部１３０は、可視光検出イメージセンサーである。 The three-dimensional shape restoration apparatus 100 of this embodiment can also be applied to a visible light three-dimensional camera system. In this case, the light source 111 of the illumination unit 110 is a visible light source such as a visible light emitting diode, and the imaging unit 130 is a visible light detection image sensor.
前述した本発明の一つの撮像映像による三次元形状復元装置及び方法は、理解を助けるために図面に示した実施形態を参考にして説明されたが、これは、例示的なものに過ぎず、当業者ならば、これから多様な変形及び均等な他の実施形態が可能であるという点を理解できるであろう。したがって、本発明の真の技術的保護範囲は、特許請求の範囲により決まらねばならない。 The above-described three-dimensional shape restoration apparatus and method using one captured image of the present invention has been described with reference to the embodiment shown in the drawings for the sake of understanding, but this is only an example. Those skilled in the art will appreciate that various modifications and other equivalent embodiments are possible from this. Therefore, the true technical protection scope of the present invention should be determined by the claims.
本発明は、例えば、医療映像関連の技術分野に適用可能である。 The present invention can be applied to, for example, a medical image-related technical field.
１０ 物体
１００ 照明部
１１１ 発光源
１２０，２２０ 光変調素子
１３０ 撮像部
１５０ 信号処理部
DESCRIPTION OF SYMBOLS 10 Object 100 Illumination part 111 Light emission source 120,220 Light modulation element 130 Imaging part 150 Signal processing part
Claims (17)
物体を透過した光を、空間的領域で規則的なパターンに変調する光変調素子と、
前記光変調素子で変調された映像を、一枚の二次元映像として撮像する撮像部と、
撮像部で獲得された一枚の二次元映像から、前記光変調素子のそれぞれの単位素子に対応する部分映像を分離し、前記部分映像で空間的に分離されたタイルを、照明源点別に分離された単位映像として再び組み合わせ、分離された単位映像を復元して、物体の三次元形状を復元する信号処理部と、を備えることを特徴とする三次元形状復元装置。 An illumination unit that illuminates the object with light having a plurality of illumination source points that illuminate the object at different angles ; and
A light modulation element that modulates light transmitted through an object into a regular pattern in a spatial region;
An imaging unit that captures an image modulated by the light modulation element as a single two-dimensional image;
A partial image corresponding to each unit element of the light modulation element is separated from one two-dimensional image acquired by the imaging unit, and tiles spatially separated by the partial image are separated for each illumination source point. And a signal processing unit for recombining the separated unit images and restoring the separated unit images to restore the three-dimensional shape of the object.
物体を透過した光を、周波数領域で規則的なパターンに変調する光変調素子と、
前記光変調素子で変調された映像を、一枚の二次元映像として撮像する撮像部と、
撮像部で獲得された一枚の二次元映像から、前記光変調素子のそれぞれの単位素子に対応する部分映像を分離し、前記部分映像で空間的に分離されたタイルを、照明源点別に分離された単位映像として再び組み合わせ、分離された単位映像を復元して、物体の三次元形状を復元する信号処理部と、を備えることを特徴とする三次元形状復元装置。 An illumination unit that illuminates the object with light having a plurality of illumination source points that illuminate the object at different angles; and
A light modulation element that modulates light transmitted through the object into a regular pattern in the frequency domain;
An imaging unit that captures an image modulated by the light modulation element as a single two-dimensional image;
A partial image corresponding to each unit element of the light modulation element is separated from one two-dimensional image acquired by the imaging unit, and tiles spatially separated by the partial image are separated for each illumination source point. And a signal processing unit for recombining the separated unit images and restoring the separated unit images to restore the three-dimensional shape of the object .
またはコサインパターンマスクであり、前記照明源点を異ならせる光線を周波数領域で分離することを特徴とする請求項３に記載の三次元形状復元装置。 The light modulation element is a MURA (Modified Uniformly Redundant Arrays) pattern mask.
The three-dimensional shape restoration apparatus according to claim 3 , wherein the three-dimensional shape restoration device is a cosine pattern mask, and separates light beams that vary the illumination source point in a frequency domain .
光変調素子を用いて、物体を透過した光を、空間的領域で規則的なパターンに変調する第２ステップと、
前記規則的なパターンに変調された映像を、一枚の二次元映像として撮像する第３ステップと、
前記一枚の二次元映像から、前記光変調素子のそれぞれの単位素子に対応する部分映像を分離するステップと前記部分映像で空間的に分離されたタイルを照明源点別に分離された単位映像として再び組み合わせるステップとを含む照明源点を異ならせる光それぞれにより生成された単位映像を分離する第４ステップと、
分離されたそれぞれの単位映像から、物体の三次元形状を復元する第５ステップと、を含むことを特徴とする三次元形状復元方法。 A first step of illuminating the object with light having a plurality of illumination source points that illuminate the object at different angles;
A second step of modulating light transmitted through the object into a regular pattern in a spatial region using a light modulation element;
A third step of imaging the image modulated in the regular pattern as a single two-dimensional image;
A step of separating a partial image corresponding to each unit element of the light modulation element from the one two-dimensional image and a tile spatially separated by the partial image as a unit image separated for each illumination source point A fourth step of separating the unit images generated by each of the lights for different illumination source points including the step of recombining;
And a fifth step of restoring the three-dimensional shape of the object from each of the separated unit videos .
前記一枚の二次元映像から、前記ピンホールアレイのピンホール、あるいは前記レンズレットアレイのレンズレットそれぞれに対応する部分映像を分離するステップと、
前記部分映像で空間的に分離されたタイルを、照明源点別に分離された単位映像として再び組み合わせるステップと、を含むことを特徴とする請求項１１に記載の三次元形状復元方法。 The fourth step of separating the unit video includes:
Separating a partial image corresponding to each pinhole of the pinhole array or each lenslet of the lenslet array from the one-dimensional two-dimensional image;
The method for reconstructing a three-dimensional shape according to claim 11 , further comprising the step of recombining tiles spatially separated in the partial images as unit images separated by illumination source points .
光変調素子を用いて、物体を透過した光を周波数領域で規則的なパターンに変調する第２ステップと、
前記規則的なパターンに変調された映像を、一枚の二次元映像として撮像する第３ステップと、
前記一枚の二次元映像から、前記光変調素子のそれぞれの単位素子に対応する部分映像を分離するステップと前記部分映像で空間的に分離されたタイルを照明源点別に分離された単位映像として再び組み合わせるステップとを含む照明源点を異ならせる光それぞれにより生成された単位映像を分離する第４ステップと、
分離されたそれぞれの単位映像から、物体の三次元形状を復元する第５ステップと、を含むことを特徴とする三次元形状復元方法。 A first step of illuminating the object with light having a plurality of illumination source points that illuminate the object at different angles;
A second step of modulating the light transmitted through the object into a regular pattern in the frequency domain using the light modulation element;
A third step of imaging the image modulated in the regular pattern as a single two-dimensional image;
A step of separating a partial image corresponding to each unit element of the light modulation element from the one two-dimensional image and a tile spatially separated by the partial image as a unit image separated for each illumination source point A fourth step of separating the unit images generated by each of the lights for different illumination source points including the step of recombining;
And a fifth step of restoring the three-dimensional shape of the object from each of the separated unit videos .
前記物体を透過した光を、ＭＵＲＡパターンマスクまたはコサインパターンマスクを透過させて、照明源点を異ならせる光線を周波数領域で分離することを特徴とする請求項１３に記載の三次元形状復元方法。 The second step of modulating the light transmitted through the object into a regular pattern in the frequency domain includes:
The three-dimensional shape restoration method according to claim 13 , wherein the light transmitted through the object is transmitted through a MURA pattern mask or a cosine pattern mask to separate light beams having different illumination source points in the frequency domain .
前記一枚の二次元映像を周波数領域に変換するステップと、
前記周波数領域に変換された映像から、照明源点別に分離された単位映像として再び組み合わせるステップと、を含むことを特徴とする請求項１４に記載の三次元形状復元方法。 The fourth step of separating the unit video includes:
Converting the one 2D image into a frequency domain;
The method for reconstructing a three-dimensional shape according to claim 14 , further comprising the step of recombining the image converted into the frequency domain as a unit image separated for each illumination source point .
The three-dimensional image according to any one of claims 10 to 16, wherein the fifth step of restoring the three-dimensional shape of the object from each of the separated unit images uses a tomography method. Shape restoration method.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120025670A KR101288979B1 (en) | 2012-03-13 | 2012-03-13 | Apparatus and method of reconstructing 3d shape based on a single-shot photo image |
| KR10-2012-0025670 | 2012-03-13 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013192203A JP2013192203A (en) | 2013-09-26 |
| JP5608210B2 true JP5608210B2 (en) | 2014-10-15 |
Family
ID=49219526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012263336A Expired - Fee Related JP5608210B2 (en) | 2012-03-13 | 2012-11-30 | Three-dimensional shape restoration apparatus and method using one captured image |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5608210B2 (en) |
| KR (1) | KR101288979B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109186456B (en) * | 2018-09-10 | 2020-08-21 | 深圳微检无忧科技有限公司 | New forms of energy electric vehicle hole of charging detects and positioning system based on machine vision |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10272128A (en) * | 1997-03-31 | 1998-10-13 | Futec Inc | Method and apparatus for direct tomographic photographing |
| KR100389249B1 (en) | 2000-04-29 | 2003-06-25 | 한국과학기술연구원 | Multi-view image display system |
| JP2004000356A (en) | 2002-06-03 | 2004-01-08 | Hitachi Medical Corp | Multi-slice x-ray ct apparatus and method therefor |
| JP4003129B2 (en) * | 2003-01-22 | 2007-11-07 | ソニー株式会社 | Stereoscopic imaging device, stereoscopic display device, stereoscopic imaging display device, and information recording method |
| JP2005175538A (en) * | 2003-12-05 | 2005-06-30 | Sharp Corp | Stereoscopic video display apparatus and video display method |
| KR101118744B1 (en) * | 2005-03-02 | 2012-03-14 | 재단법인서울대학교산학협력재단 | Three-dimensional/ two-dimensional convertible display device |
| JP4981359B2 (en) * | 2006-05-23 | 2012-07-18 | 日本放送協会 | Element image group imaging device and stereoscopic image display device |
| JP2009300268A (en) * | 2008-06-13 | 2009-12-24 | Nippon Hoso Kyokai <Nhk> | Three-dimensional information detection device |
| JP2010063646A (en) * | 2008-09-11 | 2010-03-25 | Fujifilm Corp | Radiation phase image radiographing apparatus |
-
2012
- 2012-03-13 KR KR1020120025670A patent/KR101288979B1/en active IP Right Grant
- 2012-11-30 JP JP2012263336A patent/JP5608210B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| KR101288979B1 (en) | 2013-08-07 |
| JP2013192203A (en) | 2013-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210243425A1 (en) | Optical imaging system and methods thereof | |
| US8872116B2 (en) | Methods and apparatus for multi-camera X-ray flat panel detector | |
| RU2655018C2 (en) | System for hyperspectral imaging in visible light, method for recording a hyperspectral image and displaying the hyperspectral image in visible light | |
| US10559393B2 (en) | X-ray detector for phase contrast and/or dark-field imaging | |
| US20160139039A1 (en) | Imaging system and imaging method | |
| WO2016015516A1 (en) | Optical imaging method using single pixel detector | |
| CN102539454B (en) | There is the digital x-ray detector of the dynamic range of increase | |
| JP2006508363A5 (en) | ||
| WO2007111669A3 (en) | Combined x-ray and optical tomographic imaging system | |
| US20140253686A1 (en) | Color 3-d image capture with monochrome image sensor | |
| JP7094988B2 (en) | Computer tomography (CT) detector and readout method for active pixel sensors | |
| JP2011050049A5 (en) | ||
| JP5053468B2 (en) | Stereoscopic image capturing apparatus and endoscope | |
| JP2007130464A5 (en) | ||
| JP5229489B2 (en) | Biometric authentication device | |
| CN113048907B (en) | Single-pixel multispectral imaging method and device based on macro-pixel segmentation | |
| JP7195619B2 (en) | Ophthalmic imaging device and system | |
| KR20190088277A (en) | Microscopy system with single shot Fourier ptychography | |
| US20150045657A1 (en) | Radioscopy system | |
| JP2017102637A5 (en) | ||
| JP5608210B2 (en) | Three-dimensional shape restoration apparatus and method using one captured image | |
| JP7247890B2 (en) | Electronic equipment and signal processing equipment | |
| Kagawa et al. | Deep-focus compound-eye camera with polarization filters for 3D endoscopes | |
| JP2020136837A (en) | Imaging apparatus for three-dimensional image, and imaging display device for three-dimensional image | |
| JP7185041B2 (en) | Hybrid X-ray and photodetector |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140128 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140428 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140819 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140829 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5608210 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |