JP4758773B2 - 3D image scanner - Google Patents
3D image scanner Download PDFInfo
- Publication number
- JP4758773B2 JP4758773B2 JP2006012813A JP2006012813A JP4758773B2 JP 4758773 B2 JP4758773 B2 JP 4758773B2 JP 2006012813 A JP2006012813 A JP 2006012813A JP 2006012813 A JP2006012813 A JP 2006012813A JP 4758773 B2 JP4758773 B2 JP 4758773B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- target plane
- light source
- subject
- plane area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 claims description 93
- 238000003384 imaging method Methods 0.000 claims description 28
- 238000003705 background correction Methods 0.000 claims description 20
- 230000003287 optical effect Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 17
- 238000009826 distribution Methods 0.000 claims description 14
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 238000002310 reflectometry Methods 0.000 claims description 3
- 239000007787 solid Substances 0.000 claims 1
- 238000000034 method Methods 0.000 description 30
- 230000006870 function Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 15
- 238000012937 correction Methods 0.000 description 13
- 239000011295 pitch Substances 0.000 description 13
- 230000000694 effects Effects 0.000 description 8
- 230000002194 synthesizing effect Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 4
- 230000002411 adverse Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 3
- 230000001105 regulatory effect Effects 0.000 description 3
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 229920003002 synthetic resin Polymers 0.000 description 3
- 239000000057 synthetic resin Substances 0.000 description 3
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 229910052571 earthenware Inorganic materials 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000005304 optical glass Substances 0.000 description 2
- 229920000515 polycarbonate Polymers 0.000 description 2
- 239000004417 polycarbonate Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 229910052572 stoneware Inorganic materials 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 239000013585 weight reducing agent Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000005332 obsidian Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Input (AREA)
- Image Processing (AREA)
Description
本発明は、立体物の正射投影画像を得るためのイメージスキャナに関する。 The present invention relates to an image scanner for obtaining an orthographic projection image of a three-dimensional object.
特許文献1には、テレセントリックレンズを備えた撮像機器を3次元物体に対して撮像方向に移動させながら、その撮像機器により3次元物体を繰り返し撮影し、それにより得られた多数枚の画像の撮像方向での濃淡レベルの推移を分析することにより、それら画像で焦点の合った位置を検出し、そして、焦点の合った位置の画素データを集めて、全画素で焦点の合った当該3次元物体の全体画像を合成したりする3次元物体認識装置が開示されている。
In
特許文献1に開示された3次元認識装置によれば、その全体画像が取得可能な物体のサイズは、撮像機器の視野のサイズ以下に限定される。すなわち、この3次元認識装置では、撮像機器の視野より大きい立体物の全体画像を得ることはできない。また、特許文献1には立体物を照明する方法については何の開示も無い。しかし、被写体が立体物の場合、照明によって立体物の表面上に生じる影が、その立体物の画像に悪影響を与えることがある。
According to the three-dimensional recognition apparatus disclosed in
従って、本発明の目的は、立体物イメージスキャナにおいて、撮像機器の視野より大きい立体物の全体の正射投影画像を得ることができるようにすることにある。 Accordingly, an object of the present invention is to enable an orthographic projection image of an entire three-dimensional object larger than the field of view of an imaging device to be obtained in a three-dimensional object image scanner.
本発明の別の目的は、立体物イメージスキャナにおいて、照明により引き起こされる影による立体物の正射投影画像への悪影響を低減することにある。 Another object of the present invention is to reduce an adverse effect on an orthographic projection image of a three-dimensional object due to a shadow caused by illumination in a three-dimensional object image scanner.
本発明のまた別の目的は、立体物イメージスキャナにおいて、幾何学的な精度の高い被写体の全体画像を得ることにある。 Another object of the present invention is to obtain an entire image of a subject with high geometric accuracy in a three-dimensional object image scanner.
本発明の一つの側面に従う立体物イメージスキャナは、立体的な被写体の正射投影画像を得るためのイメージスキャナにおいて、イメージセンサと、前記イメージセンサと前記イメージセンサから観察方向に離れた位置にあるターゲット平面領域との間に配置され、前記ターゲット平面領域の像を前記イメージセンサ上に結像するテレセントリック結像系と、被写体が配置される被写空間中で前記ターゲット平面領域を3次元方向に移動させる移動手段と、前記ターゲット平面領域に照明光を照射するものであって、前記照明光の前記ターゲット平面領域への入射角の分布範囲が前記ターゲット平面領域のあらゆる点で一定になるように前記照明光の方向を規制するようになった照明手段と、前記ターゲット平面領域が前記被写空間中を移動している間に前記イメージセンサから逐次に出力される画像データを入力し、入力された前記画像データの中から前記被写体にピントの合った画素データを検出し、検出された前記画素データを集めて前記被写体の正射投影画像を合成する画像処理手段とを備える。 A three-dimensional object image scanner according to one aspect of the present invention is an image scanner for obtaining an orthographic projection image of a three-dimensional object, and is located at a position away from the image sensor and the image sensor and the image sensor in the observation direction. A telecentric imaging system that is arranged between the target plane area and forms an image of the target plane area on the image sensor; and the target plane area in a three-dimensional direction in a subject space in which a subject is arranged A moving means for moving and irradiating the target plane area with illumination light, so that a distribution range of incident angles of the illumination light to the target plane area is constant at every point of the target plane area; Illumination means that regulates the direction of the illumination light and the target plane area move in the subject space During this time, image data sequentially output from the image sensor is input, pixel data in focus on the subject is detected from the input image data, and the detected pixel data is collected. Image processing means for synthesizing an orthographic projection image of the subject.
好適な実施形態では、前記ターゲット平面領域は線状の領域である。そして、前記照明手段は、前記ターゲット平面領域と平行に配置された少なくとも一つの線状の光源を有し、前記線状光源は、前記ターゲット平面領域に対して一定の位置関係を保って前記ターゲット平面領域と一緒に移動するようになっている。また、前記線状光源の長さは、前記線状光源の両端と前記ターゲット平面領域の両端とを結ぶ2本の見通し線のなす角度が所定の角度以上になるように、前記ターゲット平面領域の長さより長く設定されている。さらに、前記線状光源は、前記2本の見通し線を含んだ平面に沿った前記照射光の射出方向を前記所定角度の範囲に制限する光方向規制手段を有する。これにより、前記ターゲット平面領域のあらゆる点にて、前記照明光の入射光量が一定で、且つ前記平面に沿った前記照明光の入射角の分布範囲が前記所定角度の範囲で一定になるようになっている。 In a preferred embodiment, the target plane area is a linear area. The illumination unit includes at least one linear light source arranged in parallel with the target plane area, and the linear light source maintains a certain positional relationship with the target plane area. It moves with the plane area. In addition, the length of the linear light source is such that the angle formed by two line-of-sight lines connecting both ends of the linear light source and both ends of the target planar region is equal to or greater than a predetermined angle. It is set longer than the length. Further, the linear light source has a light direction restricting means for restricting an emission direction of the irradiation light along a plane including the two line-of-sight lines to a range of the predetermined angle. Thereby, the incident light quantity of the illumination light is constant at every point in the target plane area, and the distribution range of the incident angle of the illumination light along the plane is constant within the range of the predetermined angle. It has become.
好適な実施形態では、前記照明手段は、前記テレセントリック結像系から前記ターゲット平面領域へ向かう光軸の両側の位置に配置された少なくとも2つの光源を有する。そして、前記テレセントリック結像系から前記ターゲット平面領域を見たとき、一方の光源は前記ターゲット平面領域をほぼ正面から照射し、他方の光源は前記ターゲット平面領域を斜め方向から照射するようになっている。さらに、前記少なくとも2つの光源の出力光量がそれぞれ独立して可変設定できるようになっている。 In a preferred embodiment, the illuminating means has at least two light sources arranged at positions on both sides of the optical axis from the telecentric imaging system toward the target plane region. When the target plane area is viewed from the telecentric imaging system, one light source irradiates the target plane area almost from the front, and the other light source irradiates the target plane area from an oblique direction. Yes. Furthermore, the output light amounts of the at least two light sources can be variably set independently.
好適な実施形態では、前記ターゲット平面領域は前記観察方向と垂直なY方向に平行な所定長さの線状の領域である。そして、前記移動手段は、前記被写空間を、前記観察方向での位置が異なる複数のレイヤに分割し、前記複数のレイヤの各々を、前記Y方向での位置が異なり且つ前記Y方向の幅が前記ターゲット平面領域の長さに等しく設定された複数のバンドに分割し、前記ターゲット平面領域を前記観察方向へ移動させることで前記ターゲット平面領域を前記観察方向における各レイヤの位置に配置し、前記各レイヤの位置にて前記ターゲット平面領域を前記Y方向へ移動させることで前記ターゲット平面領域を前記Y方向における各バンドの位置に配置し、前記各バンドの位置にて前記ターゲット平面領域を前記観察方向及び前記Y方向に垂直なX方向へ移動させることで前記イメージセンサから前記各バンドの画像データが出力されるようにする。前記画像処理手段は、前記イメージセンサから出力される前記複数のバンドの画像データを集めることで前記複数のレイヤの画像データを生成し、生成された前記複数のレイヤの画像データを前記X方向と前記Y方向の座標ごとに比較することで前記被写体にピントの合った画素データを前記複数のレイヤの画像データから抽出するようになっている。 In a preferred embodiment, the target plane region is a linear region having a predetermined length parallel to the Y direction perpendicular to the observation direction. The moving means divides the subject space into a plurality of layers having different positions in the observation direction, and each of the plurality of layers has a different position in the Y direction and a width in the Y direction. Is divided into a plurality of bands set equal to the length of the target plane area, and the target plane area is moved to the observation direction to place the target plane area at the position of each layer in the observation direction, The target plane area is arranged at the position of each band in the Y direction by moving the target plane area in the Y direction at the position of each layer, and the target plane area is positioned at the position of each band. The image data of each band is output from the image sensor by moving in the X direction perpendicular to the observation direction and the Y direction. The image processing unit generates the image data of the plurality of layers by collecting the image data of the plurality of bands output from the image sensor, and the generated image data of the plurality of layers is set as the X direction. By comparing each coordinate in the Y direction, pixel data in focus on the subject is extracted from the image data of the plurality of layers.
好適な実施形態では、前記画像処理手段が、前記イメージセンサの白基準レベルを検出する白基準レベル検出手段と、検出された前記白基準レベルを用いて、前記イメージセンサから出力される前記画像データに対するシェーディング補正を行なうシェーディング補正手段とを有する。そして、明度の異なる複数の白基準標識が設けられ、前記イメージセンサの白基準レベルを検出する際に、被写体の平均的な明度などに応じて、適当な明度をもつ白基準標識ものを選択して使用することが可能になっている。これにより、照明装置の光量や光量ムラに依存せず、被写体の明度(反射率)に対して忠実な階調画像を得ることが可能となる。 In a preferred embodiment, the image processing means uses a white reference level detection means for detecting a white reference level of the image sensor, and the image data output from the image sensor using the detected white reference level. Shading correction means for performing shading correction on the image. A plurality of white reference signs having different brightness are provided, and when detecting the white reference level of the image sensor, a white reference sign having an appropriate brightness is selected according to the average brightness of the subject. Can be used. As a result, it is possible to obtain a gradation image faithful to the brightness (reflectance) of the subject without depending on the light amount or the light amount unevenness of the illumination device.
本発明の別の側面に従う立体的イメージスキャナは、イメージセンサと、前記イメージセンサと前記イメージセンサから離れたターゲット平面領域との間に配置され、前記ターゲット平面領域の像を前記イメージセンサ上に結像するテレセントリック結像系と、被写体が配置される被写空間中で前記ターゲット平面領域を3次元方向に移動させる移動手段と、前記テレセントリック結像系から前記ターゲット平面領域へ向かう光軸の両側の位置に配置された、前記ターゲット平面領域に照明光を照射するための少なくとも2つの光源と、前記ターゲット平面領域が前記被写空間中を移動している間に前記イメージセンサから逐次に出力される画像データを入力し、入力された前記画像データの中から前記被写体にピントの合った画素データを検出し、検出された前記画素データを集めて前記被写体の正射投影画像を合成する画像処理手段とを備える。そして、前記画像処理手段は、前記少なくとも2つの光源中の1つの光源のみを点灯して第1のサブ正射投影画像を得て保存し、その後に別の光源のみを点灯して第2のサブ正射投影画像を得て保存し、その後、前記第1と第2のサブ正射投影画像を統合して、前記正射投影画像を最終的に得る。 A stereoscopic image scanner according to another aspect of the present invention is disposed between an image sensor and the image sensor and a target plane area remote from the image sensor, and images an image of the target plane area on the image sensor. A telecentric imaging system for imaging, a moving means for moving the target plane region in a three-dimensional direction in a subject space in which a subject is arranged, and both sides of an optical axis from the telecentric imaging system to the target plane region And at least two light sources for irradiating illumination light to the target plane area disposed at a position and sequentially output from the image sensor while the target plane area is moving in the subject space. Image data is input, and pixel data in focus on the subject is selected from the input image data. Out, and an image processing means for synthesizing the orthogonal projection image of the object attracted detected the pixel data. Then, the image processing means turns on only one of the at least two light sources to obtain and store a first sub-orthogonal projection image, and then turns on only another light source to turn on the second light source. A sub orthographic projection image is obtained and stored, and then the first and second sub orthographic projection images are integrated to finally obtain the orthographic projection image.
この立体物イメージスキャナによれば、複数の光源の照明ムラパターンが極端に異なる場合であっても、最終的に得られる被写体画像では、その照明ムラの差が現れにくくなり画質が良好である。 According to this three-dimensional object image scanner, even when the illumination unevenness patterns of a plurality of light sources are extremely different, the difference in the illumination unevenness hardly appears in the finally obtained subject image, and the image quality is good.
本発明のまた別の側面に従う立体的イメージスキャナは、直線状のイメージセンサと、前記イメージセンサと前記イメージセンサから離れかつ前記イメージセンサに平行な直線状のターゲット平面領域との間に配置され、前記ターゲット平面領域の像を前記イメージセンサ上に結像するテレセントリック結像系と、被写体が配置される被写空間中で前記ターゲット平面領域を3次元方向に移動させる移動手段と、前記ターゲット平面領域が前記被写空間中を移動している間に前記イメージセンサから逐次に出力される画像データを入力し、入力された前記画像データの中から前記被写体にピントの合った画素データを検出し、検出された前記画素データを集めて前記被写体の正射投影画像を合成する画像処理手段とを備える。 A stereoscopic image scanner according to still another aspect of the present invention is disposed between a linear image sensor and a linear target plane region that is separated from and parallel to the image sensor and the image sensor. A telecentric imaging system for forming an image of the target plane area on the image sensor; a moving means for moving the target plane area in a three-dimensional direction in a subject space in which a subject is arranged; and the target plane area Input image data sequentially output from the image sensor while moving in the subject space, and detect pixel data focused on the subject from the input image data, Image processing means for collecting the detected pixel data and synthesizing an orthographic projection image of the subject.
この立体物イメージスキャナでは、直線状つまり一次元的なイメージセンサ(リニアイメージセンサ)を用いるため、得られるターゲット領域の画像データも一次元的な画像データであり、集められた多数の一次元的な画像データのうちピントのあったもの同士が幅方向と長さ向とにおいて互いに繋ぎ合わされて被写体の正射投影画像が合成される。この立体物イメージスキャナにうよれば、二次元的なイメージセンサ(エリアイメージセンサ)を使用した場合(つまり、ターゲット領域の画像データが二次元的である場合)に比較して、テレセントリック結像系の光学特性(例えばレンズの収差など)の影響による画像の歪みが、画像データの幅方向においてより生じ難く、また、特に画像データを長さ方向で正確に繋ぐために画像データに施すべき補正が、後述する実施形態において具体的に説明されるような剪断変形の補正で済むので、幾何学的な精度の高い被写体画像を得ることが、より一層容易である。 Since this three-dimensional object image scanner uses a linear, that is, one-dimensional image sensor (linear image sensor), the image data of the obtained target area is also one-dimensional image data. Of the image data, those in focus are connected to each other in the width direction and the length direction, and an orthographic projection image of the subject is synthesized. According to this three-dimensional object image scanner, a telecentric imaging system is used as compared with the case where a two-dimensional image sensor (area image sensor) is used (that is, the image data of the target area is two-dimensional). Image distortion due to the effects of optical characteristics (such as lens aberration) is less likely to occur in the width direction of the image data, and in particular, there is a correction to be applied to the image data in order to connect the image data accurately in the length direction. Since it is sufficient to correct shear deformation as specifically described in an embodiment described later, it is much easier to obtain a subject image with high geometric accuracy.
本発明によれば、イメージセンサによって同時に撮影できる物体領域であるターゲット平面領域を3次方向を移動させながら被写体をスキャンするので、立体物のためのイメージスキャナにおいて、ターゲットより大きい立体物の全体の正射投影画像を得ることができる。 According to the present invention, the object is scanned while moving the tertiary direction in the target plane area, which is an object area that can be simultaneously photographed by the image sensor. Therefore, in the image scanner for a three-dimensional object, the entire three-dimensional object larger than the target is scanned. An orthographic projection image can be obtained.
また、本発明の一つの側面によれば、照明光のターゲット平面領域への入射角の分布範囲がターゲット平面領域のあらゆる点で一定になるように照明光の方向が規制されるので、照明により引き起こされる影による立体物の正射投影画像への悪影響が低減される。 Also, according to one aspect of the present invention, the direction of the illumination light is regulated so that the distribution range of the incident angle of the illumination light to the target plane region is constant at every point in the target plane region. The adverse effect on the orthographic projection image of the three-dimensional object due to the caused shadow is reduced.
また、本発明の別の側面によれば、複数の光源の照明ムラパターンが異なる場合であっても、その照明ムラパターンの差の影響が被写体画像に現れにくくすることができる。 In addition, according to another aspect of the present invention, even when the illumination unevenness patterns of a plurality of light sources are different, the influence of the difference between the illumination unevenness patterns can be made difficult to appear in the subject image.
また、本発明のまた別の側面によれば、幾何学的な精度の高い被写体画像を得ることが容易である。 According to another aspect of the present invention, it is easy to obtain a subject image with high geometric accuracy.
以下、図面を参照して本発明の実施形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1は、本発明の一実施形態に係る立体物イメージスキャナの全体構成を示す。 FIG. 1 shows the overall configuration of a three-dimensional object image scanner according to an embodiment of the present invention.
図1に示すように、床上に設置されたプラットフォーム12上に、立体の被写体(図示せず)を載置するためのテーブル14が設置される。テーブル14の上方の被写体が配置される空間を、以下「被写空間」と呼ぶ。また、以下の説明では、3次元的な位置関係を説明する都合から、図1に示すようなX、Y、Z軸をもつ直交三次元座標系(左手系)が定義される。ここで、Y軸は鉛直方向(高さ方向)であり、X軸とZ軸は水平方向である。
As shown in FIG. 1, a table 14 for placing a three-dimensional object (not shown) is installed on a
プラットフォーム12上のテーブル14から正面に、柱状のX軌道16がX軸と平行に敷設される。X軌道16上に、柱状のY軌道18がY軸に平行に取り付けられる。そして、Y軌道18に、柱状のキャリッジ20がZ軸に平行に取り付けられる。Y軌道18は、電動自走装置(図示せず)を内蔵して、X軌道16の長さの範囲内でX軸と平行な方向(横方向)に往復移動することができる。キャリッジ20も電動自走装置(図示せず)を内蔵して、Y軌道18の長さの範囲内でY軸と平行な方向(高さ方向)に往復移動することができるとともに、それ自身の長さの範囲内でZ軸と平行な方向(奥行き方向)にも往復移動することができる。結果として、キャリッジ20は、X、Y及びZ軸に沿って三次元的に移動することができる。
A
キャリッジ20には、板状の台座22が固定され、この台座22に、スキャニングユニット24と照明装置32が固定される。スキャニングユニット24は、被写空間15内に配置される被写体(図示せず)を三次元的にスキャンするための光学装置であり、Z軸と平行に配列されたテレセントリック結像ユニット26と可変絞りユニット27とイメージセンサユニット28を有する。スキャニングユニット24の内部構成とその機能については後に図2、3を参照して説明するが、簡単に述べると次のとおりである。
A plate-
イメージセンサユニット28は、Y軸と平行に配置されたリニアな(直線状の)リニアイメージセンサ(図2、3の参照番号46)を内蔵する。テレセントリック結像ユニット26は、テレセントリックレンズ系(図2、3の参照番号40)を内蔵し、その光軸43がZ軸と平行になるようにして、Z軸の正の方向(観察方向)を向いて配置されている。テレセントリック結像ユニット26は、その前端26Aから光軸43に沿って観察方向へ所定距離だけ離れた位置にあるY軸と平行な所定長さの直線状の(つまりリニアな)平面領域(以下、ターゲット平面領域という)48の像を、イメージセンサユニット28内のリニアイメージセンサ上に結像するようになっている。つまり、スキャニングユニット24は、ターゲット平面領域48にピントが合った状態になっている。可変絞りユニット27は、イメージセンサユニット28とテレセントリック結像ユニット26との間に配置され、開度が可変な開口絞り(以下、可変絞りという)(図2、3の参照番号44)を内蔵する。可変絞りユニット27は、上述したリニアイメージセンサへの入力光量の調整や被写界深度の調整に使用される。
The
上述したスキャニングユニット24は、キャリッジ20の移動によってX、Y及びZ軸の方向に三次元的に移動し、それと一緒にターゲット平面領域48も移動する。ターゲット平面領域48の移動可能な範囲内には、被写空間15や後述する各種標識35、37、39の設置場所などが含まれる。
The
キャリッジ20には、さらに、照明装置32も固定される。この照明装置32は、ターゲット平面領域48を照明するためのもので、少なくとも2つの分離された光源ユニット34A、34Bをもつ。すなわち、キャリッジ20上の台座22の前端部に、支持フレーム30がX‐Y平面と平行に固定され、この支持フレーム30のX軸方向の両端部に(つまり、スキャニングユニット24の光軸43の左右両側に)、2つの光源ユニット34A、34Bが取り付けられる。これら2つの光源ユニット34A、34Bは、それぞれ、柱状つまりリニア(直線的)な形状をもつ。
An
リニアな光源ユニット34A、34Bは、それぞれ、Y軸と平行に配置されて、ターゲット平面領域48に向けて照明光を出射するようになっている。一方の光源ユニット34Aはスキャニングユニット24の光軸43の近傍に配置されるが、他方の光源ユニット34Bは光軸43からX軸方向へある程度の距離だけ離れた位置に配置される。そのため、一方の光源ユニット34Aはターゲット平面領域48をほぼ正面から照明するが、他方の光源ユニット34Bはターゲット平面領域48を水平面に沿った斜め方向から照明することになる。これらの光源ユニット34A、34B(照明装置32)は、キャリッジ20の移動によってスキャニングユニット24と一緒に移動するので、スキャニングユニット24に対して常に一定に位置関係を保つ。そのため、ターゲット平面領域48が移動しても、ターゲット平面領域48には常に一定の方向から一定量の照明光が照射されることになる。
The linear
プラットフォーム12とは別の場所に、コンピュータや電源回路やその他の電気・電子回路を内蔵した制御装置38が設置される。制御装置38は、上述したY軌道18とキャリッジ20内の電動自走装置、スキャニングユニット24内のリニアイメージセンサ、及び照明装置32などに、信号ケーブル及び電力ケーブルを介して電気的に接続される。制御装置38は、Y軌道18とキャリッジ20内の電動自走装置を駆動し制御することにより、キャリッジ20の三次元的な移動と位置を制御する(ひいては、スキャニングユニット24による被写体のスキャニングを制御する)機能をもつ。制御装置38は、さらに、スキャニングユニット24により被写体(図示せず)をスキャニングされている間、スキャニングユニット24内のリニアイメージセンサから逐次に出力される画像データを入力し、それらの画像データを処理することにより、被写体の合焦点画像データを合成する機能をもつ。さらに、制御装置38は、上述した画像処理に付随するシェーディング補正、光源ユニット34A、34Bの出力光量の個別的な可変制御、およびその他の各種の付随的処理を行なう機能も有する。
At a place different from the
テーブル14の図1中で遠方側(つまり、スキャニングユニット24に対向する側)の端部の被写空間15から外れた位置に、傾きチェック標識35、ピント合わせ標識37及び白基準標識39などの異なる種類の標識が取り付けられる。傾きチェック標識35は、例えばY軸と平行な直線を表示したもので、後述するように、スキャナユニット24内のリニアイメージセンサがY軸に対して僅かに傾いている場合に、その傾きを検出してこれを補正するための補正値を設定する処理(図16、ステップ104)で使用される。ピント合わせ標識37は、例えばスキャニングユニット24のピントがそこに合っていなければそれをイメージセンサで読み取ることができないような細かい格子模様(ラダーチャート)を表示するものであり、後述するように、スキャニングユニット24のピントをこの標識37に合わせてキャリッジ20の位置制御の原点を決定するための処理(図16、ステップ106)で使用される。白基準標識39は、例えば所定の明度(光反射率)をもつ白基準色を表示するもので、シェーディング補正のための白基準レベルを設定する処理(図16、ステップ108)で使用される。ここで、白基準標識39については、異なる明度(光反射率)をもつ異なる白基準色が用意されている(異なる白基準色をそれぞれ表示する別個の複数枚の白基準標識39が用意されていていても良いし、あるいは、異なる白基準色が同じ1枚の白基準標識39上に表示されていてもよい)。ユーザは、白基準レベルの設定処理を行なう場合、上記複数の白基準色の中から、被写体の色合いや欲しい画像の明るさ具合などの事情に応じて、任意に一つの白基準色を選択して使用することができる。例えば、被写体が全体的に明るい色であるならば、純白又は明度の高い方の白基準色を使用し、一方、被写体が全体的に暗い色であるならば、明度の低い方の白基準色を使用することにより、被写体の明るさ具合に応じた適切な明度の画像を得ることが容易になる。
A
図2は、スキャニングユニット24の内部構成を示す。図3は、スキャニングユニット24の内部部品と光源ユニット34A、34Bとターゲット平面領域48との位置関係を示す。
FIG. 2 shows the internal configuration of the
図2に示すように、テレセントリック結像ユニット26内のテレセトリックレンズ系40は、対物レンズ41と第2レンズ42から構成され、図3に示すように、対物レンズ41より前方の物空間において全ての主光線が光軸43に平行に進むようになっている。テレセトリックレンズ系40は、図3に示すように、対物レンズ41から前方へ所定距離54、例えば300mm、の位置にあるターゲット平面領域48の像を、センサユニット28内のリニアイメージセンサ46上に結像する。ターゲット平面領域48は、Y軸に平行なリニアな領域であり、その中心点にてテレセトリックレンズ系40の光軸43と直交する。
As shown in FIG. 2, the
このようなテレセントリックレンズ系40では一般に、対物レンズ41には、その直径が少なくともターゲット平面領域48のY軸方向の長さと同程度であるような大きいレンズが必要がある。例えば、ターゲット平面領域48のY軸方向の長さが150mmに設定される場合、対物レンズ40には直径が150mm以上の大きいものが必要である。しかし、そのような大きなレンズをそのまま対物レンズ41として使用すると、対物レンズ41が、スキャニングユニット24及び光源ユニット34A、34Bをキャリッジ22の最適位置に取り付けるための邪魔になるおそれがある。そこで、この実施形態では、図2、3に示されるように、上記のような大きい直径をもつ円形のレンズから、「けられ」が問題にならない程度のサイズをもつ短冊形の部分だけが切り出され、その短冊形の部分がY軸と平行に配置され、対物レンズ41として用いられる。この短冊形の対物レンズ41は特にX軸方向でコンパクトであるから、上述したようなスキャニングユニット24及び光源ユニット34A、34Bの取り付けの邪魔になるという問題がない。また、テレセントリックレンズ系40の対物レンズ41を短冊状とすることで、レンズ製造コストの低下、スキャニングユニット24の軽量化を実現する。スキャニングユニット24の軽量化は、X軌道16、Y軌道18、キャリッジ20の軽量化にもつながり、結果として装置全体の軽量化を実現する。
In such a
テレセトリックレンズ系40とリニアイメージセンサ46との間には、可変絞り44が配置される。可変絞り44の開度は、完全に閉じた(テレセトリックレンズ系40からの入射光を全部遮断する)状態から完全に開いた(テレセトリックレンズ系40からの入射光を全部通す)状態までの間で複数段階、例えば6段階、に可変設定可能である。可変絞り44の開度設定は、ユーザが可変絞り44を手動で直接操作して行なわれるようになっていてもよいし、或いは、図1に示した制御装置38からの指令で自動的に行なわれるようになっていてもよい。
A
リニアイメージセンサ46は、例えば8μmピッチでY軸と平行に一直線に配列された例えば3000画素以上の光変換素子アレイと、光線変換素子アレイから出力されるアナログの電圧信号をデジタルの画素データに変換するA/D変換デバイスとを有する。A/D変換デバイスは、例えば10ビット(1024階調)以上のA/D変換精度を有し、後述するシェーディング補正に対応可能である。
テレセントリックレンズ系40の倍率は例えば0.16である。従って、ターゲット平面領域48上の例えば50μm(20画素/mm)の1つの区画49が、リニアイメージセンサ46上の例えば8μmの1つの画素に対応する。従って、例えば3000画素以上をもつリニアイメージセンサ46上に、同時に、150mmの長さ58を有するターゲット平面領域48の画像が結像されることになる(50μm×3000画素=150mm)。このように同時に撮像できるターゲット平面領域48の有効長58が例えば150mmであるため、図3に示すように、ピント合わせ標識37や白基準標識39の長さも最低でその有効長58、例えば150mm、に設定される。傾きチェック標識35の長さは、後に説明するように、ターゲット平面領域48の有効長58より長い、例えばその2倍の300mm以上、に設定される。
The
The magnification of the
テレセントリックレンズ系40を結像光学系として使うことにより、被写体の正射投影画像を得ることが可能になる。テレセントリック系ではない通常のレンズ系を使った場合には、撮影される画像は、結像系に近いものは大きく、遠いものは小さくなるという中心投影画像となり、正射投影画像を得ることはできない。被写体の正射投影画像が得られることによって、被写体の寸法と形状を忠実に表した合焦点画像を合成することが可能になる。
By using the
スキャニングユニット24の移動可能距離(ストローク)は、例えばX軸方向で500mm、Y軸方向で1000mm、Z軸方向で250mmである。それにより、その全体像がスキャン可能な被写体の最大サイズは、例えば壷、花器、土器のような水平断面が概略円形の立体被写体の場合、その直径が500mm程度で高さが1000mm程度である。
The movable distance (stroke) of the
図3に示すように、ターゲット平面領域48に向かって、対物レンズ41の右側(X軸の正方向)に一方のリニア光源ユニット34Aが配置され、左側(X軸の負方向)に他方のリニア光源ユニット34Bが配置される。右側のリニア光源ユニット34Aは、ターゲット平面領域48(つまり、被写体)に対して、ほぼ正面からの照明光を照射する。この照明光は、被写体表面の凹凸を目立たせない効果を産む。一方、左側のリニア光源ユニット34Bは、ターゲット平面領域48(つまり、被写体)に対して、側面の方向から照明光を照射する。この照明光は被写体の凹凸を目立たせる効果がある。被写体に応じてこの2種類の照明光を使い分けたり組み合わせたりすることで、所望の効果を得ることができる。例として、考古学の石器や土器などを撮影する場合を想定する。例えば黒曜石の石器のように、全体に黒色で、凹凸があっても画像にコントラストが着きにくい被写体の場合、側面からの照明光を用いることで、凹凸に応じたコントラストを明確化することができる。また、例えば縄文土器のように、光軸43方向に向けて凹んだ部分がある被写体の場合、正面からの照明光を用いることで、その凹んだ部分を奥まで照らし出して明瞭に撮影することができる。また、円筒のように両側部分が中央より遠方に位置するような被写体の場合、その輪郭を確実に捉えるために右側と左側の両方のリニア光源ユニット34A、34Bを組み合わせて使用する。このような被写体の場合、一方側からの照明光だけでは、反対側に照明光が届きにくくなり、全体の正確な輪郭線の画像情報が得られないからである。所望の効果が得られるように、それぞれの光源ユニット34A、34Bの光量を別個に調整することができる。このように、光源ユニット34A、34Bによる照明光量を変えても、後述するシェーディング補正を行うことで、リニアイメージセンサ46の出力が飽和しない限りにおいて、被写体の反射率に忠実な階調性のある画像を何度でも、再現性良く得ることができる。
As shown in FIG. 3, one linear
リニア光源ユニット34A、34BはいずれもY軸に平行に配置される。右側のリニア光源ユニット34AのY軸方向の両端とターゲット平面領域48のY軸方向の両端とを結んだ2本の見通し線50A、52Aを含む平面(この平面は鉛直なので、以下、鉛直面という)53Aを想定したとき、リニア光源ユニット34Aから出射された照明光が、この鉛直面53Aにほぼ沿った狭い一定の角度範囲で進んでターゲット平面領域48に入射するように、リニア光源ユニット34Aからの照明光の水平面(X−Z平面)に沿った出射方向が上記狭い一定の角度範囲に規制されている。加えて、リニア光源ユニット34Aからターゲット平面領域48へ入射する照明光の鉛直面53Aに沿った入射角度の分布範囲が、ターゲット平面領域48のあらゆる箇所において狭い一定角度範囲になるように、リニア光源ユニット34Aから照明光の鉛直平面53Aに沿った出射角度の範囲が上記狭い一定角度範囲に規制されている。
The linear
同様にして、左側のリニア光源ユニット34BのY軸方向の両端とターゲット平面領域48のY軸方向の両端とを結んだ2本の見通し線50B、52Bを含む平面53B(以下、鉛直面という)を想定したとき、リニア光源ユニット34Bから出射された照明光が、この鉛直面53Bに沿った狭い一定の角度範囲で進んでターゲット平面領域48に入射するように、リニア光源ユニット34Bからの照明光の水平面(X−Z平面)に沿った出射方向が上記狭い一定の角度範囲に規制されている。加えて、リニア光源ユニット34Bからターゲット平面領域48へ入射する照明光の鉛直面53Bに沿った入射角度の分布範囲が、ターゲット平面領域48のあらゆる箇所において狭い一定角度範囲になるように、リニア光源ユニット34Bから照明光の鉛直面53Aに沿った出射角度の範囲が上記狭い一定角度範囲に規制されている。
Similarly, a
このようなリニア光源ユニット34A、34Bからの照明光の出射方向の規制について、図4と図5を参照してより具体的に説明する。
The regulation of the emission direction of illumination light from the linear
図4は、リニア光源ユニット34A、34B及びターゲット平面領域48を水平面に沿って切断した断面図である。
FIG. 4 is a cross-sectional view of the linear
図4に示すように、リニア光源ユニット34A、34Bは、それぞれ、柱状つまりリニアな光源デバイス60A、60Bと、それぞれに光源デバイス60A、60Bに平行に配置された柱状つまりリニアな楕円反射鏡62A、62Bを有する。楕円反射鏡62A、62Bの各々の一方の焦点軸は光源デバイス60A、60Bの各々の中心軸の位置に配置され、他方の焦点軸はターゲット平面領域48の中心軸の位置に配置される。従って、光源デバイス60A、60Bからターゲット平面領域48に入射される照明光の入射角の分布範囲は、ターゲット平面領域48のY方向のあらゆる点において、上述し鉛直面53A、53Bに沿った一定の狭い角度範囲θA、θBに制限される。
As shown in FIG. 4, the linear
図5は、一方のリニア光源ユニット34A又は34Bとターゲット平面領域48を、前述した鉛直平面53A又は53Bに沿って切断した断面図である(説明の都合上、参照番号中の左側、右側を区別するためのインデックスA、Bは省略する)。
FIG. 5 is a cross-sectional view of one linear
図5に示すように、リニアな光源ユニット34からの照明光の鉛直面53に沿った出射角の分布範囲は、光源ユニット34の光を出射する部分(有効部分)のY軸方向のあらゆる点において、水平を中心にした狭い一定の角度範囲(水平の近傍範囲)φに規制されている。出射角を規制するための手法には、後にその具体例を紹介するように、幾つかある。
As shown in FIG. 5, the distribution range of the emission angle along the
また、光源ユニット34の有効部分のY軸方向の長さ(有効長)が、次のように設定される。すなわち、この有効長をL1、ターゲット平面領域48のY軸方向の長さをL3、ターゲット平面領域48と光源デバイス60との間の距離をDとすると、光源ユニット34の有効長L1は
L1≧L3+L2
ここに、L2=2・D・tan(φ/2)である、
という条件を満たすように設定されている。例えば、L3=150mm、D=300mm、φ=10度とすると、L2=約52mmであり、よってL1≧202mmに設定される。これは、換言すると、光源ユニット34の有効部分の両端とターゲット平面領域48の両端とを結んだ2本の見通し線50、52のなす角度が、上記角度φ以上であるということである(もし、見通し線50、52のなす角度が角度φ未満であると、ターゲット平面領域48の特に両端に近い部分で、照明光の入射角の範囲が上記角度範囲φ未満になり、その両端に近い部分の入射光量が他の部分より少なくなってしまう)。
Further, the length (effective length) of the effective portion of the
Here, L2 = 2 · D · tan (φ / 2),
Is set to satisfy the condition. For example, when L3 = 150 mm, D = 300 mm, and φ = 10 degrees, L2 = about 52 mm, and therefore, L1 ≧ 202 mm is set. In other words, the angle formed by the two line-of-sight lines 50 and 52 connecting both ends of the effective portion of the
以上のような構成の下では、リニアな光源ユニット34からターゲット平面領域48に入射される照明光の鉛直面53に沿った入射角の分布範囲は、ターゲット平面領域48のY軸方向のあらゆる点において、上記一定角度範囲φに制限されることになり、かつ、照明光の光量はターゲット平面領域48のY軸方向のあらゆる点において一定になる。その結果として、後に図12〜図14を参照して具体的に説明するように、被写体のあらゆる箇所に対する照明の具合が均一となり、被写体の全体の画像を高い画質で得ることが可能になる。
Under the configuration as described above, the distribution range of the incident angle along the
因みに、光源ユニット34からの照明光の出射角を上記のように規制しなかった場合には、照明光のターゲット平面領域48への入射角の範囲は、図5で点線で示すように、ターゲット平面領域48上の各点から、光源ユニット34の有効部分の全長を見込んだ広い角度範囲となる。そのため、入射角範囲はターゲット平面領域48上の場所によって異なり、入射光量も場所によって異なる。そして、この場合には、後に図12〜図14を参照して具体的に説明するように、被写体の全体の画像を得ようとしたとき、被写体の凹凸部分の影の悪影響が出て、高い画質の画像を得ることが困難になる。
Incidentally, when the emission angle of the illumination light from the
図6は、上述したように照明光の出射方向が一定の角度範囲φ内に制限された光源デバイス60の具体的な構成例を示す断面図である。
FIG. 6 is a cross-sectional view illustrating a specific configuration example of the
図6に示すように、柱状つまりリニアな光源デバイス60の光を出射する面の全域の正面に、光制御デバイス62が設けられている。光制御デバイス62は、例えば光の透過性の高い合成樹脂製又はその他の材料製のシート状又は板であり、その内部には、光を吸収する多数の光吸収板64(例えば黒色つや消し板)ちょうどルーバの遮光板のように、一定間隔(例えば、ミリメートルオーダの間隔)で平行に配列されている。このシート状又は板状の光制御デバイス62は、光源デバイス60の光出射面の前方にこれと平行に展張されるか又は光出射面に貼り付けられる。光源デバイス60には、リニアな形状のランプ(例えば、棒形の蛍光ランプ)などが使用できる。光源デバイス60の光出射面から射出された照明光のうち、その出射角度(光射出面の法線に対する角度)が或る程度以上に大きい照明光は、光制御デバイス62内の反射層64に当たって吸収される。その結果、図6に示すように、光制御デバイス62を通過できる照明光は、その出射角度が、水平を中心にした一定の狭い角度範囲φ内に制限される。ここで、角度範囲φは、光制御デバイス62の厚さWと反射層64の間隔dに応じて、
φ=2・tan-1(d/W)
で定まる。
As shown in FIG. 6, a
φ = 2 · tan-1 (d / W)
Determined by
図7と図8は、照明光の出射方向が一定の角度範囲φ内に制限された光源デバイス60の別の具体的な構成例を示す断面図である。図7は、この構成例で用いられる導光体の分解斜視図である。図8は、この構成の全体構造と機能を示す。
7 and 8 are cross-sectional views illustrating another specific configuration example of the
この構成例では、図7、8に示すような柱状つまりリニアな導光体65が使用され、この導光体65は、光を柱状つまりリニアな領域に導くための導光ロッド66と、導光ロッド66から射出される光の方向を所定方向に変換するためのプリズム板68から構成される。導光ロッド66は、光の透過性の高い合成樹脂製又はその他の材料製(例えば、アクリル、ポリカーボネート又は光学ガラス製など)であり、図7、8に示すように、楔のようにその前面66Bと後面66Cのなす角度が鋭角になった四角柱形の形状をもつ。プリズム板68は、導光ロッド66と同様の光の透過性の高い合成樹脂製又はその他の材料製(例えば、アクリル、ポリカーボネート又は光学ガラス製など)であり、図7、8に示すように、その前面68Aは平らであり、後面は、多数の微細な非対称三角柱形の突起(プリズム)68Bが連続的に一列に配列された鋸波又は洗濯板形状を有する。
In this configuration example, a columnar or linear
図8Aに示すように、導光ロッド66とプリズム板68は、前者の前面66Bと後者の後面(柱状プリズム68Bの凹凸が出ている面)が合わさるようにして組み合わされることで、リニアな導光体65が形成される。この導光体65の基端部(導光ロッド66の天面66A側の端部)に、ハロゲンランプと凹面反射鏡などからなるランプユニット64が取り付けられる。ランプユニット64から出力された光は、導光ロッド66の天面66Aを通って導光ロッド66内に入る。この天面66Aは、微細な凹凸をもつように加工されており、その微細な凹凸によって、そこを通過する光を種々の方向へ拡散させる。この天面66Aを通って導光ロッド66内に入った光線70は、導光ロッド66の前面66Bと後面66Cで繰り返し全反射されながら導光ロッド66内をその長手方向へ進みつつ、前面66Bと後面66Cへの入射角が徐々に小さくなっていき、最終的に、前面66Bへの入射角が臨界角より小さくなったときに、前面66Bを通過してプリズム板68の方へ射出される。天面66Aの拡散作用により、天面66Aから導光ロッド66内に入る光線の方向は様々であるため、導光ロッド66の前面から射出される光の量は、導光ロッド66の長さ範囲の全域にわたってほぼ均一である。
As shown in FIG. 8A, the
図8Bに示すように、導光ロッド66の前面から射出された光線70は、プリズム68Bの上面からプリズム68B内に入り、プリズム68Bの下面にて全反射されてほぼ水平方向の光線となり、プリズム板68の前面68Aから外に射出される。プリズム板68の前面68Aから射出される光の出射角度の分布は、水平を中心とした一定の狭い角度範囲φ内になる。
図9は、図8に示した構成の光源デバイス60を実際に作成し、その鉛直面に沿った出射角度の範囲を、その光出射面(図8のプリズム板68の前面68A)の直前にて測定した結果を示す。ここで、出射角度は、光出射面の法線の方向を0度としている。
As shown in FIG. 8B, the
9 actually creates the
図9の出射角度分布を示すグラフ72から分るように、出射角度は非常に狭い角度範囲に制限されている。例えば、放射強度が最大値の半分になる範囲を、前述した角度範囲φとして定義したならば、φは約10度である。
As can be seen from the
図10は、図1に示した被写空間15内に配置される立体的な被写体を、スキャニングユニット24により三次元的にスキャンするための方法を説明する斜視図である。
FIG. 10 is a perspective view for explaining a method for three-dimensionally scanning the three-dimensional subject arranged in the
図10に示すように、立体的な被写体80の存在する空間が、Z座標が異なる複数枚(N枚)のレイヤに分割される。各レイヤ82−1、82−2、…、82−Nの厚さは、スキャニングユニット24の被写界深度以下である。スキャニングユニット24が上記レイヤの厚さに相当するピッチでZ軸方向に移動することで、その前方のターゲット平面領域48が、レイヤ82−1、82−2、…、82−NのそれぞれのZ座標に逐次に配置される。各レイヤ82−i(i=1、2、…、N)のZ座標にて、スキャニングユニット24がX、Y軸方向に移動することで、ターゲット平面領域48が各レイヤ82−iをその全域にわたってX、Y軸方向にスキャンし、その間に、スキャニングユニット24から逐次に出力される画像データが制御装置38に収集され、その結果、各レイヤ82−iの画像データが制御装置38内に得られる。各レイヤ82−iの画像データには、各レイヤ82−iと被写体80とが交差する位置にて被写体80にピントの合った合焦点画素データが含まれることになる。全てのレイヤ82−1、82−2、…、82−Nについて上記の動作が行なわれることで、全てのレイヤ82−1、82−2、…、82−Nの画像データが制御装置38内に得られる。制御装置38内では、全てのレイヤ82−1、82−2、…、82−Nの画像データから、被写体80にピントの合った合焦点画素データが抽出され、それら合焦点画素データが集められて、被写体80の全箇所にピントの合った被写体80の全体像を表す合焦点画像データが合成される。
As shown in FIG. 10, the space where the three-
被写体80のY軸方向の寸法(高さ)が、ターゲット平面領域48のY軸方向の長さ(有効長)(例えば150mm)より大きい場合、当然、各レイヤ82−iのY軸方向の寸法はターゲット平面領域48の有効長より大きくなる。この場合、各レイヤ82−iは、ターゲット平面領域48の有効長に相当するY軸方向幅をそれぞれもつ複数のバンド84−1、84−2、…、84−Mに分割される。ターゲット平面領域48による各レイヤ82−iのスキャニング動作は、各レイヤ82−iを構成する複数のバンド84−1、84−2、…、84−Mのスキャニング動作に分解される。すなわち、スキャニングユニット24がターゲット平面領域48の有効長に相当するピッチでY軸方向に移動することで、そのターゲット平面領域48がバンド84−1、84−2、…、84−MのそれぞれのY座標に逐次に配置される。そして、各バンド84−j(j=1、2、…、M)のY座標にて、スキャニングユニット24がX軸方向に移動することで、ターゲット平面領域48が各バンド84−jをその全域にわたってX軸方向にスキャンし、その間に、スキャニングユニット24から逐次に出力される画像データが制御装置38に収集され、その結果、各バンド84−jの画像データが制御装置38内に得られる。各レイヤ82−iの全てのバンド84−1、84−2、…、84−Mについて上記の動作が行なわれることで、各レイヤ82−iの全てのバンド84−1、84−2、…、84−Mの画像データが制御装置38内に得られる。制御装置38内で、各レイヤレイヤ82−iの全てのバンド84−1、84−2、…、84−Mの画像データがY軸方向に接合されて各レイヤ82−iの画像データが得られる。
When the dimension (height) of the subject 80 in the Y-axis direction is larger than the length (effective length) (for example, 150 mm) of the
図11は、図10に示した複数レイヤ82−1、82−2、…、82−Nの画像データから被写体80にピントの合った合焦点画素データを抽出するための処理方法を説明する図である。 FIG. 11 is a diagram for explaining a processing method for extracting focused pixel data focused on the subject 80 from the image data of the plurality of layers 82-1, 82-2,..., 82-N shown in FIG. It is.
図11Aは、Y座標jを通るX−Z平面(水平面)で切断された被写体80の部分断面図である。斜線ハッチングの部分は被写体80の内部を表し、ライン86が被写体80の輪郭を表す。ここで、一例として同じX座標i+4に位置しレイヤの異なる7つの画素、すなわち、
レイヤ(k)の画素P(i+4,j, k)、
レイヤ(k+1)の画素P(i+4,j,k+1)、
レイヤ(k+2)の画素P(i+4,j,k+2)、
レイヤ(k+3)の画素P(i+4,j,k+3)、
レイヤ(k+4)の画素P(i+4,j,k+4)、
レイヤ(k+5)の画素P(i+4,j,k+5)、
レイヤ(k+6)の画素P(i+4,j,k+6)、
に着目する。これらの7つの画素について、所定の合焦点関数を計算した結果を図11Bのグラフ88に示す。ここで、合焦点関数とは、ピントの合っている程度に応じて値が変わる関数であり、例えば、当該レイヤの画像における着目画素P(a,b,c)でのコントラスト値を採用することができる。コントラスト値としては、例えば、
コントラスト(a,b,c)=max3(a,b,c)− min3(a,b,c)
という関数を採用することができる。ここに、max3(a,b,c)とmin3(a,b,c)は、当該レイヤ画像における着目画素P(a,b,c)を中心とした3×3画素の領域内の9画素の階調値から、それぞれ最大値と最小値を得る関数である。図11Bのグラフ88に示すように、同じX,Y座標をもつ異なるレイヤ(Z座標)の画素の中で、合焦点関数が最大となった画素P(i+4,j,k+4)が、被写体に最もピントが合った合焦点画素として抽出される。
FIG. 11A is a partial cross-sectional view of the subject 80 cut along an XZ plane (horizontal plane) passing through the Y coordinate j. The hatched portion represents the inside of the subject 80, and the
Pixel P (i + 4, j, k) of layer (k),
Pixel P (i + 4, j, k + 1) of layer (k + 1),
Pixel P (i + 4, j, k + 2) of layer (k + 2),
Pixel P (i + 4, j, k + 3) of layer (k + 3),
Pixel P (i + 4, j, k + 4) of layer (k + 4),
Pixel P (i + 4, j, k + 5) of layer (k + 5),
Pixel P (i + 4, j, k + 6) of layer (k + 6),
Pay attention to. The
Contrast (a, b, c) = max 3 (a, b, c) −min 3 (a, b, c)
Can be used. Here, max3 (a, b, c) and min3 (a, b, c) are 9 pixels in a 3 × 3 pixel region centered on the pixel of interest P (a, b, c) in the layer image. Are the functions for obtaining the maximum value and the minimum value from the tone values. As shown in the
上記のように、同じX,Y座標をもつ異なるレイヤ(Z座標)の画素の合焦点関数を計算し比較して、合焦点関数が最大となる1つの画素を合焦点画素として抽出するという処理が、レイヤ内の全てのX,Y座標について繰り返される。そして、抽出された合焦点画素が全X,Y座標分集められて1枚の画像が合成される。合成された画像は、立体構造をもつ被写体をX−Y面に正投影した正射投影画像であり、投影された被写体の全域にピントが合った合焦点画像である。 As described above, a process of calculating and comparing in-focus functions of pixels in different layers (Z coordinates) having the same X and Y coordinates, and extracting one pixel having the maximum in-focus function as the in-focus pixel. Is repeated for all X, Y coordinates in the layer. The extracted in-focus pixels are collected for all the X and Y coordinates, and one image is synthesized. The synthesized image is an orthographic projection image obtained by orthogonally projecting a subject having a three-dimensional structure on the XY plane, and is a focused image in which the entire area of the projected subject is in focus.
図12〜図15は、図10で説明したスキャニング方法の下で、図5〜図9で説明した照明光の方向規制により得られる利点を説明している。 12 to 15 illustrate the advantages obtained by the illumination light direction restriction described with reference to FIGS. 5 to 9 under the scanning method described with reference to FIG. 10.
図12は、照明光の方向規制の利点が最もよく現れる被写体形状の一典型例を示している。 FIG. 12 shows a typical example of a subject shape in which the advantage of restricting the direction of illumination light appears most.
図12Aに示すように、その表面にY軸及びX軸に対して斜めに延びる突条92を有した被写体90をここで想定する。そして、図12Bに示すように、被写体90をスキャニングする際、隣り合う2つのバンドB1、B2の境界が、突条92と斜めに交差しているという場合を想定する。この場合において、被写体90の表面上の突条92の直上と直下に位置する4つの点P1、P2、P3、P4に着目する。このうち、点P1、P2は、下側のバンドB1のスキャニング時に撮影され、点P3、P4は、上側のバンドB2のスキャニング時に撮影されるものである。
As shown in FIG. 12A, an
図13は、上述した図12の場合において、リニアな光源ユニット34からの照明光の出射方向に何の規制に加えられていなかったとした場合の、点P1、P2、P3、P4への照明光の入射角度の分布を示している。
FIG. 13 shows the illumination light to the points P1, P2, P3, and P4 in the case of FIG. 12 described above when no restriction is imposed on the emission direction of the illumination light from the linear
この場合、被写体90のあらゆる点に対して、それぞれの点から光源ユニット34の全長を見渡した角度範囲で、照明光が入射することになる。従って、下側のバンドB1のスキャニング時には、図13Aに示すように、突条92の直下の点P1には、光源ユニット34の全長のうち点P1から見て突条92の陰に入らない比較的に長い部分から、主に下側から照らし上げるようにして照明光が入射する。そのため、点P1への入射角度範囲λ1は比較的に広く、その入射光量は比較的に多い。一方、突条92の直上の点P2には、光源ユニット34の全長のうち点P2から見て突条92の陰に入らない比較的に短い部分から、主に上側から照らし下げるようにして照明光が入射する。そのため、被写体90の点P1、P2の明度が同じであっても、得られたバンドB1の画像では、突条92の直上の点P2の画像が直下の点P1よりも暗くなる。
In this case, the illumination light is incident on every point of the subject 90 in an angle range in which the entire length of the
また、上側のバンドB2のスキャニング時には、図13Bに示すように、突条92の直下の点P3への入射角度範囲λ3は比較的に狭く、入射光量は比較的に少ないが、突条92の直上の点P4への入射角度範囲λ4は比較的に広く、入射光量は比較的に多い。その結果、被写体90の点P3、P4の明度が同じであっても、得られたバンドB2の画像では、突条92の直下の点P3の画像が直上の点P4よりも暗くなる。そのため、バンドB2の画像では、突条92の直下の点P3は暗いが、直上の点P4は明るくなる。
Further, during scanning of the upper band B2, as shown in FIG. 13B, the incident angle range λ3 to the point P3 immediately below the
結果として、バンドB1とB2の画像を接合したとき、図15Aに示すように、バンドB1の領域では突城92の上側に影94ができ、バンドB2の領域では突城92の下側に影96ができて、バンドB1、B2の接合部で明度が不整合になった低品質の画像が得られることとなる。
As a result, when the images of the bands B1 and B2 are joined, as shown in FIG. 15A, a
図14は、上述した図12の場合において、リニアな光源ユニット34からの照明光の出射方向が図5で説明したように規制されている場合の、点P1、P2、P3、P4への照明光の入射角度の分布を示している。
FIG. 14 shows the illumination to the points P1, P2, P3, and P4 when the emission direction of the illumination light from the linear
図14A及び図14Bに示すように、いずれのバンドB1、B2のスキャニング時においても、点P1、P2、P3、P4などのいずれの点に対しても、光源ユニット34から水平を中心にした一定の狭い入射角度範囲φで照明光が入射し、ゆえに、入射光量はどの点でも一定である。結果として、図15Bに示すように、図15Aに示されたような影94,96のない、被写体90の明度に忠実な高品質の画像が得られる。
As shown in FIG. 14A and FIG. 14B, when scanning any of the bands B1 and B2, any point such as the points P1, P2, P3, and P4 is constant from the
図16は、図1に示した制御装置38によって行なわれるスキャニング動作制御の全体的な流れを示す。
FIG. 16 shows the overall flow of the scanning operation control performed by the
図16に示すように、ステップ100で、移動機構(X軌道16、Y軌道18及びキャリッジ120)の原点検出が行なわれる。すなわち、移動機構のX、Y、Z軸の機械的な原点にスキャニングユニット24が移動される。ステップ102で、これから行なうスキャニング動作が、この立体物イメージスキャナ10が組み立てられた後の初回のスキャニング動作であるか、2回目以降のものであるかがチェックされる。このチェックの結果、2回目以降と判断された場合には、制御はステップ108へ進むが、初回と判断された場合には、ステップ108へ進む前に、ステップ104と106が行なわれる。
As shown in FIG. 16, in
ステップ104では、ラインセンサの傾き(Y軸に対する光軸43を中心とした回転角度)を補正するため補正値の設定が行なわれる。
In
図17は、このステップ104の傾き補正値設定の処理の具体的な流れを示す。図18は、この処理の意味を分かり易く説明したものである。
FIG. 17 shows a specific flow of the tilt correction value setting process in
図17に示すように、ステップ120で、図1に示した傾きチェック標識35にターゲット領域48が位置合わせされた上で、その傾きチェック標識35上に表示されているラインチャート(Y軸と平行な直線)の画像が、2回のバンドスキャンで読み取られる。すなわち、図18Aに示すように、傾きチェック標識35上のラインチャート130の下半分が下側のバンドスキャン132Aで読み取られ、上半分が上半分のバンドスキャン132Bで読み取られる。このとき、もし、リニアイメージセンサ46がY軸に対して傾いていれば、ターゲット平面領域48も、図18Aに示すように、同様に傾くことになるため、2回のバンドスキャンで得られたラインチャート130の画像は、図18Bに示すように、傾いた不連続な2本のライン134A、134Bになる。
As shown in FIG. 17, in
図17のステップ122では、図18Bに示されたようなラインチャート130の画像の特にバンド接合部分が拡大されて制御装置38のモニタ(図示せず)に表示される。このとき、図18Bに示された読み取り結果をそのまま示す画像だけでなく、図18C、図18Dに示すように、上側のライン134Aと下側のライン134Bに対して、異なる補正値(剪断変形量)S1、S2で剪断変形を施した複数の補正画像も、そのバンド接合部分が拡大されて一緒に表示される。
In
図17のステップ124で、ユーザにより、モニタに表示された複数の画像の中から、上下のライン134A、ライン134Bが一直線に繋がった最適なラインチャート画像が選択される。例えば、図18B、C、Dに示された画像の中では、図18Dの画像が最適なものとして選択されることになる。
In
図17のステップ126では、選択された最適画像に適用された補正値(ラインセンサからの画像に対する剪断変形量)(例えば、図18Dに示すS2)が、傾き補正値の設定として制御装置38に記憶される。
In
再び図16の全体制御流れを参照する。上述したステップ104の傾き補正値の設定が終わったに後、ステップ106で、レンズピント調整が行なわれる。すなわち、移動機構のZ座標を予め設定した原点に位置させた状態で、図1に示したピント合わせ標識37に表示されたラダーチャートが明瞭に読み取れるように、テレセントリックレンズ系40とリニアイメージセンサ46間の距離又はテレセントリックレンズ系40の焦点距離が微調整されて、ターゲット領域48がピント合わせ標識37のZ座標に正確に位置合わせされる。或いは、上記距離の微調整に代えて、ラダーチャートが明瞭に読み取れるときの移動機構のZ座標を、Z座標原点として設定する方法で焦点合わせをしてもよい。
Reference is again made to the overall control flow of FIG. After the setting of the tilt correction value in
ステップ108では、スキャンニング範囲、すなわち、三次元スキャニングが行なわれるX、Y、Z座標の範囲が設定される。例えば、原点からそれぞれX_set、Y_set 、Z_setまでの範囲というように設定される。ステップ110では、シェーディング補正のための白基準レベル及び黒基準レベルの設定が行なわれる。
In
図19は、このステップ110の白・黒基準レベルの設定の方法を分かり易く示している。図20はこの処理の具体的な流れを示している。
FIG. 19 shows the method of setting the white / black reference level in
図19に示すように、リニアイメージセンサ46が飽和したときの出力電圧レベルをVsat、無入力(暗黒)時の出力電圧レベルをVbkとすると、Vsa/Vbkがリニアイメージセンサ46から得られる最大のS/N比となり、これは一般的には、100から1000程度である。画像品質の要因の1つである階調性は、このS/N比が大きい程良好となる。リニアイメージセンサ46が飽和すると、画像の階調再現性が失われるため、飽和出力レベルVsatよりも低い動作領域が使用される。リニアイメージセンサ46の出力電圧レベルを変化させる要因は、光源ユニット34の光量、レンズ系40のF数(可変絞り44の開度)、リニアイメージセンサ46の感度、リニアイメージセンサ46の電荷蓄積時間、白基準標識の明度(反射率)である。
As shown in FIG. 19, when the output voltage level when the
図20のステップ158に示すように、白基準レベルを設定する際には、図1に示した白基準標識39を読み取って、そのときのリニアイメージセンサ46の出力電圧レベルVwhが画素ごとに測定される。その際、リニアイメージセンサ46の出力電圧レベルVwhが飽和出力電圧レベルVsatの近傍で且つそれを超えない値になるように(図20、ステップ160)、光源ユニット34の光量や、レンズ系40のF数(可変絞り44の開度)や、リニアイメージセンサ46の電荷蓄積時間が手動又は自動で調整される(図20、ステップ152、154、156)。例えば、飽和出力電圧レベルVsatがデジタル出力レベルで1024であるとした場合、白基準標識読み取り時の出力電圧レベルVwhが1000程度になるように、上述した光量、F数(絞り開度)及び電荷蓄積時間が調整される。そのように調整が完了した段階で、リニアイメージセンサ46の出力電圧レベルVwhが画素ごとに測定され、白基準レベルの設定として制御装置38に記憶される(図20、ステップ162)。
As shown in
なお、白基準標識39には、すでに説明されているように、異なる明度(反射率)をもった複数のものが用意されている。そして、白基準レベルの設定の際には、それら複数の白基準標識39の中から、被写体の平均的な明度(反射率)に応じて適当な反射率を有した白基準標識が選択されて使用される(図20、ステップ150)。例えば、被写体の平均的な明度(反射率)に近く且つそれを上回る反射率を有した白基準標識が選択される。例えば、被写体が全体的に黒色に近い色をもつ場合、その被写体の低い反射率に近いがそれを下回らない程度の反射率をもった比較的に暗い白基準標識を使用することで、より明るい白基準標識を使用する場合に比較して、リニアイメージセンサ46の暗部ノイズに影響されにくい、高いS/N比の画像を得ることができる。
白基準レベルの設定が終わると、図20のステップ164〜168で、黒基準レベルの設定が行なわれる。この処理では、光源ユニット34が消灯され、可変絞り44が完全に閉じられた(ステップ164)後、リニアイメージセンサ46の暗部出力電圧レベルVbkが画素ごとに計測され(ステップ166)、そして、計測された画素ごとの暗部出力電圧レベルVbkが、黒基準レベルの設定として制御装置38に記憶される(ステップ168)。
As already described, a plurality of
When the setting of the white reference level is completed, the black reference level is set in
黒基準レベルの設定が終わった後、図20のステップ170にて、光源ユニット34が再び点灯され、そして、光源ユニット34の光量及び可変絞り44の開度が、上記白基準レベル設定で調整完了した時の値に、手動又は自動で戻される。
After the black reference level is set, the
再び図16の全体制御流れを参照する。上述したステップ110の白・黒基準レベルの設定が終わった後、被写体の3次元スキャニングが実行される(ステップ112〜116)。そして、3次元スキャニングが完了すると、3次元スキャニングで取得された画像データに基づいて、ステップ118で、被写体の合焦点画像の合成が行なわれる。
Reference is again made to the overall control flow of FIG. After the setting of the black / white reference level in
図21は、上記ステップ112〜118の3次元スキャニングと合焦点画像合成の具体的な制御の流れを示す。
FIG. 21 shows a specific control flow of three-dimensional scanning and in-focus image synthesis in
図21に示すように、ステップ182で、テレセントリックレンズ系70のF数(可変絞り44の開度)に応じて、Z軸方向の移動ピッチ(Zピッチ)(つまり、図10に示したレイヤ82−1、82−2、…、82−Nの間隔)が、被写界深度以下になるように設定される。なお、先にZピッチが決定され、それより被写界深度が大きくなるようにF数(絞り開度)が設定されてもよい(この場合、白基準レベル設定の処理では、上記設定されたF数(絞り開度)の下で、適切な白基準レベルが得られるように光源光量や電荷蓄積時間などが調整されることになる)。スキャニングの目的や被写体の状態に応じて異なるZピッチ及びF数(絞り開度)を設定することができる。例えば、高速なスキャニングを目的とする場合や、植物のように形状が完全に固定しない被写体をスキャンする場合には、大きい被写界深度の下で少ない数のレイヤでスキャニングを行なように、絞り開度を狭めてF数を大きくし、かつ、Zピッチも大きく設定することができる。他方、例えば、高精細な被写体画像を得る目的の場合には、像照度を明るくし、細かいZピッチでスキャニングを行なように、絞り開度を広げてF数を小さくし、かつZピッチも小さく設定することができる。
As shown in FIG. 21, in
ステップ184では、キャリッジ20の移動が行なわれ、キャリッジ20のX、Y、Z座標が所定のスキャング開始位置(例えば、原点)に配置される。ステップ186で、そのスキャング開始位置において、ターゲット平面領域48が位置する1ラインの画像データがスキャニングユニット24から出力されて制御装置38に取得される。ステップ190で、取得された1ラインの画像データに対する画素ごとのシェーディング補正が制御装置38で行なわれる。シェーディング補正は、図16のステップ110で設定された白基準レベルと黒基準レベルを用いて、例えば、
d_data(m)=K・ {D_data(m) - D_bk(m)}/{D_wh(m)-D_bk(m)}
ここに、d_data(m)は画素mのシェーディング補正後のデータ値
Kは定数、
D_data(m)は画素mのシェーディング補正前の元のデータ値、
D_wh(m)は白基準レベル、
D_bk(m)は黒基準レベルである、
という方法で行なわれる。シェーディング補正を実施することで、画像データは、照明ムラや、照明光量に依存せず、常に被写体の反射率に忠実な画像データとなる。
In
d_data (m) = K ・ {D_data (m)-D_bk (m)} / {D_wh (m) -D_bk (m)}
Where d_data (m) is the data value after shading correction of pixel m
K is a constant,
D_data (m) is the original data value before shading correction of pixel m,
D_wh (m) is the white reference level,
D_bk (m) is the black reference level,
It is done by the method. By performing shading correction, the image data is always image data that is faithful to the reflectance of the subject without depending on illumination unevenness or illumination light quantity.
ステップ192で、キャリッジ20がX軸方向へ所定のXピッチ(典型的には、欲しい画像のX軸方向の解像度に応じた1画素寸法分)だけ移動する。そして、移動後の位置で、ステップ186及び188の動作が再び行なわれる。キャリッジ20のX座標が、図16のステップ108で設定されたスキャンニング範囲の終端のX座標X_setに到達する(ステップ190でYES)まで、上述したステップ186〜192が繰り返し実施される。終端のX座標X_setに到達する(ステップ190でYES)と、制御はステップ194に進み、それまでに取得された多数のラインの画像データが集められて1バンドの画像データが合成される。なお、このステップ194の別途の処理として行なう必要は必ずしも無く、ステップ186,188で得られたラインの画像データがその座標情報と関連づけられて制御装置38内の記憶装置に記録されることで、自ずと、バンドの画像データが記憶装置上に生成されることになる。
In
その後、ステップ198で、キャリッジ20がY軸方向へ所定のYピッチ(典型的には、ターゲット平面領域48の有効長分)だけ移動する。これにより、キャリッジ20は次のバンドに対応するY座標に配置されることになる。ステップ200で、キャリッジ20が当該バンドのスキャン開始位置に相当するX座標に配置される。なお、このステップ200については、バンドのXスキャン方向が全バンドで同一方向である場合には、キャリッジ20は最初のX座標(例えばX座標原点)に戻されことになるが、他方、隣のバンド間で逆方向である(つまり、ジグザグにスキャンする)場合には、キャリッジ20が次のバンドのY座標に移動した時点でのキャリッジ位置がそのまま次バンドのスキャン開始位置となる。
Thereafter, in
その後、上述したステップ186〜192が繰り返され、そして、ステップ194にて、当該次バンドの画像データが得られることになる。
Thereafter, Steps 186 to 192 described above are repeated, and in
キャリッジ20のY座標が、図16のステップ108で設定されたスキャンニング範囲の終端のY座標Y_setに到達する(ステップ196でYES)まで、上述したステップ186〜200が繰り返し実施される。終端のY座標Y_setに到達する(ステップ196でYES)と、制御はステップ202に進み、それまでに取得された複数のバンドの画像データがY軸方向に接合されて、1レイヤの画像データが合成される。その際、バンド画像に対して、図18Dに示したような傾き補正値(剪断変形量)の設定S2を用いた剪断変形補正が施され、それにより、リニアイメージセンサ46の傾きの影響を受けずにバンドが整合的に繋がったレイヤ画像が得られる。なお、このステップ202は、別途の処理として行なう必要は必ずしも無く、ステップ194で得られたバンドの画像データがその座標情報(剪断変形補正後の座標情報)と関連づけられて制御装置38内の記憶装置に記録されることで、自ずと、レイヤの画像データが記憶装置上に生成されることになる。
その後、ステップ206で、キャリッジ20がZ軸方向へ所定のZピッチ(ステップ192で設定されたもの)だけ移動する。これにより、キャリッジ20は次のレイヤに対応するZ座標に配置されることになる。ステップ208で、キャリッジ20が当該レイヤのスキャン開始位置に相当するX、Y座標に配置される。なお、ステップ208では、レイヤのX、Yスキャン方向が全レイヤで同一方向である場合には、キャリッジ20は最初のX、Y座標(例えばX、Y座標原点)に戻されことになるが、他方、隣のレイヤ間で逆方向である場合には、キャリッジ20が次のレイヤのZ座標に移動した時点でのキャリッジ20位置がそのまま次レイヤのスキャン開始位置となる。
Thereafter, in
その後、上述したステップ186〜200が繰り返され、そして、ステップ202にて、当該次レイヤの画像データが得られることになる。
Thereafter, the above-described
キャリッジ20のZ座標が、図16のステップ108で設定されたスキャンニング範囲の終端のZ座標Z_setに到達する(ステップ204でYES)まで、上述したステップ186〜208が繰り返し実施される。終端のZ座標Z_setに到達する(ステップ204でYES)と、制御はステップ210に進み、それまでに取得された多数のレイヤの画像データから、X、Y座標ごとに、被写体に最も良くピントの合った合焦点画素データが抽出される。X、Y座標ごとの合焦点画素データの抽出方法には、既に図11を参照して説明したように、多数のレイヤにおいて、同じX、Y座標の画素に着目し、それらの画素について所定の合焦点関数(例えば、コントラスト値)をそれぞれ計算し、それらの画素間で合焦点関数値を比較し、合焦点関数値の最も大きい画素のデータを、合焦点画素データとして抽出するという方法が採用できる。
ステップ212で、抽出された全てのX,Y座標の合焦点画素データが集められて、被写体の全箇所にピントが合った合焦点画像データが生成され、出力される。その際、好ましくは、合焦点画像データに対して、リニアイメージセンサ46や画像出力機器(例えば、モニタ、プリンタ)などのガンマ特性に応じたガンマ補正が加えられ、それにより、被写体の状態により忠実な画像が出力される。なお、このステップ212は、別途の処理として行なう必要は必ずしも無く、ステップ210で抽出された合焦点画素データ(好ましくはガンマ補正されたもの)がその座標情報と関連づけられて制御装置38内の記憶装置に記録されることで、自ずと、合焦点画像データが記憶装置上に生成されることになる。
In
以上、本発明の実施形態を説明したが、この実施形態は本発明の説明のための例示にすぎず、本発明の範囲をこの実施形態にのみ限定する趣旨ではない。本発明は、その要旨を逸脱することなく、その他の様々な態様でも実施することができる。 As mentioned above, although embodiment of this invention was described, this embodiment is only the illustration for description of this invention, and is not the meaning which limits the scope of the present invention only to this embodiment. The present invention can be implemented in various other modes without departing from the gist thereof.
例えば、上述した実施形態では、スキャニングユニット24とターゲット平面領域48との位置関係は固定であり、スキャニングユニット24がキャリッジ20によって移動することにより、ターゲット平面領域48が一緒に移動して被写体を三次元的にスキャンするようになっているが、これは一つの例示に過ぎない。変形例として、スキャニングユニット24内の光学系の構成を変えることで、スキャニングユニット24とターゲット平面領域48との位置関係が変化し、スキャニングユニット24は静止したまま又は小範囲を移動するだけで、ターゲット平面領域48が大範囲を移動するようにすることもできる。その場合、ターゲット平面領域48に常に一定方向から一定量の照明光を与えるために、ターゲット平面領域48と一緒に照明装置32も移動するように構成することもできる。
For example, in the above-described embodiment, the positional relationship between the scanning
また、上述した実施形態では、三次元スキャニングは、X軸方向の移動、Y軸方向の移動、そしてZ軸方向の移動の順序で行なわれたが、必ずしもその順序でX、Y、Z軸方向の移動が行なわれる必要はなく、他の順序であってもよい。上記実施形態ではY軸が鉛直方向であるが、Z軸が鉛直方向でもよいし、或いは、鉛直や水平に対していずれかの座標軸が斜めであってもよい。X軸とY軸のみの2軸スキャナを用いても良い。 In the above-described embodiment, the three-dimensional scanning is performed in the order of movement in the X-axis direction, movement in the Y-axis direction, and movement in the Z-axis direction. However, the X-, Y-, and Z-axis directions are not necessarily in that order. There is no need to perform the movement, and other orders may be used. In the above embodiment, the Y axis is the vertical direction, but the Z axis may be the vertical direction, or one of the coordinate axes may be oblique to the vertical or horizontal. A two-axis scanner having only the X-axis and the Y-axis may be used.
ところで、上述した実施形態においては、円筒のように両側部分が中央より遠方に位置するような被写体の場合、その右側の輪郭部と左側の輪郭部では、リニア光源ユニット34A、34Bの照射光の寄与率が異なる。ここでもし、リニア光源ユニット34A、とリニア光源ユニット34Bの照明ムラパターンが極端に異なる時、上述した実施例では、シェーディング補正を行っても充分に照明ムラ(とりわけ、左右のリニア光源ユニット34A、34Bの照射光の寄与率の違いがより顕著になる被写体の右端と左端に近い部分の照明ムラ)を良好に補正できない場合が発生する。
By the way, in the above-described embodiment, in the case of a subject whose both side portions are located farther from the center, such as a cylinder, the light source of the linear
図22は、この問題を改善するための、図1に示した制御装置38によって行なわれるスキャニング動作制御の一例の全体的な流れを示す。
FIG. 22 shows an overall flow of an example of scanning operation control performed by the
ステップ100、ステップ102、ステップ104、ステップ106、ステップ108の流れは、前述した図16に示したスキャニング動作制御と全く同等である。ステップ310Aでは、シェーディング補正のための白基準レベル及び黒基準の設定が行われるが、ここでは、片側のリニア光源ユニット(以下、第1のリニア光源ユニットという)34Aのみが点灯され、もう片方のリニア光源ユニット(以下、第2のリニア光源ユニットという)34Bは点灯しない。このように片側のランプのみを点灯させるというランプ制御以外の白基準レベル及び黒基準の設定方法は、上述した図16の制御と同様である。ステップ310Aの白・黒基準レベルの設定が終わった後、被写体の3次元スキャニングが実行される(ステップ312A〜316A)。ここでも、白・黒基準レベルの設定の際に点灯された第1のリニア光源ユニット34Aのみが点灯され、第2のリニア光源ユニット34Bは点灯しない。そして、3次元スキャニングが完了すると、3次元スキャニングで取得された画像データに基づいて、ステップ318Aで、被写体の第1サブ合焦点画像(第1のリニア光源ユニット34Aのみの照明下で得られた合焦点画像)の合成が行なわれる。第1サブ合焦点画像を合成するための画像データ処理方法は、前述した図16の制御でのそれと、同様である。
The flow of
次に、ステップ310Bでは、先ほど点灯されなかった第2のリニア光源ユニット34Bのみが点灯され、先ほど点灯された第1のリニア光源ユニット34Aは点灯されない状態で、シェーディング補正のための白基準レベル及び黒基準の設定が行われる。この第2のニア光源ユニット34Bのみを点灯するというランプ制御以外の白基準レベル及び黒基準の設定方法は、上述した図16の制御と同様である。ステップ310Bの白・黒基準レベルの設定が終わった後、被写体の3次元スキャニングが実行される(ステップ312B〜316B)。ここでも、第2のリニア光源ユニット34Bのみが点灯され、第1のリニア光源ユニット34Aは点灯しない。そして、3次元スキャニングが完了すると、3次元スキャニングで取得された画像データに基づいて、ステップ318Bで、被写体の第2サブ合焦点画像(第2のリニア光源ユニット34Bのみの照明下で得られた合焦点画像)の合成が行なわれる。第2サブ合焦点画像を合成するための画像データ処理方法も、前述した図16の制御でのそれと、同様である。その後、ステップ320にて、第1サブ合焦点画像と第2サブ合焦点画像とを対応する同一の画像位置の画素同士を統合(典型的には、加算平均)し、1つの最終的な合焦点画像を合成し、出力する。
Next, in
この制御によれば、第1と第2のリニア光源ユニット34A、34Bの照明ムラパターンが極端に異なる時であっても、それぞれのランプのみの照明下でシェーディング補正を行ってサブ合焦点画像を作成し、両方のサブ合焦点画像を最後に統合することで、どのような凹凸のある被写体であっても、照明ムラを補正することが可能となり、被写体の反射率に忠実な画像データとなる。
According to this control, even when the illumination unevenness patterns of the first and second linear
なお、図22では、2つの光源を用いる場合の制御例を説明したが、より多くの光源を使用する場合でも、図22の制御の原理に従い、個々の光源の照明下でぞれぞれ被写体の画像を取得し、最後に、それら光源の異なる照明下での画像を統合(例えば加算平均)し、1つの最終的な画像を合成することもできる。 Note that FIG. 22 illustrates an example of control when two light sources are used. However, even when more light sources are used, each subject is illuminated under the illumination of each light source according to the control principle of FIG. Can be obtained, and finally, the images under different illuminations of the light sources can be integrated (for example, addition average), and one final image can be synthesized.
また、上述した実施形態では、照明手段である光源は、イメージセンサと一緒に三次元方向に移動したが、イメージセンサとは一緒に動かない固定配置された照明でもよいし、そのバリエーションとして、本発明に従うイメージスキャナからは分離独立した外部光源であっても良い。例えば、イメージスキャナを設置した室内照明のみを点灯し、イメージスキャナに搭載した光源は全て消灯して撮像することも可能である。こうすることで、被写体への照明方法の自由度が高まり、陰影等の出方を自由に制御できる利点が得られる。そのため、被写体の照度分布が所望の状態になるように外部光源を設定すれば、図22に示す制御をせずに図16に示す制御を行なっても、良好に照明された被写体の画像を得ることができる。 In the above-described embodiment, the light source as the illumination means has moved in the three-dimensional direction together with the image sensor, but may be fixedly arranged illumination that does not move together with the image sensor. It may be an external light source that is separate from the image scanner according to the invention. For example, it is also possible to turn on only the indoor lighting in which the image scanner is installed and to turn off all the light sources mounted on the image scanner for imaging. By doing so, the degree of freedom of the illumination method for the subject is increased, and there is an advantage that the appearance of shadows and the like can be freely controlled. Therefore, if the external light source is set so that the illuminance distribution of the subject is in a desired state, a well-illuminated subject image can be obtained even if the control shown in FIG. 16 is performed without the control shown in FIG. be able to.
以上、本発明の実施形態を説明したが、この実施形態は本発明の説明のための例示にすぎず、本発明の範囲をこの実施形態にのみ限定する趣旨ではない。本発明は、その要旨を逸脱することなく、その他の様々な態様でも実施することができる。 As mentioned above, although embodiment of this invention was described, this embodiment is only the illustration for description of this invention, and is not the meaning which limits the scope of the present invention only to this embodiment. The present invention can be implemented in various other modes without departing from the gist thereof.
14 テーブル
15 被写空間
16 X軌道
18 Y軌道
20 キャリッジ
24 スキャニングユニット
26 テレセントリック結像ユニット
27 絞りユニット
28 イメージセンサユニット
32 照明装置
34 光源ユニット
35 傾きチェック標識
37 ピント合わせ標識
38 制御装置
39 白基準標識
40 テレセントリックレンズ系
43 光軸
44 可変絞り
46 リニアイメージセンサ
48 ターゲット平面領域
53 鉛直平面
60 光源デバイス
62 楕円反射鏡
63 光制御デバイス
65 導光体
66 導光ロッド
68 プリズム板
82 レイヤ
84 バンド
80、90 被写体
92 突条
14 Table 15 Object space 16 X orbit 18
Claims (8)
イメージセンサと、
前記イメージセンサと前記イメージセンサから離れたターゲット平面領域との間に配置され、前記ターゲット平面領域の像を前記イメージセンサ上に結像するテレセントリック結像系と、
被写体が配置される被写空間中で前記ターゲット平面領域を3次元方向に移動させる移動手段と、
前記テレセントリック結像系から前記ターゲット平面領域へ向かう光軸の両側の位置に配置された、前記ターゲット平面領域に照明光を照射するための第1及び第2の光源と、
画像処理手段と
を備え、
前記第1及び第2の光源の寄与率は前記被写体において異なっており、
前記画像処理手段は、
(A)前記第1及び第2の光源のうち前記第1の光源のみを点灯して、前記ターゲット平面領域が前記被写空間中を移動している間に前記イメージセンサから逐次に出力される、前記ターゲット平面領域の前記第1の光源による反射率に応じた第1の画像データを入力し、入力された前記第1の画像データの中から前記被写体のピントの合った画素データを検出し、その検出された画素データを集めて第1のサブ正射投影画像を得て保存し、
(B)前記第1及び第2の光源のうち前記第2の光源のみを点灯して、前記ターゲット平面領域が前記被写空間中を移動している間に前記イメージセンサから逐次に出力される、前記ターゲット平面領域の前記第2の光源による反射率に応じた第2の画像データを入力し、入力された前記第2の画像データの中から前記被写体のピントの合った画素データを検出し、その検出された画素データを集めて第2のサブ正射投影画像を得て保存し、
(C)前記第1と第2のサブ正射投影画像を統合することで前記被写体の反射率に応じた正射投影画像を得る、
立体物イメージスキャナ。 In an image scanner for obtaining an orthographic projection image of a three-dimensional subject,
An image sensor;
A telecentric imaging system which is disposed between the image sensor and a target plane area remote from the image sensor and forms an image of the target plane area on the image sensor;
Moving means for moving the target plane area in a three-dimensional direction in a subject space in which a subject is arranged;
First and second light sources for irradiating illumination light to the target plane region, disposed at positions on both sides of an optical axis from the telecentric imaging system toward the target plane region;
Image processing means,
The contribution rates of the first and second light sources are different in the subject,
The image processing means includes
(A) Of the first and second light sources, only the first light source is turned on, and the target sensor is sequentially output from the image sensor while the target plane area is moving in the object space. The first image data corresponding to the reflectance by the first light source in the target plane area is input, and the pixel data in focus of the subject is detected from the input first image data. Collecting the detected pixel data to obtain and store a first sub-orthographic image,
(B) Only the second light source among the first and second light sources is turned on, and the target sensor is sequentially output from the image sensor while the target plane area is moving in the subject space. The second image data corresponding to the reflectance of the second light source in the target plane area is input, and the focused pixel data of the subject is detected from the input second image data. Collecting the detected pixel data to obtain and store a second sub-orthographic image,
(C) obtaining orthographic image according to the reflectivity of the object by integrating the first and second sub-orthographic image,
Solid object image scanner.
前記(B)で、前記画像処理手段が、前記第1及び第2の光源のうち前記第2の光源のみを点灯した状態で、前記イメージセンサの白基準レベルを検出し、検出された前記白基準レベルを用いて、前記イメージセンサから出力される前記第2の画像データに対するシェーディング補正を行ない、前記入力された第2の画像データは、シェーディング補正後の第2の画像データである、 In (B), the image processing means detects a white reference level of the image sensor in a state where only the second light source among the first and second light sources is lit, and detects the detected white Shading correction is performed on the second image data output from the image sensor using a reference level, and the input second image data is second image data after shading correction.
請求項1記載の立体物イメージスキャナ。The three-dimensional object image scanner according to claim 1.
前記(A)及び(B)では、前記画像処理手段が、前記被写体の平均的な反射率に応じた白基準標識を前記複数の白基準標識から選択し、その選択した白基準標識を基に、前記イメージセンサの白基準レベルを検出する、 In (A) and (B), the image processing means selects a white reference mark corresponding to an average reflectance of the subject from the plurality of white reference signs, and based on the selected white reference sign Detecting a white reference level of the image sensor;
請求項2記載の立体物イメージスキャナ。The three-dimensional object image scanner according to claim 2.
前記移動手段は、前記スキャニングユニットを移動させることにより、前記ターゲット平面領域を3次元方向に移動させ、 The moving means moves the target plane region in a three-dimensional direction by moving the scanning unit,
前記ターゲット平面領域は、前記被写体への観察方向と垂直なY方向に平行な線状の平面領域であり、 The target plane area is a linear plane area parallel to the Y direction perpendicular to the observation direction of the subject,
前記イメージセンサは、前記Y方向に略平行に配置された線状のセンサであり、 The image sensor is a linear sensor arranged substantially parallel to the Y direction,
前記テレセントリック結像系が有する対物レンズは、前記ターゲット平面領域と平行に配置された短冊状の凸レンズであり、 The objective lens of the telecentric imaging system is a strip-like convex lens arranged in parallel with the target plane region,
前記短冊状の凸レンズは、前記ターゲット平面領域の前記Y方向に沿った長さ以上の直径をもつ円形の対物レンズを短冊状に切り取った形状を成し、前記短冊状の凸レンズの前記Y方向に沿った長さは、前記ターゲット平面領域の前記Y方向に沿った長さ以上である、 The strip-shaped convex lens has a shape obtained by cutting a circular objective lens having a diameter equal to or longer than the length in the Y direction of the target plane region into a strip shape, and the strip-shaped convex lens in the Y direction. The length along is not less than the length along the Y direction of the target plane region.
請求項1〜3のうちのいずれか一項記載の立体物イメージスキャナ。The three-dimensional object image scanner according to any one of claims 1 to 3.
前記照明手段は、前記2つの光源の各々は線状の光源であり、
前記線状光源は、前記ターゲット平面領域に対して一定の位置関係を保って前記ターゲット平面領域と一緒に移動するようになっており、
前記線状光源の長さは、前記線状光源の両端と前記ターゲット平面領域の両端とを結ぶ2本の見通し線のなす角度が所定の角度以上になるように、前記ターゲット平面領域の長さより長く設定されており、
さらに、前記線状光源は、前記2本の見通し線を含んだ平面に沿った前記照射光の射出方向を前記所定角度の範囲に制限する光方向規制手段を有し、
それにより、前記ターゲット平面領域のあらゆる点にて、前記照明光の入射光量が一定で、且つ前記平面に沿った前記照明光の入射角の分布範囲が前記所定角度の範囲で一定になるようになった
請求項1〜4のうちのいずれか一項記載の立体物イメージスキャナ。 The target plane area is a linear area;
In the illumination means, each of the two light sources is a linear light source,
The linear light source is configured to move together with the target plane area while maintaining a certain positional relationship with respect to the target plane area.
The length of the linear light source is larger than the length of the target plane region so that an angle formed by two line-of-sight lines connecting both ends of the linear light source and both ends of the target plane region is a predetermined angle or more. It is set long,
Furthermore, the linear light source has a light direction restricting means for restricting an emission direction of the irradiation light along a plane including the two lines of sight to the range of the predetermined angle,
Thereby, the incident light amount of the illumination light is constant at every point in the target plane region, and the distribution range of the incident angle of the illumination light along the plane is constant within the range of the predetermined angle. The three-dimensional object image scanner according to any one of claims 1 to 4 .
請求項1〜5のうちのいずれか一項記載の立体物イメージスキャナ。 When the target plane area is viewed from the telecentric imaging system, one of the two light sources illuminates the target plane area from substantially the front, and the other light source illuminates the target plane area from an oblique direction. The three-dimensional object image scanner according to any one of claims 1 to 5, wherein
請求項1〜6のいずれか一項記載の立体物イメージスキャナ。 The first and second light sources of the three-dimensional object image scanner according to one of the output light amount claim adapted to be independently variably set respectively 1-6.
前記移動手段は、前記被写空間を、前記観察方向での位置が異なる複数のレイヤに分割し、前記複数のレイヤの各々を、前記Y方向での位置が異なり且つ前記Y方向の幅が前記ターゲット平面領域の長さに等しく設定された複数のバンドに分割し、前記ターゲット平面領域を前記観察方向へ移動させることで前記ターゲット平面領域を前記観察方向における各レイヤの位置に配置し、前記各レイヤの位置にて前記ターゲット平面領域を前記Y方向へ移動させることで前記ターゲット平面領域を前記Y方向における各バンドの位置に配置し、前記各バンドの位置にて前記ターゲット平面領域を前記観察方向及び前記Y方向に垂直なX方向へ移動させることで前記イメージセンサから前記各バンドの画像データが出力されるようにし、
前記画像処理手段は、前記イメージセンサから出力される前記複数のバンドの画像データを集めることで前記複数のレイヤの画像データを生成し、生成された前記複数のレイヤの画像データを前記X方向と前記Y方向の座標ごとに比較することで前記被写体にピントの合った画素データを前記複数のレイヤの画像データから抽出するようになっている、
請求項1〜7のいずれか一項記載の立体物イメージスキャナ。 Assuming an XYZ orthogonal three-dimensional coordinate system in which the observation direction is the Z direction, the target plane region is a linear region of a predetermined length parallel to the Y direction perpendicular to the observation direction,
The moving means divides the subject space into a plurality of layers having different positions in the observation direction, and each of the plurality of layers has a different position in the Y direction and a width in the Y direction. The target plane area is divided into a plurality of bands set equal to the length of the target plane area, and the target plane area is arranged at the position of each layer in the observation direction by moving the target plane area in the observation direction. The target plane area is arranged at the position of each band in the Y direction by moving the target plane area in the Y direction at the layer position, and the target plane area is positioned in the observation direction at the position of each band. And the image data of each band is output from the image sensor by moving in the X direction perpendicular to the Y direction,
The image processing unit generates the image data of the plurality of layers by collecting the image data of the plurality of bands output from the image sensor, and the generated image data of the plurality of layers is set as the X direction. The pixel data in focus on the subject is extracted from the image data of the plurality of layers by comparing for each coordinate in the Y direction.
The three-dimensional object image scanner according to any one of claims 1 to 7 .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006012813A JP4758773B2 (en) | 2006-01-20 | 2006-01-20 | 3D image scanner |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006012813A JP4758773B2 (en) | 2006-01-20 | 2006-01-20 | 3D image scanner |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2007193680A JP2007193680A (en) | 2007-08-02 |
JP2007193680A5 JP2007193680A5 (en) | 2009-02-26 |
JP4758773B2 true JP4758773B2 (en) | 2011-08-31 |
Family
ID=38449321
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006012813A Active JP4758773B2 (en) | 2006-01-20 | 2006-01-20 | 3D image scanner |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4758773B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7262800B2 (en) * | 2020-10-06 | 2023-04-24 | 学校法人福岡工業大学 | 3D image generation system, 3D image generation method, 3D image generation program, and recording medium |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3934530B2 (en) * | 2002-10-30 | 2007-06-20 | 株式会社山武 | 3D measuring apparatus and 3D measuring method |
JP4546180B2 (en) * | 2004-07-22 | 2010-09-15 | 株式会社シン技術コンサル | 3D image scanner |
-
2006
- 2006-01-20 JP JP2006012813A patent/JP4758773B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2007193680A (en) | 2007-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5323320B2 (en) | Surface inspection device | |
US7626709B2 (en) | Device for examining the optical properties of surfaces | |
JP5753409B2 (en) | Panorama image creation method and three-dimensional laser scanner | |
KR101150755B1 (en) | Apparatus for photographing image | |
JP6490029B2 (en) | Microscope and method for generating one combined image from a plurality of individual images of an object | |
KR102226444B1 (en) | Adaptive diffuse illumination systems and methods | |
US6291817B1 (en) | Moire apparatus having projection optical system and observation optical system which have optical axes parallel to each other | |
JP2006515676A (en) | Method and apparatus for simultaneous inspection of 2-D and surface irregularities | |
JP2004309240A (en) | Three-dimensional shape measuring apparatus | |
JP2006025005A (en) | Photographing system | |
KR101754108B1 (en) | System for measuring vignetting caused by camera lenz | |
JPH10513287A (en) | Method and apparatus for recording and imaging images of objects, images | |
US8261989B2 (en) | Method for generating image information | |
JP4546180B2 (en) | 3D image scanner | |
JPH07234174A (en) | Measuring instrument for adjusting optical axis of head light and optical axis adjustment method | |
JP4758773B2 (en) | 3D image scanner | |
KR102551372B1 (en) | Vision scanning device equipped with 3D shape recognition function | |
JP4871403B2 (en) | 3D image scanner | |
CA2935606A1 (en) | Device and method for generating image information from an object to be captured | |
JP5069185B2 (en) | Imaging apparatus, imaging method, and image processing method | |
US7035011B2 (en) | Support surface of a device for optically capturing objects | |
JP5557054B2 (en) | Structure investigation device and structure investigation method | |
JP4248216B2 (en) | Color image creating apparatus and color image composition method for image measuring machine | |
JPH10274515A (en) | Curved surface inspection method and camera unit for inspection | |
US20040109077A1 (en) | Camera, imaging system and illuminations sensor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090109 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110407 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110525 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110603 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4758773 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140610 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |