JP6765130B2 - Image generator - Google Patents
Image generator Download PDFInfo
- Publication number
- JP6765130B2 JP6765130B2 JP2018229514A JP2018229514A JP6765130B2 JP 6765130 B2 JP6765130 B2 JP 6765130B2 JP 2018229514 A JP2018229514 A JP 2018229514A JP 2018229514 A JP2018229514 A JP 2018229514A JP 6765130 B2 JP6765130 B2 JP 6765130B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- contour
- back surface
- texture
- composite
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002131 composite material Substances 0.000 claims description 93
- 238000011156 evaluation Methods 0.000 claims description 41
- 238000000034 method Methods 0.000 claims description 22
- 230000002194 synthesizing effect Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 20
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 239000000203 mixture Substances 0.000 description 10
- 239000011295 pitch Substances 0.000 description 10
- 238000000926 separation method Methods 0.000 description 9
- 230000009466 transformation Effects 0.000 description 9
- 238000003745 diagnosis Methods 0.000 description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000013139 quantization Methods 0.000 description 5
- 206010039722 scoliosis Diseases 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000036544 posture Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 206010023509 Kyphosis Diseases 0.000 description 1
- 241000872198 Serjania polyphylla Species 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000002559 palpation Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、診断等に用いられる画像を生成するための装置に関する。 The present invention relates to an apparatus for generating an image used for diagnosis and the like.
現在、側弯症の診断には、触診、視診のほか、モアレカメラによる２Ｄ（２次元）等高線画像を用いた診断（読影）が行われている。 Currently, in addition to palpation and inspection, diagnosis (interpretation) using a 2D (two-dimensional) contour image by a moire camera is performed for the diagnosis of scoliosis.
また近年、対象物の立体形状をそのままデジタル化する３Ｄ（３次元）スキャナに注目が集まっている。特に３Ｄボディスキャナは人体全身の３次元形状が取得できる。３Ｄスキャナは、ＣＴ検査の様に人体内部の状態まで測定できないが、被曝を伴うことなく外形を正確に測定できる特徴がある。３Ｄスキャナが計測した人体の表面形状から、側弯症等の症状の診断に資する情報を生成して診断者に提示するシステムとして、特許文献１に開示されるものがある。 In recent years, attention has been focused on 3D (three-dimensional) scanners that digitize the three-dimensional shape of an object as it is. In particular, the 3D body scanner can acquire the three-dimensional shape of the entire human body. Unlike CT examinations, 3D scanners cannot measure the state inside the human body, but they have the characteristic of being able to accurately measure the outer shape without exposure. Patent Document 1 discloses a system that generates information useful for diagnosing symptoms such as scoliosis from the surface shape of the human body measured by a 3D scanner and presents it to a diagnostician.
特許文献１に開示された脊柱側弯症の評価システムは、被験者の背部を撮影してその３次元データを取得する３次元データ取得部と、前記３次元データ取得部で取得された前記３次元データに基づいて前記被験者の背部の垂直方向の中心線を検出する中心線検出部と、被験者の背部について湾曲の程度を測定すべき特徴部位を指定する特徴部位指定部と、前記特徴部位指定部で指定された特徴部位について、前記３次元データに基づいて水平方向の体表面の凹凸状態を検出する凹凸状態検出部と、前記特徴部位指定部で指定された特徴部位について、前記中心線を境にした左右の凹凸のピーク位置の高低差を算出する左右差算出部と、前記凹凸状態検出部による検出結果と前記左右差算出部による算出結果を併せて表示する表示部と、を備える。 The evaluation system for spinal kyphosis disclosed in Patent Document 1 includes a three-dimensional data acquisition unit that photographs the back of a subject and acquires the three-dimensional data, and the three-dimensional data acquired by the three-dimensional data acquisition unit. The center line detection unit that detects the vertical center line of the back of the subject, the feature site designation section that specifies the feature site for measuring the degree of curvature of the back of the subject, and the feature site designation section. With respect to the designated feature part, the uneven state detection part that detects the uneven state of the body surface in the horizontal direction based on the three-dimensional data, and the feature part designated by the feature part designation part, with the center line as a boundary. It is provided with a left-right difference calculation unit for calculating the height difference of the peak positions of the left and right unevenness, and a display unit for displaying the detection result by the unevenness state detection unit and the calculation result by the left-right difference calculation unit.
また、特許文献２に開示された側弯症スクリーニングを行うための等高線画像生成方法は、被験者の背面画像を撮影し、デジタル画像を出力する工程と、前記撮影されたデジタル画像から画素毎に輝度信号を抽出する工程と、前記抽出された輝度信号を所定の閾値基準で量子化した量子化画像を生成する工程と、前記量子化された画像における量子化レベル毎に、同じ量子化レベルの画素を繋いだ画像に変換する工程と、前記同じ量子化レベルの画素を繋いだ画像をディスプレイに表示して、前記被験者の背面における高度の偏位を観察可能にする工程を有する。 Further, the contour image generation method for performing scoliosis screening disclosed in Patent Document 2 includes a step of capturing a back image of a subject and outputting a digital image, and a brightness signal for each pixel from the captured digital image. And the step of generating a quantized image obtained by quantizing the extracted brightness signal with a predetermined threshold reference, and the pixel of the same quantization level for each quantization level in the quantized image. It includes a step of converting into a connected image and a step of displaying an image in which pixels of the same quantization level are connected on a display so that a high degree of deviation on the back surface of the subject can be observed.
従来のモアレカメラは同カメラの観測方向を基準とした２Ｄ等高線画像を生成するため、撮影時に評価対象者（すなわち被写体）の姿勢をカメラに対して正対させる必要がある。しかし、モアレカメラにより生成される等高線は、わずかな評価対象者の動きや姿勢に大きく影響されてしまう。また、一旦撮影し終えた画像に対して異なる視点からの等高線を再生成することができないため、適切な等高線画像が得られない場合には、撮影をやり直す必要がある。 Since the conventional moire camera generates a 2D contour image based on the observation direction of the camera, it is necessary to make the posture of the evaluation target person (that is, the subject) face the camera at the time of shooting. However, the contour lines generated by the moire camera are greatly affected by the slight movements and postures of the evaluation subjects. In addition, since contour lines from different viewpoints cannot be regenerated for the image once taken, if an appropriate contour image cannot be obtained, it is necessary to take the picture again.
特許文献１のシステムが表示する凹凸状態と高低差の情報は、モアレカメラが生成する等高線画像と見た目が大きく異なるため、診断者がそれら情報を理解するのに手間が掛かる。 Since the information on the uneven state and the height difference displayed by the system of Patent Document 1 looks significantly different from the contour image generated by the moire camera, it takes time for the diagnostician to understand the information.
特許文献２の方法により生成される等高線画像は、モアレカメラが生成する等高線画像と似た見た目とすることは可能であるが、輝度信号の同じ量子化レベルの画素を繋ぐという方式では高さの精度が高くないと考えられる。 The contour image generated by the method of Patent Document 2 can be made to look similar to the contour image generated by the moire camera, but the height is increased by the method of connecting pixels of the same quantization level of the brightness signal. It is considered that the accuracy is not high.
本発明は、背面の等高線画像を表示した画像を生成可能で、モアレカメラよりも利便性が高く、輝度信号の量子化レベルに基づいて等高線画像を生成する方法よりも精度が高い等高線画像を提供可能な装置を提供する。 The present invention can generate an image displaying a contour image of the back surface, is more convenient than a moire camera, and provides a contour image with higher accuracy than a method of generating a contour image based on the quantization level of a brightness signal. Provide possible equipment.
本発明は、一つの側面では、評価対象者の背面を撮影して得られた前記背面のテクスチャ画像及び３次元形状データを取得する手段と、前記３次元形状データから、前記背面の等高線を表す等高線画像を生成する生成手段と、前記生成手段が生成した前記等高線画像と前記テクスチャ画像とを合成して合成画像を生成する合成手段と、前記合成手段が生成した合成画像を出力する出力手段と、を含む画像生成装置を提供する。 In one aspect, the present invention represents a means for acquiring a texture image and three-dimensional shape data of the back surface obtained by photographing the back surface of an evaluation target person, and a contour line of the back surface from the three-dimensional shape data. A generation means for generating an contour image, a synthesis means for generating a composite image by synthesizing the contour image generated by the generation means and the texture image, and an output means for outputting the composite image generated by the synthesis means. An image generator including, is provided.
一つの態様では、前記生成手段は、前記３次元形状データから、異なる複数の観測方向のそれぞれについて、当該観測方向についての前記背面の等高線画像を生成し、前記合成手段は、前記複数の観測方向のそれぞれについて、当該観測方向についての前記等高線画像と前記テクスチャ画像とを合成した合成画像を生成する。 In one embodiment, the generation means generates contour images of the back surface for each of the plurality of different observation directions from the three-dimensional shape data, and the synthesis means generates the plurality of observation directions. For each of the above, a composite image is generated by synthesizing the contour image and the texture image in the observation direction.
別の態様は、前記複数の観測方向のそれぞれについて、前記テクスチャ画像から、当該観測方向から仮想的に見たときの前記背面を表すテクスチャ画像を生成する仮想テクスチャ生成手段、を更に含み、前記合成手段は、前記複数の観測方向のそれぞれについて、当該観測方向についての前記等高線画像と前記テクスチャ画像とを合成した合成画像を生成する。 Another aspect further includes, for each of the plurality of observation directions, a virtual texture generation means for generating a texture image representing the back surface when virtually viewed from the observation direction from the texture image, and the composition thereof. The means generates a composite image in which the contour image and the texture image for the observation direction are combined for each of the plurality of observation directions.
更に別の態様では、前記出力手段は、前記合成手段が生成した前記複数の観測方向のそれぞれについての前記合成画像を画面に表示する手段と、それら各観測方向についての前記合成画像のうちユーザから選択を受け付ける手段と、前記ユーザから選択された前記合成画像を前記評価対象者の識別情報と対応付けて、所定のデータベースに登録する手段と、を含む。 In still another aspect, the output means is a means for displaying the composite image for each of the plurality of observation directions generated by the synthesis means on the screen, and a user among the composite images for each of the observation directions. A means for accepting selection and a means for registering the composite image selected by the user in a predetermined database in association with the identification information of the evaluation target person are included.
更に別の態様では、前記生成手段は、前記３次元形状データから、前記評価対象者の前記背面を撮影したときの撮影方向とは異なる第２の方向を観測方向としたときの等高線画像を生成し、前記合成手段は、前記第２の方向を前記観測方向としたときの前記等高線画像と前記テクスチャ画像とを合成する。 In still another aspect, the generation means generates a contour image from the three-dimensional shape data when the observation direction is a second direction different from the shooting direction when the back surface of the evaluation target person is photographed. Then, the synthesizing means synthesizes the contour image and the texture image when the second direction is the observation direction.
更に別の態様では、前記テクスチャ画像から、前記背面を前記観測方向である前記第２の方向から仮想的に見たときのテクスチャ画像を生成する仮想テクスチャ生成手段、を更に含み、前記合成手段は、前記第２の方向についての前記等高線画像と前記テクスチャ画像とを合成した合成画像を生成する。 In yet another aspect, the compositing means further includes, from the texture image, a virtual texture generating means for generating a texture image when the back surface is virtually viewed from the second direction, which is the observation direction. , A composite image is generated by combining the contour image and the texture image in the second direction.
更に別の態様は、前記３次元形状データに基づき、前記テクスチャ画像のうち前記背面の背景となっている背景部分を特定し、前記テクスチャ画像のうち前記背景部分の画像を前記背面と区別可能となるよう加工する加工手段、を更に含み、前記合成手段は、前記加工手段により加工された前記テクスチャ画像と前記等高線画像とを合成して前記合成画像を生成する。 In yet another aspect, the background portion of the texture image that is the background of the back surface is specified based on the three-dimensional shape data, and the image of the background portion of the texture image can be distinguished from the back surface. The compositing means further includes a processing means for processing such as the above, and the compositing means synthesizes the texture image processed by the processing means and the contour image to generate the composite image.
本発明によれば、背面の等高線画像を表示した画像を生成可能な、モアレカメラよりも利便性の高い装置を提供することができる。 According to the present invention, it is possible to provide a device that is more convenient than a moire camera and can generate an image displaying a contour image of the back surface.
＜実施形態１＞
図１に、本発明に係る背面診断画像生成システムの一実施形態の機能構成を例示する。図示したように、このシステムは、３Ｄ計測装置１０、データ分離部１２、等高線画像生成部１４、画像合成部１６及び出力部１８を備える。
<Embodiment 1>
FIG. 1 illustrates a functional configuration of an embodiment of a back-diagnosis image generation system according to the present invention. As shown in the figure, this system includes a 3D measuring device 10, a data separation unit 12, a contour image generation unit 14, an image composition unit 16, and an output unit 18.
３Ｄ計測装置１０は、評価対象者（例えば診断対象の患者）の背面の３Ｄ形状を計測する装置である。３Ｄ計測の手法には、三角測量の原理に基づくもの（例えばステレオ法、光切断法、位相シフト法）、ＴＯＦ（Time of Flight：光飛行時間）に基づくものなど、いくつかの方式があるが、３Ｄ計測装置１０はそのいずれの方式を用いるものでもよい。 The 3D measuring device 10 is a device that measures the 3D shape of the back surface of the evaluation target person (for example, the patient to be diagnosed). There are several 3D measurement methods, such as those based on the principle of triangulation (for example, stereo method, optical cutting method, phase shift method), and those based on TOF (Time of Flight). The 3D measuring device 10 may use any of the methods.
好適には、３Ｄ計測装置１０として、被写体の３Ｄ形状データとテクスチャ画像とを、実質上同じ光軸及び画角で撮影可能なものを用いる。例えば、ステレオ法、光切断法、位相シフト法等の方式を用いる３Ｄ計測装置は、この条件を満たす場合が多い。なお、テクスチャ画像とは、被写体からの自然光や照明光の反射を撮影した画像であり、例えば一般的なカメラで撮影されるカラーまたはモノクロの画像がその代表例である。３Ｄ計測装置１０は、撮影により得た３Ｄ形状データとテクスチャ画像を出力する。３Ｄ形状データは、例えば、画像内の各画素の奥行き（距離）ｚの値を持つ距離画像の形式で表現される。 Preferably, as the 3D measuring device 10, a device capable of photographing the 3D shape data of the subject and the texture image with substantially the same optical axis and angle of view is used. For example, a 3D measuring device that uses a method such as a stereo method, an optical cutting method, or a phase shift method often satisfies this condition. The texture image is an image obtained by capturing the reflection of natural light or illumination light from the subject, and a typical example thereof is a color or monochrome image captured by a general camera. The 3D measuring device 10 outputs the 3D shape data and the texture image obtained by photographing. The 3D shape data is represented, for example, in the form of a distance image having a value of the depth (distance) z of each pixel in the image.
なお、評価対象者のテクスチャ画像を撮影するためのカメラを３Ｄ計測装置１０とは別体のものとして用意してもよい。ただし、この場合、そのカメラと３Ｄ計測装置１０の３次元的な位置、光軸方向、画角などの要件は既知であるとする。これらの要件が既知であれば、カメラが撮影したテクスチャ画像と３Ｄ計測装置１０が生成した３Ｄ形状データとを、同一光軸及び同一画角の状態に変換し、合成することが可能になる。 A camera for capturing a texture image of the evaluation target person may be prepared separately from the 3D measuring device 10. However, in this case, it is assumed that the requirements such as the three-dimensional position, the optical axis direction, and the angle of view of the camera and the 3D measuring device 10 are known. If these requirements are known, the texture image taken by the camera and the 3D shape data generated by the 3D measuring device 10 can be converted into a state of the same optical axis and the same angle of view and combined.
データ分離部１２は、３Ｄ計測装置１０から入力される３Ｄ形状データとテクスチャ画像とを分離し、３Ｄ形状データを等高線画像生成部１４に、テクスチャ画像を画像合成部１６に、それぞれ入力する。なお、データ分離部１２は、３Ｄ計測装置１０が、３次元形状データとテクスチャ画像とが一体となったデータ形式の出力データ（例えば、画素のＲＧＢ値及びＺ座標からなる４次元座標から構成される画像データ）を出力する場合に必要である。３Ｄ計測装置１０が、３Ｄ形状データとテクスチャ画像とを別々に出力可能であれば、データ分離部１２はなくてよい。 The data separation unit 12 separates the 3D shape data and the texture image input from the 3D measurement device 10, and inputs the 3D shape data to the contour image generation unit 14 and the texture image to the image composition unit 16. In the data separation unit 12, the 3D measuring device 10 is composed of output data in a data format in which a three-dimensional shape data and a texture image are integrated (for example, four-dimensional coordinates composed of RGB values of pixels and Z coordinates). It is necessary when outputting the image data). If the 3D measuring device 10 can output the 3D shape data and the texture image separately, the data separating unit 12 may be omitted.
等高線画像生成部１４は、３Ｄ形状データから等高線画像を生成する。等高線画像は、３Ｄ形状データが表す３Ｄ形状において同一高さの点（画素）を結んだ等高線を、一定のピッチ（高さの間隔）ごとに示した画像である。なお、ここで高さとは、３Ｄ形状に対して任意の観測位置と観測方向を設定し、観測位置を通り観測方向を法線に持つ平面を想定した場合に、その平面と３Ｄ形状の各３Ｄ座標点との垂直距離である。簡単な例としては３Ｄ形状データが距離画像の形式で表現されている場合の各画素の奥行き距離ｚである。従来のモアレカメラが生成するモアレ模様も、等高線を示す画像表現の一例である。 The contour image generation unit 14 generates a contour image from the 3D shape data. The contour line image is an image showing contour lines connecting points (pixels) of the same height in the 3D shape represented by the 3D shape data at regular pitches (height intervals). Here, the height is defined as a plane in which an arbitrary observation position and observation direction are set for the 3D shape, and the plane passes through the observation position and has the observation direction as the normal, and the plane and the 3D shape are each 3D. It is the vertical distance from the coordinate point. A simple example is the depth distance z of each pixel when the 3D shape data is represented in the form of a distance image. The moire pattern generated by a conventional moire camera is also an example of an image representation showing contour lines.
画像合成部１６は、等高線画像生成部１４が生成した等高線画像と、３Ｄ計測装置１０が撮影したテクスチャ画像とを合成し、合成画像を生成する。生成された合成画像は、評価対象者の背面の状態を評価するための評価用の画像として用いられる。例えば、合成画像を用いて、評価対象者が側弯症に該当するか否かの評価、又は診断が行われる。 The image synthesizing unit 16 synthesizes the contour line image generated by the contour line image generation unit 14 and the texture image taken by the 3D measuring device 10 to generate a composite image. The generated composite image is used as an evaluation image for evaluating the state of the back surface of the evaluation target person. For example, using a composite image, evaluation or diagnosis of whether or not the evaluation subject corresponds to scoliosis is performed.
出力部１８は、画像合成部１６が生成した合成画像を出力する。この出力は、例えば、付属の表示装置の画面に表示する形態、プリンタから印刷出力する形態、診断情報データベースに評価対象者のＩＤ（患者番号等）に対応付けて登録する形態、等のうちの一以上の形態で行う。 The output unit 18 outputs the composite image generated by the image synthesis unit 16. This output is, for example, a form of displaying on the screen of an attached display device, a form of printing out from a printer, a form of registering in the diagnostic information database in association with the ID (patient number, etc.) of the evaluation target person, and the like. Perform in one or more forms.
図２に示す具体例を参照して、画像合成部１６による画像の合成について説明する。図２において、テクスチャ画像１００は評価対象者の背面を写した画像であり、等高線画像１０２は、評価対象者の背面の３Ｄ形状の等ピッチの等高線を示した画像である。例示した等高線画像１０２は、等高線上の画素の値が「１」（すなわち黒の最高濃度）、等高線以外の位置の画素の値が「０」（すなわち無色透明）である画像である。図において、黒い線が等高線１０４を示している。 The image composition by the image composition unit 16 will be described with reference to the specific example shown in FIG. In FIG. 2, the texture image 100 is an image showing the back surface of the evaluation target person, and the contour line image 102 is an image showing the contour lines of the 3D shape of the back surface of the evaluation target person at equal pitches. The illustrated contour image 102 is an image in which the value of the pixel on the contour line is "1" (that is, the maximum density of black) and the value of the pixel at a position other than the contour line is "0" (that is, colorless and transparent). In the figure, the black line indicates the contour line 104.
画像合成部１６は、テクスチャ画像１００に対して等高線画像１０２を画素単位で重畳することで、合成画像１１０を生成する。この例では、等高線画像１０２が示す等高線１０４がテクスチャ画像１００上に書き込まれ、等高線以外の画素についてはテクスチャ画像１００の画素値がそのまま有効となる。 The image synthesizing unit 16 generates a composite image 110 by superimposing the contour image 102 on the texture image 100 in pixel units. In this example, the contour line 104 indicated by the contour line image 102 is written on the texture image 100, and the pixel value of the texture image 100 is valid as it is for the pixels other than the contour line.
図２に例示した等高線画像１０２はあくまで一例に過ぎない。以下、図３〜図７を参照して、等高線画像の様々な形態について説明する。これらの図において、等高線の観測方向（すなわち高さ方向）の座標軸をＺとし、等高線のピッチをｐとする。また、ｎは任意の整数とする。 The contour image 102 illustrated in FIG. 2 is merely an example. Hereinafter, various forms of the contour image will be described with reference to FIGS. 3 to 7. In these figures, the coordinate axes of the contour lines in the observation direction (that is, the height direction) are Z, and the pitch of the contour lines is p. Further, n is an arbitrary integer.
図３に示す例では、等高線の幅を２ｗとした場合、ｎｐ−ｗ＜Ｚ＜ｎｐ＋ｗを満たすＺ座標値を持つ画素の値を、等高線１０４を示す値（輝度値）とする。等高線に該当する画素の等高線合成後の輝度は、同画素のテクスチャ画像における輝度よりも明確に低い値（例えば、テクスチャ画像の輝度よりも所定値だけ低い輝度、又は濃度１００％の黒を示す輝度）となる。この例は、図２に示した形態の等高線画像と同じものである。 In the example shown in FIG. 3, when the width of the contour line is 2w, the value of the pixel having the Z coordinate value satisfying np−w <Z <np + w is set as the value (luminance value) indicating the contour line 104. The luminance after contour composition of the pixel corresponding to the contour line is a value clearly lower than the luminance in the texture image of the same pixel (for example, the luminance is lower than the luminance of the texture image by a predetermined value, or the luminance indicating black with a density of 100%). ). This example is the same as the contour image of the form shown in FIG.
図４に示す例では、等高線画像は等高線ピッチｐごとに明暗が切り替わる形態の画像である。この例の合成画像１１０Ｂは、２ｎｐ＜Ｚ≦（２ｎ＋１）ｐを満たすＺ座標値を持つ画素については、その画素の輝度値はテクスチャ画像の輝度値よりも低い値となり、（２ｎ＋１）ｐ＜Ｚ≦（２ｎ＋２）ｐを満たすＺ座標値を持つ画素については、その画素の輝度値はテクスチャ画像の輝度値よりも高い値となる。ここで、合成画像１１０Ｂとテクスチャ画像との輝度差は、固定値としてもよいし、テクスチャ画像の輝度値に応じて可変（例えばテクスチャ画像の輝度値が高くなるほど、輝度差を大きくするなど）としてもよい。 In the example shown in FIG. 4, the contour image is an image in which light and dark are switched for each contour pitch p. In the composite image 110B of this example, for a pixel having a Z coordinate value satisfying 2np <Z ≦ (2n + 1) p, the brightness value of the pixel is lower than the brightness value of the texture image, and (2n + 1) p <Z. For a pixel having a Z coordinate value satisfying ≦ (2n + 2) p, the brightness value of the pixel is higher than the brightness value of the texture image. Here, the brightness difference between the composite image 110B and the texture image may be a fixed value or may be variable according to the brightness value of the texture image (for example, the higher the brightness value of the texture image, the larger the brightness difference). May be good.
図５に示す例では、等高線画像は、等高線ピッチｐの幅内で、Ｚ座標に応じて輝度（濃度）が徐々に変化する。図示例の合成画像１１０Ｃでは、２ｎｐ＜Ｚ≦（２ｎ＋１）ｐを満たすＺ座標値を持つ画素の輝度値は、テクスチャ画像の当該画素の輝度値をＺ座標値に応じて線形に増加させた値となり、（２ｎ＋１）ｐ＜Ｚ≦（２ｎ＋２）ｐを満たすＺ座標値を持つ画素の輝度値は、テクスチャ画像の当該画素の輝度値をＺ座標値に応じて線形に減少させた値となる。なお、Ｚ座標値に応じた増加または減少の量は、Ｚ＝２ｎｐ＋ｐ／２のときに０となるように定める。 In the example shown in FIG. 5, the brightness (density) of the contour image gradually changes according to the Z coordinate within the width of the contour pitch p. In the composite image 110C of the illustrated example, the luminance value of the pixel having the Z coordinate value satisfying 2np <Z ≦ (2n + 1) p is a value obtained by linearly increasing the luminance value of the pixel of the texture image according to the Z coordinate value. Therefore, the luminance value of the pixel having the Z coordinate value satisfying (2n + 1) p <Z ≦ (2n + 2) p is a value obtained by linearly reducing the luminance value of the pixel of the texture image according to the Z coordinate value. The amount of increase or decrease according to the Z coordinate value is set to be 0 when Z = 2np + p / 2.
図６に示す例では、等高線画像は、等高線ピッチｐごとに周期的に異なる色を持つ。この例では、高さＺを等高線ピッチｐごとに区切って複数の範囲に分ける。すなわち、個々の範囲はｎｐ＜Ｚ≦（ｎ＋１）ｐを満たす。そして、ｎの値ごとにあらかじめ特定の色を割り当てておき、テクスチャ画像の画素の色を、その画素のＺ座標値に対応する特定の色で補正する。等高線画像のｎの値ごとの色は、例えば固定のＲＧＢ値で指定する。あるいは別の例として、等高線画像のｎの値ごとの色として色相のみを指定しておき、輝度はテクスチャ画像の輝度に応じて変化させてもよい。ｎの値ごとの色として同一色を複数回使用してもよい。また、隣り合うピッチ同士には、なるべく色相が遠い色を割り当てることが、視認性の点で好ましい。 In the example shown in FIG. 6, the contour image has different colors periodically for each contour pitch p. In this example, the height Z is divided into a plurality of ranges by dividing each contour pitch p. That is, each range satisfies np <Z ≦ (n + 1) p. Then, a specific color is assigned in advance for each value of n, and the color of the pixel of the texture image is corrected with a specific color corresponding to the Z coordinate value of the pixel. The color for each n value of the contour image is specified by, for example, a fixed RGB value. Alternatively, as another example, only the hue may be specified as the color for each n value of the contour image, and the brightness may be changed according to the brightness of the texture image. The same color may be used a plurality of times as the color for each value of n. Further, it is preferable from the viewpoint of visibility that colors having hues as far as possible are assigned to adjacent pitches.
以上に説明したいずれの例でも、３Ｄ形状データをＺ方向に任意に平行移動することで、等高線の描画位置を任意に調整することが可能である。また、ピッチの値をユーザが指定できるようにしてもよい。上記で説明した方法はいずれも等高線画像の輝度値をＺ座標値の周期関数として変調する例を示したものである。変調に用いる周期関数は、上に例示したものに限られるものではなく、それ以外に例えば正弦波、台形波、階段波等を用いてもよい。 In any of the examples described above, it is possible to arbitrarily adjust the drawing position of the contour lines by arbitrarily translating the 3D shape data in the Z direction. Further, the pitch value may be specified by the user. All of the methods described above show an example of modulating the luminance value of the contour image as a periodic function of the Z coordinate value. The periodic function used for the modulation is not limited to the one illustrated above, and other examples such as a sine wave, a trapezoidal wave, and a staircase wave may be used.
＜実施形態２＞
次に、本発明の別の実施形態について説明する。
<Embodiment 2>
Next, another embodiment of the present invention will be described.
前述のようにモアレカメラで撮影した画像の等高線画像（すなわちモアレ模様）は評価対象者の微妙な姿勢の違いで大きく異なってくる場合があり、適切な姿勢で撮影できなかった場合は、撮影のし直しが必要になる。 As mentioned above, the contour image (that is, the moire pattern) of the image taken by the moire camera may differ greatly due to the slight difference in the posture of the evaluation target person, and if the image cannot be taken in the proper posture, the image is taken. It needs to be redone.
この問題に対処するために、この実施形態では、３Ｄ形状データから異なるいくつかの観測方向についての等高線画像を生成することで、１回の撮影で、仮想的に複数の観測方向から見た複数の診断画像（すなわち合成画像）を生成する。 In order to deal with this problem, in this embodiment, by generating contour images for several different observation directions from the 3D shape data, a plurality of images viewed from a plurality of observation directions are virtually taken in one shot. Generates a diagnostic image (ie, a composite image) of.
図７に、この実施形態の背面診断画像生成システムの機能構成を例示する。図７において、図１に示した要素と同様の要素には、同一符号を付し、説明を省略する。 FIG. 7 illustrates the functional configuration of the back-diagnosis image generation system of this embodiment. In FIG. 7, the same elements as those shown in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted.
この例では、等高線画像生成部１４Ａは、入力された背面の３Ｄ形状データについて、異なる複数の観測方向から見たときの等高線画像を生成する。例えば、等高線画像生成部１４Ａは、予め定められた異なる複数の観測方向のそれぞれについて、その観測方向がＺ軸方向となるよう３Ｄ形状データを座標変換し、座標変換後の３Ｄ形状データから等高線画像を生成する。 In this example, the contour image generation unit 14A generates contour images when viewed from a plurality of different observation directions with respect to the input 3D shape data on the back surface. For example, the contour line image generation unit 14A performs coordinate conversion of 3D shape data so that the observation direction is the Z-axis direction for each of a plurality of different observation directions determined in advance, and the contour line image is converted from the 3D shape data after the coordinate conversion. To generate.
図１に例示した実施形態１のシステムでは、図８に示すように、実スキャナ（すなわち３Ｄ計測装置１０）の視点位置から正面の方向をＺ方向として等高線画像を生成した。図８において、曲線２００は評価対象者の背面を示し、矢印が観測方向（Ｚ方向）を示す。また、背面を示す曲線２００と交わる等間隔の直線は、等高線ピッチｐごとの高さを示す。 In the system of the first embodiment illustrated in FIG. 1, as shown in FIG. 8, contour line images were generated with the front direction as the Z direction from the viewpoint position of the actual scanner (that is, the 3D measuring device 10). In FIG. 8, the curve 200 indicates the back surface of the evaluation target person, and the arrow indicates the observation direction (Z direction). Further, the straight lines at equal intervals intersecting the curve 200 showing the back surface indicate the height of each contour line pitch p.
本実施形態の等高線画像生成部１４Ａは、実スキャナ位置から正面方向に見たときの等高線画像の他に、図９に示すように別の観測方向から３Ｄ形状データを見たときの等高線画像も生成する。例えば、実スキャナの正面方向に対して正負の両方向にそれぞれ例えば１度刻みに角度が異なる複数の観測方向を予め設定しておき、それら各観測方向についての等高線画像を生成する。なお、観測方向のバリエーションは、水平面内での角度違いの方向に限らず、垂直や斜めなど、３次元的に異なる方向を含んでいてもよい。 The contour image generation unit 14A of the present embodiment includes not only the contour image when viewed from the actual scanner position in the front direction, but also the contour image when the 3D shape data is viewed from another observation direction as shown in FIG. Generate. For example, a plurality of observation directions having different angles, for example, in increments of 1 degree, are set in advance in both positive and negative directions with respect to the front direction of the actual scanner, and contour line images for each of these observation directions are generated. The variation of the observation direction is not limited to the direction of different angles in the horizontal plane, and may include three-dimensionally different directions such as vertical and diagonal.
画像合成部１６Ａは、等高線画像生成部１４Ａが生成した、異なる複数の観測方向についての等高線画像を、データ分離部１２から入力された評価対象者の背面のテクスチャ画像とそれぞれ合成する。これにより、等高線の観測方向が異なる複数の合成画像が生成される。 The image synthesizing unit 16A synthesizes the contour line images generated by the contour line image generation unit 14A for a plurality of different observation directions with the texture image of the back surface of the evaluation target person input from the data separation unit 12, respectively. As a result, a plurality of composite images having different observation directions of contour lines are generated.
出力部１８Ａは、生成された観測方向違いの複数の合成画像を出力する。例えば画面表示出力の場合は、それら複数の合成画像を一覧で、又は個別に表示する。一覧表示の場合は、実スキャナの正面方向についての等高線画像を合成した合成画像を画面中央に配置し、その周囲に、その正面方向に近い観測方向に対応する合成画像ほど画面中央に近い位置に配置する等、各合成画像がどの方向から見た等高線を示しているのか直感的に分かりやすい配置を採用する。 The output unit 18A outputs a plurality of generated composite images having different observation directions. For example, in the case of screen display output, the plurality of composite images are displayed in a list or individually. In the case of list display, a composite image that combines contour images of the front direction of the actual scanner is placed in the center of the screen, and the composite image that corresponds to the observation direction closer to the front direction is closer to the center of the screen. Adopt an arrangement that makes it easy to intuitively understand from which direction each composite image shows the contour lines, such as the arrangement.
図１０に、出力部１８Ａが生成する合成画像の表示画面を例示する。例示した画面３００は、現在の評価対象の人についての５つの合成画像３０２〜３１０が表示される。これら５つの合成画像３０２〜３１０は、実スキャナの正面方向（すなわち３Ｄ計測装置１０の撮影方向であり、例えばその撮影に用いるカメラの光軸方向）を含む水平面内に設定された異なる５つの観測方向についての合成画像である。５つのうちの中央は、現在注目している合成画像３０２であり、他の４つよりも大きいサイズで表示される。画面３００上に表示された５つの合成画像３０２〜３１０のうち、中央に最も大きいサイズで表示されている画像を注目画像と呼ぶ。注目画像（すなわちこの時点では合成画像３０２）の両隣には、水平面内に設定された複数の観測方向のうち、注目画像の観測方向の両隣の観測方向（すなわち注目画像の観測方向との角度差が最も小さい左右２つの観測方向）についての合成画像３０４及び３０８が、注目画像よりも小さいサイズで表示される。それら２つの合成画像３０４及び３０８の外側には、左右に更に１つ隣の観測方向についての合成画像３０６及び３１０が更に小さいサイズで表示される。注目画像を例えばクリック操作等で選択することで、その注目画像を更に大きいサイズで表示してもよい。 FIG. 10 illustrates a display screen of a composite image generated by the output unit 18A. The illustrated screen 300 displays five composite images 302 to 310 of the person currently being evaluated. These five composite images 302 to 310 are five different observations set in a horizontal plane including the front direction of the actual scanner (that is, the shooting direction of the 3D measuring device 10, for example, the optical axis direction of the camera used for the shooting). It is a composite image about the direction. The center of the five is the composite image 302 currently of interest, which is displayed in a larger size than the other four. Of the five composite images 302 to 310 displayed on the screen 300, the image displayed in the largest size in the center is called the attention image. On both sides of the attention image (that is, the composite image 302 at this point), among the plurality of observation directions set in the horizontal plane, the observation directions on both sides of the observation direction of the attention image (that is, the angle difference from the observation direction of the attention image). The composite images 304 and 308 for the two observation directions on the left and right with the smallest size are displayed in a size smaller than that of the image of interest. On the outside of these two composite images 304 and 308, composite images 306 and 310 for the observation direction one more adjacent to each other on the left and right are displayed in a smaller size. By selecting the attention image by, for example, a click operation, the attention image may be displayed in a larger size.
ユーザが左側のスクロールボタン３１２をタッチ操作やクリック操作等で「押下」すると、出力部１８Ａは、注目画像を１つ左の画像へ変更する。すなわち、画面３００に表示する画像を１つずつ右に移動させる。これにより、それまで中央の合成画像の３０２の一つ左にあった合成画像３０４が中央に移動して注目画像となり、他の画像も１つずつ右の位置に移動し、それぞれの位置に対応するサイズで表示される。この移動の前に右端にあった合成画像３１０は、表示対象の５つから外れて表示されなくなり、その代わりに左端にあった合成画像３０６の左隣の観測方向についての合成画像が存在すれば、この合成画像が左端の位置に新たに表示される。この逆に、右側のスクロールボタン３１４をユーザが押下すると、出力部１８Ａは、注目画像を１つ右の画像へ変更し、これに応じて他の画像も１つずつ左に移動させる。 When the user "presses" the scroll button 312 on the left side by a touch operation, a click operation, or the like, the output unit 18A changes the image of interest to the image on the left side. That is, the images displayed on the screen 300 are moved to the right one by one. As a result, the composite image 304, which was one to the left of 302 of the composite image in the center, moves to the center and becomes the attention image, and the other images also move to the right position one by one, corresponding to each position. It is displayed in the size you want. If the composite image 310 at the right end before this movement is out of the five display targets and is no longer displayed, and instead there is a composite image for the observation direction to the left of the composite image 306 at the left end. , This composite image is newly displayed at the leftmost position. On the contrary, when the user presses the scroll button 314 on the right side, the output unit 18A changes the image of interest to the image on the right one, and moves the other images to the left one by one accordingly.
ユーザは、スクロールボタン３１２及び３１４を操作して、中央に表示する注目画像を切り替えながらそれぞれの合成画像を確認し、その中から評価対象者（患者等）の背面（脊柱等）の特徴が最もよく現れている合成画像を最終的な注目画像として選ぶ。例えば、側弯症の診断では、等高線の縞模様の左右の非対称性を評価するが、観測方向が適切な方向からずれるほど等高線の縞模様の左右の非対称性が大きくなる。したがって、ユーザは画面３００に表示する画像を左右にスクロールしながら、複数の合成画像のうち左右の非対称性がなるべく少ない合成画像を最終的な注目画像として選択する。そして、ユーザが「保存して次へ」ボタン３１６をタッチ操作等で押下すると、出力部１８Ａは、そのときの注目画像（すなわち中央に表示されている最も大きい画像）を、現在の評価対象の人の診断画像として、診断情報データベースに保存する。その人について今回生成したすべての合成画像を見ても、適切な画像が見つからなかった場合、ユーザは、「撮り直し」ボタン３１８を押下する。これにより、３Ｄ計測装置１０が撮影準備状態となり、別途ユーザの操作で再度の撮影が行われる。また、ユーザが「初期画面に戻す」ボタン３２０を押下すると、画面３００は、３Ｄ計測装置１０の正面方向についての合成画像を注目画像として中央に表示した初期状態へと戻る。 The user operates the scroll buttons 312 and 314 to check each composite image while switching the attention image displayed in the center, and the feature of the back surface (spine, etc.) of the evaluation target person (patient, etc.) is the most. Select the composite image that appears well as the final image of interest. For example, in the diagnosis of scoliosis, the left-right asymmetry of the contour stripe pattern is evaluated, but the left-right asymmetry of the contour stripe pattern increases as the observation direction deviates from the appropriate direction. Therefore, the user scrolls the image displayed on the screen 300 left and right, and selects the composite image having as little left-right asymmetry as possible as the final attention image among the plurality of composite images. Then, when the user presses the "Save and Next" button 316 by a touch operation or the like, the output unit 18A displays the image of interest at that time (that is, the largest image displayed in the center) as the current evaluation target. Save it in the diagnostic information database as a human diagnostic image. If a suitable image is not found even after looking at all the composite images generated this time for that person, the user presses the "retake" button 318. As a result, the 3D measuring device 10 is ready for shooting, and another shooting is performed by a separate user operation. When the user presses the "return to initial screen" button 320, the screen 300 returns to the initial state in which the composite image in the front direction of the 3D measuring device 10 is displayed in the center as the image of interest.
図１０には示していないが、中央の合成画像３０２の近傍に、その合成画像３０２の観測方向を示す情報を表示してもよい。この観測方向を示す情報は、例えば「０（正面）」（実スキャナの正面方向）、「＋１」（正面方向から１つ右の観測方向）、「＋２」（正面方向から２つ右の観測方向）、「−１」（正面方向から１つ左の観測方向）、「−２」等といったものでよい。中央の合成画像３０２だけでなく、画面３００内に表示される全ての合成画像３０２〜３１０に対して、それぞれその画像の観測方向を示す情報を表示してもよい。 Although not shown in FIG. 10, information indicating the observation direction of the composite image 302 may be displayed in the vicinity of the composite image 302 in the center. The information indicating this observation direction is, for example, "0 (front)" (front direction of the actual scanner), "+1" (observation direction one right from the front direction), and "+2" (observation two right from the front direction). Direction), "-1" (observation direction one left from the front direction), "-2", etc. may be used. Not only the composite image 302 in the center, but also all the composite images 302 to 310 displayed on the screen 300 may be displayed with information indicating the observation direction of the images.
また、画面３００には、その画面に表示している評価対象者の氏名やＩＤ等を更に表示してもよい。 In addition, the name, ID, and the like of the evaluation target person displayed on the screen may be further displayed on the screen 300.
なお、評価対象者の背面の３Ｄ計測データから等高線画像を生成するにはある程度の時間を要するので、５つの観測方向についての合成画像が完成するのを待って画面３００上に５つの合成画像を表示したのでは、待ち時間が長いとユーザに感じさせてしまう可能性がある。そこで、実スキャナの正面方向についての合成画像が完成したらまずそれを画面３００の中央に表示し、その後正面方向に近い観測方向から順に合成画像を生成し、生成でき次第画面３００に表示するようにしてもよい。また、スクロールボタン３１４をユーザが押下したときに新たに表示されるべき合成画像を装置がバックグラウンドで生成しておき、実際にスクロールボタンの押下操作が行われたときに、対応する合成画像を素早く表示できるようにしてもよい。 Since it takes some time to generate contour images from the 3D measurement data on the back of the evaluation target, wait for the composite images for the five observation directions to be completed, and then display the five composite images on the screen 300. If it is displayed, it may make the user feel that the waiting time is long. Therefore, when the composite image of the front direction of the actual scanner is completed, it is first displayed in the center of the screen 300, then the composite image is generated in order from the observation direction closer to the front direction, and displayed on the screen 300 as soon as it is generated. You may. In addition, the device generates a composite image to be newly displayed when the user presses the scroll button 314 in the background, and when the scroll button is actually pressed, the corresponding composite image is generated. It may be possible to display it quickly.
＜実施形態３＞
この実施形態は、上述した実施形態２の改良版である。
<Embodiment 3>
This embodiment is an improved version of the second embodiment described above.
上記実施形態２では、画像合成部１６Ａは、等高線画像生成部１４Ａが生成した各観測方向についての等高線画像を、データ分離部１２から出力された同じテクスチャ画像と合成した。この方式では、テクスチャ画像の観測方向（すなわち実スキャナの正面方向）とは異なる観測方向についての等高線画像と合成した場合に、少し違和感のある合成画像となる場合がある。 In the second embodiment, the image synthesizing unit 16A synthesizes the contour line images generated by the contour line image generation unit 14A for each observation direction with the same texture image output from the data separation unit 12. In this method, when the texture image is combined with the contour image in the observation direction different from the observation direction (that is, the front direction of the actual scanner), the composite image may be slightly uncomfortable.
そこでこの実施形態３では、テクスチャ画像を等高線画像と同じ観測方向から見た状態を示すものに変換し、この変換の後のテクスチャ画像をその等高線画像と合成する。 Therefore, in the third embodiment, the texture image is converted into an image showing a state viewed from the same observation direction as the contour image, and the texture image after this conversion is combined with the contour image.
図１１に、この実施形態３の背面診断画像生成システムの機能構成を例示する。図１１において、図１又は図７に示した要素と同様の要素には、同一符号を付し、説明を省略する。 FIG. 11 illustrates the functional configuration of the back-side diagnostic image generation system of the third embodiment. In FIG. 11, elements similar to the elements shown in FIGS. 1 or 7 are designated by the same reference numerals, and description thereof will be omitted.
図１１に示すシステムは、図７に示したシステムに多方向化処理部２２を追加したものである。多方向化処理部２２は、データ分離部１２から入力されたテクスチャ画像から、等高線画像生成部１４Ａが生成する各等高線画像の観測方向と同じ観測方向から見た状態のテクスチャ画像（すなわち後述の仮想テクスチャ画像）を生成する。個々の観測方向から見た状態のテクスチャ画像は、例えば、元のテクスチャ画像（実スキャナの正面方向から見た状態のもの）に対して幾何学的な変換を加えることで生成する。幾何学的な変換としては、例えばアフィン変換などを用いればよい。 The system shown in FIG. 11 is a system in which the multi-directional processing unit 22 is added to the system shown in FIG. The multi-directional processing unit 22 is a texture image (that is, a virtual image described later) in a state of being viewed from the same observation direction as the observation direction of each contour image generated by the contour image generation unit 14A from the texture image input from the data separation unit 12. Texture image) is generated. The texture image viewed from each observation direction is generated, for example, by applying a geometric transformation to the original texture image (the one viewed from the front of the actual scanner). As the geometric transformation, for example, an affine transformation may be used.
多方向化処理部２２が実行する各観測方向に対応するテクスチャ画像の生成処理の具体例を、図１２を参照して説明する。 A specific example of the texture image generation process corresponding to each observation direction executed by the multidirectional processing unit 22 will be described with reference to FIG.
この処理では、テクスチャ画像を生成する観測方向上に仮想スキャナ位置を定める。例えば、実スキャナの正面方向の線上に原点を定めておき、その原点からその観測方向に、実スキャナ・原点間の距離と同じ距離の位置を、仮想スキャナ位置とする。その仮想スキャナ位置に、仮想的な３Ｄ計測装置１０（仮想スキャナと呼ぶ）が配置されているものとする。その観測方向が、その仮想スキャナの正面方向である。 In this process, the virtual scanner position is determined in the observation direction in which the texture image is generated. For example, the origin is set on the line in the front direction of the real scanner, and the position in the observation direction from the origin at the same distance as the distance between the real scanner and the origin is defined as the virtual scanner position. It is assumed that a virtual 3D measuring device 10 (called a virtual scanner) is arranged at the virtual scanner position. The observation direction is the front direction of the virtual scanner.
このように仮想スキャナの位置と向きを決めると、３Ｄ形状データ上のｉ番目（ｉは正の整数）の３Ｄ座標点Ｖiと、これに対応する仮想スキャナの画像平面上の２Ｄ座標点Ｐ’ iとの関係が決まる。また、その３Ｄ座標点Ｖiと、実スキャナの位置から見た実テクスチャ画像上の対応点である２Ｄ座標点Ｐiとの関係は、テクスチャマッピングの関係であり、既知である。つまり実テクスチャ画像上の２Ｄ座標点Ｐiと仮想スキャナの画像平面上の２Ｄ座標点Ｐ’ iは同一の点を表しており、Ｐi=（ｘi, ｙi）からＰ’ i=（ｘ’ i, ｙ’ i）への変形をアフィン変換で表現すると
このような変形処理により、実テクスチャ画像から、実スキャナの正面方向とは異なる観測方向から見たときの仮想テクスチャ画像が生成される。図１２の右側に示す台形に変形された状態の画像が仮想テクスチャ画像１００Ａである。これに、同じ観測方向についての等高線画像１０２Ａを合成することで、テクスチャ画像についてもその観測方向から見た状態となっている合成画像１１０Ａが得られる。 By such deformation processing, a virtual texture image when viewed from an observation direction different from the front direction of the actual scanner is generated from the actual texture image. The image in the trapezoidal deformed state shown on the right side of FIG. 12 is the virtual texture image 100A. By synthesizing the contour image 102A in the same observation direction with this, a composite image 110A in which the texture image is also viewed from the observation direction can be obtained.
多方向化処理部２２は、生成した観測方向ごとの仮想テクスチャ画像を、例えば観測方向の識別情報である方向ＩＤと対応付けて、画像合成部１６Ａに入力する。同様に等高線画像生成部１４Ａは、生成した観測方向ごとの等高線画像を例えば方向ＩＤと対応付けて画像合成部１６Ａに入力する。 The multi-directional processing unit 22 inputs the generated virtual texture image for each observation direction to the image synthesis unit 16A in association with, for example, the direction ID which is the identification information of the observation direction. Similarly, the contour line image generation unit 14A inputs the generated contour line image for each observation direction to the image synthesis unit 16A in association with, for example, the direction ID.
画像合成部１６Ａは、観測方向ごとに、その観測方向についてのテクスチャ画像と等高線画像とを合成することで、その観測方向から見た状態の合成画像を生成する。このとき合成するテクスチャ画像と等高線画像との対応付けは、例えば、上述した方向ＩＤを用いて行えばよい。 The image synthesizing unit 16A synthesizes a texture image and a contour image for each observing direction to generate a composite image in a state viewed from the observing direction. The association between the texture image to be combined and the contour image at this time may be performed by using, for example, the above-mentioned direction ID.
実施形態２及び３では、３Ｄ計測装置１０の１回の撮影で複数の観測方向についての合成画像を生成する例を説明したが、実施形態２及び３の手法は、「複数」の観測方向についての合成画像を生成する場合に限らず、その撮影の方向とは異なる１つの方向についての合成画像を生成する場合にも当然適用可能である。 In the second and third embodiments, an example in which a composite image for a plurality of observation directions is generated by one photographing of the 3D measuring device 10 has been described, but the methods of the second and third embodiments have a “plurality” of observation directions. Of course, it is applicable not only to the case of generating the composite image of the above, but also to the case of generating the composite image in one direction different from the shooting direction.
＜実施形態４＞
図１３を参照して、更に別の実施形態を説明する。図１３に示すこの実施形態のシステムは、図１に示したシステムに対して、背景加工部２４を追加したものである。
<Embodiment 4>
Yet another embodiment will be described with reference to FIG. The system of this embodiment shown in FIG. 13 is obtained by adding a background processing unit 24 to the system shown in FIG.
この例では、データ分離部１２は、背景加工部２４に対して、３Ｄ計測装置１０から得た３Ｄ形状データとテクスチャ画像の両方を入力する。 In this example, the data separation unit 12 inputs both the 3D shape data obtained from the 3D measuring device 10 and the texture image to the background processing unit 24.
背景加工部２４は、３Ｄ形状データが示す各３Ｄ座標点を、評価対象者の背面に属するものと、背景に属するものとに分類する。この分類は、例えば、３Ｄ形状データのＺ座標（すなわち３Ｄ計測装置１０の正面方向に沿った距離情報）に閾値を定めておき、各３Ｄ座標点のＺ座標がその閾値より大きいか小さいかで、その座標点が評価対象者の背面のものか、背景かを判別する。閾値としては、評価対象者と背景（例えば壁の面）とを区別できる距離を設定すればよい。 The background processing unit 24 classifies each 3D coordinate point indicated by the 3D shape data into one belonging to the back surface of the evaluation target person and one belonging to the background. In this classification, for example, a threshold value is set for the Z coordinate of 3D shape data (that is, distance information along the front direction of the 3D measuring device 10), and whether the Z coordinate of each 3D coordinate point is larger or smaller than the threshold value. , Determine whether the coordinate point is on the back or background of the evaluation target person. As the threshold value, a distance capable of distinguishing the evaluation target person from the background (for example, a wall surface) may be set.
そして背景加工部２４は、背景に分類した３Ｄ座標点群に対応するテクスチャ画像上の２Ｄ点群を特定し、それら特定した２Ｄ点群の画素値（例えばＲＧＢ等の色値）を、背景を示す特定の値に変更する。これにより評価対象者の背景が単色となる。背景を示す特定の値は、例えば評価対象者の背中の色と明確に区別できる色を示す値とする。 Then, the background processing unit 24 specifies a 2D point cloud on the texture image corresponding to the 3D coordinate point cloud classified as the background, and sets the pixel value (for example, a color value such as RGB) of the specified 2D point cloud as the background. Change to the specific value shown. As a result, the background of the evaluation target becomes a single color. The specific value indicating the background is, for example, a value indicating a color that can be clearly distinguished from the color of the back of the evaluation subject.
画像合成部１６は、背景加工部２４により背景が単色となったテクスチャ画像と、等高線画像生成部１４からの等高線画像とを合成して、合成画像を生成する。 The image composition unit 16 generates a composite image by synthesizing the texture image whose background is a single color by the background processing unit 24 and the contour image from the contour image generation unit 14.
この実施形態によれば、背景の模様が除去されるので、合成画像中で評価対象者の体形が際立つことになる。これにより、等高線を含んだ合成画像の読影が、背景の模様に影響を受けることなく行われることとなる。特に、評価対象者の背中の輪郭が、背景の模様に邪魔されにくくなるので、輪郭の左右非対称性が分かりやすくなり、読影の精度向上が見込まれる。 According to this embodiment, since the background pattern is removed, the body shape of the evaluation target person stands out in the composite image. As a result, the interpretation of the composite image including the contour lines is performed without being affected by the background pattern. In particular, since the contour of the back of the evaluation subject is less likely to be obstructed by the background pattern, the left-right asymmetry of the contour becomes easier to understand, and the accuracy of interpretation is expected to be improved.
なお、等高線画像生成部１４も、背景加工部２４と同様に、背景と判定した領域については等高線を生成しないようにしてもよい。 Note that the contour line image generation unit 14 may not generate contour lines in the region determined to be the background, as in the background processing unit 24.
この実施形態４における背景の去処理は、実施形態２及び３の方式とも組合せ可能である。 The background removal process in the fourth embodiment can be combined with the methods of the second and third embodiments.
以上、本発明のいくつかの実施形態を説明した。以上に説明した各実施形態のシステムは、例えば、コンピュータに上述したシステムの各要素の機能を記述したプログラムを実行させることにより実現される。ここで、コンピュータは、例えば、ハードウエアとして、ＣＰＵ等のマイクロプロセッサ、ランダムアクセスメモリ（ＲＡＭ）およびリードオンリメモリ（ＲＯＭ）等のメモリ（一次記憶）、フラッシュメモリやＳＳＤ（ソリッドステートドライブ）、ＨＤＤ（ハードディスクドライブ）等の固定記憶装置を制御するコントローラ、各種Ｉ／Ｏ（入出力）インタフェース、ローカルエリアネットワークなどのネットワークとの接続のための制御を行うネットワークインタフェース等が、たとえばバス等を介して接続された回路構成を有する。それら各機能の処理内容が記述されたプログラムがネットワーク等の経由でフラッシュメモリ等の固定記憶装置に保存され、コンピュータにインストールされる。固定記憶装置に記憶されたプログラムがＲＡＭに読み出されＣＰＵ等のマイクロプロセッサにより実行されることにより、上に例示した機能モジュール群が実現される。 The embodiments of the present invention have been described above. The system of each embodiment described above is realized, for example, by causing a computer to execute a program describing the functions of each element of the system described above. Here, as hardware, for example, the computer includes a microprocessor such as a CPU, a memory (primary storage) such as a random access memory (RAM) and a read-only memory (ROM), a flash memory, an SSD (solid state drive), and an HDD. A controller that controls a fixed storage device such as a (hardware drive), various I / O (input / output) interfaces, a network interface that controls connection to a network such as a local area network, etc., are provided via, for example, a bus. It has a connected circuit configuration. A program in which the processing contents of each of these functions are described is saved in a fixed storage device such as a flash memory via a network or the like, and is installed in a computer. By reading the program stored in the fixed storage device into the RAM and executing it by a microprocessor such as a CPU, the functional module group illustrated above is realized.
また、図１、図７、図１１、図１３等に示した各システムの各要素は、ネットワークを介して接続された複数のコンピュータに分散して配置されていてもよい。例えば、ユーザ（例えば医師）側のサイトには、評価対象者の背面を３次元計測する３Ｄ計測装置と、出力部１８、１８Ａの出力（例えば画面表示）の機能を果たすコンピュータとが配置され、クラウドシステム等として構成されるサーバ側に、データ分離部１２、等高線画像生成部１４、１４Ａ、画像合成部１６、１６Ａの機能を果たす１以上のコンピュータが設けられる構成等が考えられる。 Further, each element of each system shown in FIGS. 1, 7, 11, 13, 13 and the like may be distributed and arranged in a plurality of computers connected via a network. For example, on the site on the user (for example, doctor) side, a 3D measuring device that three-dimensionally measures the back surface of the evaluation target person and a computer that functions as an output (for example, screen display) of the output units 18 and 18A are arranged. It is conceivable that one or more computers that perform the functions of the data separation unit 12, the contour image generation units 14, 14A, and the image composition units 16 and 16A are provided on the server side configured as a cloud system or the like.
１０ ３Ｄ計測装置、１２ データ分離部、１４、１４Ａ 等高線画像生成部、１６、１６Ａ 画像合成部、１８、１８Ａ 出力部、２２ 多方向化処理部、２４ 背景加工部。 10 3D measuring device, 12 data separation unit, 14, 14A contour image generation unit, 16, 16A image composition unit, 18, 18A output unit, 22 multi-directional processing unit, 24 background processing unit.
Claims (10)
前記３次元形状データから、前記背面の等高線を表す等高線画像を生成する生成手段と、
前記生成手段が生成した前記等高線画像と前記テクスチャ画像とを合成して合成画像を生成する合成手段と、
前記合成手段が生成した合成画像を出力する出力手段と、
を含み、
前記生成手段は、前記３次元形状データから、異なる複数の観測方向のそれぞれについて、当該観測方向についての前記背面の等高線画像を生成し、
前記合成手段は、前記複数の観測方向のそれぞれについて、当該観測方向についての前記等高線画像と前記テクスチャ画像とを合成した合成画像を生成する、
画像生成装置。 A means for acquiring the texture image and three-dimensional shape data of the back surface obtained by photographing the back surface of the evaluation target person, and
A generation means for generating a contour image representing the contour line of the back surface from the three-dimensional shape data, and
A compositing means for generating a composite image by compositing the contour image generated by the generating means and the texture image, and
An output means that outputs a composite image generated by the composite means, and
Only including,
The generation means generates contour images of the back surface for each of a plurality of different observation directions from the three-dimensional shape data.
The synthesizing means generates a composite image obtained by synthesizing the contour image and the texture image for the observation direction for each of the plurality of observation directions.
Image generator.
前記合成手段は、前記複数の観測方向のそれぞれについて、当該観測方向についての前記等高線画像と前記テクスチャ画像とを合成した合成画像を生成する、
請求項１に記載の画像生成装置。 For each of the plurality of observation directions, a virtual texture generation means for generating a texture image representing the back surface when virtually viewed from the observation direction is further included.
The synthesizing means generates a composite image obtained by synthesizing the contour image and the texture image for the observation direction for each of the plurality of observation directions.
The image generator according to claim 1 .
前記合成手段が生成した前記複数の観測方向のそれぞれについての前記合成画像を画面に表示する手段と、
それら各観測方向についての前記合成画像のうちユーザから選択を受け付ける手段と、
前記ユーザから選択された前記合成画像を前記評価対象者の識別情報と対応付けて、所定のデータベースに登録する手段と、
を含む請求項１又は２に記載の画像生成装置。 The output means
A means for displaying the composite image for each of the plurality of observation directions generated by the synthesis means on the screen, and
A means for accepting selection from the user among the composite images for each of these observation directions,
A means of associating the composite image selected from the user with the identification information of the evaluation target person and registering the composite image in a predetermined database.
The image generator according to claim 1 or 2 .
前記３次元形状データから、前記背面の等高線を表す等高線画像を生成する生成手段と、
前記生成手段が生成した前記等高線画像と前記テクスチャ画像とを合成して合成画像を生成する合成手段と、
前記合成手段が生成した合成画像を出力する出力手段と、
を含み、
前記生成手段は、前記３次元形状データから、前記評価対象者の前記背面を撮影したときの撮影方向とは異なる第２の方向を観測方向としたときの等高線画像を生成し、
前記合成手段は、前記第２の方向を前記観測方向としたときの前記等高線画像と前記テクスチャ画像とを合成する、
画像生成装置。 A means for acquiring the texture image and three-dimensional shape data of the back surface obtained by photographing the back surface of the evaluation target person, and
A generation means for generating a contour image representing the contour line of the back surface from the three-dimensional shape data, and
A compositing means for generating a composite image by compositing the contour image generated by the generating means and the texture image, and
An output means that outputs a composite image generated by the composite means, and
Including
The generation means generates a contour image from the three-dimensional shape data when the observation direction is a second direction different from the shooting direction when the back surface of the evaluation target person is photographed.
The synthesizing means synthesizes the contour image and the texture image when the second direction is the observation direction.
Images generator.
前記合成手段は、前記第２の方向についての前記等高線画像と前記テクスチャ画像とを合成した合成画像を生成する、
請求項４に記載の画像生成装置。 Further including a virtual texture generation means for generating a texture image when the back surface is virtually viewed from the second direction, which is the observation direction, from the texture image.
The compositing means generates a composite image obtained by compositing the contour image and the texture image in the second direction.
The image generator according to claim 4 .
前記合成手段は、前記加工手段により加工された前記テクスチャ画像と前記等高線画像とを合成して前記合成画像を生成する、
請求項１〜５のいずれか１項に記載の画像生成装置。 A processing means for identifying a background portion of the texture image that is the background of the back surface based on the three-dimensional shape data, and processing the image of the background portion of the texture image so as to be distinguishable from the back surface. , Including
The synthesizing means synthesizes the texture image processed by the processing means and the contour image to generate the synthesizing image.
The image generator according to any one of claims 1 to 5 .
前記３次元形状データから、前記背面の等高線を表す等高線画像を生成するステップと、
生成した前記等高線画像と前記テクスチャ画像とを合成して合成画像を生成するステップと、
生成した合成画像を出力するステップと、
を含み、
前記等高線画像を生成するステップでは、前記３次元形状データから、異なる複数の観測方向のそれぞれについて、当該観測方向についての前記背面の等高線画像を生成し、
前記合成画像を生成するステップでは、前記複数の観測方向のそれぞれについて、当該観測方向についての前記等高線画像と前記テクスチャ画像とを合成した合成画像を生成する、画像生成方法。 A step of acquiring the texture image and three-dimensional shape data of the back surface obtained by photographing the back surface of the evaluation target person, and
A step of generating a contour image representing the contour line of the back surface from the three-dimensional shape data, and
A step of synthesizing the generated contour image and the texture image to generate a composite image,
Steps to output the generated composite image and
Including
In the step of generating the contour image, the contour image of the back surface for each of the plurality of different observation directions is generated from the three-dimensional shape data.
In the step of generating the composite image, an image generation method for generating a composite image in which the contour image and the texture image in the observation direction are combined for each of the plurality of observation directions .
前記３次元形状データから、前記背面の等高線を表す等高線画像を生成するステップと、 A step of generating a contour image representing the contour line of the back surface from the three-dimensional shape data, and
生成した前記等高線画像と前記テクスチャ画像とを合成して合成画像を生成するステップと、 A step of synthesizing the generated contour image and the texture image to generate a composite image,
生成した合成画像を出力するステップと、 Steps to output the generated composite image and
を含み、 Including
前記等高線画像を生成するステップでは、前記３次元形状データから、前記評価対象者の前記背面を撮影したときの撮影方向とは異なる第２の方向を観測方向としたときの等高線画像を生成し、 In the step of generating the contour image, the contour image is generated from the three-dimensional shape data when the observation direction is a second direction different from the shooting direction when the back surface of the evaluation target person is photographed.
前記合成画像を生成するステップでは、前記第２の方向を前記観測方向としたときの前記等高線画像と前記テクスチャ画像とを合成する、画像生成方法。 In the step of generating the composite image, an image generation method of synthesizing the contour image and the texture image when the second direction is the observation direction.
評価対象者の背面を撮影して得られた前記背面のテクスチャ画像及び３次元形状データを取得するステップと、
前記３次元形状データから、前記背面の等高線を表す等高線画像を生成するステップと、
生成した前記等高線画像と前記テクスチャ画像とを合成して合成画像を生成するステップと、
生成した合成画像を出力するステップと、
を実行させるためのプログラムであって、
前記等高線画像を生成するステップでは、前記３次元形状データから、異なる複数の観測方向のそれぞれについて、当該観測方向についての前記背面の等高線画像を生成し、
前記合成画像を生成するステップでは、前記複数の観測方向のそれぞれについて、当該観測方向についての前記等高線画像と前記テクスチャ画像とを合成した合成画像を生成する、ことを特徴とするプログラム。 On the computer
A step of acquiring the texture image and three-dimensional shape data of the back surface obtained by photographing the back surface of the evaluation target person, and
A step of generating a contour image representing the contour line of the back surface from the three-dimensional shape data, and
A step of synthesizing the generated contour image and the texture image to generate a composite image,
Steps to output the generated composite image and
A program for executing,
In the step of generating the contour image, the contour image of the back surface for each of the plurality of different observation directions is generated from the three-dimensional shape data.
The program for generating the composite image is characterized in that, for each of the plurality of observation directions, a composite image in which the contour image and the texture image in the observation direction are combined is generated .
評価対象者の背面を撮影して得られた前記背面のテクスチャ画像及び３次元形状データを取得するステップと、
前記３次元形状データから、前記背面の等高線を表す等高線画像を生成するステップと、
生成した前記等高線画像と前記テクスチャ画像とを合成して合成画像を生成するステップと、
生成した合成画像を出力するステップと、
を実行させるためのプログラムであって、
前記等高線画像を生成するステップでは、前記３次元形状データから、前記評価対象者の前記背面を撮影したときの撮影方向とは異なる第２の方向を観測方向としたときの等高線画像を生成し、
前記合成画像を生成するステップでは、前記第２の方向を前記観測方向としたときの前記等高線画像と前記テクスチャ画像とを合成する、ことを特徴とするプログラム。 On the computer
A step of acquiring the texture image and three-dimensional shape data of the back surface obtained by photographing the back surface of the evaluation target person, and
A step of generating a contour image representing the contour line of the back surface from the three-dimensional shape data, and
A step of synthesizing the generated contour image and the texture image to generate a composite image,
Steps to output the generated composite image and
It is a program to execute
In the step of generating the contour image, the contour image is generated from the three-dimensional shape data when the observation direction is a second direction different from the shooting direction when the back surface of the evaluation target person is photographed.
A program characterized in that in the step of generating the composite image, the contour image and the texture image when the second direction is set as the observation direction are combined .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018229514A JP6765130B2 (en) | 2018-12-07 | 2018-12-07 | Image generator |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018229514A JP6765130B2 (en) | 2018-12-07 | 2018-12-07 | Image generator |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020091761A JP2020091761A (en) | 2020-06-11 |
| JP6765130B2 true JP6765130B2 (en) | 2020-10-07 |
Family
ID=71013846
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018229514A Active JP6765130B2 (en) | 2018-12-07 | 2018-12-07 | Image generator |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6765130B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7076154B1 (en) | 2020-12-17 | 2022-05-27 | 株式会社スペースビジョン | Spinal sequence estimation device, method and program |
-
2018
- 2018-12-07 JP JP2018229514A patent/JP6765130B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020091761A (en) | 2020-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6330987B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP6685827B2 (en) | Image processing apparatus, image processing method and program | |
| EP2823765B1 (en) | Medical image display device and medical image display method as well as medical image display program | |
| JP4752918B2 (en) | Image processing apparatus, image collation method, and program | |
| CN104335005B (en) | 3D is scanned and alignment system | |
| JP5158223B2 (en) | 3D modeling apparatus, 3D modeling method, and program | |
| WO2015180659A1 (en) | Image processing method and image processing device | |
| WO2011074207A1 (en) | Image registration | |
| US20110262015A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| TW201724026A (en) | Generating a merged, fused three-dimensional point cloud based on captured images of a scene | |
| JP7123736B2 (en) | Image processing device, image processing method, and program | |
| JP2012068861A (en) | Ar processing unit, ar processing method and program | |
| JP2012013514A (en) | Information processor, three dimensional position calculation method and program | |
| WO2014027229A1 (en) | Method and apparatus for converting 2d images to 3d images | |
| JP6723798B2 (en) | Information processing device, method, and program | |
| JP2018197674A (en) | Operation method of measuring device, measuring device, measurement system, three-dimensional shape restoring device, and program | |
| KR101818005B1 (en) | Apparatus and Method for Managing Face Data | |
| JP2017092756A (en) | Image processing system, image processing method, image projecting system and program | |
| CN1544883A (en) | Three-dimensional foot type measuring and modeling method based on specific grid pattern | |
| CN111742352A (en) | 3D object modeling method and related device and computer program product | |
| JP5652883B2 (en) | Contour image generation method used for morphological observation of subject and scoliosis screening system using the same | |
| JP6765130B2 (en) | Image generator | |
| JP3862402B2 (en) | 3D model generation apparatus and computer-readable recording medium on which 3D model generation program is recorded | |
| JP7057086B2 (en) | Image processing equipment, image processing methods, and programs | |
| KR100466409B1 (en) | System and method for displaying a virtual endoscopy and computer-readable recording medium having virtual endoscopy displaying program recorded thereon |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190611 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200707 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200714 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200803 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200825 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200909 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6765130 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |