JP5467683B2 - Stereoscopic caliper image forming device and program for stereoscopic video display device - Google Patents

Stereoscopic caliper image forming device and program for stereoscopic video display device Download PDF

Info

Publication number
JP5467683B2
JP5467683B2 JP2010017179A JP2010017179A JP5467683B2 JP 5467683 B2 JP5467683 B2 JP 5467683B2 JP 2010017179 A JP2010017179 A JP 2010017179A JP 2010017179 A JP2010017179 A JP 2010017179A JP 5467683 B2 JP5467683 B2 JP 5467683B2
Authority
JP
Japan
Prior art keywords
image
stereoscopic
pointer
imaging device
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010017179A
Other languages
Japanese (ja)
Other versions
JP2011153995A (en
Inventor
康則 中村
茂 寺田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FA. SYSTEM ENGINEERING CO., LTD.
Original Assignee
FA. SYSTEM ENGINEERING CO., LTD.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FA. SYSTEM ENGINEERING CO., LTD. filed Critical FA. SYSTEM ENGINEERING CO., LTD.
Priority to JP2010017179A priority Critical patent/JP5467683B2/en
Publication of JP2011153995A publication Critical patent/JP2011153995A/en
Application granted granted Critical
Publication of JP5467683B2 publication Critical patent/JP5467683B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Endoscopes (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Position Input By Displaying (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、立体撮像装置で取得する画像を立体的に表示する立体映像表示装置において、画像に表示された物体の幅や物体間の距離を推定するために使用する立体ノギス像及び幅や距離の数値表示を生成する装置に関する。   The present invention relates to a stereoscopic caliper image used for estimating the width of an object displayed in an image and the distance between objects, and the width and distance in a stereoscopic video display device that stereoscopically displays an image acquired by the stereoscopic imaging device. The present invention relates to an apparatus for generating a numerical display.

近年、立体映像表示装置は著しく発達してきている。立体映像表示装置では、たとえば、視差を持つように左右一対の撮像手段を配置し、撮像された左右一対の画像をモニターに表示し、それぞれの画像を左右の目で別々に捉えて脳で合成することにより、立体視化する。   In recent years, stereoscopic image display devices have been remarkably developed. In a stereoscopic image display device, for example, a pair of left and right imaging means are arranged so as to have a parallax, a pair of captured left and right images are displayed on a monitor, and each image is separately captured by the left and right eyes and synthesized in the brain By doing so, stereoscopic viewing is achieved.

立体視には、左右画像を時分割で交互に表示し、液晶シャッターを備えたメガネで左右画像を交互に観察する時間分割立体表示方式や、左右画像をそれぞれ偏光軸が直交する偏光フィルタを通した上で、同一面に重ねて偏光表示し、左右で偏光軸が直交する偏光フィルタメガネを用いて左右画像に分離する偏光フィルタ眼鏡方式、液晶表示画面の水平1ドットライン毎に偏光方向が90度変化する液晶フィルタなどを設置し左眼用と右眼用の画像を交互に並べ、右回転円偏光板と左回転円偏光板を左右に配置した円偏光メガネで見ることにより分離された左右用の映像をそれぞれ左右の目で同時に見て立体視する円偏光方式など、各種の原理に基づく装置が利用されている。なお、裸眼で立体映像を観察することができる方法もある。   For stereoscopic viewing, the left and right images are alternately displayed in a time-division manner, and the left and right images are alternately observed with glasses equipped with a liquid crystal shutter, and the left and right images are passed through a polarizing filter whose polarization axes are orthogonal to each other. In addition, a polarization filter glasses system that displays polarized light on the same plane and separates the left and right images using polarization filter glasses whose polarization axes are orthogonal to each other on the left and right sides, and the polarization direction is 90 for each horizontal dot line on the liquid crystal display screen. Left and right eyes separated by looking at circularly polarized glasses with left and right rotating circularly polarizing plates arranged on the left and right, with left and right eye images arranged alternately, with liquid crystal filters that change in degree Devices based on various principles, such as a circularly polarized light method, in which a video for viewing is simultaneously viewed with the left and right eyes and stereoscopically viewed, are used. There is also a method in which a stereoscopic image can be observed with the naked eye.

映像の立体視化により、被写体に対する識別力が格段に向上する。また、特に医療の現場において立体内視鏡カメラが使用できれば、内蔵疾患の診断や手術を支援する上で大きな効果が期待される。さらに、立体映像中の物体の寸法や物体間の距離を簡単に知ることができれば、的確な診断や手術に大きく貢献することになる。   The ability to discriminate the subject is remarkably improved by making the video stereoscopic. In particular, if a stereoscopic endoscope camera can be used in a medical field, a great effect is expected in supporting diagnosis and surgery of a built-in disease. Furthermore, if the dimensions of an object in a stereoscopic image and the distance between objects can be easily known, it will greatly contribute to accurate diagnosis and surgery.

しかし、立体内視鏡カメラから得られる映像は、形状と配置、色が主な情報で、映像として映し出される物体の大きさに関する情報は、直接に得ることはできない。立体カメラと人の目の位置関係は必ずしも対応していないので、特に立体視している対象の寸法や距離を正確に測ることは難しい。したがって、通常は、表示映像内に映し込まれた鉗子など比較対象物に基づいて寸法等を推定することが多い。このように、映像中の対象物についての大きさや距離に関する情報は確実性がない。   However, the image obtained from the stereoscopic endoscope camera is mainly information on the shape, arrangement, and color, and information on the size of the object displayed as the image cannot be obtained directly. Since the positional relationship between the stereoscopic camera and the human eye does not necessarily correspond, it is particularly difficult to accurately measure the size and distance of the object being stereoscopically viewed. Therefore, in general, the size and the like are often estimated based on a comparison object such as forceps reflected in the display image. As described above, there is no certainty about the size and distance of the object in the video.

立体カメラによる撮影方法には、カメラの光軸方向に注目した平行法と交差法の区別がある。しかし、立体視した映像中のある点の位置を求める場合は、いずれも左右両眼に対応するカメラの視線の交わり状況に基づく方法に従うので、本質的な相違はない。ただし、立体視を可能にするためには対象が左右のカメラ視野の両方に含まれている必要があるので、交差法の方が、よりカメラに近い対象まで立体視できる点、また視線の交角がより大きくなるため、視認したときの画像の立体感が大きい点などの利点がある。
特に、立体内視鏡装置では、左右のカメラの間隔が狭いので交差法がよく用いられている。
The photographing method using a stereoscopic camera includes a distinction between a parallel method and an intersection method focusing on the optical axis direction of the camera. However, when obtaining the position of a certain point in a stereoscopically viewed image, there is no essential difference because both follow the method based on the intersection of the line of sight of the camera corresponding to the left and right eyes. However, since it is necessary for the object to be included in both the left and right camera fields of view in order to enable stereoscopic viewing, the intersection method allows stereoscopic viewing of objects closer to the camera, and the intersection angle of the line of sight Therefore, there is an advantage that the stereoscopic effect of the image when viewed is large.
In particular, in a stereoscopic endoscope apparatus, since the distance between the left and right cameras is narrow, the intersection method is often used.

立体内視鏡装置を用いた診断あるいは手術においては、術者が、立体内視鏡カメラにより撮影して表示された立体映像に映し出された患部を立体的に観察して、たとえば、患部の形状や周囲の状況、色などを診断の重要な判断材料とすることが期待される。しかし、患部の寸法や他の贓物との距離などを正確に推定する適当な手段がなく、奥行きを感じさせる立体映像は得られるものの、その寸法や距離は、過去の経験に基づいて類推するしか方法がなかった。また、患部の大きさも、鉗子など一緒に映像に写し込まれた比較対象物により推定するしかないが、位置関係が明確でなく正確に推定することは難しかった。   In diagnosis or surgery using a stereoscopic endoscope device, an operator observes the affected area displayed in a stereoscopic image photographed and displayed by a stereoscopic endoscope camera, for example, the shape of the affected area. It is expected that the surrounding conditions and colors will be used as important judgment materials for diagnosis. However, there is no appropriate means to accurately estimate the size of the affected area and the distance from other objects, and although a stereoscopic image that makes you feel the depth can be obtained, the size and distance can only be estimated based on past experience. There was no way. In addition, the size of the affected area can only be estimated using a comparison object that is copied together with a forceps or the like, but the positional relationship is not clear and it is difficult to estimate accurately.

このため、立体内視鏡カメラで撮影した映像を対象として距離画像を生成する手法が求められる。しかし、立体映像表示装置において、立体表示された映像から実物の距離や寸法を感得する簡便な手法は、未だ知られていない。
なお、このような事情は、立体内視鏡装置に限らず、一般に用いられる立体カメラを使用した立体映像表示装置においても同様で、映像中の事物の寸法や相互の距離を正確に求めることが難しい。
For this reason, there is a need for a method for generating a distance image for an image captured by a stereoscopic endoscope camera. However, in a stereoscopic video display apparatus, a simple method for obtaining the distance and dimensions of the real object from the stereoscopically displayed video is not yet known.
Note that such a situation is not limited to a stereoscopic endoscope device, but also applies to a stereoscopic video display device using a commonly used stereoscopic camera, and it is possible to accurately determine the dimensions and mutual distances of things in a video. difficult.

特許文献1には、計測用目盛発生回路により最適なサイズの計測用目盛をモニター上に描画するようにした立体撮像装置が記載されている。特許文献1に開示された計測用目盛発生回路は、カメラの光軸が交わらない平行法に従って配置された立体カメラを対象として、別途測定される被検物までの距離にしたがって映像の倍率を求め、倍率に対応する目盛を発生させる。   Patent Document 1 describes a stereoscopic imaging device in which a measurement scale having an optimum size is drawn on a monitor by a measurement scale generation circuit. The scale generation circuit for measurement disclosed in Patent Document 1 calculates the magnification of an image according to the distance to a test object separately measured for a stereoscopic camera arranged according to a parallel method in which the optical axes of the cameras do not intersect. A scale corresponding to the magnification is generated.

特許文献1に記載された立体撮像装置では、観察したい被検物を画像中心部に持ってくると、新しく提供された立体計測装置によりカメラに写った被検物のCCD素子上の位置に基づいて被検物までの距離が自動的に測定され、測定された距離に従い被写体の撮影倍率に対応した計測用目盛が形成される。形成された計測用目盛は自動的にモニター画面に表示されるようになっている。   In the stereoscopic imaging apparatus described in Patent Document 1, when the test object to be observed is brought to the center of the image, it is based on the position on the CCD element of the test object reflected on the camera by the newly provided stereo measurement apparatus. Thus, the distance to the test object is automatically measured, and a measurement scale corresponding to the photographing magnification of the subject is formed according to the measured distance. The formed measurement scale is automatically displayed on the monitor screen.

特開2007−187590号公報(段落0027、0030等)JP 2007-187590 (paragraphs 0027, 0030, etc.)

特許文献1記載の目盛表示は、画像中心部に持ってきた被検物が距離測定された結果に基づいて目盛合わせされるもので、奥行き方向には目盛が与えられない。したがって、別の被検物について寸法を知ろうとすると、その度にカメラの視野を移動して被検物が画像中心部に来るようにして測定する必要がある。   The scale display described in Patent Document 1 is scaled based on the result of distance measurement of the object brought to the center of the image, and no scale is given in the depth direction. Therefore, every time an attempt is made to know the dimensions of another test object, it is necessary to move the field of view of the camera so that the test object comes to the center of the image.

しかも、カメラから被検物までの距離は得られても、カメラ視野の移動量を補償しなければ被検物の寸法を知ることはできない。また、任意の2点間距離、特に奥行き方向成分を含む距離を知るために利用することができなかった。
なお、特許文献1記載の目盛表示は、輻輳角とコンバージェンス点までの距離を取り込んだ演算を行うことにより、交差法を用いた立体カメラにも適用することができるが、平行法の立体カメラと同様に、被検体の寸法や2点間距離を知ることはできない。
Moreover, even if the distance from the camera to the test object can be obtained, the dimensions of the test object cannot be known unless the amount of movement of the camera visual field is compensated. Further, it cannot be used to know a distance between any two points, particularly a distance including a depth direction component.
The scale display described in Patent Document 1 can be applied to a stereoscopic camera using the intersection method by performing an operation that incorporates the convergence angle and the distance to the convergence point. Similarly, the dimensions of the subject and the distance between two points cannot be known.

これに対して、本願出願人は、すでに特願2009−160664により、立体映像中に奥行き方向の寸法も表わせる立体スケールを表示する立体スケール像形成装置を提示している。本願出願人が開示した立体スケール像形成装置は、実寸目盛の付いた立体スケール像を映像中の任意の3次元位置に適宜の向きに置くことができる。   On the other hand, the applicant of the present application has already proposed a stereoscopic scale image forming apparatus that displays a stereoscopic scale that can also represent dimensions in the depth direction in stereoscopic images, according to Japanese Patent Application No. 2009-160664. The three-dimensional scale image forming apparatus disclosed by the present applicant can place a three-dimensional scale image with an actual scale in an appropriate direction at an arbitrary three-dimensional position in the video.

しかし、本願出願人が先に開示した立体スケール像形成装置によっても、被検物の寸法や2点間の距離を知るためには、操作者が目盛を読み取る必要があり、正確な寸法や距離を得るには多少の熟練を要する。   However, even with the three-dimensional scale image forming apparatus previously disclosed by the applicant of the present application, in order to know the dimension of the test object and the distance between the two points, the operator needs to read the scale, and the exact dimension and distance It takes some skill to get.

そこで、本発明が解決しようとする課題は、立体カメラで撮影した立体映像の適宜の位置に存在する対象物について、その寸法や他の事物との距離を測定するため、距離を知りたい測定位置にポインターを立てると、ポインター間の距離を求めて、立体映像表示装置に表示させる立体ノギス像形成装置を提供することである。   Therefore, the problem to be solved by the present invention is to measure the dimensions and distances of other objects with respect to an object existing at an appropriate position of a stereoscopic image captured by a stereoscopic camera. It is to provide a three-dimensional caliper image forming apparatus for determining the distance between the pointers when the pointer is raised and displaying the distance on the three-dimensional image display apparatus.

本発明に係る立体ノギス像形成装置は、左目と右目に対応して第1の撮像装置と第2の撮像装置とを備えた立体撮像装置(立体カメラ)と、立体撮像装置からの撮像信号について信号処理して左目と右目に対応する画像信号をそれぞれ生成する画像信号生成装置と、左目と右目に対応する画像信号を合成して立体映像表示するための立体映像信号を生成する立体映像信号生成装置と、立体映像信号に基づいて、立体視できる映像を立体表示するディスプレーとを備えた立体映像表示装置に適用する装置である。   The stereoscopic caliper image forming apparatus according to the present invention includes a stereoscopic imaging device (stereoscopic camera) including a first imaging device and a second imaging device corresponding to the left eye and the right eye, and an imaging signal from the stereoscopic imaging device. An image signal generation device that generates signal signals corresponding to the left eye and right eye by signal processing, and a 3D image signal generator that generates a 3D image signal for displaying a 3D image by combining the image signals corresponding to the left eye and the right eye The apparatus is applied to a stereoscopic video display apparatus that includes the device and a display that stereoscopically displays a video that can be stereoscopically viewed based on a stereoscopic video signal.

上記課題を解決するため、本発明に係る立体ノギス像形成装置は、ディスプレーに表される立体画像中に表示されるポインターの位置を指定する操作端を備える操作盤と、ポインターの位置情報を生成して供給するポインター像表示装置と、ポインターの位置情報を入力して立体撮像装置に固定される座標系においてポインターの3次元位置を表す座標値を算定する座標演算装置と、立体画像中の2つのポインターについて算定された座標値に基づいて上記2つのポインター間の実体距離値を算定して供給する距離演算装置と、を備え、立体映像信号生成装置が、ポインターの位置情報を入力して第1の撮像装置による画像と第2の撮像装置による画像のそれぞれにポインターの像を加えた画像信号を生成してディスプレーに伝達し、また、2つのポインターの間の実体距離値を入力して数値表示する画像信号を生成してディスプレーに伝達し、ディスプレーがポインターの像と2つのポインター間の実体距離値を表示することを特徴とする。
本発明の立体ノギス像形成装置は、さらに、立体ノギス像表示装置を備えて、2つのポインターの位置を測定長の端点とする立体ノギス像を形成してディスプレーに立体表示させるようにしてもよい。
In order to solve the above problems, a stereoscopic caliper image forming apparatus according to the present invention generates an operation panel having an operation end for designating a position of a pointer displayed in a stereoscopic image represented on a display, and generates pointer position information. A pointer image display device to be supplied, a coordinate calculation device that calculates coordinate values representing a three-dimensional position of the pointer in a coordinate system that receives pointer position information and is fixed to the stereoscopic imaging device, and 2 in the stereoscopic image A distance calculation device that calculates and supplies an actual distance value between the two pointers based on the coordinate values calculated for the two pointers. An image signal obtained by adding a pointer image to each of the image by the first imaging device and the image by the second imaging device is generated and transmitted to the display. One of the inputs entity distance value between the pointer transmitted to a display to generate an image signal to be numerically displayed, the display is characterized by displaying a real distance value between images and two pointers pointers.
The stereoscopic vernier caliper image forming apparatus of the present invention may further include a stereoscopic vernier caliper image display device so as to form a stereoscopic vernier caliper image with the positions of the two pointers as end points of the measurement length and to display the stereoscopic image on the display. .

また、上記課題を解決するため、本発明に係る立体ノギス像形成プログラムは、立体ノギス像形成装置におけるコンピュータを、ディスプレーに立体表示する第1のポインター像と第2のポインター像の位置情報を生成して立体映像信号生成装置に伝送するポインター像表示手段と、ポインター像の位置を立体画像中で移動させる操作端から入力された信号に基づいて、ポインターの位置を立体画像中で移動させる手段と、立体画像中のポインターの3次元位置を立体撮像装置に固定された座標系の座標で表す座標演算手段と、立体画像中の2つのポインターについて指定された座標に基づいて2つのポインターの間の実体距離を算出して、ディスプレーに表示させるため、算出した実体距離の情報を立体映像信号生成装置に伝送する距離演算手段として機能させることを特徴とする。
さらに、本発明のプログラムは、立体ノギス像形成装置におけるコンピュータを、第1と第2のポインターの位置にアンビルとスピンドルの先端を合わせた立体ノギス像を形成してディスプレーに立体表示させる立体ノギス像表示手段として機能させるようにしてもよい。
In order to solve the above-described problem, the stereoscopic caliper image forming program according to the present invention generates position information of the first pointer image and the second pointer image for stereoscopic display on the display of the computer in the stereoscopic caliper image forming apparatus. And a pointer image display means for transmitting to the stereoscopic video signal generating device, and means for moving the position of the pointer in the stereoscopic image based on a signal input from an operation end for moving the position of the pointer image in the stereoscopic image; A coordinate calculation means for expressing the three-dimensional position of the pointer in the stereoscopic image by coordinates in a coordinate system fixed to the stereoscopic imaging device, and between the two pointers based on the coordinates specified for the two pointers in the stereoscopic image In order to calculate the actual distance and display it on the display, information on the calculated actual distance is transmitted to the stereoscopic video signal generation device. Characterized in that to function as a unit.
Furthermore, the program according to the present invention is a three-dimensional caliper image that causes a computer in the three-dimensional caliper image forming apparatus to form a three-dimensional caliper image in which the tip of the anvil and the spindle are aligned at the positions of the first and second pointers and to display the three-dimensional image on the display You may make it function as a display means.

オペレータは、ディスプレーの立体映像を観察して、本発明に係る立体ノギス像形成装置により立体映像中に表示される立体ノギス像のアンビルとスピンドルの位置すなわち測定距離の端点の位置を、操作盤を用いて3次元的に移動させて、立体映像中の対象物について寸法を知ろうとする部分や立体映像中で距離を測りたい位置を示す任意の2点を指定することができる。2点間距離はディスプレーに逐次表示されるため、対象物の寸法や距離は直ちに知ることができる。
なお、立体ノギス像が立体表示されるため、立体ノギス像の各部が立体映像中の奥行き距離に対応する大きさを有するので、立体ノギス像を観察することにより立体ノギスが当てられた対象物の位置を直感的に把握することができる。
The operator observes the stereoscopic image on the display and displays the position of the anvil and spindle of the stereoscopic caliper image displayed in the stereoscopic image by the stereoscopic caliper image forming apparatus according to the present invention, that is, the position of the end point of the measurement distance. It is possible to move the object three-dimensionally and specify any two points indicating the part of the stereoscopic image whose size is to be known and the position where the distance is to be measured in the stereoscopic image. Since the distance between the two points is sequentially displayed on the display, the size and distance of the object can be immediately known.
Since the stereoscopic caliper image is stereoscopically displayed, each part of the stereoscopic caliper image has a size corresponding to the depth distance in the stereoscopic video image. Therefore, the object of the object to which the stereoscopic caliper is applied by observing the stereoscopic caliper image is displayed. The position can be grasped intuitively.

交差法を用いた立体撮像装置に固定される座標系は、2つの撮像装置の光軸が交差する輻輳角を2等分する2等分線を1つの座標軸(Y軸)とする直交座標系であることが好ましい。特に、2つの撮像装置の光軸が含まれる面に、すなわち2つの撮像装置が並ぶ方向に、第2の座標軸(X軸)を持つようにすることができる。さらに、2つの撮像装置の光学系の主点を結ぶ線分の中点に原点を配置した座標系を用いると、座標計算や距離計算を簡素化することができる。なお、原点を、2つの撮像装置の光軸が交差する点であるコンバージェンス点に配置してもよい。   The coordinate system fixed to the stereoscopic imaging device using the intersection method is an orthogonal coordinate system in which a bisector that bisects the convergence angle at which the optical axes of the two imaging devices intersect is a single coordinate axis (Y axis). It is preferable that In particular, it is possible to have the second coordinate axis (X axis) on the plane including the optical axes of the two imaging devices, that is, in the direction in which the two imaging devices are arranged. Furthermore, using a coordinate system in which the origin is located at the midpoint of the line segment connecting the principal points of the optical systems of the two imaging devices can simplify coordinate calculation and distance calculation. Note that the origin may be arranged at a convergence point, which is a point where the optical axes of the two imaging devices intersect.

オペレータが設定するポインターの座標は、左目に見せる画像と右目に見せる画像としておのおのディスプレーに表示する基準映像画面の中のポインターの表示位置に基づいて、演算で簡単に求めることができる。また、ポインターの3次元位置から、基準映像画面の中のポインターの表示位置を求めることも容易である。
基準映像画面は、たとえば、第1の撮像装置と第2の撮像装置の光軸が交差するコンバージェンス点にY軸に垂直に設けられたコンバージェンス面に設定される。左目に見せる画像と右目に見せる画像におけるコンバージェンス点の映像は、ディスプレーにおいて同じ点に重なることになる。
ポインターの位置を立体映像撮影に使う立体撮像装置に固定される3次元座標で求めると、2つのポインター間の距離は演算で簡単に求めることができる。
The coordinates of the pointer set by the operator can be easily obtained by calculation based on the display position of the pointer in the reference video screen displayed on each display as an image shown to the left eye and an image shown to the right eye. It is also easy to obtain the display position of the pointer in the reference video screen from the three-dimensional position of the pointer.
The reference video screen is set, for example, on a convergence plane that is provided perpendicular to the Y axis at a convergence point where the optical axes of the first imaging device and the second imaging device intersect. The image of the convergence point in the image shown to the left eye and the image shown to the right eye will overlap the same point on the display.
When the position of the pointer is obtained by three-dimensional coordinates fixed to a stereoscopic imaging apparatus used for stereoscopic video shooting, the distance between the two pointers can be easily obtained by calculation.

オペレータは、操作盤を操作することにより、立体ノギス像の測定先端(アンビル)の位置を簡単に調整することができる。オペレータが、対象とする被測物と立体ノギス像が表示された映像を観察しながらそれぞれのポインターの位置を目的物に合わせると、アンビルを2つのポインターに合わせた立体ノギス像が表示されると共に、2個のポインター間の実体距離が自動的に表示される。ポインターと目的物の位置が3次元的に合致したか否かは、ディスプレーに表示された画像を立体視するオペレータの視覚によって判定することができる。   The operator can easily adjust the position of the measurement tip (anvil) of the stereoscopic caliper image by operating the operation panel. When the operator adjusts the position of each pointer to the target object while observing the target object to be measured and the image on which the solid caliper image is displayed, a solid caliper image in which the anvil is aligned with the two pointers is displayed. The actual distance between the two pointers is automatically displayed. Whether or not the position of the pointer and the target object is three-dimensionally matched can be determined by the vision of an operator who stereoscopically views the image displayed on the display.

なお、演算装置が実体距離を算出して表示するときには、たとえば原点とコンバージェンス点の距離を基準値として与えることにより、立体撮像装置に固定される座標系の座標値と実寸の間で正確に換算を行うことができる。
また、立体撮像装置の光学系が異なれば座標系も異なるので、立体撮像装置ごとに固有の座標系を作成するときに、実寸に関連付けられた基準立体スケールを、コンバージェンス点など、基準の位置に配置して立体撮像装置で撮影して得られた映像に基づいて、目盛を実際の寸法と対比して校正するようにしてもよい。
When the arithmetic unit calculates and displays the actual distance, for example, by giving the distance between the origin and the convergence point as a reference value, it is accurately converted between the coordinate value of the coordinate system fixed to the stereoscopic imaging device and the actual size. It can be performed.
In addition, since the coordinate system is different if the optical system of the stereoscopic imaging device is different, when creating a unique coordinate system for each stereoscopic imaging device, the reference stereoscopic scale associated with the actual size is set to a reference position such as a convergence point. The scale may be calibrated against the actual dimensions on the basis of the image obtained by arranging and photographing with the stereoscopic imaging device.

なお、本装置によればポインター間の距離は簡単に算出できるので、ポインターの位置を移動させる間も立体ノギス像を追従させると共に、リアルタイムにディスプレーに距離を表示することができる。
また、立体ノギス像の形状は、立体撮像装置からの距離あるいはY座標値にしたがった大きさで表示すると、対象の遠近感が的確に把握できて正確な観察が可能になる。
According to the present apparatus, since the distance between the pointers can be easily calculated, the stereoscopic caliper image can be followed while the position of the pointer is moved, and the distance can be displayed on the display in real time.
Further, when the shape of the stereoscopic caliper image is displayed in a size according to the distance from the stereoscopic imaging device or the Y coordinate value, the perspective of the target can be accurately grasped and accurate observation can be performed.

立体カメラが映し出す映像にオーバーライドされる立体ノギス像の位置を制御するための操作盤は、オペレータが映像を観察しながら操作できるばかりでなく、たとえば、術者の指示で補助者が間違いなく操作したり、収録された立体映像を後日分析する場合に正確に操作したりできることが要求されるので、再現性がよく、簡単に操作できるものであることが好ましい。   The operation panel for controlling the position of the stereoscopic caliper image that is overridden by the image projected by the stereoscopic camera can be operated not only by the operator while observing the image, but also by an assistant by an operator's instruction. In addition, since it is required that the recorded stereoscopic video can be accurately operated at a later date, it is preferable that the reproducible and easy operation be possible.

操作盤には、ポインターについて直交座標系の3軸方向の運動をそれぞれ指定する操作端と、1操作で直ちに基準位置に戻すことができる操作端を備える。ポインターまたは立体ノギス像の基準位置は、2つの撮影装置の光軸の交差点すなわちコンバージェンス点であることが好ましい。   The operation panel includes an operation end for designating each of the pointers in the three-axis directions of the orthogonal coordinate system and an operation end that can be immediately returned to the reference position by one operation. The reference position of the pointer or the stereoscopic caliper image is preferably the intersection of the optical axes of the two photographing devices, that is, the convergence point.

操作盤には、さらに、立体ノギスの測定軸方向を固定したままポインター間距離を伸縮させるダイアルを備えると便利である。また、ポインターの選択に使うスイッチや位置確定の指示を行うためのスイッチなどを搭載することもできる。なお、マウスやジョイスティックなど、常用されるポインティングデバイスをこれら操作端やスイッチ類の代わりに利用することもできる。
また、操作盤にトラッキングボールなどの操作端を設けて、立体ノギス像が映像を観察するために障害となる場合には、立体ノギス像の姿勢を簡単に変化させることができるようにすると、より便利である。
It is convenient if the operation panel is further provided with a dial that expands and contracts the distance between the pointers while fixing the measurement axis direction of the solid caliper. In addition, a switch for selecting a pointer, a switch for instructing position determination, and the like can be mounted. A commonly used pointing device such as a mouse or a joystick can be used in place of these operation terminals and switches.
In addition, if an operation end such as a tracking ball is provided on the operation panel and the stereoscopic caliper image becomes an obstacle for observing the image, it is possible to easily change the attitude of the stereoscopic caliper image. Convenient.

立体撮像装置を取り換えるときは、立体映像表示装置に新しく組み合わせる立体撮像装置について予め較正した測定パラメータを選択して適用することができる。較正した測定パラメータはデータベースとして記憶装置に格納しておいて、切り換え時に新しい立体撮像装置に適合する設定値のセットを読み出して適用するようにしても良い。こうすることにより使用前の調整時間を節約することができるので、たとえば、立体内視鏡を用いた手術を行う場合など、術者の執刀前の準備時間を短縮して、他の作業に注力する余裕が与えられるので好ましい。   When replacing the stereoscopic imaging device, it is possible to select and apply measurement parameters calibrated in advance for the stereoscopic imaging device newly combined with the stereoscopic video display device. The calibrated measurement parameters may be stored in a storage device as a database, and a set of setting values suitable for a new stereoscopic imaging device may be read and applied at the time of switching. This saves adjustment time before use. For example, when performing surgery using a stereoscopic endoscope, the preparation time before the surgeon's operation is shortened and other work is concentrated. This is preferable because it gives a margin to perform.

なお、ポインター像表示装置と座標演算装置と距離演算装置とは、論理を実行する電子回路により構成することができるが、プログラムで制御することによりそれぞれの機能を遂行するようにした汎用または専用のコンピュータによって構成することもできる。
本発明に係る立体ノギス像形成装置は、上記構成を有する既存の立体映像表示装置に対しても、立体ノギス像形成装置を追加することにより、適用することができる。なお、立体ノギス像形成装置がコンピュータを機能させるためのプログラムで構成される場合は、既存の立体映像表示装置の制御装置にこのプログラム及び操作盤を追加することにより、本発明を適用することができる。
また、本発明の立体ノギス像形成装置は、立体映像(動画)に対して適用できるが、立体静止画像についても利用できることは言うまでもない。
Note that the pointer image display device, the coordinate calculation device, and the distance calculation device can be configured by electronic circuits that execute logic. It can also be configured by a computer.
The stereoscopic caliper image forming apparatus according to the present invention can be applied to an existing stereoscopic image display apparatus having the above configuration by adding a stereoscopic caliper image forming apparatus. When the stereoscopic caliper image forming apparatus is configured by a program for causing a computer to function, the present invention can be applied by adding this program and an operation panel to the control apparatus of the existing stereoscopic video display apparatus. it can.
The stereoscopic caliper image forming apparatus of the present invention can be applied to stereoscopic video (moving images), but it goes without saying that it can also be used for stereoscopic still images.

本発明に係る立体映像表示装置の立体ノギス像形成装置は、オペレータが画像中の対象物体の映像に対して立体ノギス像のポインター位置を指定することにより、対象物の寸法や適宜の2点間距離など、ポインター間の正確な距離を簡単に得ることができる。
特に、立体内視鏡装置を用いて患部の観察や手術を行うときには、本発明に係る立体ノギス像形成装置を用いることにより、術者が画像中に表示された患部などの寸法や対象物間の距離を簡単に知ることができるので補助装置として有用である。
The stereoscopic caliper image forming apparatus of the stereoscopic video display device according to the present invention allows the operator to specify the pointer position of the stereoscopic caliper image with respect to the video of the target object in the image, so that the size of the target object or between two appropriate points can be determined. Accurate distances between pointers, such as distance, can be easily obtained.
In particular, when observing or operating on an affected area using a stereoscopic endoscope apparatus, by using the stereoscopic caliper image forming apparatus according to the present invention, the operator can measure the size of the affected area or the like displayed in the image. It is useful as an auxiliary device because the distance can be easily known.

本発明の1つの実施形態に係る立体映像表示装置の立体ノギス像形成装置の構成図である。It is a block diagram of the stereoscopic caliper image forming apparatus of the stereoscopic video display apparatus which concerns on one Embodiment of this invention. 本実施形態におけるディスプレーの表示例を示す概念図である。It is a conceptual diagram which shows the example of a display of the display in this embodiment. 本実施形態におけるディスプレーの立体ノギス像の表示例を示す概念図である。It is a conceptual diagram which shows the example of a display of the solid caliper image of a display in this embodiment. 本実施形態に係る操作盤の斜視図である。It is a perspective view of the operation panel concerning this embodiment. 本実施形態に係るポインターをY軸方向に移動したときの立体ノギス像の変化例を示す斜視図である。It is a perspective view which shows the example of a change of a solid caliper image when the pointer which concerns on this embodiment is moved to the Y-axis direction. 本実施形態における立体撮影装置の第1の撮像装置と第2の撮像装置に対する基準図形の位置と表示大きさとの関係を説明する斜視図である。It is a perspective view explaining the relationship between the position and display size of the reference | standard figure with respect to the 1st imaging device of the stereoscopic imaging device in this embodiment, and a 2nd imaging device. 本実施形態に係る立体ノギスのポインター位置と左右の撮像装置の視線の関係を説明する平面概念図である。It is a plane conceptual diagram explaining the relationship between the pointer position of the solid caliper according to the present embodiment and the line of sight of the left and right imaging devices. 本実施形態に係る立体ノギスのポインター位置と左右の撮像装置の視線の関係を説明する側面概念図である。It is a side conceptual diagram explaining the relationship between the pointer position of the solid caliper according to the present embodiment and the line of sight of the left and right imaging devices. 本実施形態に係る任意の点の座標と立体視化する画像上の対応点の関係を説明する概念図である。It is a conceptual diagram explaining the relationship between the coordinate of the arbitrary points which concern on this embodiment, and the corresponding point on the image stereoscopically viewed. 本実施形態に係る立体ノギスのポインターを立体表示するときの左右の画像面を説明する概念図である。It is a conceptual diagram explaining the left and right image planes when the stereoscopic caliper pointer according to the present embodiment is stereoscopically displayed. 本実施形態に係る立体ノギス像の使用手順を説明するフロー図である。It is a flowchart explaining the use procedure of the solid caliper image which concerns on this embodiment. 本実施形態の立体ノギスのポインター位置設定手順を説明するフロー図である。It is a flowchart explaining the pointer position setting procedure of the solid caliper of this embodiment.

以下、本発明に係る立体映像表示装置の立体ノギス像形成装置について、図面を参照しながら詳しく説明する。なお、図面においては、同じ機能を有する構成部材については同じ参照番号を付して説明を簡約にし、説明の重複を避けた。   Hereinafter, a stereoscopic caliper image forming apparatus of a stereoscopic video display apparatus according to the present invention will be described in detail with reference to the drawings. In the drawings, constituent members having the same function are denoted by the same reference numerals to simplify the description and avoid duplication of description.

図1は、本発明の1つの実施形態に係る立体ノギス像形成装置を用いた立体映像表示装置の構成図である。本実施形態の立体ノギス像形成装置を適用した立体映像表示装置は、立体撮像装置1と画像信号生成装置2と立体映像信号生成装置3とディスプレー4と立体ノギス像形成装置5とを含んで構成される。   FIG. 1 is a configuration diagram of a stereoscopic video display apparatus using a stereoscopic caliper image forming apparatus according to one embodiment of the present invention. A stereoscopic video display apparatus to which the stereoscopic caliper image forming apparatus of the present embodiment is applied includes a stereoscopic imaging apparatus 1, an image signal generating apparatus 2, a stereoscopic video signal generating apparatus 3, a display 4, and a stereoscopic caliper image forming apparatus 5. Is done.

立体撮像装置1に含まれる第1の撮像装置11と第2の撮像装置12は、ほぼ同じ性能を有するカメラで、固定の主点間距離をおいて結合され、左右一対の撮像装置は、視差を持つように配置され、左右一対の画像を撮像して撮像信号を出力する。本実施形態におけるように交差法を利用する場合は、一対の撮像装置の光軸が輻輳角をもって交わるため前方の決められたコンバージェンス点13で交差するように配置される。
立体撮像装置1は、立体内視鏡のプローブ先端に設けられた1対のカメラであっても良い。
The first imaging device 11 and the second imaging device 12 included in the stereoscopic imaging device 1 are cameras having substantially the same performance, and are coupled with a fixed distance between the principal points. Are arranged so as to capture a pair of left and right images and output an imaging signal. When the intersection method is used as in the present embodiment, the optical axes of the pair of imaging devices intersect with each other at a convergence angle, so that they are arranged to intersect at a convergence point 13 determined in front.
The stereoscopic imaging apparatus 1 may be a pair of cameras provided at the probe tip of the stereoscopic endoscope.

第1の撮像装置11と第2の撮像装置12が生成した撮像信号は、画像信号生成装置2に入力される。画像信号生成装置2は、撮像装置11,12から入力された撮像信号を信号処理して、それぞれのカメラごとに画像信号を生成する。図において、第1の撮像装置11からは左目で見るための画像が生成され、第2の撮像装置12からは右目で見るための画像が生成される。
画像信号生成装置2から出力される左目用と右目用の1対の画像信号は、立体映像信号生成装置3により合成されて、ディスプレー4に立体映像として表示するための立体映像信号となり、ディスプレー4に送信される。
The imaging signals generated by the first imaging device 11 and the second imaging device 12 are input to the image signal generation device 2. The image signal generation device 2 performs signal processing on the imaging signals input from the imaging devices 11 and 12, and generates an image signal for each camera. In the figure, an image for viewing with the left eye is generated from the first imaging device 11, and an image for viewing with the right eye is generated from the second imaging device 12.
A pair of image signals for the left eye and right eye output from the image signal generation device 2 are combined by the stereoscopic video signal generation device 3 to become a stereoscopic video signal for display as a stereoscopic video on the display 4. Sent to.

ディスプレー4では、左目用の画像は左目で見えるように、また右目用の画像は右目で見えるように表示する。左目用画像と右目用画像に分離した一対の画像を、コンバージェンス点13における映像が重なるように配置することにより、2つの画像から実物像を立体視することができるようになる。   On the display 4, the left-eye image is displayed so that it can be seen by the left eye, and the right-eye image is displayed so that it can be seen by the right eye. By arranging the pair of images separated into the left-eye image and the right-eye image so that the images at the convergence point 13 overlap each other, the real image can be stereoscopically viewed from the two images.

立体視化の方法は、たとえば、右目用画像と左目用画像を交互に切り換え表示し、これと同期してオンオフする液晶シャッタメガネなど専用の立体メガネで観察する時間分割立体表示方式や、偏光軸が直交する偏光フィルタを通して左右の画像をプロジェクタに投射して同一画面に重ねて表示し、偏光フィルタ眼鏡で左目用画像と右目用画像に分離する偏光フィルタ眼鏡方式や、液晶表示面の水平走査ライン毎に偏光方向が90度変化する液晶フィルタを設置し、液晶表示面に左眼用と右眼用の画像を水平走査ライン毎に交互に並べて、右回転円偏光板と左回転円偏光板を左右に配置した円偏光メガネで見ることにより分離された左右用の映像をそれぞれ左右の目で同時に見て立体視する円偏光方式など、色々な方法が知られている。   Stereoscopic methods include, for example, a time-division stereoscopic display method in which a right eye image and a left eye image are alternately switched and displayed, and observation is performed with dedicated stereoscopic glasses such as liquid crystal shutter glasses that are turned on and off in synchronization with this, Right and left images are projected onto the projector through polarization filters that are orthogonal to each other and displayed on the same screen, and polarized filter glasses that separate the left-eye image and right-eye image with polarization filter glasses, and horizontal scanning lines on the liquid crystal display surface Install a liquid crystal filter whose polarization direction changes by 90 degrees every time, and arrange images for the left eye and right eye on the liquid crystal display surface alternately for each horizontal scanning line. Various methods are known, such as a circular polarization method in which the left and right images separated by viewing with the circularly polarized glasses arranged on the left and right are viewed simultaneously with the left and right eyes, respectively.

立体ノギス像形成装置5は、ポインター像表示装置21、座標演算装置22、距離演算装置23、操作盤24、記憶装置25、立体ノギス像表示装置26を含んで構成される。
オペレータが操作盤24を用いて指定するポインターの位置情報は、ポインター表示装置21で生成され、ポインター表示装置21から立体映像信号生成装置3に送信される。立体映像信号生成装置3は、立体撮像装置1で生成された撮像信号から画像信号生成装置2で左右の目用にそれぞれ生成された画像信号と、受信したポインターの位置情報を合成して、立体撮像装置1で取得した対象物の立体画像とポインターの立体画像が重なった立体映像信号としてディスプレー4に表示させる。
The stereoscopic caliper image forming apparatus 5 includes a pointer image display device 21, a coordinate calculation device 22, a distance calculation device 23, an operation panel 24, a storage device 25, and a stereoscopic caliper image display device 26.
Pointer position information designated by the operator using the operation panel 24 is generated by the pointer display device 21 and transmitted from the pointer display device 21 to the stereoscopic video signal generation device 3. The stereoscopic video signal generation device 3 combines the image signal generated for the left and right eyes by the image signal generation device 2 from the imaging signal generated by the stereoscopic imaging device 1 and the received position information of the pointer. The stereoscopic image signal obtained by overlapping the stereoscopic image of the object acquired by the imaging device 1 and the stereoscopic image of the pointer is displayed on the display 4.

図2は、ディスプレー4の表示面41における表示例を示す概念図である。表示面41には、左右両眼の視差に基づいて奥行きを判断する視差法に基づいた立体像46が表示されている。
ディスプレー4の表示面41には、第1の撮像装置11から供給される左目用の画像と第2の撮像装置12から供給される右目用の画像が両方表示されている。このような表示から立体像46を得るには、左目用の画像と右目用の画像を分離して、左目と右目で別々に見ることが必要になる。
FIG. 2 is a conceptual diagram showing a display example on the display surface 41 of the display 4. On the display surface 41, a stereoscopic image 46 based on a parallax method for determining the depth based on the parallax between the left and right eyes is displayed.
On the display surface 41 of the display 4, both the left-eye image supplied from the first imaging device 11 and the right-eye image supplied from the second imaging device 12 are displayed. In order to obtain the stereoscopic image 46 from such a display, it is necessary to separate the image for the left eye and the image for the right eye and view them separately for the left eye and the right eye.

立体視には、先に述べた通り、時間分割立体表示方式や偏光フィルタ眼鏡方式など、いくつかの方法があるが、本実施形態では、2枚の画像を並べてそれぞれ別の目で見て立体視化する視差法であれば具体的な方法を問わない。   As described above, there are several methods for stereoscopic viewing, such as a time-division stereoscopic display method and a polarizing filter glasses method. In this embodiment, two images are arranged side by side and viewed with different eyes. Any specific method may be used as long as it is a parallax method for visualization.

図2に示された表示面41には、さらに2つのポインター42,43とポインター間を繋ぐ結合線44で代表する立体ノギス、およびポインター42,43の実体距離を表示する距離表示枠45が立体表示されている。図2では、2つのポインター42,43は物体像46の輪郭でなく、その内部における知りたい寸法の端点を3次元的に指示している。
また、ポインター42,43は、ポインターのある位置が近いほど大きく、遠いほど小さく表示して、距離感の直感的な把握を容易にするようにしてもよい。
The display surface 41 shown in FIG. 2 further includes a solid caliper represented by two pointers 42 and 43 and a connecting line 44 connecting the pointers, and a distance display frame 45 for displaying the actual distance of the pointers 42 and 43. It is displayed. In FIG. 2, the two pointers 42 and 43 indicate not the outline of the object image 46 but three-dimensionally the end points of the dimension to be known inside.
Further, the pointers 42 and 43 may be displayed larger as the position of the pointer is closer and smaller as the pointer is farther so as to facilitate intuitive grasp of the sense of distance.

なお、画像のリアリティを向上させるために、2つのポインター42,43とポインター間を繋ぐ直線44でノギスを代表する代わりに、ノギス像を立体表示することができる。図3は、マイクロメータに似せてフレーム48やバーニア49を備えたノギス形状をデザイン化した立体表示用のノギス像47の例を示す。ノギス像47はコンピュータグラフィックス(CG)を使って、ディスプレー4の画面中に立体的に表現される。   In order to improve the reality of the image, the caliper image can be displayed in three dimensions instead of representing the caliper with the two pointers 42 and 43 and the straight line 44 connecting the pointers. FIG. 3 shows an example of a caliper image 47 for stereoscopic display in which a caliper shape having a frame 48 and a vernier 49 is designed to resemble a micrometer. The caliper image 47 is three-dimensionally represented on the screen of the display 4 using computer graphics (CG).

ポインター42,43には、ノギス像47のアンビル38とスピンドル39(ノギスのジョーに当たる)が当接され、2つのポインター42,43を結ぶ結合線44の上にノギス像47の測定軸Yn軸が設定されている。距離や間隔の測定はYn軸に沿って行う。また、操作盤24にトラッキングボール37などポインタデバイスを備えて、ポインタデバイス37を操作することにより、Yn軸を回転軸としてフレーム48の傾きを加減して、背景の立体映像の邪魔にならないようにすることができる。なお、立体表示するノギス像47は、背景映像の邪魔にならないように半透明に表示してもよい。   The pointers 42 and 43 are in contact with the anvil 38 of the caliper image 47 and the spindle 39 (striking the caliper jaw), and the measurement axis Yn axis of the caliper image 47 is placed on the connecting line 44 connecting the two pointers 42 and 43. Is set. The distance and interval are measured along the Yn axis. Further, the operation panel 24 is provided with a pointer device such as a tracking ball 37, and by operating the pointer device 37, the inclination of the frame 48 is adjusted with the Yn axis as a rotation axis so as not to obstruct the background stereoscopic image. can do. Note that the vernier caliper image 47 to be stereoscopically displayed may be displayed translucently so as not to interfere with the background image.

操作盤24を使ってポインター42,43をそれぞれ対象の測定位置に当接させると、座標演算装置22によりそれぞれの座標が算定され、立体ノギス像表示装置26によりポインター位置に対応する立体ノギス像のグラフィックスが形成され、距離演算装置23によりポインター間の距離が算定される。形成された立体ノギス像の表示情報と求められた距離は立体映像信号生成装置3に送信され立体映像信号に組み入れられて、立体ノギス像は表示画面41中に立体表示され、距離値は表示画面41中の距離表示枠45に表示される。
なお、距離表示枠45は立体表示する必要がないので、平面的に表示するようにしてもよい。
When the pointers 42 and 43 are brought into contact with the target measurement positions using the operation panel 24, the respective coordinates are calculated by the coordinate calculation device 22, and the three-dimensional caliper image display device 26 selects the three-dimensional caliper image corresponding to the pointer position. Graphics are formed, and the distance calculation unit 23 calculates the distance between the pointers. Display information of the formed stereoscopic caliper image and the obtained distance are transmitted to the stereoscopic video signal generation device 3 and incorporated into the stereoscopic video signal, and the stereoscopic caliper image is stereoscopically displayed on the display screen 41, and the distance value is displayed on the display screen. 41 is displayed in a distance display frame 45 in 41.
Note that the distance display frame 45 need not be stereoscopically displayed, and may be displayed in a planar manner.

図4は、本実施形態の立体ノギス像形成装置に用いられる操作盤の例を示す斜視図である。操作盤24は、ノギスの当て方、すなわちポインターの立体位置、を指定する装置である。
図4に示すように、操作盤24には、シーソーキー31と、十字キー32と、いくつかの押しボタンスイッチ33,34,35と、ラチェットストップ付きバーニア36とが配置されている。操作の自由度を上げるため、トラッキングボール37や図示しないジョイスティックなどをさらに設けてもよい。
FIG. 4 is a perspective view showing an example of an operation panel used in the stereoscopic caliper image forming apparatus of the present embodiment. The operation panel 24 is a device that designates how to apply the caliper, that is, the three-dimensional position of the pointer.
As shown in FIG. 4, a seesaw key 31, a cross key 32, several push button switches 33, 34, and 35, and a vernier 36 with a ratchet stop are arranged on the operation panel 24. In order to increase the degree of freedom of operation, a tracking ball 37 or a joystick (not shown) may be further provided.

シーソーキー31は、ポインターの奥行き方向(Y軸方向)の移動を指示するスイッチである。シーソーキー31は、操作盤24の側面に設けられ前後方向にスイングするスイッチで、シーソーキー31の向側の端部を押し込めば指定されたポインターが遠方に(Y軸正方向に)表示されるようになり、手前側の端部を押し込めばポインターが手前に近づく方向(Y軸負方向)に移動する。実際には、たとえば、立体撮像装置に固定された座標系におけるポインターのY座標値を増減することでY軸方向に移動させることができる。
シーソーキー31は押し込み深さや押し込み継続時間によってポインターの運動方向と速度を指定するものであっても良い。
The seesaw key 31 is a switch for instructing movement of the pointer in the depth direction (Y-axis direction). The seesaw key 31 is a switch that is provided on the side surface of the operation panel 24 and swings in the front-rear direction. When the end on the opposite side of the seesaw key 31 is pushed in, the designated pointer is displayed far away (in the positive Y-axis direction). If the end on the near side is pushed in, the pointer moves in the direction approaching the near side (Y-axis negative direction). Actually, for example, the Y coordinate value of the pointer in the coordinate system fixed to the stereoscopic imaging apparatus can be increased or decreased to move in the Y axis direction.
The seesaw key 31 may designate the movement direction and speed of the pointer according to the depth of depression and the duration of depression.

十字キー32は、操作盤上面に設けられ2方向にスイングして、画像中のポインターの横方向(X軸方向)と縦方向(Z軸方向)の移動を指示するスイッチで、直交配置された2個のシーソーキーと等価なスイッチである。十字キー32の横方向の腕は、たとえばX座標値を増減することによってポインターの横方向の運動制御を行い、腕の右側を押し込めば、ポインターは横方向右側(X軸正方向)に移動し、左側を押し込めばポインターは横方向左側(X軸負方向)に移動する。また、縦方向の腕は、たとえばZ座標値を増減することによって画像中のポインターの縦方向の運動制御を行い、腕の上側を押し込めば、ポインターは上の方向(Z軸正方向)に移動し、下側を押し込めば、下の方向(Z軸負方向)に移動する。なお、十字キー32は、長押しにより上の通り決められた方向に高速移動するように構成しても良い。   The cross key 32 is a switch that is provided on the upper surface of the operation panel and swings in two directions to direct movement of the pointer in the image in the horizontal direction (X-axis direction) and vertical direction (Z-axis direction). This switch is equivalent to two seesaw keys. The horizontal arm of the cross key 32 controls the movement of the pointer in the horizontal direction by, for example, increasing or decreasing the X coordinate value. If the right side of the arm is pushed in, the pointer moves to the right in the horizontal direction (X-axis positive direction). If the left side is pushed in, the pointer moves to the left side in the horizontal direction (X-axis negative direction). For example, the vertical arm controls the vertical movement of the pointer in the image by increasing or decreasing the Z coordinate value, and if the upper side of the arm is pushed in, the pointer moves upward (Z-axis positive direction). If the lower side is pushed in, it moves downward (Z-axis negative direction). Note that the cross key 32 may be configured to move at a high speed in the direction determined as described above by long pressing.

押しボタンスイッチ33,34,35は、ボタンを押すことにより、ポインターの位置決定や、ポインターの初期位置に戻す指令や、操作するポインターの選択などを行うスイッチである。なお、押しボタンスイッチは、必要に応じて、4個以上設けても良い。
ラチェットストップ付きバーニア36は、操作盤24の側面に設けられ、立体ノギス像のアンビル38とスピンドル39を結ぶ方向を変えずに、距離を増減するために使用する。マイクロメータにおけるバーニアと同じ機能を担わせたものである。
The push button switches 33, 34, and 35 are switches that determine the position of the pointer, give a command for returning to the initial position of the pointer, and select the pointer to be operated by pressing the button. Note that four or more push button switches may be provided as necessary.
The vernier 36 with a ratchet stop is provided on the side surface of the operation panel 24, and is used to increase or decrease the distance without changing the direction connecting the anvil 38 of the stereoscopic caliper image and the spindle 39. It has the same function as a vernier in a micrometer.

オペレータは、操作盤24のシーソーキー31と十字キー32により、ポインターの位置を映像中の任意の位置に移動させることができる。ポインターの位置は、立体撮像装置に固定された直交座標系のXYZ座標で表わすことができる。ここで便宜のため、座標系の原点を2つの撮像装置における光学系の主点同士を結ぶ線分の中点に置き、X軸を主点同士を結ぶ線分の上に、Y軸を原点とコンバージェンス点13を結ぶ線の上に、Z軸をX軸とY軸に垂直な方向に取ったXYZ直交座標系を用いるものとする。   The operator can move the position of the pointer to an arbitrary position in the video by using the seesaw key 31 and the cross key 32 on the operation panel 24. The position of the pointer can be expressed by XYZ coordinates in an orthogonal coordinate system fixed to the stereoscopic imaging apparatus. Here, for convenience, the origin of the coordinate system is placed at the midpoint of the line connecting the principal points of the optical systems in the two imaging devices, the X axis is placed on the line connecting the principal points, and the Y axis is the origin. An XYZ orthogonal coordinate system in which the Z axis is taken in a direction perpendicular to the X axis and the Y axis on a line connecting the convergence point 13 and the convergence point 13 is used.

2つのポインター42,43の3次元位置が決まれば、これらポインターにアンビル38とスピンドル39を当接させた立体ノギス像47は容易に形成され、ポインター間を結ぶ直線は簡単に描くことができ、ポインター間の距離も与えられる。ポインター42,43の3次元位置を決めるには、各ポインターについて3自由度を調整するシーソーキー31と十字キー32があれば足りる。   If the three-dimensional positions of the two pointers 42 and 43 are determined, a solid caliper image 47 in which the anvil 38 and the spindle 39 are brought into contact with these pointers can be easily formed, and a straight line connecting the pointers can be easily drawn. The distance between the pointers is also given. In order to determine the three-dimensional positions of the pointers 42 and 43, it is sufficient to have the seesaw key 31 and the cross key 32 for adjusting the three degrees of freedom for each pointer.

なお、ポインターの移動を行う操作端として、トラックボール37やジョイスティックで、シーソーキー31と十字キー32の組み合わせに代替することもできる。これらは、操作性に差があり、操作する者の嗜好もあるので、選択できるようにしておいてもよい。
また、トラッキングボール37は、立体表示したノギス像47のフレーム48の影が映像の観察に邪魔になるときに、立体表示したノギス像47の回転軸(Yn軸)を中心としてフレーム48を回転させるために使用するようにすることができる。
The operation end for moving the pointer can be replaced with a combination of the seesaw key 31 and the cross key 32 with a trackball 37 or a joystick. These have a difference in operability, and there is a preference of the operator, so that they may be selected.
Further, the tracking ball 37 rotates the frame 48 around the rotation axis (Yn axis) of the three-dimensionally displayed caliper image 47 when the shadow of the frame 48 of the three-dimensionally displayed caliper image 47 interferes with the image observation. Can be used for.

立体ノギス像の形態は、2次元の画面中のポインターの位置だけでは決まらず、3次元位置にしたがって定まることは、いうまでもない。また、立体ノギス像の形状は、立体撮像装置からの距離あるいはY座標値にしたがった大きさで表示することができる。
たとえば、図5は、ポインターが画面中の距離を変えずにY軸方向に移動したときに、立体ノギス像が変化する様子を説明する図である。また、図6は、立体撮影装置の第1の撮像装置と第2の撮像装置に対する基準図形の位置と表示大きさとの関係を説明する斜視図である。
It goes without saying that the form of the three-dimensional caliper image is not determined only by the position of the pointer in the two-dimensional screen, but is determined according to the three-dimensional position. Further, the shape of the stereoscopic caliper image can be displayed in a size according to the distance from the stereoscopic imaging device or the Y coordinate value.
For example, FIG. 5 is a diagram for explaining how the stereoscopic caliper image changes when the pointer moves in the Y-axis direction without changing the distance in the screen. FIG. 6 is a perspective view for explaining the relationship between the position of the reference graphic and the display size with respect to the first imaging device and the second imaging device of the stereoscopic imaging device.

図6は、基準立体図形を、第1の撮像装置11の光軸と第2の撮像装置12の光軸が交わって形成するコンバージェンス点13と、2つの撮像装置の主点14,15の中間点Oとを結ぶY軸上に置いたときに、表示装置4に投影される立体図形の像21,22,23の大きさがY軸上の位置により変化する状態を示す。
図6に示すように、コンバージェンス点13の位置に、2つの撮像装置の光軸を含む面に垂直なコンバージェンス面18を想定する。ここで、第1の撮像装置11と第2の撮像装置12のたとえば主点14,15同士を結ぶ線を基準線19とし、基準線19からコンバージェンス面18までの距離をDcとする。
FIG. 6 shows a reference solid figure, a convergence point 13 formed by the optical axis of the first image pickup device 11 and the optical axis of the second image pickup device 12 intersecting, and an intermediate point between the main points 14 and 15 of the two image pickup devices. A state in which the size of the solid figure images 21, 22, and 23 projected onto the display device 4 changes depending on the position on the Y axis when placed on the Y axis connecting the point O is shown.
As shown in FIG. 6, a convergence surface 18 that is perpendicular to a plane including the optical axes of the two imaging devices is assumed at the position of the convergence point 13. Here, for example, a line connecting the principal points 14 and 15 of the first imaging device 11 and the second imaging device 12 is a reference line 19, and a distance from the reference line 19 to the convergence surface 18 is Dc.

コンバージェンス面18に立体図形が存在するとき、ディスプレー4に表示される立体図形像21は、光学系と電子回路と表示装置などにより規定される所定の倍率が掛かった所定の大きさを有するものになる。
立体図形像22は、基準立体図形がコンバージェンス面18より撮像装置に近い位置にあるものとして表示されたときの像である。ここで、基準線19から立体図形像22に対応する基準立体図形までの距離をDsとすると、立体図形像22の大きさは、コンバージェンス面18にあるものとして表示される立体図形像21のDc/Ds倍に拡大して表示される。
When a solid figure exists on the convergence surface 18, the three-dimensional figure image 21 displayed on the display 4 has a predetermined size multiplied by a predetermined magnification defined by an optical system, an electronic circuit, a display device, and the like. Become.
The three-dimensional graphic image 22 is an image when the reference three-dimensional graphic is displayed as being located closer to the imaging device than the convergence surface 18. Here, if the distance from the reference line 19 to the reference 3D figure corresponding to the 3D figure image 22 is Ds, the size of the 3D figure image 22 is Dc of the 3D figure image 21 displayed as being on the convergence plane 18. / Ds times enlarged and displayed.

また、立体図形像23は、基準立体図形がコンバージェンス面18より撮像装置から遠い位置に配置されたときの像である。ここで、基準線19から立体図形像23に対応する標準図形までの距離をDlとすると、立体図形像23の大きさは、コンバージェンス面18にあるものとして表示される立体図形像21のDc/Dl倍に縮小して表示されることになる。   The three-dimensional graphic image 23 is an image when the reference three-dimensional graphic is arranged at a position farther from the imaging device than the convergence surface 18. Here, if the distance from the reference line 19 to the standard graphic corresponding to the three-dimensional graphic image 23 is D1, the size of the three-dimensional graphic image 23 is Dc / of the three-dimensional graphic image 21 displayed as being on the convergence surface 18. The display is reduced to D1 times.

こうして、同じ大きさの対象物であっても、撮像装置2からの距離が変化すれば、シスプレー4に表示される像の大きさが距離に対応して規則的に変化して、映像観察者に映像中の像の遠近感覚を的確に喚起させることができる。
したがって、距離あるいは間隔を測定する立体ノギスの像に対して上記説明の通り距離に従って大きさを変化させるようにして、測定対象に当てた立体ノギスの像を観察することにより、直感的に測定対象の奥行き位置を推察できるようにすることができる。
Thus, even for an object of the same size, if the distance from the imaging device 2 changes, the size of the image displayed on the display 4 changes regularly according to the distance, and the image observer It is possible to accurately awaken the sense of perspective of the image in the video.
Therefore, the object of measurement is intuitively observed by observing the image of the three-dimensional caliper applied to the measurement object by changing the size according to the distance as described above with respect to the image of the three-dimensional caliper for measuring the distance or interval. The depth position can be inferred.

図5(a)は、本実施例における、ポインターAとポインターBがほぼ同じXZ面上に存在する場合の立体ノギス像を示す。図5(b)は、図5(a)におけるポインターAとポインターBが画面中のほぼ同じ位置に見えるにもかかわらず、ポインターBが奥行き方向のY軸に沿って遠ざかった状態にある場合の立体ノギス像を示している。   FIG. 5A shows a stereoscopic caliper image when the pointer A and the pointer B exist on substantially the same XZ plane in the present embodiment. FIG. 5B shows a case in which the pointer B is in a state of being moved away along the Y axis in the depth direction even though the pointer A and the pointer B in FIG. A solid caliper image is shown.

図5(a)では、ポインターBに合わせられたアンビル部分はポインターAに合わせられたスピンドル部の大きさに近くなっている。これに対して、図5(b)では、ポインターBに対応するアンビルの像が距離に対応して小さくなり、フレームがアンビルに近い方で細くなり、かつ立体ノギス像が傾いていることから、画面中のポインターAの像とポインターBの像の距離が変化しなくても、ポインターBが遠ざかっていることが直感的にも明らかである。   In FIG. 5A, the anvil portion aligned with the pointer B is close to the size of the spindle portion aligned with the pointer A. On the other hand, in FIG. 5B, the anvil image corresponding to the pointer B becomes smaller corresponding to the distance, the frame becomes thinner near the anvil, and the stereoscopic caliper image is inclined. Even if the distance between the image of the pointer A and the image of the pointer B on the screen does not change, it is intuitively clear that the pointer B is moving away.

ポインターの奥行き位置が異なる場合でも、ポインターAとポインターBの座標値を用いることにより、両ポインター間の距離は正しく求めることができるが、本実施例では、立体ノギス像を立体撮像装置からの距離あるいはY座標値にしたがった大きさで表示することにより、対象の遠近感が的確に把握でき、直感的な観察が可能になる。
また、ポインターA,Bにラベルを付して、そのラベルの大きさを遠近に従って変更することも、対象の遠近を直感的に観察するために有効である。
Even when the depth positions of the pointers are different, the distance between the two pointers can be obtained correctly by using the coordinate values of the pointer A and the pointer B. In this embodiment, however, the stereoscopic caliper image is obtained from the stereoscopic imaging device. Alternatively, by displaying the size according to the Y coordinate value, the perspective of the target can be accurately grasped, and intuitive observation becomes possible.
In addition, attaching labels to the pointers A and B and changing the size of the labels according to the perspective are also effective for intuitively observing the perspective of the target.

なお、立体ノギスやポインターのラベルの表示寸法は、Y座標値に対応して演算に基づいて決めることができるが、基準立体スケールを立体撮像装置で撮影してY座標と寸法の関係を実地で確認した結果を利用することもできる。
たとえば、所定の形状をした基準の立体スケールを光軸上の適宜の位置に配置して実写することにより、撮影した位置すなわちY座標位置における画像中の立体スケール像の大きさが確定する。したがって、適当な範囲において、複数の異なる位置で撮影した結果を使って、使用範囲内の実物と映像の大きさの換算係数を求めることができる。なお、中間位置については補間計算により妥当な係数を得ることができる。
こうして得られた換算係数は、光学系の非線形性などの影響や不測の外乱も含めた結果であるので、実態と整合させるために複雑な補正演算を行う必要がない。
The display size of the stereoscopic caliper and the pointer label can be determined based on the calculation corresponding to the Y coordinate value, but the reference stereoscopic scale is photographed with a stereoscopic imaging device, and the relationship between the Y coordinate and the dimension is actually measured. Confirmed results can also be used.
For example, by placing a reference three-dimensional scale having a predetermined shape at an appropriate position on the optical axis and taking a real image, the size of the three-dimensional scale image in the image at the photographed position, that is, the Y coordinate position is determined. Therefore, it is possible to obtain a conversion factor between the size of the actual object and the image within the use range by using the results of photographing at a plurality of different positions within an appropriate range. For the intermediate position, a reasonable coefficient can be obtained by interpolation calculation.
Since the conversion coefficient obtained in this way is a result including the influence of nonlinearity of the optical system and unforeseen disturbances, it is not necessary to perform a complicated correction operation in order to match the actual condition.

図7は、立体ノギスのアンビルとスピンドルの位置を定めるポインターの位置と、左右の撮像装置の視線の関係を説明する平面概念図、図8はその側面概念図である。表示された実施例では、左目用撮像装置11と右目用撮像装置12は立体内視鏡の先端筒16に収まっているものとする。
左目用撮像装置11の主点14と右目用撮像装置12の主点15を適宜の距離2dだけ離して左目用撮像装置11と右目用撮像装置12の位置が固定される。左右一対の立体画像は、両者の光軸がコンバージェンス点53で交差するようにした交差法により撮像される。
FIG. 7 is a conceptual plan view illustrating the relationship between the position of the pointer that determines the positions of the anvil and spindle of the solid caliper and the line of sight of the left and right imaging devices, and FIG. 8 is a conceptual side view thereof. In the displayed example, it is assumed that the left-eye imaging device 11 and the right-eye imaging device 12 are accommodated in the distal end tube 16 of the stereoscopic endoscope.
The positions of the left eye imaging device 11 and the right eye imaging device 12 are fixed by separating the main point 14 of the left eye imaging device 11 and the main point 15 of the right eye imaging device 12 by an appropriate distance 2d. A pair of left and right stereoscopic images are captured by an intersection method in which both optical axes intersect at a convergence point 53.

立体映像化するためには、その部分の映像が2つの撮像装置11,12のいずれの撮像画面にも入っている必要がある。したがって、立体視化可能な領域は、2つの撮像装置の視野55が重なる図中斜線で影を付けた部分になる。図8の側面図では、上下方向の視野56により制限される図中斜線で影を付けた領域となる。   In order to make a three-dimensional image, the image of that part needs to be included in either of the image pickup screens of the two image pickup devices 11 and 12. Therefore, the region that can be stereoscopically viewed is a shaded portion in the figure where the fields of view 55 of the two imaging devices overlap. In the side view of FIG. 8, the region is shaded by a diagonal line in the figure, which is limited by the visual field 56 in the vertical direction.

なお、立体撮像装置1に固定され2つの撮像装置の主点14,15を結ぶ線分の中点に原点Oを配置した直交座標系の座標で表現すれば、左目用の第1撮像装置11の主点14は(−d,0,0)の位置、右目用の第2撮像装置12の主点15は(d,0,0)の位置にあることになる。   Note that the first imaging device 11 for the left eye can be expressed by the coordinates of an orthogonal coordinate system in which the origin O is arranged at the midpoint of the line segment fixed to the stereoscopic imaging device 1 and connecting the principal points 14 and 15 of the two imaging devices. The main point 14 is at the position (−d, 0, 0), and the main point 15 of the second imaging device 12 for the right eye is at the position (d, 0, 0).

立体視可能な領域内に設定した第1のポインター42および第2のポインター43は、それぞれ第1撮像装置11からポインター42,43を見た視線がコンバージェンス点53におけるXZ面(コンバージェンス面)54に投影された点63,65を左目用画像における指示ポイントとして、ディスプレー4に表示させるようにする。   The first pointer 42 and the second pointer 43 set in the stereoscopically viewable region are such that the line of sight of the pointers 42 and 43 viewed from the first imaging device 11 is the XZ plane (convergence plane) 54 at the convergence point 53. The projected points 63 and 65 are displayed on the display 4 as instruction points in the left-eye image.

また、第2撮像装置12からポインター42,43を見た視線がコンバージェンス面54に投影された点64,66を右目用画像における指示ポイントとして、ディスプレー4に表示させるようにする。
こうしてディスプレー4に表示された指示ポイントを両眼で立体視すると、第1のポインター42と第2のポインター43が立体映像中のそれぞれの実体位置に存在するように見ることができる。
Further, the points 64 and 66 obtained by projecting the line of sight of the pointers 42 and 43 from the second imaging device 12 onto the convergence surface 54 are displayed on the display 4 as instruction points in the right-eye image.
When the instruction point displayed on the display 4 is stereoscopically viewed with both eyes in this way, the first pointer 42 and the second pointer 43 can be seen to exist at their actual positions in the stereoscopic video.

図9は、適宜の位置にあるポインターなどの点の座標と、左右の撮像装置から見通す視線がコンバージェンス面と交わる位置の座標の関係を説明する図面である。
図7,図8に表された第1のポインター42が、図9に示す位置P(X,Y,Z)にあるとして、第1撮像装置11から第1のポインター42を見た視線をコンバージェンス点53におけるXZ面(コンバージェンス面:Y=L)に投影した点Clの座標が(Xl,L,Zc)となり、第2撮像装置12から第1のポインター42を見た視線をコンバージェンス面に投影した点Crの座標が(Xr,L,Zc)となるとする。ここで、第1撮像装置11と第2撮像装置12の主点間距離は2dであり、主点間接続線とコンバージェンス点53との距離はLである。
FIG. 9 is a diagram for explaining the relationship between the coordinates of a point such as a pointer at an appropriate position and the coordinates of the position where the line of sight seen from the left and right imaging devices intersects the convergence plane.
7 and 8, assuming that the first pointer 42 is at the position P (X, Y, Z) shown in FIG. 9, the line of sight of the first pointer 42 viewed from the first imaging device 11 is converged. The coordinates of the point Cl projected onto the XZ plane (convergence plane: Y = L) at the point 53 are (X1, L, Zc), and the line of sight of the first pointer 42 viewed from the second imaging device 12 is projected onto the convergence plane. Assume that the coordinates of the point Cr are (Xr, L, Zc). Here, the distance between the principal points of the first imaging device 11 and the second imaging device 12 is 2d, and the distance between the connection point between the principal points and the convergence point 53 is L.

図9に示された、相似比Y:(L−Y)の相似三角形から、Y:(L−Y)=2d:(Xl−Xr)であるから、
Y/L=2d/(2d+Xl−Xr)
相似比Y:Lの多数の相似三角形から、
Z/Zc=Y/L
X/(Xl+Xr)=Y/L
なる関係が成立することから、Cl(Xl,L,Zc)とCr(Xr,L,Zc)の座標が分かれば、簡単にP(X,Y,Z)の座標が求められることが分かる。
From the similarity triangle of the similarity ratio Y: (LY) shown in FIG. 9, since Y: (LY) = 2d: (X1-Xr),
Y / L = 2d / (2d + X1-Xr)
From many similar triangles with a similarity ratio Y: L,
Z / Zc = Y / L
X / (Xl + Xr) = Y / L
Therefore, if the coordinates of Cl (X1, L, Zc) and Cr (Xr, L, Zc) are known, the coordinates of P (X, Y, Z) can be easily obtained.

ちなみに、X,Y,Zは下の式で求められる。
X=d(Xl+Xr)/(2d+Xl−Xr)
Y=2dL/(2d+Xl−Xr)
Z=2dZc/(2d+Xl−Xr)
すなわち、ポインターを立体視化するための左目用画像と右目用画像には、ポインターを見通すカメラの視線がコンバージェンス面(Y=L)に投影されたときの座標がCl(Xl,L,Zc)およびCr(Xr,L,Zc)として与えられるので、実体に対応するポインターの位置P(X,Y,Z)の座標が論理的に求められる。
Incidentally, X, Y, and Z are obtained by the following expressions.
X = d (Xl + Xr) / (2d + X1-Xr)
Y = 2dL / (2d + X1-Xr)
Z = 2dZc / (2d + X1-Xr)
That is, in the left-eye image and the right-eye image for stereoscopically displaying the pointer, the coordinates when the line of sight of the camera looking through the pointer is projected onto the convergence plane (Y = L) are Cl (X1, L, Zc). And Cr (Xr, L, Zc), the coordinates of the pointer position P (X, Y, Z) corresponding to the entity are logically obtained.

また、逆に、P(X,Y,Z)の座標が与えられれば、Cl(Xl,L,Zc)とCr(Xr,L,Zc)の座標が論理的に求まる。
ちなみに、Zc,Xl,Xrは下の式で求められる。
Zc=ZL/Y
Xl=(XL―d(L−Y))/Y
Xr=(XL―d(L+Y))/Y
したがって、ポインターの位置Pが与えられたときに、そのポインターを立体視させるための左目用画像と右目用画像を理想的に生成することができる。
なお、より現実的には、たとえば本願出願人が開示した特願2009−160664に記載された手法を用いて、基準パターンを実写した結果得られる座標空間で左右の画像を生成することもできる。
Conversely, if the coordinates of P (X, Y, Z) are given, the coordinates of Cl (X1, L, Zc) and Cr (Xr, L, Zc) can be logically obtained.
Incidentally, Zc, Xl, and Xr are obtained by the following equations.
Zc = ZL / Y
Xl = (XL-d (LY)) / Y
Xr = (XL−d (L + Y)) / Y
Therefore, when the position P of the pointer is given, it is possible to ideally generate a left-eye image and a right-eye image for stereoscopically viewing the pointer.
More realistically, left and right images can be generated in a coordinate space obtained as a result of actual shooting of the reference pattern, for example, using the technique described in Japanese Patent Application No. 2009-160664 disclosed by the applicant of the present application.

立体ノギスを使用して対象物の径や距離を測定するときは、オペレータは、図4に例示した操作盤24を操作して、第1ポインター42と第2ポインター43の立体位置を定める必要がある。操作盤24の押しボタンスイッチを使って第1ポインター42を選択すると、ポインター像表示装置21の働きにより、第1ポインター42は初めに基準点となるコンバージェンス点53の位置、すなわち座標(0,L,0)の位置に移動する。コンバージェンス点53は左目用と右目用の画像面における共通中心点である。   When measuring the diameter and distance of an object using a solid caliper, the operator needs to determine the solid positions of the first pointer 42 and the second pointer 43 by operating the operation panel 24 illustrated in FIG. is there. When the first pointer 42 is selected by using the push button switch of the operation panel 24, the first pointer 42 is initially set to the position of the convergence point 53 as a reference point, that is, the coordinates (0, L) by the function of the pointer image display device 21. , 0). The convergence point 53 is a common center point in the left-eye and right-eye image planes.

そこで、オペレータは、操作盤6のシーソーキー31と十字キー32を操作して、第1ポインター42をXYZの各方向に動かして目標の位置Pに移動させる。
シーソーキー31は、たとえば、Y値を増減する指令をポインター像表示装置21に送信して、ポインターの位置をY軸方向に動かさせる機能を有する。また、十字キー32は、ポインター像表示装置21におけるX値とZ値をそれぞれ増減させて、ポインターの位置をX軸とZ軸の方向に移動させる機能を有する。
Therefore, the operator operates the seesaw key 31 and the cross key 32 on the operation panel 6 to move the first pointer 42 in each of the XYZ directions to the target position P.
The seesaw key 31 has a function of, for example, transmitting a command to increase or decrease the Y value to the pointer image display device 21 to move the position of the pointer in the Y-axis direction. The cross key 32 has a function of moving the pointer position in the X-axis and Z-axis directions by increasing or decreasing the X value and the Z value in the pointer image display device 21, respectively.

ポインター像表示装置21は常にポインターの座標値を使ってポインターの立体画像情報を生成して、立体映像信号生成装置3に送っているので、移動中に変化する座標(X,Y,Z)は逐一、撮像装置11,12のポインターを見通す視線がコンバージェンス面54上に投影される位置に反映されるので、いつでもポインターの立体視ができる。   Since the pointer image display device 21 always generates the stereoscopic image information of the pointer using the coordinate value of the pointer and sends it to the stereoscopic video signal generation device 3, the coordinates (X, Y, Z) that change during movement are Since the line of sight through the pointers of the imaging devices 11 and 12 is reflected on the position projected onto the convergence surface 54, the pointer can be stereoscopically viewed at any time.

オペレータは、立体視したポインターの3次元位置と立体画像中の対象物の3次元位置とをディスプレー4の立体映像画面41中で目視により比較して、ポインターが目標位置に到達したと判断できるところまで移動させると押しボタンスイッチを操作して、第1ポインター42の位置を確定する。第1ポインター42の位置が確定したときには、同時に虫ピンのようなピン画像を確定位置に立てて、目印にするようにしてもよい。   The operator can determine that the pointer has reached the target position by visually comparing the three-dimensional position of the three-dimensional pointer with the three-dimensional position of the object in the three-dimensional image on the three-dimensional video screen 41 of the display 4. Then, the push button switch is operated to determine the position of the first pointer 42. When the position of the first pointer 42 is confirmed, a pin image such as an insect pin may be set at the confirmed position at the same time and used as a mark.

また、目印のピン画像は、先に画像中の対象物の位置に立てておいて、ピンをめがけてポインターを誘導するような利用方法もある。
なお、上記手順では、第1ポインター42の位置を合わせるために、静置したカメラの画面中でポインターを動かしたが、カメラの画像中にポインター位置を固定して、カメラの撮影方向や対象までの距離を変化させて、第1ポインター42の位置合わせを行うこともできる。
第1ポインター42には、図3に示したようなマイクロメータ型の立体ノギス像47のアンビル38が当接して、第1ポインター42の移動に追従して立体ノギス像を移動あるいは変形させている。
Also, there is a utilization method in which a pin image of a mark is first set at the position of an object in the image and a pointer is guided by pinning.
In the above procedure, the pointer is moved in the screen of the stationary camera to align the position of the first pointer 42. However, the pointer position is fixed in the image of the camera, and the shooting direction and target of the camera are fixed. The first pointer 42 can be aligned by changing the distance of.
An anvil 38 of a micrometer-type stereoscopic caliper image 47 as shown in FIG. 3 abuts on the first pointer 42 to move or deform the stereoscopic caliper image following the movement of the first pointer 42. .

次に、第2ポインター43を選択すると、第2ポインター43も初めに基準点であるコンバージェンス点53(0,L,0)の位置に移動する。そこで、第1ポインター42と同様にシーソーキー31と十字キー32を操作して、第2ポインター43の目標位置まで移動させてから、押しボタンスイッチを操作して位置決定する。
第2ポインター43には、マイクロメータ型立体ノギス像47のスピンドル39が当接して、第2ポインター42が移動すると、これに追従して立体ノギス像を移動あるいは変形させている。
Next, when the second pointer 43 is selected, the second pointer 43 also first moves to the position of the convergence point 53 (0, L, 0) which is the reference point. Therefore, as with the first pointer 42, the seesaw key 31 and the cross key 32 are operated to move the second pointer 43 to the target position, and then the push button switch is operated to determine the position.
When the spindle 39 of the micrometer-type stereoscopic caliper image 47 comes into contact with the second pointer 43 and the second pointer 42 moves, the stereoscopic caliper image is moved or deformed following this movement.

ポインター間の位置関係を分かりやすくするため、第1ポインター42と第2ポインター43の間は、画面上、常に結合線44で結合させておいてもよい。結合線44は、背景となる映像が見えるように薄い透明色の線で表示されることが好ましい。
また、ポインター42,43の座標値は常時把握されているので、移動中においても距離演算装置23によって2つのポインターの間の距離を算定することができる。したがって、演算結果が立体映像信号生成装置3に送信され、ディスプレー4の表示面41における距離数値表示45に移動中における両者間の距離値が表示されるようにすることができる。
In order to make the positional relationship between the pointers easy to understand, the first pointer 42 and the second pointer 43 may be always coupled by a coupling line 44 on the screen. The connecting line 44 is preferably displayed as a thin transparent line so that a background image can be seen.
Further, since the coordinate values of the pointers 42 and 43 are always grasped, the distance between the two pointers can be calculated by the distance calculation device 23 even during movement. Accordingly, the calculation result is transmitted to the stereoscopic video signal generation device 3, and the distance value between the two during movement can be displayed on the distance numerical value display 45 on the display surface 41 of the display 4.

また、シーソーキー31や十字キー32は直交座標系の各軸に沿って移動させるが、ポインター42,43が挟む測定対象物が膨張縮小した場合など、測定方向が変化しないときには、座標軸ごとの動きでなく、ポインター間の距離のみを直接変更するため、操作盤24におけるラチェット付きバーニア36を操作することができる。バーニア36は、使い慣れているマイクロメータの操作部と同じ物であるので、オペレータにとって扱い馴れているという利点がある。   The seesaw key 31 and the cross key 32 are moved along each axis of the orthogonal coordinate system. However, when the measurement direction does not change, such as when the measurement object sandwiched between the pointers 42 and 43 expands or contracts, the movement for each coordinate axis is performed. In addition, since only the distance between the pointers is directly changed, the ratchet vernier 36 on the operation panel 24 can be operated. Since the vernier 36 is the same as the operation unit of the micrometer that is familiar to the user, there is an advantage that the vernier 36 is handled and familiar to the operator.

さらに、操作盤24には、リセット用の押しボタンスイッチが設けられていて、ポインターの位置が大きくずれたときや、撮影対象を変えたときなどに操作すると、ポインターの位置を一挙にコンバージェンス点53などの基準位置に移動させることができる。この機能があることにより、対象が画面中の離れた場所に移ったときにも、迅速なポインターの位置指定が可能になる。   Further, the operation panel 24 is provided with a push button switch for resetting, and when the pointer position is greatly deviated or when the photographing object is changed, the pointer position is converged at a convergence point 53 at a time. It can be moved to a reference position. With this function, it is possible to quickly specify the position of the pointer even when the object moves away from the screen.

図10は、1対のポインター42,43に対応する立体ノギスの立体表示を可能にするための、左目用画像と右目用画像の概念を説明する図面である。図10(a)は立体ノギスの左目用画像、図10(b)は同じ立体ノギスの右目用画像である。なお、簡単のため、図では、立体ノギス像のアンビルとスピンドルを黒塗りの三角形で代表し、立体ノギス像の表示を省略している。
図10(a)に示した立体ノギスの左目用画像61は、第1撮像装置11で撮影した左目用映像と一体となって、ディスプレー4に表示されたときに人の左目で観察される部分となる。また、図10(b)の立体ノギスの右目用画像62は、第2撮像装置12で撮影した右目用映像と一体となって、ディスプレー4に表示されたときに人の右目で観察される部分となる。
FIG. 10 is a diagram for explaining the concept of the left-eye image and the right-eye image for enabling the stereoscopic display of the stereoscopic caliper corresponding to the pair of pointers 42 and 43. FIG. 10A shows an image for the left eye of a solid caliper, and FIG. 10B shows an image for the right eye of the same solid caliper. For simplicity, in the figure, the anvil and spindle of the solid caliper image are represented by black triangles, and the display of the solid caliper image is omitted.
The left-eye image 61 of the three-dimensional caliper shown in FIG. 10A is a portion that is observed with the left eye of a person when displayed on the display 4 together with the left-eye image captured by the first imaging device 11. It becomes. Further, the right-eye image 62 of the three-dimensional caliper shown in FIG. 10B is a portion that is observed with the right eye of the person when displayed on the display 4 together with the right-eye video imaged by the second imaging device 12. It becomes.

図7,図8などを参照して分かるように、図10に表示された点63,64:65,66は、実際の3次元位置の点42:43を撮像装置11,12から見た視線がコンバージェンス面54(y=L)に当たる位置として表示される。図10(a)と図10(b)の画像61,62は、第1ポインター42および第2ポインター43のコンバージェンス面54における投影図ということもできる。図10(a)と図10(b)の画像61,62は、ディスプレー4に表示されて、左右の目でそれぞれ見た画面が脳で合成されることにより、立体ノギスを立体的に観察されるようにするものである。   As can be seen with reference to FIGS. 7, 8, etc., the points 63, 64: 65, 66 displayed in FIG. 10 are the lines of sight of the actual point 42:43 of the three-dimensional position as viewed from the imaging devices 11, 12. Is displayed as a position corresponding to the convergence surface 54 (y = L). The images 61 and 62 in FIGS. 10A and 10B can also be referred to as projection views of the first pointer 42 and the second pointer 43 on the convergence surface 54. Images 61 and 62 in FIGS. 10A and 10B are displayed on the display 4, and the screens seen by the left and right eyes are synthesized in the brain, so that the three-dimensional caliper is observed in three dimensions. It is to make it.

なお、図10(a)の左目用画像61と図10(b)の右目用画像62を比較すると、1つの点について表示する各点の高さ(Z値)は左目用画像61と右目用画像62で同じ値になる。そして、X値が左目用画像61における値より右目用画像62における値が大きいときは、その点が表すポインター位置がコンバージェンス面54より撮像装置1に近く、右目用画像62における値が小さいときは、ポインター位置がコンバージェンス面54より遠いことが分かる。   When the left-eye image 61 in FIG. 10A and the right-eye image 62 in FIG. 10B are compared, the height (Z value) of each point displayed for one point is the left-eye image 61 and the right-eye image. The same value is obtained in the image 62. When the X value is larger in the right-eye image 62 than in the left-eye image 61, the pointer position indicated by the point is closer to the imaging device 1 than the convergence surface 54, and when the value in the right-eye image 62 is small. It can be seen that the pointer position is farther than the convergence surface 54.

図10には、両画像において中心位置に当たるコンバージェンス点53と図7と図8に表わした適宜な点57も一緒に表わされている。
なお、ここでは、2つの撮像装置の主点の中点に原点を置いた直交座標系を使って説明をしているが、座標変換可能な他の座標系を使う場合でも、本質的に等価であることはいうまでもない。
In FIG. 10, a convergence point 53 corresponding to the center position in both images and an appropriate point 57 shown in FIGS. 7 and 8 are shown together.
Here, the explanation is made using an orthogonal coordinate system in which the origin is set at the midpoint between the principal points of the two imaging devices. However, even when other coordinate systems capable of coordinate conversion are used, they are essentially equivalent. Needless to say.

図11は、本実施形態に係る立体ノギス像の使用手順を説明するフロー図、図12は、本実施形態の立体ノギスのポインター位置設定手順を説明するフロー図である。
立体ノギスを使用するのに先立って、ノギスを当てる対象となる被測物の立体撮影を行う(S01)。立体撮影は、第1撮像装置11と第2撮像装置12により、左眼用の画像と右眼用の画像を取得する作業である。撮像装置はビデオカメラであってもよい。取得した左眼用画像と右眼用画像は、立体表示のための処理を行ってディスプレー4上に表示する(S02)。ディスプレー4に表示された被測物は、立体視用眼鏡を使うなど立体視化手法に従って、画像中に立体として観察できる。
FIG. 11 is a flowchart for explaining the procedure for using the stereoscopic caliper image according to the present embodiment, and FIG. 12 is a flowchart for explaining the procedure for setting the pointer position of the solid caliper according to the present embodiment.
Prior to using the three-dimensional caliper, three-dimensional imaging of the object to be measured is performed (S01). Stereoscopic imaging is an operation for acquiring a left-eye image and a right-eye image by the first imaging device 11 and the second imaging device 12. The imaging device may be a video camera. The acquired left-eye image and right-eye image are displayed on the display 4 by performing processing for stereoscopic display (S02). The object to be measured displayed on the display 4 can be observed as a three-dimensional image in accordance with a stereoscopic method such as using stereoscopic glasses.

次に、第1ポインター42の位置を確定する(S03)。
第1ポインター42の位置確定は、図12に示す手順に従って行われる。まず、ポインター像表示装置21が、第1ポインター42と第2ポインター43の位置をディスプレー4の画面41中に表示させる(S11)。立体ノギス像として、第1ポインター42と第2ポインター43の位置にアンビルとスピンドルとを適宜対応させた立体ノギスの形状模写像を表示してもよい。なお、立体ノギス像は、コンピュータグラフィックスの技法を使って大きさや姿勢を実態に合わせて立体的に表示することが好ましい。
Next, the position of the first pointer 42 is determined (S03).
The position of the first pointer 42 is determined according to the procedure shown in FIG. First, the pointer image display device 21 displays the positions of the first pointer 42 and the second pointer 43 on the screen 41 of the display 4 (S11). As the three-dimensional caliper image, a three-dimensional caliper shape replica image in which the anvil and the spindle are appropriately associated with the positions of the first pointer 42 and the second pointer 43 may be displayed. Note that it is preferable that the stereoscopic caliper image is stereoscopically displayed in accordance with the actual size and orientation using a computer graphics technique.

オペレータは、ディスプレー4に表示された第1ポインター42の像を立体視で位置確認しながら、操作盤24のシーソースイッチ31と十字キー32を操作して、測定対象の一方の端点に当たる三次元位置に移動させる(S12)。
スイッチ類から出力される指令信号はポインター像表示装置21に伝送されて、指令通りにポインターの位置を変化させる。ポインターの位置情報は立体映像信号生成装置3に伝送され、立体視用画像に組み込まれて、ディスプレー4に表示される。
The operator operates the seesaw switch 31 and the cross key 32 of the operation panel 24 while confirming the position of the image of the first pointer 42 displayed on the display 4 in a stereoscopic view, and the three-dimensional position corresponding to one end point of the measurement target. (S12).
Command signals output from the switches are transmitted to the pointer image display device 21 to change the position of the pointer as commanded. The position information of the pointer is transmitted to the stereoscopic video signal generation device 3, incorporated in the stereoscopic image, and displayed on the display 4.

第1ポインター42の位置が目的にかなう三次元位置になっているか否かは、目視により被測物との位置関係を判定して決定する。ポインターの奥行き位置は、オペレータが画面中の映像と比較して視覚で判定することができる。
立体ノギス像が表示されているときは、第1ポインター42の移動につれて対応するアンビルの部分も移動する。なお、ディスプレー4に表示されるアンビルの部分は、第1ポインター42のY座標値に応じて大きさが変化する。
Whether or not the position of the first pointer 42 is a three-dimensional position that meets the purpose is determined by visually determining the positional relationship with the object to be measured. The depth position of the pointer can be visually determined by the operator in comparison with the image on the screen.
When the three-dimensional caliper image is displayed, the corresponding anvil portion moves as the first pointer 42 moves. The anvil portion displayed on the display 4 changes in size according to the Y coordinate value of the first pointer 42.

第1ポインター42が所望に位置にあることが判定できたら、押しボタンスイッチを押して位置を確定し、それ以後の第1ポインター42に関する移動用キーの操作を無効にする(S13)。
これにより、図11に示す、第1ポインター42の位置確定ができる(S03)。位置確定した第1ポインター42の位置に、ピンの像を立てて目印にしても良い。また、立体ノギス像が表示されているときは、第1ポインター42の位置が確定したときに、立体ノギス像のアンビルの位置が確定する。
If it can be determined that the first pointer 42 is in the desired position, the push button switch is pressed to determine the position, and the subsequent operation of the movement key relating to the first pointer 42 is invalidated (S13).
Thereby, the position of the first pointer 42 shown in FIG. 11 can be determined (S03). A pin image may be set as a mark at the position of the first pointer 42 whose position has been determined. In addition, when the stereoscopic caliper image is displayed, the position of the anvil of the stereoscopic caliper image is determined when the position of the first pointer 42 is determined.

さらに、第2ポインター43を選択して、第1ポインター42と同様に図12に示す手順に従って、第2ポインター43の像を、測定対象の他方の端点に当たる三次元位置に移動させて、位置を確認した後、押しボタンスイッチを押して位置確定をする(S04−S06)。
立体ノギス像が表示されているときは、第2ポインター42の移動につれてスピンドルの部分も移動する。なお、ディスプレー4に表示されるスピンドル部分の大きさは、第2ポインター43のY座標値に応じて変化する。
Further, the second pointer 43 is selected, and the image of the second pointer 43 is moved to the three-dimensional position corresponding to the other end point of the measurement object according to the procedure shown in FIG. After confirmation, the push button switch is pressed to determine the position (S04-S06).
When the three-dimensional caliper image is displayed, the spindle portion moves as the second pointer 42 moves. The size of the spindle portion displayed on the display 4 changes according to the Y coordinate value of the second pointer 43.

第2ポインター43の移動中も、第2ポインター43の座標は座標演算装置22により逐一算定されており、距離演算装置23がこれら座標値を使って第1ポインター42と第2ポインター43の間の距離を逐一算定している。算定した結果は、立体映像信号生成装置3で編成されて、ディスプレー4の表示面41の距離数値表示45にリアルタイムで表示されている(S05)。   Even during the movement of the second pointer 43, the coordinates of the second pointer 43 are calculated one by one by the coordinate calculation device 22, and the distance calculation device 23 uses these coordinate values between the first pointer 42 and the second pointer 43. The distance is calculated one by one. The calculated result is organized by the stereoscopic video signal generating device 3 and displayed in real time on the distance numerical value display 45 on the display surface 41 of the display 4 (S05).

そこで、第2ポインター43の位置が確定されたら(S06)、そのときに距離数値表示45に表示されている距離値を読み取れば、その値が第1ポインター42と第2ポインター43で指定された測定対象における距離になる(S07)。
ここで表示される距離は、座標値から実寸に換算された実体距離とすることができる。
Therefore, when the position of the second pointer 43 is confirmed (S06), if the distance value displayed on the distance numerical value display 45 is read at that time, the value is designated by the first pointer 42 and the second pointer 43. This is the distance in the measurement target (S07).
The distance displayed here can be an actual distance converted from the coordinate value to the actual size.

なお、本実施形態では、立体ノギス像を使用して対象物の測定位置を確定するが、立体ノギス像の表示をせずに、ポインター自体を使って測定位置の確定をすることもできる。立体ノギス像を省くことにより、対象物周りの状態をより明瞭にディスプレー4に表示することができる。なお、ポインターは、ポイント位置のY軸方向距離に対応する大きさで表示することが好ましい。
また、立体ノギス像形成装置の適用先として、交差法配置された立体撮像装置を挙げているが、平行法配置の立体撮像装置においても、立体ノギス像の三次元位置を適宜に調整することにより、本発明の立体ノギス像形成装置を適用することができる。
In the present embodiment, the measurement position of the object is determined using a stereoscopic caliper image, but the measurement position can also be determined using the pointer itself without displaying the stereoscopic caliper image. By omitting the stereoscopic caliper image, the state around the object can be more clearly displayed on the display 4. Note that the pointer is preferably displayed in a size corresponding to the Y-axis direction distance of the point position.
In addition, as an application destination of the stereoscopic caliper image forming apparatus, a stereoscopic imaging apparatus arranged in an intersecting manner is cited, but in a stereoscopic imaging apparatus arranged in a parallel manner, by appropriately adjusting the three-dimensional position of the stereoscopic caliper image The stereoscopic caliper image forming apparatus of the present invention can be applied.

本発明の立体ノギス像形成装置を用いることにより、立体映像装置に表示される物体のサイズや物体間距離を立体的に測定することができるようになるので、特に立体内視鏡装置を用いた診断や手術などにおいて有効である。   By using the stereoscopic caliper image forming apparatus of the present invention, it becomes possible to stereoscopically measure the size of the object displayed on the stereoscopic video apparatus and the distance between the objects, and thus particularly a stereoscopic endoscope apparatus is used. Effective in diagnosis and surgery.

1 立体撮像装置
2 画像信号生成装置
3 映像信号生成装置
4 ディスプレー
5 立体ノギス像生成装置
11 第1の撮像装置
12 第2の撮像装置
13 コンバージェンス点
14,15 主点
16 内視鏡先端筒
18 コンバージェンス面
19 基準線
21 ポインター像表示装置
22 座標演算装置
23 距離演算装置
24 操作盤
25 記憶装置
31 Y軸用シーソースイッチ
32 十字キー
33 押しボタンスイッチ
34 押しボタンスイッチ
35 押しボタンスイッチ
36 ラチェット付きバーニア
37 トラッキングボール
38 アンビル
39 スピンドル
41 表示画面
42 ポインター像
43 ポインター像
44 結合線
45 距離数値表示
46 対象物像
47 立体ノギス像
48 フレーム
49 ラチェット付きバーニア
51,52 光軸
53 コンバージェンス点
54 コンバージェンス面
55 立体表示領域水平境界
56 立体表示領域垂直境界
57 観測点
61 左目用の画像
62 右目用の画像
63,64,65,66 表示された点
DESCRIPTION OF SYMBOLS 1 Stereoscopic imaging device 2 Image signal generation device 3 Video signal generation device 4 Display 5 Stereoscopic caliper image generation device 11 1st imaging device 12 2nd imaging device 13 Convergence points 14 and 15 Main point 16 Endoscope tube 18 Convergence Surface 19 Reference line 21 Pointer image display device 22 Coordinate operation device 23 Distance operation device 24 Operation panel 25 Storage device 31 Y-axis seesaw switch 32 Cross key 33 Push button switch 34 Push button switch 35 Push button switch 36 Vernier 37 with ratchet Tracking Ball 38 Anvil 39 Spindle 41 Display screen 42 Pointer image 43 Pointer image 44 Bonding line 45 Distance numerical display 46 Object image 47 Solid caliper image 48 Frame 49 Ratcheted vernier 51, 52 Optical axis 53 Convergence point 54 Image 62 image 63, 64, 65, 66 points are displayed for the right eye of the convergence plane 55 stereoscopic display area horizontal boundary 56 three-dimensional display area vertical boundary 57 observation points 61 for the left eye

Claims (8)

第1の撮像装置と第2の撮像装置とを備えた立体撮像装置と、画像信号生成装置と、立体映像信号生成装置と、ディスプレーと、を備えた立体映像表示装置において、
前記ディスプレーに表される立体画像中に表示されるポインターの位置を指定する操作端を備える操作盤と、
前記ポインターの位置情報を生成して供給するポインター像表示装置と、
前記ポインターの位置情報を入力して前記立体撮像装置に固定される座標系であって、前記第1の撮像装置の光軸と前記第2の撮像装置の光軸が交差する角を2等分する2等分線を1つの座標軸とする直交座標系において該ポインターの3次元位置を表す座標値を算定する座標演算装置と、
前記立体画像中の2つのポインターについて算定された座標値に基づいて該2つのポインター間の実体距離値を算定して供給する距離演算装置と、
を備え、
前記立体映像信号生成装置が、前記ポインターの位置情報を入力して前記第1の撮像装置による画像と前記第2の撮像装置による画像のそれぞれにポインターの像を加えた画像信号を生成して前記ディスプレーに伝達し、前記2つのポインターの間の実体距離値を入力して数値表示する画像信号を生成して前記ディスプレーに伝達し、
前記ディスプレーが前記ポインターの像と前記2つのポインター間の実体距離値を表示する
立体映像表示装置の立体ノギス像形成装置。
In a stereoscopic video display device including a stereoscopic imaging device including a first imaging device and a second imaging device, an image signal generation device, a stereoscopic video signal generation device, and a display,
An operation panel including an operation end for designating a position of a pointer displayed in the stereoscopic image represented on the display;
A pointer image display device that generates and supplies position information of the pointer;
A coordinate system in which positional information of the pointer is input and fixed to the stereoscopic imaging device, and an angle at which the optical axis of the first imaging device and the optical axis of the second imaging device intersect is divided into two equal parts. A coordinate calculation device for calculating a coordinate value representing a three-dimensional position of the pointer in an orthogonal coordinate system having a bisector as one coordinate axis ;
A distance calculation device that calculates and supplies an actual distance value between the two pointers based on coordinate values calculated for the two pointers in the stereoscopic image;
With
The stereoscopic video signal generation device inputs position information of the pointer, generates an image signal obtained by adding a pointer image to each of the image by the first imaging device and the image by the second imaging device, and Transmit to the display, input an actual distance value between the two pointers to generate a numerical display image signal and transmit to the display,
A three-dimensional caliper image forming device of a three-dimensional image display device, wherein the display displays an actual distance value between the pointer image and the two pointers.
前記第1の撮像装置による画像と前記第2の撮像装置による画像のそれぞれにおけるポインターの立体像位置は、前記第1の撮像装置と前記第2の撮像装置の光軸の交点であるコンバージェンス点における前記1つの座標軸に垂直なコンバージェンス面を、前記ポインターがあるべき位置に向けた前記第1の撮像装置の視線が通過する点の座標と前記ポインターに向けた前記第2の撮像装置の視線が通過する点の座標によりそれぞれ指定することを特徴とする請求項記載の立体ノギス像形成装置。 The position of the three-dimensional image of the pointer in each of the image by the first imaging device and the image by the second imaging device is at a convergence point that is the intersection of the optical axes of the first imaging device and the second imaging device. The coordinates of the point at which the line of sight of the first imaging device passes the convergence plane perpendicular to the one coordinate axis to the position where the pointer should be and the line of sight of the second imaging device toward the pointer pass. 2. The three-dimensional caliper image forming apparatus according to claim 1 , wherein the three-point caliper image forming apparatus is designated by coordinates of points to be performed. さらに、前記2つのポインターの位置を測定長の端点とする立体ノギス像を表示する画像信号を形成して供給する立体ノギス像表示装置を備えて、
前記立体映像信号生成装置が、前記立体ノギス像を表示する画像信号を入力して前記第1の撮像装置による画像と前記第2の撮像装置による画像のそれぞれに該立体ノギス像を加えて表示する画像信号を生成して前記ディスプレーに伝達し、
前記ディスプレーが該立体ノギス像を3次元表示すること
を特徴とする請求項1または2記載の立体ノギス像形成装置。
Furthermore, a solid caliper image display device is provided that forms and supplies an image signal for displaying a solid caliper image with the position of the two pointers as the end point of the measurement length,
The stereoscopic video signal generation device inputs an image signal for displaying the stereoscopic caliper image, and displays the image by adding the stereoscopic caliper image to each of the image by the first imaging device and the image by the second imaging device. An image signal is generated and transmitted to the display,
Said display stereoscopic caliper image forming apparatus according to claim 1 or 2, wherein the displaying 3-dimensional stereo caliper image.
前記操作盤は、映像中の前記ポインターの位置を前記2つの撮像装置の光軸の交点の位置に移動させる操作端を備えることを特徴とする請求項1からのいずれか1項に記載の立体ノギス像形成装置。 The said operation panel is provided with the operation end which moves the position of the said pointer in an image | video to the position of the intersection of the optical axis of the said 2 imaging device, The any one of Claim 1 to 3 characterized by the above-mentioned. Stereoscopic caliper image forming device. 前記第1の撮像装置と第2の撮像装置は、立体内視鏡のカメラである、請求項1からのいずれか1項に記載の立体ノギス像形成装置。 The stereoscopic vernier caliper image forming apparatus according to any one of claims 1 to 4 , wherein the first imaging device and the second imaging device are cameras of a stereoscopic endoscope. 請求項記載の立体ノギス像形成装置を備えた立体内視鏡装置。 A stereoscopic endoscope apparatus comprising the stereoscopic caliper image forming apparatus according to claim 5 . 第1の撮像装置と第2の撮像装置とを備えた立体撮像装置と、画像信号生成装置と、立体映像信号生成装置と、ディスプレーとを備えた立体映像表示装置に適用する、ポインター像の位置を立体画像中で移動させる操作端を有する操作盤とコンピュータとを備えた立体ノギス像形成装置において、
該コンピュータを、
前記立体映像信号生成装置にポインターの位置情報を供給して、前記第1の撮像装置による画像と前記第2の撮像装置による画像のそれぞれにポインターの像を加えさせて該ポインターの位置を前記ディスプレーに3次元で表示させるポインター像表示手段と、
前記操作盤の操作端から入力される信号に基づいて、前記ポインターの位置を前記ディスプレーに表される立体画像中で移動させる手段と、
前記ポインターの3次元位置を立体撮像装置に固定される座標系であって、前記第1の撮像装置の光軸と前記第2の撮像装置の光軸が交差する角を2等分する2等分線を1つの座標軸とする直交座標系の座標で表す座標演算手段と、
前記立体画像中の2つのポインターについて指定された座標に基づいて該2つのポインターの間の実体距離を算定して前記映像信号生成装置に伝達して、前記ディスプレーに該実体距離を数値表示させる距離演算手段として機能させるためのプログラム。
Position of a pointer image applied to a stereoscopic image display device including a stereoscopic imaging device including a first imaging device and a second imaging device, an image signal generation device, a stereoscopic video signal generation device, and a display In a three-dimensional caliper image forming apparatus provided with an operation panel having an operation end for moving the image in a three-dimensional image and a computer,
The computer
Pointer position information is supplied to the stereoscopic video signal generation device, and a pointer image is added to each of the image by the first imaging device and the image by the second imaging device, and the position of the pointer is displayed on the display. Pointer image display means for displaying the image in three dimensions;
Means for moving the position of the pointer in the stereoscopic image represented on the display based on a signal input from an operation end of the operation panel;
A coordinate system in which the three-dimensional position of the pointer is fixed to the stereoscopic imaging device, and the angle at which the optical axis of the first imaging device and the optical axis of the second imaging device intersect is equally divided into two, etc. Coordinate calculation means represented by the coordinates of an orthogonal coordinate system with a segment as one coordinate axis ;
Based on the coordinates specified for the two pointers in the stereoscopic image, the actual distance between the two pointers is calculated and transmitted to the video signal generation device, and the distance is displayed on the display as a numerical value. A program for functioning as a computing means.
前記ポインター像表示手段は、前記ポインターの位置を測定長の端点とする立体ノギス像を形成して前記ディスプレーに3次元で表示させることを特徴とする請求項記載のプログラム。 8. The program according to claim 7, wherein the pointer image display means forms a three-dimensional caliper image having the position of the pointer as an end point of the measurement length and displays it on the display in three dimensions.
JP2010017179A 2010-01-28 2010-01-28 Stereoscopic caliper image forming device and program for stereoscopic video display device Expired - Fee Related JP5467683B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010017179A JP5467683B2 (en) 2010-01-28 2010-01-28 Stereoscopic caliper image forming device and program for stereoscopic video display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010017179A JP5467683B2 (en) 2010-01-28 2010-01-28 Stereoscopic caliper image forming device and program for stereoscopic video display device

Publications (2)

Publication Number Publication Date
JP2011153995A JP2011153995A (en) 2011-08-11
JP5467683B2 true JP5467683B2 (en) 2014-04-09

Family

ID=44540068

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010017179A Expired - Fee Related JP5467683B2 (en) 2010-01-28 2010-01-28 Stereoscopic caliper image forming device and program for stereoscopic video display device

Country Status (1)

Country Link
JP (1) JP5467683B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10091489B2 (en) 2012-03-29 2018-10-02 Sharp Kabushiki Kaisha Image capturing device, image processing method, and recording medium
JP5996233B2 (en) * 2012-03-29 2016-09-21 シャープ株式会社 Imaging device
JP6113416B2 (en) * 2012-04-04 2017-04-12 シャープ株式会社 Image capturing apparatus, image processing method, and program
WO2013168736A1 (en) 2012-05-09 2013-11-14 Necカシオモバイルコミュニケーションズ株式会社 3d image display device, cursor display method of same, and computer program
JP6112689B1 (en) * 2016-02-17 2017-04-12 株式会社菊池製作所 Superimposed image display system
JP6142462B1 (en) * 2016-02-17 2017-06-07 株式会社菊池製作所 Superimposed image display system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0774725B2 (en) * 1989-08-21 1995-08-09 株式会社機動技研 Measuring method on TV image
JPH0816650B2 (en) * 1990-01-17 1996-02-21 東京都 Driving inspection device
JP2662540B2 (en) * 1992-11-26 1997-10-15 松下電器産業株式会社 3D distance measuring device
JPH10271532A (en) * 1997-03-25 1998-10-09 Sanyo Electric Co Ltd Real microscope stereoscopic vision system
JPH11304481A (en) * 1998-04-24 1999-11-05 Sumitomo Metal Mining Co Ltd Distance measuring method utilizing image analysis
JP2002336188A (en) * 2001-05-21 2002-11-26 Olympus Optical Co Ltd Endoscope system for measurement
JP2005136726A (en) * 2003-10-30 2005-05-26 Canon Inc Device, system, and method for displaying thee-dimensional image, and program
JP2005233801A (en) * 2004-02-20 2005-09-02 Mitsutoyo Corp Condition display system for displacement detection-measuring machine
JP2007187590A (en) * 2006-01-16 2007-07-26 I Systems:Kk Three-dimensional measuring device

Also Published As

Publication number Publication date
JP2011153995A (en) 2011-08-11

Similar Documents

Publication Publication Date Title
JP5441527B2 (en) Stereoscopic image forming apparatus for stereoscopic video display apparatus
KR102397670B1 (en) Surgical system with haptic feedback based upon quantitative three-dimensional imaging
TWI520576B (en) Method and system for converting 2d images to 3d images and computer-readable medium
JP5032343B2 (en) Method and apparatus for displaying a virtual object, and method and apparatus for overlaying a virtual object on an environmental image
JP5467683B2 (en) Stereoscopic caliper image forming device and program for stereoscopic video display device
CN106456267A (en) Quantitative three-dimensional visualization of instruments in a field of view
JP7379704B2 (en) System and method for integrating visualization camera and optical coherence tomography
JP2017518147A (en) Quantitative three-dimensional imaging of surgical scenes
US10386633B2 (en) Virtual object display system, and display control method and display control program for the same
KR20120004479A (en) Synthetic representation of a surgical robot
KR20150085797A (en) Information processing apparatus and information processing method
JP2001522098A (en) Image processing method and apparatus
US12099200B2 (en) Head wearable virtual image module for superimposing virtual image on real-time image
CN113925441B (en) Imaging method and imaging system based on endoscope
JP2016110177A (en) Three-dimensional input device and input system
JPH06131442A (en) Three-dimensional virtual image modeling device
JP2017205343A (en) Endoscope device and method for operating endoscope device
US12023208B2 (en) Method for operating a visualization system in a surgical application, and visualization system for a surgical application
JP5582958B2 (en) 3D pointer device
Kim et al. Computer assisted 3D measurements for micro-surgery
JP2006085375A (en) Image processing method and image processor
JP3425402B2 (en) Apparatus and method for displaying stereoscopic image
JP2006340017A (en) Device and method for stereoscopic video image display
JP3546756B2 (en) Spatial coordinate input device
WO2023140120A1 (en) Surgical robot system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131209

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20131226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20131226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140127

R150 Certificate of patent or registration of utility model

Ref document number: 5467683

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees