WO2017204211A1 - 計測装置、計測方法及び計測プログラム - Google Patents

計測装置、計測方法及び計測プログラム Download PDF

Info

Publication number
WO2017204211A1
WO2017204211A1 PCT/JP2017/019175 JP2017019175W WO2017204211A1 WO 2017204211 A1 WO2017204211 A1 WO 2017204211A1 JP 2017019175 W JP2017019175 W JP 2017019175W WO 2017204211 A1 WO2017204211 A1 WO 2017204211A1
Authority
WO
WIPO (PCT)
Prior art keywords
graph
point
image
designated
designated point
Prior art date
Application number
PCT/JP2017/019175
Other languages
English (en)
French (fr)
Inventor
大輔 村山
徳井　圭
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2017204211A1 publication Critical patent/WO2017204211A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Definitions

  • One embodiment of the present invention relates to a measurement apparatus and a measurement method for measuring position information corresponding to a point on a target image obtained by imaging a target object.
  • a measurement device that performs measurement by specifying a measurement point on a target image obtained by capturing an object and acquiring three-dimensional information (position information) at that point.
  • a measuring device that acquires and measures such three-dimensional information as a measuring device that measures a scratch, a defect, or the like (measurement point) generated in a mechanical part (object).
  • feature points are specified in detail at intervals smaller than the pixel interval of the original image (image obtained by imaging an object and sampling data at a predetermined pixel interval). And measure.
  • feature points on the original image are specified in units smaller than the pixel interval of the original image, a pseudo-sampled image is generated that is resampled according to the amount of movement of the specified point, and the pseudo-sampled image is further expanded And display.
  • Japanese Patent Publication Japanese Patent Laid-Open Publication No. 2006-15117 (published on January 19, 2006)”
  • points are specified on an enlarged image obtained by enlarging a pseudo-sampled image in order to specify feature points at an interval finer than the pixel interval of the original image.
  • Image enlargement is performed by an interpolation method such as nearest neighbor interpolation, linear interpolation, or bicubic interpolation.
  • feature points such as the edge of the subject (target object) become gentle, so before interpolation. Compared with the blur. This becomes more prominent as the enlargement ratio increases. Therefore, if the image is enlarged to specify a detailed position, the feature point is blurred, and it may be difficult to know where the desired position is. In particular, in the case of a point with few features before the interpolation, it may be assumed that the desired point itself cannot be determined.
  • One aspect of the present invention has been made in view of the above points, and an object thereof is to provide a measuring device and a measuring method capable of specifying and measuring a desired point in detail by a user. .
  • a measurement device is a measurement device that outputs three-dimensional position information corresponding to a point on a target image obtained by imaging a target, and receives a designation of a first designated point on the target image.
  • the image processing unit that causes the display unit to display a graph indicating changes in pixel values in a specific range including the first designated point in the target image, and the display unit, A second point designating unit that accepts designation of a second designated point on the target image in a state where the graph is displayed; and an output unit that outputs three-dimensional position information corresponding to the second designated point. ing.
  • the measurement method is a measurement method for outputting three-dimensional position information corresponding to a point on a target image obtained by imaging a target, and sets the position of a first designated point on the target image.
  • a second designated point setting step for setting a second designated point on the target image, and an output step for outputting three-dimensional position information corresponding to the second designated point.
  • the graph 302 which concerns on this embodiment is shown, (a) is the data of a pixel unit, (b) is the data which interpolated the pixel value between the pixels of (a).
  • the graph 302 which concerns on this embodiment is shown, (a) is before extending
  • the graph 302 which concerns on this embodiment is shown, (a) is before changing the display range of an axis
  • Embodiment 1 Hereinafter, one embodiment of a measuring device and a measuring method concerning one mode of the present invention is described in detail with reference to drawings.
  • the configuration described in the present embodiment is merely an illustrative example, and is not intended to limit the scope of the present invention only to that unless otherwise specified.
  • Each figure is for explanation, and may differ from the actual one.
  • FIG. 1 is a block diagram showing a configuration of a measuring apparatus 1 in the present embodiment.
  • the measuring device 1 of this embodiment is a device that measures position information (three-dimensional position information) corresponding to a point on a target image obtained by capturing an object.
  • the measuring apparatus 1 includes a first point specifying unit 10, an image processing unit 11, a measurement processing unit 12 (calculation unit, output unit), a display unit 13, and a second point specifying unit 14.
  • the image information and distance information of the target image obtained by capturing the target object are input to the measuring device 1 from the outside.
  • the image information includes data of a target image obtained by imaging the measurement range and camera parameters of the imaging device (imaging unit) used for imaging.
  • the camera parameter is information such as the focal length and principal point coordinates of the imaging device and the resolution of the image, and is used in a measurement value calculation process in the measurement processing unit 12 described later.
  • the camera parameters may be input to the measurement apparatus 1 separately from the image information. Further, when the camera parameter is not required for calculation of the measurement value, such as when the measurement value is only the distance information, the camera parameter may not be input to the measurement device 1.
  • the measuring device 1 of this embodiment is set as the structure which inputs image information from the outside, it is made to measure from the image information imaged with the imaging device as a structure which includes the imaging device (imaging part) in the measuring device 1.
  • the imaging device includes, for example, an optical system such as a lens module, an image sensor such as a CCD (Charge-Coupled Device) and a CMOS (Complementary Metal-Oxide Semiconductor), an analog signal processing unit, and an A / D (Analog / Digital) conversion unit. Etc., and outputs a signal from the image sensor as an image.
  • the distance information is the distance from the imaging device that captured the image to the object, and is information on the distance value within the imaging range of the image.
  • the distance information is acquired by a distance measuring unit using a known distance measuring method. Examples of the distance measurement method include a method using infrared rays, a stereo method, and the like typified by a TOF (Time Of Flight) method.
  • TOF Time Of Flight
  • the distance information is input to the measurement device 1 from the outside, but the distance measurement unit may be included in the measurement device 1.
  • distance information is acquired by a stereo method, for example, image processing is performed based on image information of a stereo pair input from the outside or image information of a stereo pair captured by providing two imaging devices in the measurement device 1.
  • the unit 11 may calculate distance information.
  • the first point designating unit 10 receives an input operation of a user (user of the measuring device 1), and is a first measurement point desired by the user on a target image input from the outside based on the content of the input operation. Set the position of one designated point. Specifically, the user determines the position of the first designated point by confirming the target image displayed on the display unit 13. Information on the first designated point designated by the first point designating unit 10 is output to the image processing unit 11.
  • the user's input operation in the first point designating unit 10 is performed by an input device such as a mouse or a keyboard, for example.
  • the input device may be configured to be included in the first point designating unit 10, or provided outside the measuring device 1, and configured to input information of input operation to the first point designating unit 10. It doesn't matter.
  • the image processing unit 11 Based on the image information input from the outside and the information on the first specified point input from the first point specifying unit 10, the image processing unit 11 includes pixels in a specific range including the first specified point in the target image. Generate a graph showing the change in value. The change in the pixel value is based on the pixel information data of the target image, and indicates a change in the pixel value of the pixel accompanying a change in the pixel position of the pixel existing in the range in the specific direction on the target image.
  • the image processing unit 11 includes pixels in a specific range of pixel information including the first designated point. Pixel related information obtained by interpolating pixel values between them is calculated to generate a graph.
  • One of the points of one aspect of the present invention is that at least a part of the graph generated by the image processing unit 11 is visually emphasized. By visually enhancing at least a part of the graph, the user can specify a desired measurement point in detail.
  • the graph is a curve graph.
  • the generated graph is output to the display unit 13. Details of the pixel related information and the graph will be described later.
  • the image processing unit 11 generates a waveform graph.
  • the measurement processing unit 12 includes information on the first designated point inputted by the first point designating unit 10, information on the second designated point inputted by the second point designating unit 14 described later, and image information inputted from the outside. Then, based on the distance information, the three-dimensional information of the first designated point and the second designated point, and the position information (three-dimensional position information) of the measurement value based on the three-dimensional information are calculated. The calculated position information is output to the display unit 13. Details of the measurement value and the measurement value calculation process will be described later.
  • the display unit 13 displays the target image included in the input image information and the graph generated by the image processing unit 11.
  • the display unit 13 displays a range image that is an image of a specific range including the first designated point set by the first point designating unit 10 and a measurement value calculated by the measurement processing unit 12.
  • the display unit 13 is a display device including, for example, a liquid crystal element and an organic EL (Electro Luminescence) as a pixel.
  • the display unit 13 may be provided outside the measurement device 1.
  • a television display, a PC (Personal Computer) monitor, or the like may be used as the display unit 13, or a display of a mobile terminal such as a smartphone or a tablet terminal may be used as the display unit 13.
  • first point designating unit 10, the second point designating unit 14, and the display unit 13 may be mounted as a touch panel (for example, a resistive film type or a capacitive type touch panel) integrally configured.
  • the second point designating unit 14 accepts the user's input operation and sets the position of the second designated point on the target image based on the content of the input operation.
  • the second designated point is a designated point designated in order to set a user's desired measurement point in more detail, and the position of the second designated point is on the graph generated by the image processing unit 11. Is set.
  • the user's input operation at the second point designating unit 14 is performed by an input device such as a mouse or a keyboard, for example.
  • the second point designating unit 14 may designate the second designated point on the graph generated by the image processing unit 11 and the range image displayed on the display unit 13. Details of the designation of the second designated point will be described later.
  • FIG. 2 is a flowchart showing an example of processing of the measuring apparatus 1.
  • FIG. 3 is an example of a display displayed on the display unit 13. As shown in FIG. 3, the display range 30 displayed on the display unit 13, the input image (target image) 300 that is image information input to the measurement apparatus 1, and an image in a specific range including the first designated point.
  • the range image 301, the first graph 302 representing the change in the pixel value of the range in the specific axial direction centered on the first designated point, and the position of the second designated point to be selected on the waveform of the first graph 302 are shown.
  • a second graph 304 representing a change in the pixel value in the axial direction perpendicular to the axial direction representing the first graph 302 at the first designated point, and a second selected on the waveform of the second graph 304
  • a symbol 305 indicating the position of the designated point
  • an instruction icon 306 indicating the position designated by the user using the input device
  • a determination button 307 for determining the designated point
  • a result display position 308 for displaying the measurement result
  • step S101 is an input image display step.
  • the display setting of the input image 300 is performed so that at least the measurement target range in the image is displayed. For example, when the entire image is the measurement target range, if the resolution of the input image is smaller than the resolution of the display range of the display device, the entire image is displayed as it is displayed or enlarged To do. When the resolution of the input image is larger than the resolution of the display range of the display device, the input image is set to be reduced or cut out for display.
  • step S102 the first point designating unit 10 accepts that the user has designated a point to be a desired measurement point on the input image 300, and uses the coordinates of the designated point as the first designated point.
  • the user moves the instruction icon 306 on the input image 300 to designate the first designated point.
  • the first designated point is position information with pixel unit accuracy in the coordinate system of the input image 300, and when the display of the input image 300 is cut or reduced, the first specified point is based on the cut position or the reduction ratio. And calculated as position information in the coordinate system of the original input image.
  • the information of the first designated point is output to the image processing unit 11, and the process proceeds to step S103.
  • step S ⁇ b> 103 the image processing unit 11 generates a graph indicating changes in pixel values based on information (pixel values) of pixels in a specific range including the first designated point of the input image 300.
  • step S103 the image processing unit 11 calculates pixel related information based on information of pixels in a specific range including the first designated point of the input image 300, and the calculated pixel related information Generate a graph based on it.
  • the pixel information is any one or a plurality of information of luminance values, color values (R, G, B components) or numerical values calculated from them.
  • the pixel related information is obtained by interpolating pixel information in a unit smaller than the pixel unit of the original input image that has not been subjected to reduction or the like.
  • a graph is generated along two orthogonal axes at the first designated point, and the graph is generated based on pixel-related information calculated on each axis.
  • a first graph 302 showing changes in pixel values in the horizontal direction and a graph 304 showing changes in pixel values in the vertical direction are displayed.
  • the first graph 302 has the horizontal pixel value as the vertical axis and the horizontal position of the input image as the horizontal axis
  • the second graph 304 has the vertical pixel value as the horizontal axis and the vertical position of the input image as the vertical axis. It is said.
  • step S103 The graph generated in step S103 is output to the display unit 13, and the process proceeds to step S104.
  • step S ⁇ b> 104 the first graph 302 generated in the image processing unit 11, the second graph 304, and the range image 301 cut out from the input image 300 are displayed on the display unit 13.
  • the range image 301 is cut out in a rectangular range according to a specific range including the first designated point used to generate the graph, and is interpolated and enlarged according to the interpolation magnification of the pixel related information. Note that the range image does not necessarily need to be interpolated and enlarged. For example, when the input image is displayed in a reduced size, the same size input image may be cut out and used as it is as the range image.
  • step S104 is a graph display step (display step).
  • Step S103 before step S104 can be the first half of the graph display step (display step).
  • the process proceeds to step S105.
  • step S105 in the state where the user confirms the first graph 302 and the second graph 304 displayed on the display unit 13, the user's desired image is displayed on the range image 301 or each graph by an input device such as a mouse. Specify the point to be the measurement point.
  • the second point designating unit 14 sets the designated position as the second designated point. That is, step S105 is a second designated point setting step.
  • the position of the second designated point can be set as position information in units smaller than the pixel unit of the input image 300.
  • the designation of the second designated point position by the user is performed by operating the instruction icon 306 with the input device and moving the symbols 303 and 305 indicating the selected positions.
  • the symbols 303 and 305 move only on the waveform of each graph, and the horizontal position is determined by the symbol 303 on the first graph 302, and the vertical position is determined by the symbol 305 on the second graph 304.
  • the Details of the designation method and the graph display at the time of designation will be described later.
  • the second point designating unit 14 sets the horizontal and vertical positions corresponding to the pixel positions designated on the first graph 302 and the second graph 304 in the range image 301 as the second designated points.
  • the second designated point is set when the instruction icon 306 is moved onto the decision button 307 and decided by clicking the input device or the like.
  • the information of the second designated point is output to the measurement processing unit 12, and the process proceeds to step S106.
  • step S106 the measurement processing unit 12 calculates three-dimensional position information at the position of the second designated point (measurement point) based on the image information and the distance information. That is, step S106 is a calculation step.
  • 3D position information is information representing a 3D position in the camera coordinate system. A method for calculating the three-dimensional position information will be described later.
  • the measurement value may be distance information or 3D position information itself, or may be a numerical value that can be calculated from the 3D position information.
  • a plurality of measurement points can be selected. If a plurality of measurement points are designated by repeating steps S102 to S106 a plurality of times, the length between two points or Measurement values such as the area of a plane surrounded by points can be calculated. It is also possible to calculate a straight line passing through a plurality of points, or to calculate a measured value such as a distance between the straight line and the point, an angle formed by the straight line and the straight line, or a distance between the plane and the point. Thus, a numerical value that can be calculated using a known technique such as a point-to-point relationship in a three-dimensional space can be used as a measurement value.
  • the calculated three-dimensional position information is output to the display unit 13, and the process proceeds to step S107.
  • step S107 the display unit 13 displays (outputs) the calculated measurement value (three-dimensional position information) (output step).
  • the calculated measurement value can also be output to the outside of the measurement apparatus 1.
  • the measurement value is displayed at the result display position 308. Note that the measurement value may be displayed superimposed on the input image 300 or the range image 301.
  • the result display position 308 is preferably displayed so that the user can easily confirm the measurement value.
  • the measurement apparatus 1 of the present embodiment performs measurement by the above procedure.
  • the pixel related information calculated in step S103 is calculated based on information about pixels around the first designated point of the input image 300.
  • the pixel information used for calculating the pixel related information includes a luminance value, a color value (R, G, B component), a color difference signal, or a differential value or a secondary differential value calculated from those numerical values.
  • RGB color value
  • B component color difference signal
  • differential value or a secondary differential value calculated from those numerical values.
  • the pixel information used for the calculation of the pixel related information is information corresponding to a predetermined number of pixels in two axial directions orthogonal to each other at the first designated point.
  • the second designated point is designated within the range of the number of pixels.
  • the number of pixels is the second designated point position desired by the user in consideration of the resolution of the input image and the distance information of the first designated point position, the designation error of the first designated point by the user, the interpolation magnification of the pixel related information, etc.
  • the minimum range in the vicinity is included, and the graph is set to a size that fits within the display range of the display unit 13.
  • the pixel information used for the calculation of the pixel related information may be freely selectable by the user, or may be automatically selected by the measuring device 1.
  • selection can be made with a graph that the user has determined to be appropriate.
  • the color information having the largest difference between the maximum value and the minimum value in each component is obtained.
  • the pixel related information may be calculated from information on any one pixel, or may be calculated from information on a plurality of pixels.
  • respective graphs may be displayed at different positions, or a plurality of waveforms may be simultaneously displayed on one graph.
  • it is desirable to display the minimum necessary information as a graph because there is a possibility that the display becomes complicated if the information increases too much, or that it becomes difficult for the user to specify a point due to an increase in judgment criteria. Therefore, as described above, when the most characteristic information is automatically selected and displayed as a graph, the user can easily specify a point based on the most characteristic information. is there.
  • the pixel related information is calculated by interpolating in units smaller than the pixel unit of the input image 300 based on the pixel information of the input image 300.
  • Interpolation is performed by a general method such as spline interpolation or Lagrangian interpolation.
  • a simple interpolation method such as nearest neighbor interpolation or linear interpolation, it is highly possible that the interpolation accuracy is low. Therefore, it is desirable that the interpolation method has a higher accuracy as described above.
  • FIG. 4 shows a comparative example of the graph before and after pixel value interpolation.
  • FIG. 4 shows a graph before and after interpolation of luminance values in a range of a predetermined number of pixels on the horizontal axis with respect to the input image 300.
  • FIG. 4A is a graph of luminance values before interpolation in which pixel-related information is not calculated, and only information on the position of each pixel is displayed.
  • FIG. 4B is a graph of the interpolated luminance value obtained by calculating the pixel related information, and information on the position of the unit smaller than the pixel unit is displayed.
  • the display range 30 displayed on the display unit 13 is easy to specify the second designated point when the input image, each graph, and the range image are displayed in such an arrangement that the correspondence between the positions can be understood. Therefore, it is preferable.
  • the broken line and the alternate long and short dash line shown in FIG. 3 are displays for easy understanding of the positional relationship between the range around the first designated point of the input image 300 and the range image 301 and the positional relationship between the range image 301 and the graphs 302 and 304. It is an example of a method.
  • the display method is not limited to the example of FIG. 3 as long as it is easy to determine the positions of the first designated point and the second designated point.
  • each graph is superimposed on the range image 301.
  • the range image 301 may be cut out in each axial direction and displayed as a separate image.
  • the range image 301 displays only the range corresponding to the graphs 302 and 304, displaying the range image 301 makes it easy to understand the positional relationship between the graphs 302 and 304 and the range image 301.
  • the range image 301 may not be displayed.
  • the processing for generating and displaying the range image 301 is reduced and the display is simplified.
  • the input image 300 may not always be displayed. For example, in the processing flow described later, the input image 300 is displayed when the first designated point is designated, and the input image 300 is hidden when the graphs 302 and 304 and the range image 301 are displayed. It doesn't matter. By doing so, the position currently designated by the user becomes clearer. However, since it may be difficult to know where the graphs 302 and 304 are in the input image 300, it is preferable that the user can select whether or not the input image 300 is displayed.
  • the display sizes of the graphs 302 and 304 and the range image 301 displayed in the display range 30 are set according to the number of pieces of pixel related information for generating the graph.
  • the horizontal size of the waveform of the horizontal graph is set to be displayed on the display unit 13 with the number of pixels equal to or greater than the number of graph data.
  • points on the waveform of the graph can be specified at least in units of pixels of the resolution of the display unit 13.
  • the display unit 13 has a high resolution, in order to specify in units of pixels of the display unit 13, the user needs to perform a slight operation using the input device, which is difficult to specify.
  • the generated graph can be displayed in the display range 30 by expanding the display size with respect to the axial direction indicating the pixel position on the image.
  • FIG. 5 shows a comparative example before and after the expansion of the graph.
  • FIG. 5 is a graph showing changes in luminance values on the horizontal axis in the range image 301.
  • FIG. 5A is a graph in which the resolution of the display device and the number of pieces of pixel-related information are set to be equal, and does not expand in the horizontal axis direction.
  • FIG. 5B is a graph obtained by extending the entire graph of FIG. 5A in the horizontal axis direction. In FIG. 5 (a), continuous points are displayed as waveforms, but in FIG.
  • FIG. 5 (b) data is spaced and displayed as a point cloud.
  • the range image 301 may be enlarged in accordance with the expansion rate of the graph, or the range image is not enlarged, and the position specified on the graph and the range image are displayed. You may display the symbol which can understand the correspondence of the position of.
  • FIG. 5C is a graph obtained by extending only the range of interest in the graph of FIG. 5A in the horizontal axis direction, and the range of interest 50 is enlarged and displayed as shown in FIG.
  • the position is designated once on the graph of FIG. 5A, and only the range in the vicinity thereof is expanded to display the attention range 50.
  • the display size of the entire graph is not changed from that in FIG. 5A, and the same effect as that in the case of expansion in FIG. 5B can be obtained.
  • the generated graph can be displayed in the display range 30 by extending the display size with respect to the axial direction indicating the pixel value of the target image.
  • a graph generated by setting a display range of an axis indicating the pixel value of the target image can be displayed.
  • FIG. 6 is shown as a comparative example before and after emphasizing the gradient of the graph.
  • FIG. 6 is a graph showing changes in luminance values on the horizontal axis in the range image 301.
  • FIG. 6A is a graph before the change of the luminance value display range
  • FIG. 6B is a graph after the change of the luminance value display range.
  • the waveform in FIG. 6A has an amplitude in the range from 120 to 160 with the luminance value, and the display range of the axis of the luminance value is in the range from 0 to 255.
  • the waveform of FIG. 6 (b) is similar to FIG.
  • the luminance value is in the range of 120 to 160, but the display range of the axis of the luminance value is in the range of 110 to 170.
  • the waveform amplitude is emphasized.
  • a desired measurement point is designated on a graph with few features by changing the display range setting of the axis of the luminance value according to the minimum value and the maximum value of the luminance value of the graph thus generated. Even in this case, the gradient of the waveform is emphasized and the change point of the waveform becomes easy to understand, which makes it easy to determine the second designated point.
  • the gradient emphasis method is not limited to the above-described method, and the gradient of the waveform of the graph may be emphasized by actually changing the numerical value.
  • the average value of the pixel values is calculated, and by increasing the magnification in the axial direction of the pixel values away from the calculated average value, the maximum and minimum luminance values of the displayed graph are displayed.
  • the gradient may be emphasized by widening the value difference.
  • by calculating the degree and display range from the maximum value and the minimum value of the pixel related information displayed on the graph it is possible to automatically generate a graph in which the gradient is emphasized.
  • the input image 300 and the graphs 302 and 304 being designated are displayed in a large size. It may be displayed brightly or highlighted. Thereby, since the area
  • the second designated point designates a desired measurement point on the input image 300 by moving a symbol superimposed on the waveforms of the graphs 302 and 304.
  • a horizontal position is designated by a symbol 303 on the horizontal graph 302
  • a vertical position is designated by a symbol 305 on the vertical graph 304.
  • the horizontal graph 302 or the vertical graph 304 is designated one by one in order.
  • FIG. 7 shows a display example when the horizontal position of the second designated point is moved by moving the symbol 303 on the horizontal graph 302.
  • 7A and 7B are display examples of the range image 301, the horizontal graph 302, and the vertical graph 304 shown in FIG. 3, and FIG. 7A shows the horizontal position of the second designated point.
  • FIG. 7B shows a state before the movement, and a state after the horizontal position of the second designated point is moved.
  • the position of the alternate long and short dash line 701 is set according to the designation of the second designated point. It moves to the position of the alternate long and short dash line 711.
  • the alternate long and short dash line 701 indicates the position of the range image 301 corresponding to the horizontal position of the symbol 303 in the horizontal graph 302, and the alternate long and short dash line 702 indicates the range image corresponding to the horizontal position of the symbol 712 in the horizontal graph 302.
  • the position 301 is shown.
  • the waveform 700 of the vertical direction graph 304 shows a change in luminance value corresponding to the range of the alternate long and short dash line 701 on the range image 301
  • FIG. 7B the range of the alternate long and short dashed line 711.
  • a waveform 710 of a change in luminance value corresponding to is displayed.
  • the symbol 305 superimposed on the vertical graph 304 in FIG. 7A becomes the position of the symbol 713 in FIG. 7B in accordance with the change in the waveform of the vertical graph 304.
  • the vertical positions of the symbol 305 and the symbol 713 are the same, and the luminance value is a position corresponding to the change in the waveform of the graph 304.
  • the image processing unit 11 calculates the pixel related information again and redisplays the graph.
  • the designation of the second designated point in the horizontal graph 302 and the vertical graph 304 and the redisplay of the graph are repeated until the measurement point desired by the user is reached, and the final second designated point is determined.
  • the designation method using the graph is not limited to the above method of moving the symbol, and a point on the waveform of the graph may be directly designated, or the selected position may be moved around the graph display.
  • the second designated point may be moved and selected by arranging the button and designating the button.
  • the user can move the designated position of the second designated point by selecting the button by arranging a button for moving the second designated point one by one, a button for moving the second designated point by ten points, and the like. it can.
  • the designated position of the second designated point may be moved by a numeric key or a cross key on the keyboard.
  • the second designated point may be moved by shifting the waveform of the graph.
  • the position of the second designated point is always fixed at the center position of the graph, and the waveform of the graph is shifted by dragging the graph waveform or by operating the button or keyboard described above.
  • the second designated point can be moved.
  • the detailed positions of the second designated points on the horizontal graph 302 and the vertical graph 304 can be designated separately.
  • an error such as a shift of the specified position in an unintended direction due to a user operation error is likely to occur, but only in one direction in the horizontal direction or the vertical direction. Since it is moved, it is possible to reduce the designation error and designate with high accuracy.
  • the three-dimensional position information can be calculated as follows.
  • the distance information input to the measuring apparatus 1 is information in units of pixels of the input image 300, there may be no distance information of the second designated point position in units smaller than the unit of pixels. Therefore, the distance information is calculated by interpolating in units smaller than the pixel unit in the same manner as the pixel-related information interpolation method.
  • the coordinates of the second designated point are (u, v)
  • the focal length of the camera is f
  • the resolution of the input image is (W, H)
  • the three-dimensional position information (X, X and Y of Y, Z) are calculated by the formula (1).
  • the distance information is calculated by a stereo method in the configuration in which the measuring device 1 includes a distance measuring unit
  • stereo matching is performed on the second designated point in a unit smaller than the pixel unit, and the unit is smaller than the pixel unit.
  • the parallax value is calculated to calculate the distance value.
  • the distance information of the second designated point in a unit smaller than the pixel unit can be acquired. Since the stereo system is a known technique, a detailed description is omitted.
  • the waveform of the graph can be displayed in a plurality of colors instead of a single color, and the color of the waveform of the graph according to the change in the color of the pixel of the range image 301 corresponding to the graph. Can be changed.
  • the color of the waveform of the graph in accordance with the color change of the range image 301, it is possible to specify a point on the graph while checking the color change of the range image 301 on the graph.
  • the measurement device 2 according to the second embodiment is the same as the measurement device 1 according to the first embodiment, except that the waveform color of the graph is changed in accordance with the change in the color of the range image 301 and displayed.
  • processing for setting a drawing color is added when a graph is generated based on the information on the designated first designated point in step S103 shown in FIG.
  • the image processing unit 11 calculates pixel related information to generate a graph, and further sets the drawing color of the graph.
  • FIG. 8 shows a display example of the graph according to the second embodiment.
  • FIG. 8 shows an example when a grayscale image is input to the measuring apparatus 2, and a range image 80 and a horizontal direction graph 81 are shown.
  • the horizontal direction graph 81 shows a left range 810, a right range 811 and a background range 812 in which the waveform color of the graph is different.
  • the range image 80 has two gray colors having different brightness levels, and the colors of the left range 810 and the right range 811 of the waveform are drawn according to the color of the range image 80.
  • the change in the color of the range image 80 can be known from the graph.
  • the color of the waveform of the graph can be emphasized by setting the color of the background range 812 to a color different from the color set for the waveform of the graph.
  • a waveform is displayed with brightness mapped to a gradation of 16 to 255 for a black background with a gradation of 0, or mapped to a gradation of 0 to 240 for a white background with a gradation of 255. Display the waveform with brightness.
  • the color of the waveform of the graph is set with colors corresponding to the R, G, and B components in the same manner as in the case of the gray scale.
  • the pixel related information for generating the graph may be other than the luminance value or the color value.
  • the pixel related information for generating the graph may be other than the luminance value or the color value. For example, when graphing the value obtained by differentiating the R component of the color value, if the waveform is set and displayed in a color corresponding to the color value, the color information of the image can be confirmed using only the waveform of the differential value of the R component. can do.
  • the color setting does not have to be set exactly the same as the pixel information of the range image 80.
  • a color in which saturation and brightness are emphasized is set, or only a color change point is set to a chromatic color.
  • the color change can be made easier to understand.
  • the color setting of the background range 81 of the graph For example, the background is set to an achromatic color or set to a complementary color of the average color of the colors used for the waveform of the graph. This makes it easier to confirm the waveform by making the waveform of the graph different from the background color of the graph.
  • the measuring apparatus 2 sets and displays a color on a graph, so that it can know information on the color change of the image in addition to the waveform gradient information only from the graph. Therefore, it becomes easy for the user to specify a point, and the specification accuracy can be improved.
  • the point that the user wants to measure is often a characteristic point such as an edge position of the captured target object. Therefore, in the measurement apparatus 3 according to the third embodiment, the characteristics of the graph generated when the image processing unit 11 generates a graph based on the information of the first specified point specified by the first point specifying unit 10. It has a configuration for calculating point positions and presenting information on feature point positions.
  • the measurement apparatus 3 according to the third embodiment is the same as the measurement apparatus 1 according to the first embodiment except that the measurement apparatus 3 includes the above-described configuration.
  • a feature point position calculation process for the generated graph is added in the processing step S103 shown in FIG.
  • the feature point position is calculated based on the calculated pixel-related information when the image processing unit 11 generates a graph based on the information on the specified first specified point.
  • a graph in which the calculated feature point positions are superimposed is generated.
  • FIG. 9 shows a display example of a graph according to the third embodiment.
  • symbols 90, 91, and 92 that are feature point positions are displayed on the waveform of the graph.
  • Symbol 90 indicates the falling position of the waveform
  • symbol 91 indicates the rising position of the waveform
  • symbol 92 indicates the position where the numerical value changes most.
  • the rising position and the falling position of the waveform of the graph can be obtained by checking the numerical fluctuation of the pixel related information and calculating the starting position where the numerical value increases or decreases. Further, the position where the change in the numerical value of the waveform of the graph is the largest can be obtained as a position where the numerical value of the pixel related information is differentiated and the differential value becomes the maximum.
  • the feature point position is not limited to the above, and may be any position as long as it can be calculated from the pixel related information and can be considered as a point desired by the user. Further, all the feature point positions may be displayed as shown in FIG. 9, or only the feature points most likely to be desired by the user may be displayed. In addition, the user may specify whether or not to display.
  • the feature point positions are shown superimposed on the graph, so that the user can confirm the position with the largest feature on the graph and easily specify the position. If the feature point position is always selected, it is possible to reduce an error that the designated position is shifted each time the selection is made.
  • the measuring device 3 according to the third embodiment can set any one of the calculated feature point positions as the initial position of the second designated point.
  • the initial position of the second designated point is set to one of the feature point positions
  • step S104 Displayed in a state where the second designated point is designated at the feature point position of the set graph.
  • the graph is displayed with the symbol 303 superimposed on the feature point position.
  • the user may set the initial position of the second designated point as it is as the second designated point, or may designate and set another point.
  • the initial position of the second designated point is automatically set to a feature point with a large feature. Therefore, it is possible to reduce the designation error for the desired measurement point. In addition, it is possible to reduce the burden of the user specifying the feature point position.
  • the distance information for acquiring the distance information can be calculated with higher accuracy for points with more features in the stereo method. Since the feature information is selected by the above method, the distance information can be acquired with higher accuracy. Therefore, the measurement can be performed based on the highly accurate distance information.
  • the measurement device 3 according to the third embodiment calculates and presents the feature point position, and automatically sets it as the initial position of the second designated point. It becomes possible to designate a measurement point, and it is possible to reduce the designation error and the burden on the user and perform measurement with high accuracy. Note that the measuring device 3 according to the third embodiment performs one of calculating and presenting the feature point position and automatically setting the feature point position as the initial position of the second designated point. There may be.
  • the control blocks (particularly the image processing unit 11 and the measurement processing unit 12) of the measurement device may be realized by a logic circuit (hardware) formed in an integrated circuit or the like.
  • it may be realized by software using a CPU.
  • the measurement apparatus includes a CPU that executes instructions of a program that is software that realizes each function, and a ROM (Read Only Memory) in which the program and various data are recorded so as to be readable by a computer (or CPU).
  • a storage device (these are referred to as “recording media”), a RAM for developing the program, and the like.
  • the computer (or CPU) reads the program from the recording medium and executes the program, thereby achieving the object of one embodiment of the present invention.
  • a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • the program may be supplied to the computer via any transmission medium (such as a communication network or a broadcast wave) that can transmit the program.
  • any transmission medium such as a communication network or a broadcast wave
  • one embodiment of the present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the program is embodied by electronic transmission.
  • a measuring device 1 is a measuring device 1 that measures position information corresponding to a point on a target image obtained by capturing an object, and accepts designation of a first designated point on the target image.
  • a second point designating unit 14 that accepts designation of the second designated point on the target image, and position information corresponding to the second designated point are calculated.
  • a measurement processing unit 12 (calculation unit) that performs visual enhancement of a part of the graph and causes the display unit to display the graph.
  • a graph of pixel values based on characteristic pixel information is displayed, and a part of the displayed graph is visually emphasized. Therefore, when designating the second designated point based on the displayed graph, the user can designate and measure a detailed position with high accuracy based on characteristic information.
  • the second point designating unit 14 receives designation of a position on the graph, and specifies the second designated point according to the position on the graph. Good.
  • the user can designate and measure a detailed position with high accuracy based on characteristic information.
  • the display unit 13 generates a graph generated by the image processing unit 11 by interpolating pixel values between pixels existing in the image in the specific range as the graph. May be displayed.
  • the image processing unit 11 displays the two graphs, each showing changes in pixel values along two axes orthogonal to each other at the first designated point, and the display unit 13. May be displayed.
  • the position of the second designated point can be designated in each of the horizontal direction and the vertical direction, errors such as deviation of the designated position in an unintended direction due to a user operation error are reduced.
  • the measuring device 2 may change the waveform of the graph and the color of the background to display on the display unit 13.
  • the waveform gradient information and the image color change information can be known only from the graph, and the user can easily specify the point. And the designation accuracy can be improved.
  • the image processing unit 11 may enlarge a part of the graph and display the enlarged portion on the display unit 13.
  • the image processing unit 11 may detect a feature point of the graph and display the detected feature point on the display unit 13 as a candidate for the second designated point. Good.
  • the feature point position is automatically set as the initial position of the second designated point, the designation error and the burden on the user can be reduced, and the point can be designated with high accuracy.
  • a measurement method is a measurement method for measuring position information corresponding to a point on a target image obtained by capturing an object, and sets a position of a first designated point on the target image.
  • a designated point setting step a display step for displaying a graph showing a change in pixel values in a specific range including the first designated point in the target image together with the target image, and a state in which the graph is displayed
  • a second point designated point setting step for setting a second designated point on the target image, and a calculating step for calculating position information corresponding to the second designated point. This is characterized in that the part is visually highlighted.
  • a graph of pixel values based on characteristic pixel information is displayed, and at least a part of the displayed graph is visually emphasized. Therefore, when designating the second designated point based on the displayed graph, the user can designate and measure a detailed position with high accuracy based on characteristic information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

ユーザの所望の点を詳細に指定して計測することが可能な計測装置を提供する。本発明の一形態の計測装置１は、対象画像上で指定された第１指定点を含む特定の範囲の画像の画素値の変化を示すグラフを表示部１３に表示させる画像処理部１１を具備する。

Description

計測装置、計測方法及び計測プログラム
　本発明の一態様は、対象物を撮像した対象画像上の点に対応する位置情報を計測する計測装置及び計測方法に関する。
　対象物を撮像した対象画像上で計測点を指定し、その点の三次元情報（位置情報）を取得することで計測を行う計測装置がある。例えば、機械部品（対象物）においてそこに生じた傷や欠陥等(計測点)を計測する計測装置としてそのような三次元情報を取得して計測するものがある。特許文献１の内視鏡装置では、元画像（対象物を撮像して所定の画素間隔でデータをサンプリングして得られる画像）の画素間隔より細かい間隔で詳細に特徴点（計測点）を指定して計測を行う。より具体的には、元画像上の特徴点を元画像の画素間隔よりも細かい単位で指定し、指定点の移動量に応じて再サンプリングした擬似サンプリング画像を生成し、さらに擬似サンプリング画像を拡大して表示する。
日本国特許公開公報「特開２００６－１５１１７号公報（２００６年１月１９日公開）」
　特許文献１に開示されている技術では、元画像の画素間隔より細かい間隔で特徴点を指定するために、擬似サンプリング画像を拡大した拡大画像上で点を指定している。画像の拡大は最近傍補間、線形補間、双３次補間等の補間手法で行われるが、画像を補間拡大した場合、被写体（対象物）のエッジ等の特徴点がなだらかになるため、補間前と比べてぼけが大きくなってしまう。これは拡大率が大きいほど顕著となる。したがって、詳細な位置を指定するために画像を拡大すると、特徴点がぼけてしまうため、所望の位置がどこであるのか分からなくなってしまう可能性がある。特に、補間前の時点で特徴の少ない点の場合には、所望の点自体を判別できなくなってしまうことも想定される。
　本発明の一態様は上記の点に鑑みてなされたものであり、その目的は、ユーザの所望の点を詳細に指定して計測することが可能な計測装置及び計測方法を提供することにある。
　本発明の一態様の計測装置は、対象物を撮像した対象画像上の点に対応する三次元位置情報を出力する計測装置であって、前記対象画像上の第１指定点の指定を受け付ける第１点指定部と、前記対象画像と共に、前記対象画像における前記第１指定点を含む特定の範囲の画素値の変化を示すグラフを、表示部に表示させる画像処理部と、前記表示部に、前記グラフが表示されている状態で、前記対象画像上の第２指定点の指定を受け付ける第２点指定部と、前記第２指定点に対応する三次元位置情報を出力する出力部とを備えている。
　また本発明の一態様の計測方法は、対象物を撮像した対象画像上の点に対応する三次元位置情報を出力する計測方法であって、前記対象画像上において第１指定点の位置を設定する第１指定点設定ステップと、前記対象画像と共に、前記対象画像における前記第１指定点を含む特定の範囲の画素値の変化を示すグラフを表示するグラフ表示ステップと、前記グラフが表示されている状態で、前記対象画像上の第２指定点を設定する第２指定点設定ステップと、前記第２指定点に対応する三次元位置情報を出力する出力ステップとを含む。
　本発明の一態様によれば、ユーザの所望の点を詳細に指定して計測することが可能となる。
本実施形態に係る計測装置の構成を示すブロック図である。 本実施形態に係る計測装置が実行する処理の一例を示すフローチャートである。 本実施形態に係る表示部１３の表示例を示す図である。 本実施形態に係るグラフ３０２を示しており、（ａ）は画素単位のデータであり、（ｂ）は（ａ）の画素の間の画素値を補間したデータである。 本実施形態に係るグラフ３０２を示しており、（ａ）は横方向に伸長させる前であり、（ｂ）は（ａ）の全体を横方向に伸長させた後であり、（ｃ）は（ａ）の指定した付近のみを横方向に伸長させた後のグラフである。 本実施形態に係るグラフ３０２を示しており、（ａ）は軸の表示範囲を変化させる前であり、（ｂ）は軸の表示範囲を変化させた後のグラフである。 本実施形態に係る範囲画像３０１の変化を示す図であり、（ａ）は第２指定点の移動前であり、（ｂ）は第２指定点の異動後の図である。 本実施形態に係るグラフに描画色を設定した場合の図である。 本実施形態に係るグラフ３０２を示した図である。
　〔実施形態１〕
　以下、本発明の一態様に係る計測装置及び計測方法の一実施形態について図面を参照して詳細に説明する。ただし、本実施形態に記載されている構成は、特に限定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例に過ぎない。また、各図は説明のためのものであり、実際とは異なる場合がある。
　［計測装置］
　図１は、本実施形態における計測装置１の構成を示すブロック図である。本実施形態の計測装置１は、対象物を撮像した対象画像上の点に対応する位置情報（三次元位置情報）を計測する装置である。計測装置１は、第１点指定部１０、画像処理部１１、計測処理部１２（算出部、出力部）、表示部１３及び第２点指定部１４を備えている。
　ここでまず、計測装置１に外部から入力される情報について説明する。
　計測装置１には、外部から、対象物を撮像した対象画像の画像情報と距離情報が入力される。
　画像情報には、計測範囲を撮像した対象画像のデータと、撮像に用いられた撮像装置（撮像部）のカメラパラメータが含まれる。カメラパラメータは、撮像装置の焦点距離及び主点座標ならびに画像の解像度等の情報であり、後述する計測処理部１２における計測値算出処理で使用される。
　なお、カメラパラメータは画像情報とは別に計測装置１に入力する構成であっても構わない。また、計測値が距離情報のみの場合等、計測値の算出にカメラパラメータを必要としない場合には、カメラパラメータを計測装置１に入力しなくてもよい。
　なお、本実施形態の計測装置１は外部から画像情報を入力する構成としているが、計測装置１に撮像装置（撮像部）を含む構成として、撮像装置で撮像した画像情報から計測するようにしても構わない。ここで、撮像装置は、例えばレンズモジュール等の光学系、ＣＣＤ（Charge Coupled Device）及びＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサ、アナログ信号処理部、ならびにＡ／Ｄ（Analog/Digital）変換部等を備え、イメージセンサからの信号を画像として出力するものである。
　距離情報は、画像を撮像した撮像装置から対象物までの距離であり、画像の撮像範囲内の距離値の情報である。距離情報は、公知の距離計測方式を用いた測距部によって取得される。距離計測方式には、例えば、ＴＯＦ（Time Of Flight）方式に代表される赤外線を利用した方式又はステレオ方式等がある。
　なお、本実施形態では、外部から計測装置１に距離情報を入力する構成としているが、測距部を計測装置１に含む構成としても構わない。ステレオ方式により距離情報を取得する場合には、外部から入力したステレオペアの画像情報、又は２台の撮像装置を計測装置１に設けて撮像したステレオペアの画像情報に基づいて、例えば、画像処理部１１で距離情報を算出するようにしてもよい。
　第１点指定部１０は、ユーザ（計測装置１の使用者）の入力操作を受け付け、当該入力操作の内容に基づいて、外部から入力された対象画像上においてユーザの所望の計測点である第１指定点の位置を設定する。具体的には、ユーザは表示部１３に表示されている対象画像を確認することで第１指定点の位置を決定する。第１点指定部１０において指定された第１指定点の情報は画像処理部１１へ出力される。
　第１点指定部１０におけるユーザの入力操作は、例えば、マウス又はキーボード等の入力装置によって行われる。入力装置は、第１点指定部１０に含まれる構成であってもよいし、計測装置１の外部に設けられ、第１点指定部１０に入力操作の情報が入力されるような構成であっても構わない。
　画像処理部１１は、外部から入力された画像情報と、第１点指定部１０より入力された第１指定点の情報とに基づいて、対象画像における第１指定点を含む特定の範囲の画素値の変化を示すグラフを生成する。画素値の変化とは、対象画像の画素情報のデータに基づいており、対象画像上の特定方向の範囲に存在する画素の画素位置の変化に伴う画素の画素値の変化を示している。
　より具体的には、画像処理部１１は、画像情報と、第１点指定部１０が設定した第１指定点の情報とに基づいて、第１指定点を含む特定の範囲の画素情報の画素同士の間の画素値を補間した画素関連情報を算出してグラフを生成する。
　そして、本発明の一態様のポイントの一つは、画像処理部１１が生成するグラフは、その少なくとも一部分が視覚的に強調されている点にある。グラフの少なくとも一部分を視覚的に強調することによって、ユーザが所望の計測点を詳細に指定することができる。なお、本実施形態においてグラフとは、曲線グラフである。生成されたグラフは表示部１３に出力される。画素関連情報とグラフの詳細については後述する。
　なお、本実施形態では、画像処理部１１は、波形グラフを生成する。
　計測処理部１２は、第１点指定部１０によって入力された第１指定点の情報及び後述する第２点指定部１４によって入力された第２指定点の情報と、外部から入力された画像情報及び距離情報とに基づいて、第１指定点及び第２指定点の三次元情報、並びに三次元情報に基づく計測値の位置情報（三次元位置情報）を算出する。算出された位置情報は表示部１３に出力される。計測値と計測値の算出処理の詳細については後述する。
　表示部１３は、入力された画像情報に含まれる対象画像と、画像処理部１１において生成されたグラフを表示する。また、表示部１３は、第１点指定部１０によって設定された第１指定点を含む特定の範囲の画像である範囲画像、及び計測処理部１２より算出された計測値を表示する。
　ここで表示部１３は、例えば、液晶素子及び有機ＥＬ（Electro Luminescence）等を画素とする表示装置である。なお、本実施形態では、表示部１３が計測装置１に組み込まれている例を説明するが、表示部１３は計測装置１の外部に設けられていてもよい。例えば、テレビジョンディスプレイ、ＰＣ（Personal Computer）用モニタ等を表示部１３としてもよいし、スマートフォン又はタブレット端末等の携帯端末のディスプレイを表示部１３として利用してもよい。
　また、第１点指定部１０、第２点指定部１４及び表示部１３は、これらを一体として構成したタッチパネル（例えば抵抗膜方式及び静電容量方式等のタッチパネル）として実装してもよい。
　第２点指定部１４は、ユーザの入力操作を受け付け、入力操作の内容に基づいて対象画像上の第２指定点の位置を設定する。ここで、第２指定点とは、ユーザの所望の計測点をより詳細に設定するために指定される指定点であり、画像処理部１１によって生成されたグラフ上において第２指定点の位置が設定される。
　第２点指定部１４におけるユーザの入力操作は、例えば、マウス又はキーボード等の入力装置によって行われる。
　なお、第２点指定部１４は、画像処理部１１で生成されたグラフ上及び表示部１３に表示された範囲画像上で第２指定点の指定をしてもよい。第２指定点の指定の詳細については後述する。
　［計測方法］
　以上の構成を具備する本実施形態の計測装置１では、第１指定点を含む特定範囲の画素値から第１指定点を含む特定の範囲のグラフの少なくとも一部を強調して表示し、当該グラフ上で指定された、第１指定点よりも詳細な位置の第２指定点に関する計測を行う。
　以下では、図２及び図３を参照して、計測装置１を用いた計測方法を説明する。図２は計測装置１の処理の一例を示すフローチャートである。図３は表示部１３に表示される表示の一例である。図３に示すように、表示部１３に表示される表示範囲３０、計測装置１に入力された画像情報である入力画像（対象画像）３００、第１指定点を含む特定の範囲の画像である範囲画像３０１、第１指定点を中心とした特定の軸方向の範囲の画素値の変化を表す第１のグラフ３０２、第１のグラフ３０２の波形上で選択する第２指定点の位置を示す記号３０３、第１指定点において第１のグラフ３０２を表す軸方向に対して直交する軸方向の画素値の変化を表す第２のグラフ３０４、第２のグラフ３０４の波形上で選択する第２指定点の位置を示す記号３０５、ユーザが入力装置により指示している位置を表す指示アイコン３０６、指定点を決定するための決定ボタン３０７及び計測結果を表示する結果表示位置３０８が示されている。
　（処理の流れ）
　＜ステップＳ１０１＞
　図２に示すステップＳ１０１では、表示部１３によって入力画像３００が表示範囲３０に表示される。すなわち、ステップＳ１０１は入力画像表示ステップである。入力画像３００は、少なくとも画像内の計測対象範囲が表示されるように表示設定が行われる。例えば画像全体が計測対象範囲のとき、入力画像の解像度が表示装置の表示範囲の解像度よりも小さい場合には、そのまま表示したり、拡大して表示したりして画像全体を表示するように設定する。また、入力画像の解像度が表示装置の表示範囲の解像度よりも大きい場合には、入力画像を縮小したり、切り出したりして表示するように設定する。
　＜ステップＳ１０２＞
　図２に示すステップＳ１０２では、第１点指定部１０によって、ユーザが入力画像３００上において所望の計測点となる点を指定したことを受け付けて、指定された点の座標を第１指定点として設定する。すなわち、ステップＳ１０２は、第１指定点設定ステップである。
　図３の例の場合、ユーザは、入力画像３００上で指示アイコン３０６を移動させて第１指定点を指定する。ここで、第１指定点は入力画像３００の座標系における画素単位精度の位置情報であり、入力画像３００の表示に切出し又は縮小設定が行われている場合には、切出し位置又は縮小率に基づいて元の入力画像の座標系における位置情報として算出する。
　第１指定点の情報は、画像処理部１１へ出力され、ステップＳ１０３に移行する。
　＜ステップＳ１０３＞
　ステップＳ１０３では、画像処理部１１によって、入力画像３００の第１指定点を含む特定の範囲の画素の情報（画素値）に基づいて画素値の変化を示すグラフを生成する。
　より具体的には、ステップＳ１０３では、画像処理部１１により、入力画像３００の第１指定点を含む特定の範囲の画素の情報に基づいて画素関連情報が算出され、算出された画素関連情報に基づいてグラフを生成する。
　ここで画素の情報は、輝度値、カラー値（Ｒ、Ｇ、Ｂ成分）又はそれらから算出される数値のうちのいずれか一つ或いは複数の情報である。また画素関連情報とは、縮小等の処理がされていない元の入力画像の画素単位よりも小さい単位で、画素の情報を補間したものである。
　本実施形態においては、第１指定点において直交する二つの軸に沿ったグラフが生成されており、各軸において算出された画素関連情報に基づきグラフが生成されている。図３の例の場合、水平方向における画素値の変化を示す第１のグラフ３０２と垂直方向における画素値の変化を示すグラフ３０４が表示されている。第１のグラフ３０２は、水平方向の画素値を縦軸、入力画像の水平位置を横軸とし、第２のグラフ３０４は、垂直方向の画素値を横軸、入力画像の垂直位置を縦軸としている。
　ステップＳ１０３により生成されたグラフは、表示部１３に出力され、ステップＳ１０４へ移行する。
　＜ステップＳ１０４＞
　ステップＳ１０４では、画像処理部１１において生成された第１のグラフ３０２と、第２のグラフ３０４と入力画像３００より切り出された範囲画像３０１とが表示部１３に表示される。範囲画像３０１は、グラフを生成するのに用いられた第１指定点を含む特定の範囲に合わせて矩形範囲で切り出され、画素関連情報の補間倍率に応じて補間拡大される。なお、範囲画像は必ずしも補間拡大する必要はなく、例えば、入力画像が縮小表示されている場合には、等倍の入力画像を切出してそのまま範囲画像としてもよい。
　すなわち、ステップＳ１０４は、グラフ表示ステップ（表示ステップ）である。なお、ステップＳ１０４の前のステップＳ１０３は、グラフ表示ステップ（表示ステップ）の前半部分とすることができる。グラフが表示部１３に表示されるとステップＳ１０５へ移行する。
　＜ステップＳ１０５＞
　ステップＳ１０５では、ユーザが表示部１３に表示された第１のグラフ３０２及び第２のグラフ３０４を確認している状態で、マウス等の入力装置によって、範囲画像３０１又は各グラフ上においてユーザの所望の計測点となる点を指定する。第２点指定部１４では、指定された位置を第２指定点として設定する。すなわち、ステップＳ１０５は、第２指定点設定ステップである。
　ここで、表示されたグラフ３０２、３０４として画素関連情報を算出したグラフを用いることで、第２指定点の位置は入力画像３００の画素単位よりも小さい単位の位置情報として設定することができる。ユーザによる第２指定点位置の指定は、例えば図３の場合には、入力装置によって指示アイコン３０６を操作し、選択位置を示す記号３０３と記号３０５を移動させることで行う。記号３０３、３０５は各グラフの波形上のみを移動し、第１のグラフ３０２上では記号３０３により水平方向の位置が決定され、第２のグラフ３０４上では記号３０５により垂直方向の位置が決定される。指定方法と指定時のグラフ表示の詳細は後述する。第２点指定部１４では、範囲画像３０１において、第１のグラフ３０２及び第２のグラフ３０４上で指定された画素位置に対応する水平及び垂直の位置を第２指定点として設定する。図３の例の場合、各グラフ上で位置を指定した後、指示アイコン３０６を決定ボタン３０７上に移動して入力装置のクリック等で決定すると、第２指定点が設定される。
　第２指定点の情報は、計測処理部１２へ出力され、ステップＳ１０６へ移行する。
　＜ステップＳ１０６＞
　ステップＳ１０６では、計測処理部１２によって、画像情報と距離情報に基づいて、第２指定点（計測点）の位置における三次元位置情報を算出する。すなわち、ステップＳ１０６は、算出ステップである。
　三次元位置情報は、カメラ座標系における三次元位置を表す情報である。三次元位置情報の算出方法は後述する。計測値は距離情報又は三次元位置情報そのものであってもよいし、三次元位置情報から算出可能な数値であってもよい。
　また、計測点は複数選択することができ、ステップＳ１０２からステップＳ１０６までを複数回繰り返して複数の計測点を指定すれば、各点の三次元位置情報に基づいて、２点間の長さ又は点で囲まれる平面の面積等の計測値を算出することができる。また、複数の点を通る直線を算出したり、直線と点の距離、直線と直線の成す角度又は平面と点の距離等の計測値を算出したりすることができる。このように、三次元空間における点と点の関係等公知の技術を用いて算出可能な数値を計測値とすることができる。
　算出された三次元位置情報は、表示部１３に出力されステップＳ１０７に移行する。
　＜ステップＳ１０７＞
　ステップＳ１０７では、表示部１３によって、算出された計測値（三次元位置情報）が表示（出力）される（出力ステップ）。また算出された計測値は計測装置１の外部へと出力することもできる。図３の例では、結果表示位置３０８に計測値が表示されている。なお、計測値は入力画像３００又は範囲画像３０１に重畳して表示するようにしても構わない。結果表示位置３０８は、ユーザが計測値を確認し易いように表示されることが好ましい。
　以上の手順によって本実施形態の計測装置１は計測を行う。
　以下では、上記の各処理ステップで扱われる情報及び各処理の内容について詳細を説明する。
　（画素関連情報）
　ステップＳ１０３において算出される画素関連情報は、入力画像３００の第１指定点周辺の画素の情報に基づいて算出される。画素関連情報の算出に用いられる画素の情報としては、輝度値、カラー値（Ｒ、Ｇ、Ｂ成分）、色差信号、又はそれらの数値から算出される微分値又は二次微分値等がある。それらの画素の情報のうち、画像の変化点が最も分かり易い情報を選択して画素関連情報を算出することで、第２指定点位置を指定し易いグラフを生成する。
　画素関連情報の算出に用いられる画素の情報は、第１指定点において直交する二つの軸方向の所定の画素数分の範囲の情報である。第２指定点はこの画素数の範囲内で指定される。画素数は、入力画像の解像度及び第１指定点位置の距離情報、ユーザによる第１指定点の指定誤差、画素関連情報の補間倍率等を考慮して、ユーザが所望とする第２指定点位置付近の最低限の範囲が含まれ、グラフが表示部１３の表示範囲内に収まるサイズとなるように設定する。
　なお、画素関連情報の算出に用いられる画素の情報は、ユーザが自由に選択できるようにしてもよいし、計測装置１によって自動的に選択するようにしてもよい。前者の場合、表示画面に画素関連情報の選択ボタンを表示することで、ユーザが適切と判断したグラフで選択ができる。後者の場合、例えばカラー画像が入力されていれば、Ｒ、Ｇ、Ｂ成分のうち、第１指定点周辺の画素のうち、各成分での最大値と最小値の差分が最も大きい色情報を選択して、画素関連情報を算出することができる。
　また、画素関連情報は、いずれか一つの画素の情報から算出してもよいし、複数の画素の情報からそれぞれ算出してもよい。複数の画素関連情報を算出する場合には、異なる位置にそれぞれのグラフを表示してもよいし、一つのグラフに複数の波形を同時に表示しても構わない。ただし、情報が増えすぎると表示が煩雑になったり、判断基準が増えることでユーザが点を指定し難くなったりする可能性があるため、必要最低限の情報をグラフとして表示することが望ましい。したがって、上記のように、最も特徴的な情報が自動で選択されてグラフとして表示されると、ユーザは最も特徴的な情報に基づいて簡単に点の指定を行うことが可能となるので好適である。
　画素関連情報は、入力画像３００の画素の情報に基づいて、入力画像３００の画素単位よりも小さい単位で補間して算出される。補間はスプライン補間又はラグランジュ補間等の一般的な方法によって行われる。最近傍補間又は線形補間等の単純な補間方法の場合、補間精度が低くなる可能性が高いため、上記のようなより精度の高い補間方法であることが望ましい。
　画素値の補間前後のグラフの比較例として図４を示す。図４は、入力画像３００に対して水平方向の軸における所定の画素数分の範囲の輝度値の補間前後のグラフを示している。図４（ａ）は画素関連情報を算出していない補間前の輝度値のグラフであり、画素単位の位置の情報のみが表示されている。図４（ｂ）は画素関連情報を算出した補間後の輝度値のグラフであり、画素単位より小さい単位の位置の情報が表示されている。
　（表示範囲３０の表示について）
　表示部１３に表示される表示範囲３０は、図３に示すように、入力画像と各グラフ及び範囲画像が、位置の対応関係が分かるような配置で表示すると第２指定点を指定し易くなるので好適である。図３に示す破線及び一点鎖線は、入力画像３００の第１指定点の周辺の範囲と範囲画像３０１との位置関係及び範囲画像３０１とグラフ３０２、３０４との位置関係を分かりやすくするための表示方法の一例である。第１指定点及び第２指定点の位置の判断がし易い表示方法であれば、表示方法は図３の例に限られるものではなく、例えば、各グラフを範囲画像３０１の上に重畳するように表示してもよく、範囲画像３０１をそれぞれの軸方向において切出し、別の画像として表示してもよい。
　範囲画像３０１はグラフ３０２、３０４に対応した範囲のみを表示するので、範囲画像３０１を表示することでグラフ３０２、３０４と範囲画像３０１との位置関係が分かり易くなる。ただし、入力画像３００が等倍で表示されていたりして、グラフ３０２、３０４との位置関係が十分に分かる場合には、範囲画像３０１を表示しなくてもよい。範囲画像３０１を表示しない場合には、範囲画像３０１を生成し表示する処理を削減し、表示がシンプルになるという効果がある。
　また、範囲画像３０１を表示する場合、入力画像３００は常に表示していなくてもよい。例えば、後述する処理の流れにおいて、第１指定点を指定する際には入力画像３００を表示し、グラフ３０２、３０４と範囲画像３０１が表示されるときには入力画像３００を非表示にするようにしても構わない。このようにすることで、ユーザが現在指定している位置がより明確となる。ただし、グラフ３０２、３０４が入力画像３００ではどの位置であったかが分かり難くなる可能性があるため、入力画像３００の表示有無をユーザが選択できるようにすると好適である。
　＜画素位置の表示方法＞
　表示範囲３０において表示されるグラフ３０２、３０４及び範囲画像３０１の表示サイズは、グラフを生成する画素関連情報のデータ数に応じて設定する。例えば水平方向のグラフの波形の水平方向のサイズは、グラフのデータ数の画素数以上で表示部１３に表示されるように設定する。これにより、少なくとも表示部１３の解像度の画素単位で、グラフの波形上の点を指定できるようになる。ただし、表示部１３が高解像度である場合、表示部１３の画素単位で指定するためにはユーザは入力装置を用いて微少な操作を行う必要があり、指定が困難である。
　本実施形態に係る計測装置１では、生成されたグラフを画像上の画素位置を示す軸方向に対して表示サイズを伸長させ表示範囲３０に表示させることができる。グラフの伸長前後の比較例として図５を示す。図５は、範囲画像３０１における水平方向の軸における輝度値の変化を示したグラフである。図５（ａ）は、表示装置の解像度と画素関連情報のデータ数を等しく設定したグラフであり水平軸方向には伸長していない。図５（ｂ）は図５（ａ）のグラフの全体を水平軸方向に伸長したグラフである。図５（ａ）では連続する点が波形として表示されているが、図５（ｂ）ではデータに間隔が生じて点群として表示されている。このように、グラフを伸長して、データの各点を強調して表示することで、ユーザは波形上の位置ではなく、点を選択することができるので、第２指定点の指定が容易となって好適である。図５（ｂ）のように表示する場合、範囲画像３０１もグラフの伸長率に合わせて拡大してもよいし、範囲画像は拡大せずに、グラフ上で指定している位置と範囲画像上の位置の対応が分かるような記号を表示する等してもよい。図５（ｃ）は、図５（ａ）のグラフの注目する範囲のみを水平軸方向に伸長したグラフであり、図５（ｃ）に示すように注目範囲５０が拡大表示される。グラフの一部のみを伸長させる場合、図５（ａ）のグラフ上で一度位置を指定し、その付近の範囲のみを伸長して注目範囲５０を表示する。注目範囲５０の表示により、グラフ全体の表示サイズは図５（ａ）と変わらずに、図５（ｂ）で伸長した場合と同様の効果を得ることができる。
　＜画素値の表示方法＞
　本実施形態に係る計測装置１では、生成されたグラフを対象画像の画素値を示す軸方向に対して表示サイズを伸長させて表示範囲３０に表示させることができる。また、対象画像の画素値を示す軸の表示範囲を設定し生成されたグラフを表示させることができる。上述のように生成されたグラフの表示方法を変更することで、生成されたグラフが画素値を示す軸方向に大きく表示され、グラフが大きく表示されることに伴ってグラフの勾配も強調される。
　ここで、グラフの勾配の強調前後の比較例として図６を示す。図６は、範囲画像３０１における水平方向の軸における輝度値の変化を示したグラフである。図６（ａ）は輝度値の表示範囲の変更前のグラフであり、図６（ｂ）は輝度値の表示範囲の変更後のグラフである。図６（ａ）の波形は、輝度値が１２０から１６０の範囲で振幅しており、輝度値の軸の表示範囲は０から２５５の範囲となっている。一方、図６（ｂ）の波形は、輝度値が１２０から１６０の範囲で振幅していることは図６（ａ）と同様だが、輝度値の軸の表示範囲が１１０から１７０の範囲となっており、波形の振幅が強調されている。このように生成されたグラフの輝度値の最小値と最大値との値に応じて、輝度値の軸の表示範囲設定を変更することで、特徴の少ないグラフ上において所望の計測点を指定する場合であっても、波形の勾配が強調されて波形の変化点が分かり易くなるので、第２指定点の判断が容易となって好適である。
　なお、勾配の強調方法は上述した方法には限られず、実際に数値を変化させてグラフの波形の勾配を強調してもよい。例えば、生成されたグラフにおいて、画素値の平均値を算出し、算出された平均値から離れるほど画素値の軸方向の倍率を大きくすることで、表示されるグラフの輝度値の最大値と最小値の差を広げて勾配を強調したりしてもよい。さらに、グラフに表示される画素関連情報の最大値と最小値から、その度合い及び表示範囲を算出することで、自動で勾配を強調したグラフを生成することができる。
　また、上述したようにグラフを伸長して表示する場合には、表示部１３に表示可能な範囲で、且つ、他の表示と重なって見えに難くなることに注意しながら設定する。
　また、入力画像３００上において第１指定点を指定する際、及びグラフ３０２、３０４上において第２指定点を指定する際には、入力画像３００及び指定中のグラフ３０２、３０４を大きく表示したり、明るく表示したりして強調表示してもよい。これにより、ユーザが操作している領域を明示することができるので、操作性が向上して好適である。
　（第２指定点の設定方法）
　第２指定点は、グラフ３０２、３０４の波形上に重畳した記号を移動させることで入力画像３００上の所望の計測点を指定する。図３の例では、水平方向のグラフ３０２上では記号３０３により水平方向の位置を指定し、垂直方向のグラフ３０４上では記号３０５により垂直方向の位置を指定する。第２指定点は、水平方向のグラフ３０２及び垂直方向のグラフ３０４のどちらかを一つずつ順番に指定される。第２指定点の指定時において、片方のグラフ上で指定位置が移動されると、その移動した位置に応じてもう一方のグラフの波形及び記号の位置が変化する。
　水平方向のグラフ３０２上の記号３０３を移動して第２指定点の水平位置を移動させた場合の表示例を図７に示す。図７（ａ）及び（ｂ）は図３で示した範囲画像３０１と水平方向のグラフ３０２と垂直方向のグラフ３０４の表示例であり、図７（ａ）は第２指定点の水平位置を移動する前の状態、図７（ｂ）は第２指定点の水平位置を移動させた後の状態である。第２指定点の水平位置を移動させ、図７（ａ）の記号３０３の位置から図７（ｂ）の記号７１２の位置にすると、第２指定点の指定に応じて一点鎖線７０１の位置は一点鎖線７１１の位置に移動する。ここで一点鎖線７０１は水平方向のグラフ３０２における記号３０３の水平位置に対応する範囲画像３０１の位置を示しており、一点鎖線７０２は水平方向のグラフ３０２における記号７１２の水平位置に対応する範囲画像３０１の位置を示している。
　また図７（ａ）では、垂直方向グラフ３０４の波形７００は、範囲画像３０１上の一点鎖線７０１の範囲に対応した輝度値の変化を示しており、図７（ｂ）では一点鎖線７１１の範囲に対応した輝度値の変化の波形７１０が表示されている。ユーザの指定によって水平方向のグラフ３０２の計測点の位置が移動したとき、移動後の計測点を第２指定点として第２点指定部１４において設定し、第２点指定部１４より第２指定点の情報が画像処理部１１に入力し、移動した位置周辺の画素の情報から画素関連情報を再度算出することにより移動後の波形が算出される。図７（ａ）の垂直方向のグラフ３０４に重畳している記号３０５は、垂直方向のグラフ３０４の波形の変化に応じて図７（ｂ）の記号７１３の位置となる。このとき、記号３０５と記号７１３との垂直位置は同一であり、輝度値はグラフ３０４の波形の変化に応じた位置となる。
　上述のように、水平方向のグラフ３０２及び垂直方向のグラフ３０４における第２指定点の指定に応じて、画像処理部１１で再度画素関連情報を算出して、グラフを再表示する。ユーザの所望の計測点となるまで、水平方向のグラフ３０２及び垂直方向のグラフ３０４における第２指定点の指定とグラフの再表示とが繰り返され、最終的な第２指定点が決定される。
　なお、グラフを用いた指定方法は、上記の記号を移動させる方法に限られるものではなく、グラフの波形上の点を直接指定してもよいし、グラフを表示した周囲に、選択位置移動用のボタンを配置して、それを指定することで第２指定点を移動させて選択するようにしてもよい。前者の場合、カーソル等を移動させたときに、選択している位置の点を大きく表示したり、色を変化させて表示したりすることで、ユーザに第２指定点の指定位置を知らせることができる。後者の場合、第２指定点を１点ずつ移動させるボタンと、１０点ずつ移動させるボタン等を配置することで、ユーザはボタンを選択することで第２指定点の指定位置を移動させることができる。また、キーボードの数字キー又は十字キーによって第２指定点の指定位置を移動してもよい。
　また、グラフの波形をずらすように移動させることで第２指定点を移動させてもよい。例えば、第２指定点の位置は常にグラフの中央位置に固定として、グラフの波形をドラッグするように移動させたり、上述したボタン又はキーボードで操作したりしてグラフの波形の位置をずらすことで、第２指定点を移動させることができる。グラフの波形をずらす場合には、最初に表示されたグラフの範囲よりも、外側の画素のデータも必要となるため、処理ステップＳ１０３では、画素関連情報をより広い画素の範囲について算出される。
　上記の方法により、水平方向のグラフ３０２及び垂直方向グラフ３０４上における第２指定点の詳細な位置をそれぞれ別に指定することができる。入力画像３００上において二次元方向の位置を指定する場合には、ユーザの操作誤りによって意図していない方向に指定位置がずれる等の誤差が生じ易いが、水平方向又は垂直方向の一方向にのみ移動させるので、指定誤差を低減し、高精度に指定することが可能となる。
　（三次元位置情報の算出）
　計測装置１に入力される画像を撮像したカメラのモデルを透視投影モデルとすると、三次元位置情報は以下のようにして算出することができる。
　計測装置１に入力された距離情報は、入力画像３００の画素単位の情報であるため、画素単位よりも小さい単位の第２指定点位置の距離情報は存在しない場合がある。そこで、画素関連情報の補間方法と同様にして、距離情報も画素単位よりも小さい単位で補間して算出する。
　補間して算出した距離情報をＺ、第２指定点の座標を（ｕ、ｖ）、カメラの焦点距離をｆ、入力画像の解像度を（Ｗ、Ｈ）とすると、三次元位置情報（Ｘ、Ｙ、Ｚ）のＸとＹは式（１）で算出される。
Figure JPOXMLDOC01-appb-M000001
　なお、計測装置１に測距部を備える構成として、距離情報をステレオ方式によって算出する場合には、画素単位より小さい単位の第２指定点について、ステレオマッチングを行い、画素単位よりも小さい単位で視差値を算出して距離値を算出する。これにより、画素単位より小さい単位の第２指定点の距離情報を取得することができる。ステレオ方式は公知の技術であるので詳細な説明を割愛する。
　〔実施形態２〕
　本実施形態２に係る計測装置２では、グラフの波形を単色ではなく複数の色で表示することができ、グラフに対応する範囲画像３０１の画素の色の変化に合わせて、グラフの波形の色を変化させることができる。範囲画像３０１の色の変化に合わせてグラフの波形の色を変化させることで、範囲画像３０１の色の変化をグラフで確認しながら、グラフ上の点を指定することを可能とする。
　本実施形態２に係る計測装置２は、範囲画像３０１の色の変化に合わせてグラフの波形の色を変化させて表示すること以外は、本実施形態１に係る計測装置１と同様である。本実施形態２では、図２に示されるステップＳ１０３において、指定された第１指定点の情報に基づいてグラフを生成する際に、描画色を設定する処理が追加される。本実施形態２におけるステップＳ１０３では、画像処理部１１によって、画素関連情報を算出してグラフを生成し、さらにグラフの描画色を設定する。
　図８において本実施形態２に係るグラフの表示例を示す。図８は計測装置２にグレースケール画像が入力された場合の一例であり、範囲画像８０、水平方向グラフ８１が示されている。水平方向グラフ８１には、グラフの波形の色が異なる左側範囲８１０及び右側範囲８１１と背景範囲８１２とが示されている。図８に示すように、範囲画像８０は明度の異なるグレー２色であり、波形の左側範囲８１０と右側範囲８１１の色は、範囲画像８０の色に合わせて設定されて描画されている。このように、範囲画像８０の色と併せて波形の色を設定することで、グラフから範囲画像８０の色の変化を知ることができる。また、背景範囲８１２の色は、グラフの波形に設定された色とは異なる色に設定することで、グラフの波形の色を強調することができる。例えば、階調が０の黒背景に対して、１６から２５５の階調にマッピングした明度で波形を表示したり、階調が２５５の白背景に対して、０から２４０の階調にマッピングした明度で波形を表示したりする。計測装置２にカラー画像が入力された場合には、グレースケールの場合と同様にして、Ｒ、Ｇ、Ｂ成分に応じた色でグラフの波形の色を設定する。
　また、実施形態１において説明したように、グラフを生成する画素関連情報は輝度値又はカラー値以外であってもよい。例えば、カラー値のＲ成分を微分した値をグラフとする場合に、波形をカラー値に応じた色で設定して表示すれば、Ｒ成分の微分値の波形のみで、画像の色情報を確認することができる。
　なお、色の設定は、範囲画像８０の画素の情報と全く同一に設定しなくてもよく、彩度及び明度を強調した色を設定したり、色の変化点のみを有彩色に設定したりして、色の変化をより分かり易くすることができる。グラフの背景範囲８１の色設定についても同様であり、例えば、背景は無彩色に設定したり、グラフの波形に使用される色の平均色の補色等に設定したりする。これにより、グラフの波形とグラフの背景の色を異ならせて、より波形を確認し易くすることができる。
　以上のようにして、本実施形態２に係る計測装置２は、グラフに色を設定して表示するので、グラフのみから波形の勾配の情報に加えて、画像の色の変化の情報を知ることが可能となるため、ユーザは点の指定が容易となり、指定精度を向上させることができる。
　〔実施形態３〕
　対象画像を計測する際に、ユーザが計測したい点は、撮像した対象物のエッジ位置等の特徴点であることが多い。そこで、本実施形態３に係る計測装置３では、画像処理部１１によって、第１点指定部１０が指定した第１指定点の情報に基づいてグラフが生成する際に、生成されるグラフの特徴点位置を算出して特徴点位置の情報を提示する構成を備えている。本実施形態３に係る計測装置３は、上述の構成を備えていること以外は、本実施形態１に係る計測装置１と同様である。本実施形態３では、図２に示される処理ステップＳ１０３おいて、生成されたグラフの特徴点位置算出処理が追加される。本実施形態３におけるステップＳ１０３では、画像処理部１１によって、指定された第１指定点の情報に基づいてグラフを生成する際に、算出された画素関連情報に基づいて特徴点位置を算出し、算出した特徴点位置を重畳したグラフを生成する。
　図９において本実施形態３に係るグラフの表示例を示す。図９に示すように、グラフの波形上に特徴点位置である記号９０、９１及び９２が表示されている。記号９０は波形の立ち下り位置を示しており、記号９１は波形の立ち上り位置を示しており、記号９２は数値の変化が最も大きい位置を示している。グラフの波形の立ち上り位置及び立ち下り位置は、画素関連情報の数値変動を確認して、数値が上昇又は下降する起点位置を算出することで求めることできる。また、グラフの波形の数値の変化が最も大きい位置は、画素関連情報の数値を微分して、微分値が最大となる位置として求めることができる。なお、特徴点位置は上記に限らず、画素関連情報から算出可能で、ユーザの所望する点と考えられる点の位置であればどのようなものであってもよい。また、特徴点位置は図９のように全て表示してもよいし、ユーザが所望とする可能性が最も高い特徴点のみを表示してもよい。また、表示有無をユーザが指定できるようにしてもよい。
　上記のように特徴点位置をグラフ上に重畳して示すことで、ユーザは最も特徴の大きい位置をグラフで確認し、容易に指定することが可能となる。常に特徴点位置を選択するようにすれば、選択の度に指定位置がずれたりする誤差を低減することができる。
　さらに、本実施形態３に係る計測装置３は、算出された特徴点位置のいずれかを第２指定点の初期位置として設定することができる。例えば、本実施形態に係る計測装置３では、ステップＳ１０３において、特徴点位置が算出された際に、第２指定点の初期位置を特徴点位置のいずれかに設定しておき、ステップＳ１０４において、設定されたグラフの特徴点位置に第２指定点が指定された状態で表示する。図３の例の場合であれば、記号３０３が特徴点位置に重畳された状態でグラフが表示される。本実施形態３のステップＳ１０５では、ユーザは第２指定点の初期位置をそのまま第２指定点として設定してもよいし、他の点を指定して設定してもよい。このようにすることで、第１指定点位置の指定精度が低く、大まかな位置が設定された場合であっても、第２指定点の初期位置が特徴の大きい特徴点に自動的に設定されるので、所望する計測点への指定誤差を低減させることができる。また、ユーザが特徴点位置を指定する負担を軽減することができる。
　また、距離情報を取得する距離計測方式がステレオ方式である場合、ステレオ方式では特徴の多い点ほど距離情報を高い精度で算出できる。上記の方法で特徴点が選択されることで、より高い精度で距離情報を取得できるので、高精度の距離情報に基づいて計測することが可能となる。
　以上のようにして、本実施形態３に係る計測装置３は、特徴点位置を算出して提示し、さらに、自動的に第２指定点の初期位置として設定するので、ユーザが容易に所望の計測点を指定することが可能となり、指定誤差及びユーザの負担を低減し、高精度に計測することが可能となる。なお、本実施形態３に係る計測装置３は、特徴点位置を算出して提示すること、及び、特徴点位置を自動的に第２指定点の初期位置として設定することの一方を行うものであってもよい。
　〔ソフトウェアによる実現例〕
　計測装置（計測装置１、２及び３）の制御ブロック（特に画像処理部１１及び計測処理部１２）は、集積回路（Integrated Circuit）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵを用いてソフトウェアによって実現してもよい。前者の場合、ＦＰＧＡ（Field Programmable Gate Array）等のプログラム可能な集積回路で実現してもよい。また、後者の場合、上記計測装置は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラム及び各種データがコンピュータ（又はＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）、又は、記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ等を備えている。そして、コンピュータ（又はＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の一態様の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワーク又は放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　〔まとめ〕
　本発明の態様１に係る計測装置１は、対象物を撮像した対象画像上の点に対応する位置情報を計測する計測装置１であって、前記対象画像上の第１指定点の指定を受け付ける第１点指定部１０と、前記対象画像と共に、前記対象画像における前記第１指定点を含む特定の範囲の画像の画素値の変化を示すグラフを、表示部１３に表示させる画像処理部１１と、前記表示部１３に、前記グラフが表示されている状態で、前記対象画像上の第２指定点の指定を受け付ける第２点指定部１４と、前記第２指定点に対応する位置情報を算出する計測処理部１２（算出部）とを備え、前記画像処理部は、前記グラフの一部を視覚的に強調させて、表示部に表示させることを特徴とする。
　上記の構成によれば、特徴的な画素の情報に基づく画素値のグラフが表示され、表示されたグラフの一部が視覚的に強調されている。そのため、表示されたグラフに基づき第２指定点を指定する際に、ユーザは特徴的な情報に基づいて高精度に詳細な位置を指定して、計測することが可能となる。
　本発明の態様２に係る計測装置１は、前記第２点指定部１４は、前記グラフ上の位置の指定を受け付け、当該グラフ上の位置に応じて、前記第２指定点を特定してもよい。
　上記の構成によれば、グラフ上で第２指定点を指定することができるので、ユーザは特徴的な情報に基づいて高精度に詳細な位置を指定して、計測することが可能となる。
　本発明の態様３に係る計測装置１は、前記画像処理部１１が、前記グラフとして、前記特定の範囲の画像に存在する画素の間に画素値を補間して生成したグラフを前記表示部１３に表示させてもよい。
　本発明の態様４に係る計測装置１は、前記画像処理部１１が、前記第１指定点において直交する二つの軸に沿った画素値の変化をそれぞれ示す二つの前記グラフを、前記表示部１３に表示させてもよい。
　上記の構成によれば、第２指定点は、水平方向と垂直方向のそれぞれで位置を指定することができるので、ユーザの操作誤りによって意図していない方向に指定位置がずれる等の誤差を低減し、高精度に詳細な位置を指定することが可能となる。
　本発明の態様５及び６に係る計測装置２は、グラフの波形及び背景の色を変化させて前記表示部１３に表示させてもよい。
　上記の構成によれば、グラフに色を設定して表示するので、グラフのみから、波形の勾配の情報と、画像の色の変化の情報を知ることができ、ユーザは容易に点を指定することができ、指定精度を向上させることができる。
　また、入力画像及び指定中のグラフを他の表示よりも明るく表示したりして、ユーザが操作している領域を明示するように強調表示するので、操作性を向上させることができる。
　本発明の態様７に係る計測装置１は、前記画像処理部１１が、前記グラフの一部を拡大して前記表示部１３に表示させてもよい。
　上記の構成によれば、グラフを伸長して、データの各点を強調して表示することで、点群から点の位置を選択するようにすることができるので、詳細な位置の指定が容易となる。
　また、入力画像及び指定中のグラフを大きく表示されているため、操作性を向上させることができる。
　本発明の態様８に係る計測装置３は、前記画像処理部１１が、前記グラフの特徴点を検出し、検出した特徴点を前記第２指定点の候補として前記表示部１３に表示させてもよい。
　上記の構成によれば、対象画像の特徴点を算出して提示しているため、ユーザが特徴点位置を探す手間を省いて、点を指定することが可能となる。
　また、自動的に第２指定点の初期位置として特徴点位置を設定するので、指定誤差及びユーザの負担を低減し、高精度に点を指定することが可能となる。
　本発明の態様９に係る計測方法は、対象物を撮像した対象画像上の点に対応する位置情報を計測する計測方法であって、前記対象画像上において第１指定点の位置を設定する第１指定点設定ステップと、前記対象画像と共に、前記対象画像における前記第１指定点を含む特定の範囲の画素値の変化を示すグラフを表示する表示ステップと、前記グラフが表示されている状態で、前記対象画像上の第２指定点を設定する第２点指定点設定ステップと、前記第２指定点に対応する位置情報を算出する算出ステップとを含み、前記表示ステップは、前記グラフの一部を視覚的に強調させて表示することを特徴とする。
　上記の方法によれば、特徴的な画素の情報に基づく画素値のグラフが表示され、表示されたグラフの少なくとも一部分が視覚的に強調されている。そのため、表示されたグラフに基づき第２指定点を指定する際に、ユーザは特徴的な情報に基づいて高精度に詳細な位置を指定して、計測することが可能となる。
　（関連出願の相互参照）
　本出願は、2016年5月23日に出願された日本国特許出願：特願2016-102673に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
　１、２、３…計測装置
　１０…第１点指定部
　１１…画像処理部
　１２…計測処理部（算出部、出力部）
　１３…表示部
　１４…第２点指定部
　３０…表示範囲
　３００…入力画像（対象画像）
　３０１…範囲画像
　３０２…第１のグラフ
　３０３、３０５…記号
　３０４…第２のグラフ
　３０６…指示アイコン
　３０７…決定ボタン
　３０８…結果表示位置
　５０…注目範囲
　７００、７１０…波形
　７０１、７１１…一点鎖線
　７１２…記号
　８０…範囲画像
　８１…水平方向グラフ
　８１０…波形の左側範囲
　８１１…波形の右側範囲
　８１２…記号
　９０…立ち下がり位置
　９１…立ち上がり位置
　９２…数値の変化が最も大きい位置

Claims (12)

  1. 　対象物を撮像した対象画像上の点に対応する三次元位置情報を出力する計測装置であって、
    　前記対象画像上の第１指定点の指定を受け付ける第１点指定部と、
    　前記対象画像と共に、前記対象画像における前記第１指定点を含む特定の範囲の画素値の変化を示すグラフを、表示部に表示させる画像処理部と、
    　前記表示部に、前記グラフが表示されている状態で、前記対象画像上の第２指定点の指定を受け付ける第２点指定部と、
    　前記第２指定点に対応する三次元位置情報を出力する出力部とを備えていることを特徴とする計測装置。
  2. 　前記第２点指定部は、前記グラフ上の位置の指定を受け付け、当該グラフ上の位置に応じて、前記第２指定点を特定することを特徴とする請求項１に記載の計測装置。
  3. 　前記画像処理部は、前記グラフとして、前記特定の範囲の画像値の間に画素値を補間して生成したグラフを前記表示部に表示させることを特徴とする請求項１又は２に記載の計測装置。
  4. 　前記画像処理部は、前記第１指定点において直交する二つの軸に沿った画素値の変化をそれぞれ示す二つの前記グラフを、前記表示部に表示させることを特徴とする請求項１から３のいずれか一項に記載の計測装置。
  5. 　前記画像処理部は、前記特定の範囲の各画素の色と、前記グラフ上の各点の色とを対応させることを特徴とする請求項１から４のいずれか一項に記載の計測装置。
  6. 　前記画像処理部は、前記グラフの各点の色と、当該点に隣接する背景の色とを異ならせることを特徴とする請求項５に記載の計測装置。
  7. 　前記画像処理部は、前記グラフの一部を拡大して前記表示部に表示させることを特徴とする請求項１から６のいずれか一項に記載の計測装置。
  8. 　前記画像処理部は、前記グラフの特徴点を検出し、検出した特徴点を前記第２指定点の候補として前記表示部に表示させることを特徴とする請求項１から７のいずれか一項に記載の計測装置。
  9. 　前記表示部を更に備えることを特徴とする請求項１から８までのいずれか一項に記載の計測装置。
  10. 　前記対象物を撮像して前記対象画像を生成する撮像部を更に備えることを特徴とする請求項１から９までのいずれか一項に記載の計測装置。
  11. 　対象物を撮像した対象画像上の点に対応する三次元位置情報を出力する計測方法であって、
    　前記対象画像上において第１指定点の位置を設定する第１指定点設定ステップと、
    　前記対象画像と共に、前記対象画像における前記第１指定点を含む特定の範囲の画素値の変化を示すグラフを表示するグラフ表示ステップと、
    　前記グラフが表示されている状態で、前記対象画像上の第２指定点を設定する第２指定点設定ステップと、
    　前記第２指定点に対応する三次元位置情報を出力する出力ステップとを含むことを特徴とする計測方法。
  12. 　請求項１から１０までのいずれか一項に記載の計測装置としてコンピュータを機能させるための計測プログラムであって、前記画像処理部としてコンピュータを機能させるための計測プログラム。
PCT/JP2017/019175 2016-05-23 2017-05-23 計測装置、計測方法及び計測プログラム WO2017204211A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016102673 2016-05-23
JP2016-102673 2016-05-23

Publications (1)

Publication Number Publication Date
WO2017204211A1 true WO2017204211A1 (ja) 2017-11-30

Family

ID=60412360

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/019175 WO2017204211A1 (ja) 2016-05-23 2017-05-23 計測装置、計測方法及び計測プログラム

Country Status (1)

Country Link
WO (1) WO2017204211A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005348870A (ja) * 2004-06-09 2005-12-22 Olympus Corp 計測用内視鏡装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005348870A (ja) * 2004-06-09 2005-12-22 Olympus Corp 計測用内視鏡装置

Similar Documents

Publication Publication Date Title
US9386297B2 (en) Image generating apparatus generating reconstructed image, method, and computer-readable recording medium
JP4747970B2 (ja) 画像処理装置
JP6256840B2 (ja) 画像処理装置及び画像処理方法
JP5281972B2 (ja) 撮像装置
JP6502511B2 (ja) 計算装置、計算装置の制御方法および計算プログラム
KR101450782B1 (ko) 화상 처리 장치 및 프로그램
US20160042122A1 (en) Image processing method and image processing apparatus
US20060178561A1 (en) Endoscope apparatus
TWI544785B (zh) 影像縮減取樣裝置與方法
JP2006329684A (ja) 画像計測装置及び方法
WO2017204211A1 (ja) 計測装置、計測方法及び計測プログラム
CN111521127B (zh) 测量方法、测量装置以及记录介质
JP2020034743A (ja) 画像取得装置および画像取得装置の作動方法
JP2019121061A (ja) 画像拡大装置
JP6967382B2 (ja) Ｍｔｆ測定装置およびそのプログラム
JP6443505B2 (ja) プログラム、表示制御装置及び表示制御方法
JP6795998B2 (ja) Ｍｔｆ測定装置およびそのプログラム
JP2015220662A (ja) 画像処理装置及びその制御方法、並びにプログラム
JP7210388B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
US11893706B2 (en) Image correction device
CN110299123B (zh) 音频处理器的自适应分辨率显示方法
JP2018041201A (ja) 表示制御プログラム、表示制御方法および情報処理装置
JP7151652B2 (ja) ひび割れ幅計測装置
JP6937722B2 (ja) 画像処理装置および画像処理方法
JP2006020276A (ja) 計測用内視鏡装置

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17802797

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17802797

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP