WO2020067168A1 - 採寸装置及び採寸方法 - Google Patents

採寸装置及び採寸方法 Download PDF

Info

Publication number
WO2020067168A1
WO2020067168A1 PCT/JP2019/037621 JP2019037621W WO2020067168A1 WO 2020067168 A1 WO2020067168 A1 WO 2020067168A1 JP 2019037621 W JP2019037621 W JP 2019037621W WO 2020067168 A1 WO2020067168 A1 WO 2020067168A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth
image
adjusted
dimension
control unit
Prior art date
Application number
PCT/JP2019/037621
Other languages
English (en)
French (fr)
Inventor
晃 藤原
健 初田
渉太 手塚
弥侑 上田
卓哉 安永
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2020549292A priority Critical patent/JP7361251B2/ja
Priority to EP19867926.8A priority patent/EP3859269B1/en
Priority to CN201980061226.3A priority patent/CN112739976B/zh
Publication of WO2020067168A1 publication Critical patent/WO2020067168A1/ja
Priority to US17/210,906 priority patent/US11733032B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/024—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of diode-array scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present disclosure relates to a measuring device and a measuring method for measuring a size of an object.
  • Patent Document 1 discloses an information processing apparatus that displays a visible light image and a thermal image in a superimposed manner.
  • the display form of a specific portion of the thermal image different from the ambient temperature is different from that of the other portions.
  • a thermal image is displayed at a specific portion with a higher pixel count or higher transmittance than other portions.
  • the present disclosure provides a measuring device and a measuring method that enable adjustment of a measured size of an object.
  • the measuring device is a measuring device that calculates the size of the outer shape of an object having a plurality of surfaces.
  • the measuring device is an operation unit that receives an operation by a user, an acquisition unit that acquires depth information indicating a depth image of the target object, and color information indicating a color image of the target object, and at least one of the depth information and the color information.
  • a controller that calculates a first dimension indicating the width, depth, and height of the object based on the first dimension, and displays a frame image indicating a contour shape of the object based on the first dimension in a manner superimposed on the color image.
  • a display unit is a display unit.
  • the operation unit receives a selection of a surface to be adjusted and an input of a variation amount of the surface to be adjusted by the user.
  • the control unit calculates a second dimension indicating a width, a depth, and a height of the object when the surface to be adjusted is moved in the normal direction of the surface to be adjusted based on the variation amount, to a first dimension.
  • the frame image displayed by the display unit is changed based on the second dimension so as to indicate the contour shape of the object based on the second dimension.
  • the measuring method is a method of calculating the size of the outer shape of an object having a plurality of surfaces.
  • the measuring device acquires depth information indicating a depth image of the target object and color information indicating a color image of the target object, based on at least one of the depth information and the color information, the width of the target object, the depth, Calculating a first dimension indicating height and height, displaying a frame image indicating a contour shape of the object based on the first dimension on a color image on a display unit, and selecting a surface to be adjusted by a user Receiving the input of the variation of the surface to be adjusted and indicating the width, depth, and height of the object when the surface to be adjusted is moved in the normal direction of the surface to be adjusted based on the variation. Calculating a second dimension based on the first dimension and the amount of change, and changing a frame image displayed by the display unit to indicate a contour shape of the object based on the second dimension; including.
  • the measuring device and the measuring method according to the present disclosure are based on the amount of change specified by the user, the size of the target when the adjustment target surface selected by the user is moved in the normal direction of the adjustment target surface. calculate. Thereby, the measurement dimension of the object can be adjusted.
  • FIG. 1 Front view of measuring device Rear view of measuring device Block diagram showing the electrical configuration of the measuring device Diagram for explaining shooting of an object by a measuring device Flow chart showing the overall operation of the measuring device
  • Flow chart showing the operation of recalculating dimensions Diagram for explaining sliding operation in the normal direction
  • Flow chart showing the operation of selecting a surface of an object Diagram for explaining the operation of selecting a surface of an object
  • the measuring device of the present disclosure enables fine adjustment of the dimensions after measuring the dimensions of the object. Specifically, the measuring device of the present disclosure superimposes and displays a frame image indicating the contour shape of the target object based on the dimension calculated based on the depth image and a color image. The measuring device receives a selection of a surface to be adjusted by a user and an input of a variation amount of the surface. The measuring device calculates the size of the target when the adjustment target surface selected by the user is moved in the normal direction of the adjustment target surface based on the amount of variation specified by the user. This allows the user to adjust the measured dimensions.
  • the measuring device of the present disclosure will be described in detail.
  • FIG. 1 is a front view of the measuring device according to the present embodiment.
  • FIG. 2 is a rear view of the measuring device according to the present embodiment.
  • the measuring device 100 is, for example, a tablet-type personal computer.
  • the measuring device 100 includes a touch screen 110 on the front side and a depth camera 120 and a visible light camera 130 on the rear side.
  • FIG. 3 is a block diagram showing an electrical configuration of the measuring device according to the first embodiment.
  • the measuring device 100 includes a control unit 140, a storage unit 150, and a communication unit 160 in addition to the touch screen 110, the depth camera 120, and the visible light camera 130.
  • the touch screen 110 includes a display unit 111 and an operation unit 112.
  • the display unit 111 includes, for example, a liquid crystal display or an organic EL display.
  • the operation unit 112 is a user interface for inputting various operations by the user.
  • the operation unit 112 is a touch panel provided on the surface of the display unit 111.
  • the operation unit 112 detects a touch operation by a user's finger or a pointing device such as a pen.
  • the operation unit 112 includes, for example, an electrode film.
  • the control unit 140 can specify the contact position of the finger or the pointing device, for example, by measuring a change in voltage or a change in capacitance caused by the finger or the pointing device coming into contact with the operation unit 112.
  • the operation unit 112 may be realized by a keyboard, a button, a switch, or a combination thereof in addition to the touch panel.
  • the depth camera 120 generates depth information indicating the distance from the reference position to the subject. Specifically, the depth camera 120 measures the distance to the subject, and generates a depth image indicating the measured distance as a depth value for each pixel. Each pixel in the depth image is specified by two-dimensional coordinates.
  • the depth camera 120 is, for example, an infrared camera.
  • the depth camera 120 is realized by implementing various known technologies such as an active stereo method and a TOF (Time @ Flight) method.
  • the measuring device 100 may include two depth cameras 120, and in this case, a distance may be calculated based on a parallax of two images.
  • the measuring device 100 may include one depth camera 120. In this case, the distance may be calculated from the time required for the emitted infrared ray to hit the target object and return the reflected light.
  • the depth camera 120 corresponds to an acquisition unit that acquires depth information.
  • the visible light camera 130 captures a subject to generate color information.
  • the visible light camera 130 includes an image sensor such as a CCD image sensor, a CMOS image sensor, or an NMOS image sensor.
  • the color information is, for example, a color image indicating an RGB value for each pixel. Each pixel in the color image is specified by two-dimensional coordinates.
  • the visible light camera 130 corresponds to an acquisition unit that acquires color information.
  • the control unit 140 can be realized by a semiconductor element or the like.
  • the control unit 140 includes, for example, a microcomputer, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), a GPU (Graphics Processing Unit), a DSP (Digital Signal Processor), an FPGA (Field Programmable Gate Array), or an ASIC (Application). Specific Integrated Circuit).
  • the function of the control unit 140 may be configured only by hardware, or may be realized by combining hardware and software.
  • the control unit 140 realizes a predetermined function by reading out data and programs stored in the storage unit 150 and performing various arithmetic processes.
  • the storage unit 150 is a storage medium that stores programs and data necessary to realize the functions of the measuring device 100.
  • the storage unit 150 can be realized by, for example, a hard disk (HDD), a solid state drive (SSD), a random access memory (RAM), a dynamic RAM (DRAM), a ferroelectric memory, a flash memory, a magnetic disk, or a combination thereof.
  • HDD hard disk
  • SSD solid state drive
  • RAM random access memory
  • DRAM dynamic RAM
  • ferroelectric memory ferroelectric memory
  • flash memory a magnetic disk, or a combination thereof.
  • the communication unit 160 includes a circuit that performs communication with an external device in accordance with a predetermined communication standard.
  • the predetermined communication standard is, for example, LAN (Local Area Network), Wi-Fi (registered trademark), Bluetooth (registered trademark), USB (Universal Serial Bus), and HDMI (registered trademark).
  • FIG. 4 schematically shows the photographing of the object 200 by the measuring device 100.
  • the object 200 to be measured by the measuring device 100 is, for example, a box-shaped package used for physical distribution.
  • the object 200 includes a plurality of surfaces.
  • the target object 200 is a rectangular parallelepiped box, and thus includes six surfaces.
  • the depth camera 120 generates a depth image by measuring the distance from the depth camera 120 to the target 200 using the position of the depth camera 120 as a reference position.
  • the visible light camera 130 captures an image of the object 200 and generates a color image.
  • an image is taken so that at least two surfaces of the object 200 are shown.
  • the measuring device 100 calculates the width W200, the depth D200, and the height H200 of the target object 200 with reference to the depth image and the color image.
  • FIGS. 2 to 4 illustrate a case where the depth camera 120 and the visible light camera 130 are separate cameras.
  • the depth camera 120 and the visible light camera 130 may be one camera that can acquire both the depth information and the color information.
  • FIG. 5 shows the operation of the control unit 140 of the measuring device 100.
  • the control unit 140 acquires depth information indicating a depth image from the depth camera 120 (Step S1).
  • the control unit 140 acquires color information indicating a color image from the visible light camera 130 (Step S2).
  • the control unit 140 detects the target object 200 based on the depth image and calculates the size of the target object 200 (Step S3).
  • the control unit 140 may detect the target object 200 by extracting a contour of the target object 200 by performing image processing on a color image.
  • the control unit 140 may detect the target object 200 based on both the color image and the depth image.
  • the detection of the object 200 based on the depth image and / or the color image can be performed by an existing known technique. By detecting the target 200, the position of the target 200 in the image is specified.
  • the control unit 140 displays the frame image having the calculated size, that is, the frame image indicating the contour shape of each surface of the target object 200, on the color image on the display unit 111 (step S4).
  • the depth camera 120 and the visible light camera 130 are the same camera, the two-dimensional coordinates of the depth image and the two-dimensional coordinates of the color image match.
  • the control unit 140 may control the two-dimensional coordinates of the depth image and the two-dimensional coordinates of the color image based on the positions of the depth camera 120 and the visible light camera 130, for example. Map coordinates. For example, the coordinate system of the depth image and the coordinate system of the color image are converted into a coordinate system having a predetermined reference position as the origin.
  • the control unit 140 recalculates the dimensions of the object 200 according to the operation of the user (Step S5).
  • FIG. 6 illustrates the superposition of step S4, that is, the superposition of the color image 131 acquired in step S2 and the image (frame image) of the frame 121 having the dimensions calculated in step S3.
  • the control unit 140 generates a superimposed image 300 in which the image of the frame 121 indicating the contour shape of each surface of the object 200 is superimposed on the color image 131.
  • FIG. 7 shows an example of a screen of the display unit 111 for adjusting the measurement result in step S5.
  • the display unit 111 displays the superimposed image 300 generated in step S4 and the dimension 401 calculated in step S3. Further, on the display unit 111, a surface selection button 402 for selecting a surface for adjusting the size, an adjustment button 403 for changing the size of the frame 121, and a save button 404 for determining the size are displayed. You.
  • the surface selection button 402 includes, for example, numerical buttons of “1” to “6” so that any one of the six surfaces of the rectangular solid can be selected.
  • numerical values “1” to “6” correspond to the planes P1 to P6 shown in FIG.
  • the adjustment buttons 403 include, for example, a button for increasing the amount of variation and a button for decreasing the amount of variation.
  • the numerical value set by the adjustment button 403 corresponds to the number of pixels. The user can input a numerical value indicating the amount of change to the measuring device 100 by performing a touch operation on the adjustment button 403.
  • the user can select a surface whose dimensions are to be adjusted by performing a touch operation on the surface selection button 402 in the superimposed image 300 or with a finger or a pointing device.
  • the user slides the selected surface in the superimposed image 300 or touches the adjustment button 403 to move the selected surface, that is, a part of the frame 121, in the normal direction of the surface. Can be done.
  • the user can change the size of the frame 121.
  • any combination of the button operation and the operation on the image is possible.
  • the user may select a surface by a touch operation on the superimposed image 300 and move the surface by performing a slide operation from the touched position.
  • the user may move the surface selected by operating the surface selection button 402 by operating the adjustment button 403.
  • the user may perform one of the surface selection process and the size changing process by an operation on the superimposed image 300, and perform the other process by an operation on a button.
  • the user may move the surface selected by operating the surface selection button 402 by a slide operation on the superimposed image 300.
  • the user may move the surface selected by the touch operation on the superimposed image 300 by operating the adjustment button 403.
  • FIG. 8 shows details of the recalculation of the dimension (step S5) according to the operation of the user.
  • FIG. 9 illustrates a slide operation.
  • the control unit 140 selects an adjustment target surface according to a user operation (step S51). For example, the user performs a touch operation on the superimposed image 300 or the surface selection button 402 illustrated in FIG. 7 with a finger or a pointing device.
  • the control unit 140 selects an adjustment target surface from the six surfaces P1 to P6 based on the coordinates of the contact position of the finger or the pointing device.
  • FIG. 9B illustrates an example in which the plane P4 is selected as the adjustment target plane.
  • the control unit 140 determines whether or not the input operation of the variation by the user is detected (step S52).
  • the control unit 140 detects a slide operation by detecting, for example, a change in coordinates of a contact position of a finger or a pointing device. For example, when detecting the slide operation, the control unit 140 determines that the input operation of the fluctuation amount has been performed.
  • the control unit 140 determines that the input operation of the variation has been performed.
  • the operation of inputting the amount of change may be an operation of directly inputting a numerical value using a keyboard or the like.
  • the control unit 140 converts the amount of change from the pixel to the length (step S53). For example, when the input operation of the fluctuation amount is a slide operation, the control unit 140 converts the number of pixels corresponding to the slide amount into a length (for example, mm). When the input operation of the amount of change is a touch operation on the adjustment button 403, the control unit 140 converts the numerical value set by the adjustment button 403 into a length.
  • the control unit 140 recalculates the dimensions of the object 200 according to the converted length (step S54). Specifically, the control unit 140 recalculates the size of the target object 200 based on the size calculated in step S3 and the converted length. Here, as shown in FIG. 9C, the control unit 140 limits the moving direction of the adjustment target surface to the normal direction of the adjustment target surface. Therefore, the control unit 140 re-sizes the width, depth, and height of the target object 200 when the adjustment target surface is increased or decreased in accordance with the converted length with respect to the normal direction of the surface. calculate.
  • the control unit 140 displays the dimensions after the recalculation and the image of the frame 121 of the dimensions on the display unit 111 (step S55). That is, the size of the frame 121 displayed on the display unit 111 is changed from the size calculated in step S3 to the size calculated in step S54.
  • the control unit 140 determines whether the save button 404 has been operated (step S56). When detecting that the save button 404 has been operated, the control unit 140 stores, for example, the dimensions recalculated in step S54 in the storage unit 150, and ends the processing illustrated in FIG. Until the save button 404 is operated, the process returns to step S51 and the process shown in FIG. 8 is repeated. At this time, for example, if a new adjustment target surface is not selected in step S51, steps S52 to S55 are repeated for the current adjustment target surface.
  • the user moves the surface to be adjusted so that the frame 121 matches the size of the object 200 shown in the color image.
  • the user selects a surface that is shifted from the outline of the object 200 (FIG. 9B), and performs a slide operation (FIG. 9C) to move the frame 121 to the outline of the object 200. (FIG. 9D).
  • the control unit 140 recalculates the dimensions of the target object 200 based on the amount of change, for example, the amount of slide.
  • the user can change the size of the frame 121 while viewing the superimposed image 300, and thereby the control unit 140 Can calculate a dimension that matches the actual size of the object 200.
  • the control unit 140 displays a frame (for example, (c) in FIG. 9) while the slide operation is being performed, that is, while the change in the coordinates of the contact position of the finger or the pointing device is continuously detected.
  • the display of the frame for example, (d) in FIG. 9) may be changed.
  • the display may be such that the size of the frame before the start of the slide operation and the size of the frame according to the slide amount can be visually recognized.
  • step S51 when the user performs a touch operation on the surface selection button 402, the control unit 140 sets the coordinates of the contact position of the finger or the pointing device and the numeric buttons included in the surface selection button 402. Is selected from among the six planes P1 to P6 based on the coordinates of.
  • step S51 when the user performs a touch operation on the superimposed image 300, the control unit 140 selects a surface to be adjusted from the six surfaces P1 to P6 by the processing shown in FIG.
  • FIG. 10 illustrates details of selection of a surface to be adjusted based on a touch operation in the superimposed image 300 (step S51).
  • FIG. 11 shows coordinates A of the position touched by the user, center coordinates B1, B2, B3, and B4 of the side surface, a circle C1 drawn on a part of the top surface, and a circle C2 drawn on a part of the bottom surface. Is shown.
  • the control unit 140 performs the processing shown in FIG. 10 based on the camera coordinate system (two-dimensional coordinate system).
  • the control unit 140 calculates the center coordinates B1, B2, B3, and B4 of the four side surfaces based on the size of the object 200 calculated in step S3, that is, based on the size of the frame 121 (step S501). .
  • the control unit 140 draws the circles C1 and C2 on the top and bottom surfaces of the frame 121, respectively (step S502).
  • the control unit 140 acquires the coordinates A of the position touched by the user (S503). The control unit 140 determines whether the coordinate A is within the range of the circle C1 (S504). If the coordinate A is within the range of the circle C1, the control unit 140 determines the surface to be adjusted as the top surface (S505).
  • the control unit 140 determines whether or not the coordinate A is within the range of the circle C2 (S506). If the coordinate A is within the range of the circle C2, the control unit 140 determines the adjustment target surface as the bottom surface (S507).
  • the control unit 140 determines a distance from the coordinate A to the central coordinate B1, a distance from the coordinate A to the central coordinate B2, a distance from the coordinate A to the central coordinate B3, The distance from the coordinate A to the center coordinate B4 is calculated (S508).
  • the control unit 140 determines a side surface corresponding to the coordinate having the shortest distance among the center coordinates B1 to B4 as a surface to be adjusted (S509).
  • the measuring device 100 of the present embodiment calculates the size of the outer shape of the object 200 having a plurality of surfaces.
  • the measuring device 100 includes an operation unit 112 that receives an operation by a user, an acquisition unit that acquires depth information indicating a depth image of the target object, and color information indicating a color image of the target object, and at least one of the depth information and the color information.
  • the control unit 140 calculates a first dimension indicating the width, the depth, and the height of the object based on one of them, and the frame image indicating the contour shape of the object based on the first dimension is superimposed on the color image.
  • a display unit 111 for displaying.
  • the operation unit 112 receives selection of a surface to be adjusted and input of a variation amount of the surface to be adjusted by the user.
  • the control unit 140 calculates a second dimension of the object when the adjustment target surface is moved in the normal direction of the adjustment target surface based on the variation amount, based on the first dimension and the variation amount. Then, the frame image displayed by the display unit 111 is changed so as to indicate the contour shape of the target based on the second dimension.
  • the user selects, from the plurality of surfaces indicated by the frame 121, a surface that is displaced from the contour of the target in the color image.
  • the user inputs the amount of change by, for example, a slide operation.
  • the control unit 140 measures the size of the object 200 when the surface to be adjusted is moved in the normal direction based on the amount of variation input by the user, for example, the amount of sliding. Further, the control unit 140 changes the size of the frame 121 so as to indicate the dimension after the measurement. Therefore, the control unit 140 can accurately calculate the dimensions of the object 200 by moving the selected surface so that the frame 121 matches the outline of the object 200 in the color image. Thereby, for example, even if the depth information includes noise and the dimension calculated first has an error, the control unit 140 can adjust the dimension of the target object 200 based on the user's visual adjustment. It can be calculated well.
  • the operation unit 112 is a touch panel.
  • the control unit 140 calculates the center coordinates of each of the plurality of surfaces in the image of the frame 121 when the user selects the adjustment target surface, and calculates the distance between the coordinates of the position where the user touches the touch panel and the center coordinates. Is selected as the surface to be adjusted.
  • the display unit 111 displays an image of a predetermined shape associated with a surface on at least one of the plurality of surfaces. In the present embodiment, a circle is displayed. If the coordinates of the position at which the user touches the touch panel are within the range of the image of the predetermined shape in the selection of the surface to be adjusted by the user, the control unit 140 sets the surface associated with the image of the predetermined shape as the adjustment target. Select as the face.
  • the amount of change in the surface to be adjusted is input by a slide operation on the operation unit 112 or a numerical value input.
  • the amount of change input by the user corresponds to the number of pixels.
  • the control unit 140 converts the number of pixels into a length and calculates a second dimension.
  • the acquisition unit includes a depth camera 120 that captures an object to generate depth information, and a visible light camera 130 that captures an object to generate color information.
  • the measuring method is a method in which the control unit of the computer calculates the size of the outer shape of the object 200 having a plurality of surfaces.
  • the measuring method is based on steps S1 and S2 of acquiring depth information indicating a depth image of the target object 200 and color information indicating a color image of the target object 200 from the obtaining unit, based on at least one of the depth information and the color information. Calculating a first dimension indicating the width, depth, and height of the object, and displaying a frame image indicating a contour shape of the object based on the first dimension on the display unit 111 so as to overlap the color image.
  • Step S4 Steps S51 and S52 in which the user selects a surface to be adjusted and inputs an amount of variation of the surface to be adjusted via the operation unit 112, and selects the selected surface to be adjusted based on the amount of variation.
  • Steps S53 and S54 for calculating a second dimension of the object when moved in the normal direction of the surface based on the first dimension and the amount of change, and a frame image displayed by the display unit 111 are: Comprising the step S55 to change to indicate the outline shape of the object based on the second dimension.
  • the circles C1 and C2 are drawn as shapes for designating the top surface and the bottom surface, but the shapes for designating the surfaces need not be circular. For example, it may be square. Also, the surface that can be specified by the graphic need not be the top surface or the bottom surface. For example, it may be a side surface.
  • the depth camera 120 is built in the measuring device 100; however, the depth camera 120 may not be built in the measuring device 100.
  • the measuring device 100 may acquire the depth information generated by the depth camera 120 via the communication unit 160.
  • the communication unit 160 corresponds to an acquisition unit that acquires depth information.
  • the visible light camera 130 does not have to be built in the measuring device 100.
  • the measuring device 100 may acquire the color information along with the depth information via the communication unit 160.
  • the communication unit 160 corresponds to an acquisition unit that acquires color information.
  • the user manually changes the size of the frame 121 by looking at the superimposed image 300, and thereby the control unit 140 recalculates the size of the object 200.
  • the dimensions of the object 200 may be recalculated from the superimposed image 300 using machine learning.
  • the measuring device 100 of the present disclosure can be realized by hardware resources, for example, cooperation with a processor, a memory, and a program.
  • the present disclosure is applicable to a measuring device and a measuring method for adjusting the size of a measured object.
  • measuring device touch screen 111 display unit 112 operation unit 120 depth camera 121 frame 130 visible light camera 131 color image 140 control unit 150 storage unit 160 communication unit 200 object 300 superimposed image 401 dimensions 402 surface selection button 403 adjustment button 404 save Button A coordinate B1, B2, B3, B4 Center coordinate C1, C2 Circle P1, P2, P3, P4, P5, P6 Surface

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本開示にかかる採寸装置は、複数の面を有する対象物の外形の大きさを算出する採寸装置である。採寸装置は、ユーザによる操作を受け付ける操作部と、対象物の深度画像を示す深度情報と対象物のカラー画像を示す色情報とを取得する取得部と、深度情報と色情報の少なくともいずれか一方に基づいて、対象物の幅、奥行き、及び高さを示す第１の寸法を算出する制御部と、第１の寸法に基づく対象物の輪郭形状を示す枠画像をカラー画像に重ねて表示する表示部と、を備える。操作部は、ユーザによる調整対象の面の選択及び調整対象の面の変動量の入力を受け付ける。制御部は、調整対象の面を変動量に基づいて調整対象の面の法線方向に移動させたときの対象物の幅、奥行き、及び高さを示す第２の寸法を、第１の寸法と変動量とに基づいて算出し、表示部が表示する枠画像を、第２の寸法に基づく対象物の輪郭形状を示すように変更する。

Description

採寸装置及び採寸方法
　本開示は、対象物の寸法を計測する採寸装置及び採寸方法に関する。
　特許文献１は、可視光画像と熱画像とを重ねて表示させる情報処理装置を開示している。この情報処理装置は、熱画像において周囲の温度と異なる特定部分の表示形態を他の部分と異ならせている。例えば、特定部分を他の部分よりも高い画素数又は高い透過度で熱画像を表示している。これにより、物体の特定部分における温度分布を明瞭且つ容易に認識できるようにしている。
特開２０１３－２９５９号公報
　本開示は、対象物の測定寸法の調整を可能にする採寸装置及び採寸方法を提供する。
　本開示にかかる採寸装置は、複数の面を有する対象物の外形の大きさを算出する採寸装置である。採寸装置は、ユーザによる操作を受け付ける操作部と、対象物の深度画像を示す深度情報と対象物のカラー画像を示す色情報とを取得する取得部と、深度情報と色情報の少なくともいずれか一方に基づいて、対象物の幅、奥行き、及び高さを示す第１の寸法を算出する制御部と、第１の寸法に基づく対象物の輪郭形状を示す枠画像をカラー画像に重ねて表示する表示部と、を備える。操作部は、ユーザによる調整対象の面の選択及び調整対象の面の変動量の入力を受け付ける。制御部は、調整対象の面を変動量に基づいて調整対象の面の法線方向に移動させたときの対象物の幅、奥行き、及び高さを示す第２の寸法を、第１の寸法と変動量とに基づいて算出し、表示部が表示する枠画像を、第２の寸法に基づく対象物の輪郭形状を示すように変更する。
　これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。
　本開示にかかる採寸方法は、複数の面を有する対象物の外形の大きさを算出する方法である。採寸装置は、対象物の深度画像を示す深度情報と対象物のカラー画像を示す色情報とを取得するステップ、深度情報と色情報の少なくともいずれか一方に基づいて、対象物の幅、奥行き、及び高さを示す第１の寸法を算出するステップ、第１の寸法に基づく対象物の輪郭形状を示す枠画像をカラー画像に重ねて表示部に表示するステップ、ユーザによる調整対象の面の選択及び調整対象の面の変動量の入力を受け付けるステップ、調整対象の面を変動量に基づいて調整対象の面の法線方向に移動させたときの対象物の幅、奥行き、及び高さを示す第２の寸法を、第１の寸法と変動量とに基づいて算出するステップ、及び表示部が表示する枠画像を、第２の寸法に基づく対象物の輪郭形状を示すように変更するステップ、を含む。
　本開示における採寸装置及び採寸方法は、ユーザによって選択された調整対象の面を、ユーザが指定した変動量に基づいて、調整対象の面の法線方向に移動させたときの対象物の寸法を算出する。これにより、対象物の測定寸法の調整が可能となる。
採寸装置の正面図 採寸装置の背面図 採寸装置の電気的構成を示すブロック図 採寸装置による対象物の撮影を説明するための図 採寸装置の全体動作を示すフローチャート 推定した対象物の輪郭形状を示す枠画像と可視光画像を重ねて表示する例を示す図 採寸した結果を調整するための画面の一例を示す図 寸法の再計算の動作を示すフローチャート 法線方向のスライド操作を説明するための図 対象物の面の選択動作を示すフローチャート 対象物の面の選択動作を説明するための図
　以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
　（本開示の基礎となった知見）
　採寸しようとする対象物、例えば、物流に使用される箱型の荷物の全体を赤外線カメラなどの深度カメラで撮影するためには、荷物の全体が写るように離れた距離から撮影する必要がある。しかし、例えば赤外線アクティブステレオ方式を用いる場合、隙間、凹凸部や、黒い素材などで深度を検出しづらく、深度情報においてデータの抜けが発生し易い。また、赤外線は日光による影響も受ける。そのため、離れた距離から撮影すると、深度カメラから得られる深度情報にノイズが含まれたり、データの抜けが発生する場合がある。すなわち、深度情報の精度が低下する。よって、深度情報に基づく対象物の寸法の測定は精度が良くない場合があった。
　本開示の採寸装置は、対象物の寸法を測定した後の寸法の微調整を可能にする。具体的には、本開示の採寸装置は、深度画像に基づいて算出した寸法に基づく対象物の輪郭形状を示す枠画像とカラー画像とを重ねて表示する。採寸装置は、ユーザによる調整対象の面の選択と、その面の変動量の入力とを受け付ける。採寸装置は、ユーザによって選択された調整対象の面を、ユーザが指定した変動量に基づいて、調整対象の面の法線方向に移動させたときの対象物の寸法を算出する。これにより、測定寸法のユーザによる調整を可能にする。以下、本開示の採寸装置について詳細に説明する。
　（実施形態）
　以下、実施形態について、図面を参照しながら説明する。
　１．　採寸装置の構成
　図１から図４を参照して、本実施形態の採寸装置の構成について説明する。
　図１は、本実施形態に係る採寸装置の正面図である。図２は、本実施形態に係る採寸装置の背面図である。採寸装置１００は、例えば、タブレット型のパソコンである。採寸装置１００は、正面側にタッチスクリーン１１０を備え、背面側に深度カメラ１２０及び可視光カメラ１３０を備える。
　図３は、第１実施形態に係る採寸装置の電気的構成を示すブロック図である。採寸装置１００は、タッチスクリーン１１０、深度カメラ１２０、及び可視光カメラ１３０に加え、制御部１４０、記憶部１５０、及び通信部１６０を備える。
　タッチスクリーン１１０は、表示部１１１と操作部１１２とを含む。表示部１１１は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイで構成される。操作部１１２は、ユーザによる種々の操作を入力するユーザインタフェースである。本実施形態において、操作部１１２は、表示部１１１の表面に設けられたタッチパネルである。操作部１１２は、ユーザの指、又はペンなどのポインティングデバイスによるタッチ操作を検出する。操作部１１２は、例えば電極膜を含む。制御部１４０は、例えば、指やポインティングデバイスが操作部１１２に接触することによって生じる電圧の変化又は静電容量の変化を測定することによって、指やポインティングデバイスの接触位置を特定することができる。なお、操作部１１２は、タッチパネルの他に、キーボード、ボタン、スイッチ、又はこれらの組み合わせによって実現してもよい。
　深度カメラ１２０は、基準位置から被写体までの距離を示す深度情報を生成する。具体的には、深度カメラ１２０は、被写体までの距離を測定して、測定した距離を、画素毎の深度値で示す深度画像を生成する。深度画像内の各画素は、二次元座標で特定される。深度カメラ１２０は、例えば、赤外線カメラである。深度カメラ１２０は、アクティブステレオ方式及びＴＯＦ(Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）方式などの各種公知技術を実装することによって実現される。例えば、採寸装置１００は、２台の深度カメラ１２０を備えてもよく、この場合、２つの画像の視差に基づいて、距離が算出されてもよい。採寸装置１００は、１台の深度カメラ１２０を備えてもよく、この場合、照射した赤外線の光線が対象物に当たり、反射光が戻るまでにかかる時間から、距離が算出されてもよい。深度カメラ１２０は、深度情報を取得する取得部に相当する。
　可視光カメラ１３０は、被写体を撮影して色情報を生成する。可視光カメラ１３０は、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ、又はＮＭＯＳイメージセンサなどの画像センサを備える。色情報は、例えば、画素毎のＲＧＢ値を示すカラー画像である。カラー画像内の各画素は、二次元座標で特定される。可視光カメラ１３０は、色情報を取得する取得部に相当する。
　制御部１４０は、半導体素子などで実現可能である。制御部１４０は、例えば、マイクロコンピュータ、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、又はＡＳＩＣ（Application Specific Integrated Circuit）で構成することができる。制御部１４０の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部１４０は、記憶部１５０に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、所定の機能を実現する。
　記憶部１５０は、採寸装置１００の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。記憶部１５０は、例えば、ハードディスク（ＨＤＤ）、ＳＳＤ（Solid State Drive）、ＲＡＭ（Random Access Memory）、ＤＲＡＭ（Dynamic RAM）、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現できる。
　通信部１６０は、所定の通信規格に準拠して外部機器との通信を行う回路を含む。所定の通信規格は、例えば、ＬＡＮ（Local Area Network）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＳＢ（Universal Serial Bus）、及びＨＤＭＩ（登録商標）である。
　図４は、採寸装置１００による対象物２００の撮影を模式的に示している。採寸装置１００が採寸する対象物２００は、例えば、物流に使用される箱型の荷物である。対象物２００は、複数の面を含む。図４の例では、対象物２００は、直方体の箱であるため、６つの面を含む。深度カメラ１２０は、深度カメラ１２０の位置を基準位置として、深度カメラ１２０から対象物２００までの距離を測定して深度画像を生成する。可視光カメラ１３０は、対象物２００を撮影してカラー画像を生成する。本実施形態では、対象物２００を採寸することを目的としているため、図４に示すように、対象物２００の少なくとも２面が写るように撮影する。採寸装置１００は、深度画像及びカラー画像を参照して、対象物２００の幅Ｗ２００、奥行きＤ２００、及び高さＨ２００を算出する。
　本実施形態では、図２～図４において、深度カメラ１２０と可視光カメラ１３０が別個のカメラである場合を例示している。しかし、深度カメラ１２０と可視光カメラ１３０は、深度情報と色情報の両方を取得可能な１つのカメラであってもよい。
　２．　採寸装置の動作
　図５から図１１を参照して、本実施形態の採寸装置１００の動作について説明する。
　２．１　全体の流れ
　図５は、採寸装置１００の制御部１４０の動作を示している。制御部１４０は、深度カメラ１２０から深度画像を示す深度情報を取得する（ステップＳ１）。制御部１４０は、可視光カメラ１３０からカラー画像を示す色情報を取得する（ステップＳ２）。
　制御部１４０は、深度画像に基づいて対象物２００を検出し、対象物２００の寸法を算出する（ステップＳ３）。制御部１４０は、カラー画像を画像処理することによって対象物２００の輪郭を抽出して、対象物２００を検出してもよい。制御部１４０は、カラー画像と深度画像の両方に基づいて対象物２００を検出してもよい。深度画像及び／又はカラー画像に基づく対象物２００の検出は既存の公知技術によって行うことができる。対象物２００の検出により、対象物２００の画像内の位置が特定される。
　制御部１４０は、算出した寸法の大きさを持つ枠の画像、すなわち、対象物２００の各面の輪郭形状を示す枠画像と、カラー画像とを重ねて表示部１１１に表示する（ステップＳ４）。深度カメラ１２０と可視光カメラ１３０が同一のカメラである場合は、深度画像の二次元座標とカラー画像の二次元座標は一致する。深度カメラ１２０と可視光カメラ１３０が別個のカメラである場合は、制御部１４０は、例えば、深度カメラ１２０と可視光カメラ１３０の位置に基づいて、深度画像の二次元座標とカラー画像の二次元座標を対応付ける。例えば、深度画像の座標系とカラー画像の座標系を、所定の基準位置を原点とする座標系に変換する。
　制御部１４０は、ユーザの操作に応じて対象物２００の寸法を再計算する（ステップＳ５）。
　図６は、ステップＳ４の重ね合わせ、すなわち、ステップＳ２で取得したカラー画像１３１と、ステップＳ３で算出された寸法の枠１２１の画像（枠画像）との重ね合わせを例示している。制御部１４０は、対象物２００各面の輪郭形状を示す枠１２１の画像をカラー画像１３１に重ねた重畳画像３００を生成する。
　図７は、ステップＳ５における、採寸結果を調整するための、表示部１１１の画面の一例を示している。表示部１１１は、ステップＳ４で生成された重畳画像３００と、ステップＳ３で算出された寸法４０１とを表示する。さらに、表示部１１１には、寸法を調整する面を選択するための面選択ボタン４０２、枠１２１の大きさを変更するための調整ボタン４０３、及び寸法を決定するための保存ボタン４０４が表示される。
　面選択ボタン４０２は、例えば、直方体の６面のいずれかを選択できるように「１」から「６」の数値ボタンを含む。例えば、「１」から「６」の数値は、図９の（ａ）に示す面Ｐ１～Ｐ６にそれぞれ対応する。調整ボタン４０３は、例えば、変動量を増加させるためのボタンと、変動量を減少させるためのボタンを含む。調整ボタン４０３で設定される数値は、画素数に対応する。ユーザは、調整ボタン４０３上をタッチ操作することによって、変動量を示す数値を採寸装置１００に入力することができる。
　ユーザは、重畳画像３００内又は面選択ボタン４０２に対して、指又はポインティングデバイスによってタッチ操作することによって、寸法を調整しようとする面を選択することができる。ユーザは、選択した面を重畳画像３００内でスライド操作する又は調整ボタン４０３に対してタッチ操作することによって、選択した面を、すなわち、枠１２１の一部を、その面の法線方向に移動させることができる。これにより、ユーザは、枠１２１の大きさを変更することができる。面の選択処理とサイズの変更処理において、ボタン操作と画像上での操作のいずれの組み合わせも可能である。例えば、ユーザは、重畳画像３００上におけるタッチ操作により面を選択し、タッチした位置からスライド操作して面を移動させてもよい。ユーザは、面選択ボタン４０２を操作することにより選択した面を、調整ボタン４０３の操作により移動させてもよい。ユーザは、面の選択処理とサイズの変更処理のいずれか一方を、重畳画像３００上における操作で行い、他方の処理をボタンに対する操作で行ってもよい。例えば、ユーザは、面選択ボタン４０２を操作することにより選択した面を、重畳画像３００上におけるスライド操作により移動させてもよい。ユーザは、重畳画像３００上におけるタッチ操作により選択した面を、調整ボタン４０３の操作により移動させてもよい。
　２．２　寸法の再計算
　図８は、ユーザの操作に応じた寸法の再計算（ステップＳ５）の詳細を示している。図９は、スライド操作を例示している。
　制御部１４０は、ユーザの操作に応じて調整対象の面を選択する（ステップＳ５１）。例えば、ユーザは、図７に示す重畳画像３００内又は面選択ボタン４０２に対して、指又はポインティングデバイスによってタッチ操作する。制御部１４０は、指又はポインティングデバイスの接触位置の座標に基づいて、６つの面Ｐ１～Ｐ６の中から調整対象の面を選択する。図９の（ｂ）は、調整対象の面として、面Ｐ４が選択された例を示している。
　制御部１４０は、ユーザによる変動量の入力操作を検知したか否かを判断する（ステップＳ５２）。制御部１４０は、例えば、指又はポインティングデバイスの接触位置の座標の変化を検知することによって、スライド操作を検知する。例えば、制御部１４０は、スライド操作を検知すると、変動量の入力操作が行われたと判断する。また、制御部１４０は、指又はポインティングデバイスの接触位置の座標に基づいて調整ボタン４０３が操作されたことを検知すると、変動量の入力操作が行われたと判断する。なお、変動量の入力操作は、キーボードなどを使用して数値を直接入力する操作であってもよい。
　変動量の入力操作が行われると、制御部１４０は、変動量をピクセルから長さに換算する（ステップＳ５３）。例えば、変動量の入力操作がスライド操作である場合は、制御部１４０は、スライド量に対応する画素数を長さ（例えば、ｍｍ）に換算する。変動量の入力操作が調整ボタン４０３に対するタッチ操作である場合は、制御部１４０は、調整ボタン４０３で設定された数値を長さに換算する。
　制御部１４０は、換算後の長さに応じて対象物２００の寸法を再計算する（ステップＳ５４）。具体的には、制御部１４０は、ステップＳ３で算出した寸法と換算した長さとに基づいて、対象物２００の寸法を再計算する。ここで、図９の（ｃ）に示すように、制御部１４０は、調整対象の面の移動方向を、調整対象の面の法線方向に制限する。よって、制御部１４０は、調整対象の面をその面の法線方向に対して、換算した長さに応じて増減させた場合における、対象物２００の幅、奥行き、及び高さの寸法を再計算する。
　制御部１４０は、再計算後の寸法と、その寸法の大きさの枠１２１の画像を表示部１１１に表示する（ステップＳ５５）。すなわち、表示部１１１に表示させる枠１２１の大きさを、ステップＳ３で算出した寸法からステップＳ５４で算出した寸法に変更する。
　制御部１４０は、保存ボタン４０４が操作されたか否かを判断する（ステップＳ５６）。制御部１４０は、保存ボタン４０４が操作されたことを検知すると、例えば、ステップＳ５４で再計算した寸法を記憶部１５０に格納して、図８に示す処理を終了する。保存ボタン４０４が操作されるまでは、ステップＳ５１に戻り、図８に示す処理を繰り返す。このとき、例えば、ステップＳ５１において新たに調整対象の面が選択されなければ、現在の調整対象の面に対してステップＳ５２～Ｓ５５が繰り返される。
　表示部１１１において、枠１２１がカラー画像と重ねて表示されているため、ユーザは枠１２１がカラー画像に写っている対象物２００の大きさに一致するように、調整対象の面を移動させることができる。例えば、ユーザは、対象物２００の輪郭からずれている面を選択して（図９の（ｂ））、スライド操作することによって（図９の（ｃ））、枠１２１を対象物２００の輪郭に一致させる（図９の（ｄ））。制御部１４０は、変動量、例えば、スライド量に基づいて、対象物２００の寸法を再計算する。これにより、例えば、深度画像に基づいて算出された最初の寸法の精度が良くない場合であっても、ユーザが重畳画像３００を目視しながら枠１２１の大きさを変更することによって、制御部１４０は対象物２００の実際の大きさに一致するような寸法を算出することができる。
　制御部１４０は、スライド操作が行われている間、すなわち、指又はポインティングデバイスの接触位置の座標の変化を検出し続けている間の枠の表示（例えば、図９の（ｃ））と、スライド操作が終了した後、すなわち、非接触を検出したときの枠の表示（例えば、図９のお（ｄ））を異ならせてもよい。例えば、スライド操作中は、スライド操作が開始される前の枠の大きさと、スライド量に応じた枠の大きさとが、それぞれ視認できるような表示であってもよい。
　２．３　面の選択
　ステップＳ５１において、ユーザが面選択ボタン４０２に対してタッチ操作した場合は、制御部１４０は、指又はポインティングデバイスの接触位置の座標と面選択ボタン４０２内に含まれる数値ボタンの座標とに基づいて、６つの面Ｐ１～Ｐ６の中から調整対象の面を選択する。
　ステップＳ５１において、ユーザが重畳画像３００に対してタッチ操作した場合は、制御部１４０は、図１０に示す処理により、６つの面Ｐ１～Ｐ６の中から調整対象の面を選択する。
　図１０は、重畳画像３００内のタッチ操作に基づく調整対象の面の選択（ステップＳ５１）の詳細を示している。図１１は、ユーザによりタッチされた位置の座標Ａ、側面の中心座標Ｂ１，Ｂ２，Ｂ３，Ｂ４、天面の一部に描かれた円Ｃ１、及び底面の一部に描かれた円Ｃ２を示している。制御部１４０は、カメラ座標系（二次元座標系）に基づいて図１０に示す処理を行う。
　制御部１４０は、ステップＳ３で算出した対象物２００の寸法に基づいて、すなわち、枠１２１の大きさに基づいて、４つの側面の中心座標Ｂ１，Ｂ２，Ｂ３，Ｂ４を算出する（ステップＳ５０１）。制御部１４０は、枠１２１の天面及び底面にそれぞれ円Ｃ１，Ｃ２を描画する（ステップＳ５０２）。
　制御部１４０は、ユーザがタッチした位置の座標Ａを取得する（Ｓ５０３）。制御部１４０は、座標Ａが円Ｃ１の範囲内か否かを判断する（Ｓ５０４）。制御部１４０は、座標Ａが円Ｃ１の範囲内であれば、調整対象の面を天面に決定する（Ｓ５０５）。
　座標Ａが円Ｃ１の範囲内でなければ、制御部１４０は、座標Ａが円Ｃ２の範囲内か否かを判断する（Ｓ５０６）。制御部１４０は、座標Ａが円Ｃ２の範囲内であれば、調整対象の面を底面に決定する（Ｓ５０７）。
　座標Ａが円Ｃ２の範囲内でなければ、制御部１４０は、座標Ａから中心座標Ｂ１までの距離と、座標Ａから中心座標Ｂ２までの距離と、座標Ａから中心座標Ｂ３までの距離と、座標Ａから中心座標Ｂ４までの距離とをそれぞれ算出する（Ｓ５０８）。制御部１４０は、中心座標Ｂ１～Ｂ４の中で距離が最短となる座標に対応する側面を、調整対象の面として決定する（Ｓ５０９）。
　３．　効果及び補足
　本実施形態の採寸装置１００は、複数の面を有する対象物２００の外形の大きさを算出する。採寸装置１００は、ユーザによる操作を受け付ける操作部１１２と、対象物の深度画像を示す深度情報と対象物のカラー画像を示す色情報とを取得する取得部と、深度情報と色情報の少なくともいずれか一方に基づいて対象物の幅、奥行き、及び高さを示す第１の寸法を算出する制御部１４０と、第１の寸法に基づく対象物の輪郭形状を示す枠画像をカラー画像に重ねて表示する表示部１１１と、を備える。操作部１１２は、ユーザによる調整対象の面の選択及び調整対象の面の変動量の入力を受け付ける。制御部１４０は、調整対象の面を変動量に基づいて調整対象の面の法線方向に移動させたときの対象物の第２の寸法を、第１の寸法と変動量とに基づいて算出し、表示部１１１が表示する枠画像を、第２の寸法に基づく対象物の輪郭形状を示すように変更する。
　これにより、対象物の測定寸法の調整が可能になる。例えば、ユーザは、枠１２１が示す複数の面の中から、カラー画像内の対象物の輪郭からずれている面を選択する。ユーザは、例えばスライド操作により、変動量を入力する。制御部１４０は、ユーザが入力した変動量、例えば、スライド量に基づいて、調整対象の面をその法線方向に移動させたときの対象物２００の寸法を計測する。さらに、制御部１４０は、計測後の寸法を示すように枠１２１の大きさを変更する。よって、ユーザが、枠１２１がカラー画像内の対象物２００の輪郭に一致するように、選択した面を動かすことによって、制御部１４０は、対象物２００の寸法を精度良く算出することができる。これにより、例えば、深度情報にノイズが含まれ、最初に算出された寸法に誤差がある場合であっても、ユーザの目視による調整に基づいて、制御部１４０は、対象物２００の寸法を精度良く算出することができる。
　操作部１１２は、タッチパネルである。制御部１４０は、ユーザによる調整対象の面の選択において、枠１２１の画像における複数の面のぞれぞれの中心座標を算出し、ユーザがタッチパネルに触れた位置の座標と中心座標との距離が最も近い面を、調整対象の面として選択する。
　これにより、ユーザは選択したい面を選択することができる。
　表示部１１１は、複数の面の少なくともいずれか一つにおいて、面に対応付けられた所定形状の画像を表示する。本実施形態では、円を表示する。制御部１４０は、ユーザによる調整対象の面の選択において、ユーザがタッチパネルに触れた位置の座標が所定形状の画像の範囲内であれば、所定形状の画像に対応付けられた面を、調整対象の面として選択する。
　これにより、ユーザは選択したい面を選択することができる。
　調整対象の面の変動量は、操作部１１２に対するスライド操作又は数値入力により、入力される。
　ユーザが入力する変動量は画素数に対応する。制御部１４０は、画素数を長さに変換して、第２の寸法を算出する。
　取得部は、対象物を撮影して深度情報を生成する深度カメラ１２０と、対象物を撮影して色情報を生成する可視光カメラ１３０とを含む。
　本実施形態の採寸方法は、コンピュータの制御部が、複数の面を有する対象物２００の外形の大きさを算出する方法である。採寸方法は、対象物２００の深度画像を示す深度情報と対象物２００のカラー画像を示す色情報とを取得部から取得するステップＳ１，Ｓ２、深度情報と色情報の少なくともいずれか一方に基づいて、対象物の幅、奥行き、及び高さを示す第１の寸法を算出するステップＳ３、第１の寸法に基づく対象物の輪郭形状を示す枠画像をカラー画像に重ねて表示部１１１に表示するステップＳ４、ユーザによる調整対象の面の選択及び調整対象の面の変動量の入力を操作部１１２を介して受け付けるステップＳ５１，Ｓ５２、選択された調整対象の面を変動量に基づいて調整対象の面の法線方向に移動させたときの対象物の第２の寸法を、第１の寸法と変動量とに基づいて算出するステップＳ５３，Ｓ５４、及び表示部１１１が表示する枠画像を、第２の寸法に基づく対象物の輪郭形状を示すように変更するステップＳ５５を含む。
　これにより、対象物の測定寸法の調整が可能になる。
　（他の実施形態）
　以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。また、上記実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
　上記実施形態では、天面及び底面を指定するための形状として円Ｃ１，Ｃ２が描かれたが、面を指定するための形状は円形でなくてもよい。例えば、四角形であってもよい。また、図形によって指定可能な面は、天面及び底面でなくてもよい。例えば、側面であってもよい。
　上記実施形態では、深度カメラ１２０が採寸装置１００に内蔵されたが、採寸装置１００に深度カメラ１２０が内蔵されていなくてもよい。採寸装置１００は、通信部１６０を介して、深度カメラ１２０が生成した深度情報を取得してもよい。この場合、通信部１６０が深度情報を取得する取得部に相当する。同様に、可視光カメラ１３０は、採寸装置１００に内蔵されていなくてもよい。採寸装置１００は、通信部１６０を介して、深度情報と共に、色情報を取得してもよい。この場合、通信部１６０が色情報を取得する取得部に相当する。
　上記実施形態は、ユーザが、重畳画像３００を目視することによって手動で枠１２１の大きさを変更し、それにより、制御部１４０は対象物２００の寸法を再計算した。これに代えて、機械学習を使用して、重畳画像３００から対象物２００の寸法を再計算してもよい。
　本開示の採寸装置１００は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現可能である。
　以上のように、本開示における技術の例示として、実施形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示は、計測した対象物の寸法を調整する採寸装置及び採寸方法に適用可能である。
　　１００　　採寸装置
　　１１０　　タッチスクリーン
　　１１１　　表示部
　　１１２　　操作部
　　１２０　　深度カメラ
　　１２１　　枠
　　１３０　　可視光カメラ
　　１３１　　カラー画像
　　１４０　　制御部
　　１５０　　記憶部
　　１６０　　通信部
　　２００　　対象物
　　３００　　重畳画像
　　４０１　　寸法
　　４０２　　面選択ボタン
　　４０３　　調整ボタン
　　４０４　　保存ボタン
　　Ａ　　　　座標
　　Ｂ１，Ｂ２，Ｂ３，Ｂ４　　中心座標
　　Ｃ１，Ｃ２　　円
　　Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６　　面

Claims (7)

  1. 　複数の面を有する対象物の外形の大きさを算出する採寸装置であって、
    　ユーザによる操作を受け付ける操作部と、
    　前記対象物の深度画像を示す深度情報と前記対象物のカラー画像を示す色情報とを取得する取得部と、
    　前記深度情報と前記色情報の少なくともいずれか一方に基づいて、前記対象物の幅、奥行き、及び高さを示す第１の寸法を算出する制御部と、
    　前記第１の寸法に基づく対象物の輪郭形状を示す枠画像を前記カラー画像に重ねて表示する表示部と、
    　を備え、
    　前記操作部は、前記ユーザによる調整対象の面の選択及び前記調整対象の面の変動量の入力を受け付け、
    　前記制御部は、前記調整対象の面を前記変動量に基づいて前記調整対象の面の法線方向に移動させたときの前記対象物の幅、奥行き、及び高さを示す第２の寸法を、前記第１の寸法と前記変動量とに基づいて算出し、前記表示部が表示する前記枠画像を前記第２の寸法に基づく対象物の輪郭形状を示すように変更する、
    　採寸装置。
  2. 　前記操作部は、タッチパネルであり、
    　前記制御部は、前記ユーザによる調整対象の面の選択において、前記枠画像における前記複数の面のぞれぞれの中心座標を算出し、前記ユーザが前記タッチパネルに触れた位置の座標と前記中心座標との距離が最も近い面を、前記調整対象の面として選択する、
    　請求項１に記載の採寸装置。
  3. 　前記操作部は、タッチパネルであり、
    　前記表示部は、前記複数の面の少なくともいずれか一つにおいて、面に対応付けられた所定形状の画像を表示し、
    　前記制御部は、前記ユーザによる調整対象の面の選択において、前記ユーザが前記タッチパネルに触れた位置の座標が前記所定形状の画像の範囲内であれば、前記所定形状の画像に対応付けられた面を、前記調整対象の面として選択する、
    　請求項１に記載の採寸装置。
  4. 　前記調整対象の面の変動量は、前記操作部に対するスライド操作又は数値入力により、入力される、
    　請求項１に記載の採寸装置。
  5. 　前記ユーザが入力する変動量は画素数に対応し、
    　前記制御部は、前記画素数を長さに変換して前記第２の寸法を算出する、
    　請求項１に記載の採寸装置。
  6. 　前記取得部は、前記対象物を撮影して前記深度情報を生成する深度カメラと、前記対象物を撮影して前記色情報を生成する可視光カメラとを含む、
    　請求項１に記載の採寸装置。
  7. 　複数の面を有する対象物の外形の大きさを算出する採寸方法であって、
    　前記対象物の深度画像を示す深度情報と前記対象物のカラー画像を示す色情報とを取得するステップ、
    　前記深度情報と前記色情報の少なくともいずれか一方に基づいて、前記対象物の幅、奥行き、及び高さを示す第１の寸法を算出するステップ、
    　前記第１の寸法に基づく対象物の輪郭形状を示す枠画像を前記カラー画像に重ねて表示部に表示するステップ、
    　ユーザによる調整対象の面の選択及び前記調整対象の面の変動量の入力を受け付けるステップ、
    　前記調整対象の面を前記変動量に基づいて前記調整対象の面の法線方向に移動させたときの前記対象物の幅、奥行き、及び高さを示す第２の寸法を、前記第１の寸法と前記変動量とに基づいて算出するステップ、及び
    　前記表示部が表示する前記枠画像を、前記第２の寸法に基づく対象物の輪郭形状を示すように変更するステップ、
    　を含む、採寸方法。
PCT/JP2019/037621 2018-09-28 2019-09-25 採寸装置及び採寸方法 WO2020067168A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020549292A JP7361251B2 (ja) 2018-09-28 2019-09-25 採寸装置及び採寸方法
EP19867926.8A EP3859269B1 (en) 2018-09-28 2019-09-25 Measurement device and measurement method
CN201980061226.3A CN112739976B (zh) 2018-09-28 2019-09-25 尺寸测量装置以及尺寸测量方法
US17/210,906 US11733032B2 (en) 2018-09-28 2021-03-24 Measurement device and measurement method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018185193 2018-09-28
JP2018-185193 2018-09-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/210,906 Continuation US11733032B2 (en) 2018-09-28 2021-03-24 Measurement device and measurement method

Publications (1)

Publication Number Publication Date
WO2020067168A1 true WO2020067168A1 (ja) 2020-04-02

Family

ID=69949928

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/037621 WO2020067168A1 (ja) 2018-09-28 2019-09-25 採寸装置及び採寸方法

Country Status (5)

Country Link
US (1) US11733032B2 (ja)
EP (1) EP3859269B1 (ja)
JP (1) JP7361251B2 (ja)
CN (1) CN112739976B (ja)
WO (1) WO2020067168A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524193A (zh) * 2020-04-17 2020-08-11 西安交通大学 一种物体二维尺寸的测量方法及测量装置
CN113865481A (zh) * 2020-06-30 2021-12-31 北京小米移动软件有限公司 对象尺寸测量方法、装置及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7384712B2 (ja) * 2020-03-06 2023-11-21 富士フイルム株式会社 放射線強度推定装置、放射線強度推定装置の作動方法、放射線強度推定装置の作動プログラム、放射線撮影システム
CN114155262A (zh) * 2021-11-29 2022-03-08 合肥安达创展科技股份有限公司 一种基于opencv相关算法的体感深度图获取系统
CN115278080A (zh) * 2022-07-28 2022-11-01 北京五八信息技术有限公司 一种蒙版生成方法、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006135040A1 (ja) * 2005-06-17 2006-12-21 Omron Corporation ３次元計測を行う画像処理装置および画像処理方法
JP2013002959A (ja) 2011-06-16 2013-01-07 Fujitsu Ltd 情報処理装置、及び情報処理方法
JP2014089697A (ja) * 2012-10-05 2014-05-15 Fine Co Ltd 建築画像表示装置、建築画像表示方法及びコンピュータプログラム
JP2014209326A (ja) * 2013-03-27 2014-11-06 パナソニック株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2017151669A1 (en) * 2016-02-29 2017-09-08 Aquifi, Inc. System and method for assisted 3d scanning
JP2017175606A (ja) * 2016-03-22 2017-09-28 キヤノン株式会社 電子機器およびその制御方法、ならびに撮像装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908995B2 (en) * 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
JP5205547B1 (ja) * 2012-04-20 2013-06-05 株式会社ノイズ研究所 放射信号可視化装置
GB2519006B (en) 2012-07-02 2018-05-16 Panasonic Ip Man Co Ltd Size measurement device and size measurement method
JP2014127945A (ja) 2012-12-27 2014-07-07 Rohm Co Ltd 検査システム、検査方法、画素回路及びイメージセンサ
JP5799273B2 (ja) * 2013-10-02 2015-10-21 パナソニックＩｐマネジメント株式会社 寸法計測装置、寸法計測方法、寸法計測システム、プログラム
CN103617002A (zh) 2013-12-16 2014-03-05 深圳市理邦精密仪器股份有限公司 一种触控界面的实现方法及装置
US10089750B2 (en) * 2017-02-02 2018-10-02 Intel Corporation Method and system of automatic object dimension measurement by using image processing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006135040A1 (ja) * 2005-06-17 2006-12-21 Omron Corporation ３次元計測を行う画像処理装置および画像処理方法
JP2013002959A (ja) 2011-06-16 2013-01-07 Fujitsu Ltd 情報処理装置、及び情報処理方法
JP2014089697A (ja) * 2012-10-05 2014-05-15 Fine Co Ltd 建築画像表示装置、建築画像表示方法及びコンピュータプログラム
JP2014209326A (ja) * 2013-03-27 2014-11-06 パナソニック株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2017151669A1 (en) * 2016-02-29 2017-09-08 Aquifi, Inc. System and method for assisted 3d scanning
JP2017175606A (ja) * 2016-03-22 2017-09-28 キヤノン株式会社 電子機器およびその制御方法、ならびに撮像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524193A (zh) * 2020-04-17 2020-08-11 西安交通大学 一种物体二维尺寸的测量方法及测量装置
CN111524193B (zh) * 2020-04-17 2022-05-03 西安交通大学 一种物体二维尺寸的测量方法及测量装置
CN113865481A (zh) * 2020-06-30 2021-12-31 北京小米移动软件有限公司 对象尺寸测量方法、装置及存储介质
CN113865481B (zh) * 2020-06-30 2024-05-07 北京小米移动软件有限公司 对象尺寸测量方法、装置及存储介质

Also Published As

Publication number Publication date
EP3859269A4 (en) 2021-11-10
JPWO2020067168A1 (ja) 2021-08-30
US20210207952A1 (en) 2021-07-08
CN112739976B (zh) 2023-05-12
JP7361251B2 (ja) 2023-10-16
EP3859269B1 (en) 2023-05-03
EP3859269A1 (en) 2021-08-04
US11733032B2 (en) 2023-08-22
CN112739976A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
WO2020067168A1 (ja) 採寸装置及び採寸方法
KR102702585B1 (ko) 전자 장치 및 이의 제어 방법
US10091489B2 (en) Image capturing device, image processing method, and recording medium
US9298221B2 (en) Method of displaying folding information and foldable display apparatus using the method
CN104052976B (zh) 投影方法及装置
US9230330B2 (en) Three dimensional sensing method and three dimensional sensing apparatus
US8711225B2 (en) Image-capturing device and projection automatic calibration method of projection device
US20140169660A1 (en) Stereo Correspondence Smoothness Tool
TW201322178A (zh) 擴增實境的方法及系統
JP2013105253A5 (ja)
US9807383B2 (en) Wearable video headset and method for calibration
US10114545B2 (en) Image location selection for use in depth photography system
US8462110B2 (en) User input by pointing
US20160104322A1 (en) Apparatus for generating a display control signal and a method thereof
TW201617755A (zh) 電子裝置及其重力感測校正方法
TWI417774B (zh) 光學距離判斷裝置、光學觸控螢幕系統及光學觸控測距之方法
WO2020085303A1 (ja) 情報処理装置及び情報処理方法
JP6447521B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2013207745A (ja) 画像撮像装置、画像処理方法およびプログラム
JP2018049498A (ja) 画像処理装置、操作検出方法、コンピュータプログラム、及び記憶媒体
US10310668B2 (en) Touch screen display system and a method for controlling a touch screen display system
EP3059664A1 (en) A method for controlling a device by gestures and a system for controlling a device by gestures
JP2017107052A (ja) 表示システム、表示装置測定方法、表示装置測定プログラムならびに表示装置
WO2024219105A1 (ja) 測定装置、測定方法、及びプログラム
CN107818585B (zh) 用户手指位置信息的确定方法及装置、投影仪、投影系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19867926

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020549292

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019867926

Country of ref document: EP

Effective date: 20210428