WO2023032168A1 - 情報処理システム、情報処理装置、サーバ装置、端末装置、携帯端末装置、プログラム、又は方法 - Google Patents

情報処理システム、情報処理装置、サーバ装置、端末装置、携帯端末装置、プログラム、又は方法 Download PDF

Info

Publication number
WO2023032168A1
WO2023032168A1 PCT/JP2021/032489 JP2021032489W WO2023032168A1 WO 2023032168 A1 WO2023032168 A1 WO 2023032168A1 JP 2021032489 W JP2021032489 W JP 2021032489W WO 2023032168 A1 WO2023032168 A1 WO 2023032168A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
depth
width
height
measurement
Prior art date
Application number
PCT/JP2021/032489
Other languages
English (en)
French (fr)
Inventor
仁 佐久間
敬洋 見上
茂芯 唐
雄一 佐々木
路威 重松
Original Assignee
ニューラルポケット株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ニューラルポケット株式会社 filed Critical ニューラルポケット株式会社
Priority to JP2021552706A priority Critical patent/JPWO2023032168A1/ja
Priority to PCT/JP2021/032489 priority patent/WO2023032168A1/ja
Publication of WO2023032168A1 publication Critical patent/WO2023032168A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness

Definitions

  • the technology disclosed in this application relates to an information processing system, information processing device, server device, terminal device, mobile terminal device, program, or method.
  • various embodiments of the present invention provide an information processing system, an information processing device, a server device, a terminal device, a mobile terminal device, a program, or a method in order to solve the above problems.
  • a program comprises: mobile device, Acquisition means for acquiring a two-dimensional image in which a rectangular parallelepiped object is captured; generating means for generating measurement information including the width, depth and/or height of the cuboid; display means for displaying the width, the depth and/or the height based on the measurement information;
  • a system comprises: an acquisition unit that acquires a two-dimensional image in which a rectangular parallelepiped object is captured; a generator that generates measurement information including the width, depth, and/or height of the cuboid; a display unit that displays the width, the depth, and/or the height based on the measurement information;
  • a mobile terminal includes: an acquisition unit that acquires a two-dimensional image in which a rectangular parallelepiped object is captured; a generator that generates measurement information including the width, depth, and/or height of the cuboid; a display unit that displays the width, the depth, and/or the height based on the measurement information; A mobile terminal with
  • a method comprises: the mobile terminal an acquisition step of acquiring a two-dimensional image in which a rectangular parallelepiped object is captured; generating step of generating measurement information including the width, depth and/or height of the cuboid; a display step of displaying the width, the depth and/or the height based on the measurement information; how to run
  • An embodiment of the present invention makes it possible to use imaging technology more appropriately.
  • FIG. 1 is an example block diagram illustrating the functionality of one system according to one embodiment.
  • FIG. 2 is an example block diagram illustrating the flow of one system according to one embodiment.
  • FIG. 3 is a block diagram of an example showing the overall configuration of one system according to one embodiment.
  • FIG. 4 is an example of data used by one system according to one embodiment.
  • FIG. 5 is an example flow of one system according to one embodiment.
  • FIG. 6 is an example of a display screen of one system according to one embodiment.
  • FIG. 7 is an example of a display screen of one system according to one embodiment.
  • FIG. 8 is an example of a display screen of one system according to one embodiment.
  • FIG. 9 is an example of a display screen of one system according to one embodiment.
  • FIG. 10 is an example of a display screen of one system according to one embodiment.
  • FIG. 10 is an example of a display screen of one system according to one embodiment.
  • FIG. 11 is an example of the overall configuration of one system according to one embodiment.
  • FIG. 12 is an example of one system flow according to one embodiment.
  • FIG. 13 is an example of the overall configuration of one system according to one embodiment.
  • FIG. 14 is an example flow of one system according to one embodiment.
  • FIG. 15 is an example of the overall configuration of one system according to one embodiment.
  • FIG. 16 is an example flow of one system according to one embodiment.
  • FIG. 17 is an example of the configuration of one information processing apparatus according to one embodiment.
  • a system in accordance with one embodiment of the present invention relates to a technique for measuring an object.
  • An object refers to an object that is transported in solid form.
  • the aspect that is measured may primarily be the size of the object.
  • the system according to the present application may be combined with techniques other than the technique for measuring an object.
  • the term "system" may consist of one or more information processing devices.
  • the system of one embodiment may be one or more terminal devices, one or more management devices, or one or more terminal devices and one or more management devices, which will be described later. It may be a device.
  • the system of the technology of the present application may include a part or all of the following image acquisition unit, object measurement unit, and information display unit.
  • the system according to the technology of the present application may include part or all of the technology described in other documents of the present application, or may include other technology.
  • the image acquisition unit has a function of acquiring a captured image that is an image including an object.
  • the image acquisition unit may acquire a captured image from another application in cooperation with another application, or may acquire a captured image by having a function of capturing an image within the image acquisition unit.
  • a captured image may be a captured image.
  • the image may be a still image or a moving image.
  • the object may be an object to be measured in the technology according to the present invention.
  • the captured image may be an image captured including one or more objects.
  • the object measurement unit has a function of managing measurement information obtained by measuring the object based on the captured image of the object.
  • the image measurement unit may acquire measurement information in cooperation with another application, or may acquire measurement information using functions within the image measurement unit.
  • the measurement information may include information indicating the size of the measurement object. For example, when the object is a rectangular parallelepiped, the measurement information may be information including three: the width of the rectangular parallelepiped, the depth of the rectangular parallelepiped, and the height of the rectangular parallelepiped.
  • the width of the rectangular parallelepiped, the depth of the rectangular parallelepiped, and the height of the rectangular parallelepiped are respectively the x-axis and y-axis of the Cartesian coordinates when each side of the rectangular parallelepiped is set along the x-axis, y-axis, or z-axis direction in the Cartesian coordinates.
  • the length occupied by each side of the rectangular parallelepiped in the axis and z-axis directions may be indicated.
  • An example of the function of the object measurement unit will be described separately below.
  • the information display section has a function of displaying information based on measurement information.
  • the information display unit may generate object information based on the measurement information and display display information based on the object information.
  • the object information should be information based on the measurement information.
  • the object information may be the measurement information itself, or may be generated based on the measurement information.
  • the measurement information consists of the width of the rectangular parallelepiped, the depth of the rectangular parallelepiped, and the height of the rectangular parallelepiped
  • the object information consists of the length of the width of the rectangular parallelepiped, the length of the depth of the rectangular parallelepiped, and the height of the rectangular parallelepiped. and the sum of their width length and depth length plus height. Note that part of the measurement information may not be included in the target object information.
  • the display information may be information based on the target object information.
  • the display information may be the object information itself, or may be generated based on the object information.
  • Display information may also be generated based on the measurement information. Also in this case, the display information may be the measurement information itself, or may be generated based on the measurement information.
  • the object measurement unit has a function of measuring the position of the actual vertex in three dimensions from a two-dimensional captured image obtained by imaging three dimensions including the object.
  • a well-known technique for reproducing three-dimensional information from a two-dimensional image can be applied to such a function, but the following technique will be described as an example.
  • the technology below uses two coordinate systems.
  • One is called the screen coordinate system and the other is called the world coordinate system.
  • the screen coordinate system is a coordinate system fixed to the camera, in which the front direction of the camera is the z-axis where the value of the Cartesian coordinate increases, and the value of the camera position z-axis is zero.
  • the x-axis and y-axis may correspond to two dimensions of the camera screen.
  • the world coordinate system is Cartesian coordinates with the direction of gravity as one coordinate axis.
  • the object measurement unit performs processing for acquiring the coordinates of the apex of the object in the world coordinate system through the following three steps. 1). Get the coordinates of the object's vertices in the screen coordinate system. 2). Get the coordinates of the bottom vertex of the object in the world coordinate system. 3). Get the coordinates of the top vertex of the object in the world coordinate system.
  • a horizontal plane object is detected in an image in which the target object is captured, and the vertex of the horizontal plane is detected.
  • Detection of objects on the horizontal plane may utilize, for example, WorldTracking functionality such as ARKit. With these, the horizontal plane of the top surface of the object and the horizontal plane of the bottom surface of the object may be detected. Also, using a machine learning function in which the relationship between the image and the vertices has already been machine-learned, the vertices of some or all of the object are detected from the above-described captured image.
  • the distance between each vertex is converted into an actual length, and the coordinates of the vertices in screen coordinates are obtained. For example, if a vertex on the image has (x, y) coordinates in units of real distance, then the screen coordinates are (x, y, 0).
  • the straight line extending in the z-direction in the above screen coordinates may be a straight line extending radially in front of the camera passing through (x, y, 0) from the center of projection of the camera in world coordinates.
  • intersections of these three straight lines and the horizontal plane of the bottom surface of the object are specified using, for example, a Raycast query such as ARKit, and these are defined as the vertices of the bottom surface of the object.
  • unproject Point such as ARKit may be used for conversion from the screen coordinate system to the world coordinate system.
  • intersection point calculation is used to improve the accuracy of coordinate calculation in the world coordinate system.
  • any mark on the floor on which the object is placed may be used to identify the horizontal plane of the bottom surface of the object.
  • the horizontal surface on which the object is placed is likely to cause detection errors such as white background or solid background, there is an advantage that the detection error of the horizontal surface of the bottom surface can be reduced.
  • N1, N2, and N3 be straight lines extending in the normal vector direction from three points on the bottom surface of the object on the captured image.
  • L1, L2, and L3 be straight lines (three lines) between the vertices (three points) of the upper surface of the object in the screen coordinate system and (0.0.0) in the screen coordinate system.
  • N1 and L1 Intersections between N2 and L2 and between N3 and L3 are determined, and these intersections are taken as vertices of the upper surface of the object.
  • the object measurement unit a first generator that generates coordinates of vertices of an object in the two-dimensional image; a second generator that generates the coordinates of the vertices of the bottom surface or the top surface of the object in the world coordinate system using some or all of the coordinates of the vertices of the object in the two-dimensional image; may be provided.
  • the screen coordinate system based on the imaging device may be Cartesian coordinates, and may be a coordinate system in which the imaging direction of the imaging device is one axis of the Cartesian coordinates.
  • the world coordinate system may be a Cartesian coordinate system in which the direction of gravity is one axis of the Cartesian coordinate system.
  • the system according to this example supports the delivery of cardboard boxes or other items brought by the client.
  • An example of the situation covered by this example is, for example, a convenience store that brokers an object (or a cardboard containing the object) brought by a customer (client) who wishes to be transported to a transport company. case is conceivable.
  • client a customer who wishes to be transported to a transport company.
  • the fee is determined according to the size of the cardboard brought by the client, it was necessary to quickly measure the size of the cardboard and handle the payment process.
  • shipping charges are determined based on three pieces of information, width, depth and height, or the total length of the corrugated board, these lengths are measured and the charges are calculated against the tariff.
  • the requester is the person requesting the transportation of the cardboard.
  • the supporter is a person who assists in measuring the size of the cardboard in accordance with the transportation request of the client at the store.
  • a terminal that includes an imaging device that captures an image of a cardboard being transported is called a measurement support terminal.
  • the system of this example includes a measurement support terminal, a payment support terminal, and a support server, and the measurement support terminal, payment support terminal, payment support terminal, and support server each have their own communication functions, They may be able to communicate information with each other.
  • FIG. 3 is an example of the system of this example.
  • the overall system of this example includes a payment support terminal 010A, a measurement support terminal 010B, a payment support terminal 011A, a measurement support terminal 011B, a support terminal 012, a management server 019A, and a management terminal 019B. They may be physically, electrically and/or communicatively connected to each other by communicative communication means.
  • the management server may be connected with one or more payment assistance terminals.
  • the measurement assistance terminal may be connected with the payment assistance terminal and/or the management server.
  • the support terminal may be connected with the management server.
  • the administrator terminal may be connected to the management server with or without the Internet.
  • One or more payment assistance terminals, one or more measurement assistance terminals, and/or one or more assistance terminals may be provided in one convenience store or shop.
  • One or a plurality of other information processing devices may intervene between the payment support terminal, measurement support terminal, and/or support terminal and the management server.
  • one convenience store or shop is provided with one or more information processing devices, and the one or more information processing devices include a management server, a payment support terminal, a measurement support terminal, and/or a support terminal.
  • the system of this example may include one or more payment assistance terminals, one or more measurement assistance terminals, a management server, and/or a management terminal.
  • the system of this example may consist of only one or more measurement support terminals and one or more payment support terminals.
  • the system of this example may consist of only one or more measurement support terminals.
  • the system of this example may consist of only one or more support terminals.
  • the system of this example includes one or more payment support terminals, one or more measurement support terminals, one or more support terminals, one or more management servers, and/or one or more administrator terminals, It may be an application running on the
  • the support terminal may be a device that includes both the function of the measurement support terminal and the function of the payment support terminal.
  • the measurement support terminal and the payment support terminal will be explained separately, but some or all of the functions of the measurement support terminal and some or all of the functions of the payment support terminal described below may be the same device. It may be realized by a support terminal provided within. In this case, communication between the measurement support terminal and the payment support terminal may be unnecessary.
  • An example of a payment support terminal may be a POS system. That is, it may include information in which the product or service is associated with the amount of money. If the functions of the measurement support terminal and the function of the payment support terminal are provided in different equipment, the function of the measurement support terminal capable of capturing an image of the cardboard and supporting the measurement of the size of the cardboard can be replaced with that of the conventional payment support terminal. Features have the advantage of being easily added.
  • the measurement support terminal may be a general-purpose information processing device or a dedicated information processing device.
  • a general-purpose information processing device for example, it may be a smart phone, a tablet PC, or the like, in which an application capable of executing the functions according to the present application has been downloaded and installed. If it is a general-purpose product and the application is downloaded and installed, there is an advantage that the convenience of introducing the function according to the present application is improved.
  • a dedicated information processing device it may be one capable of executing the functions according to the present application.
  • the internal arithmetic device may be a dedicated arithmetic device capable of executing the functions according to the present application.
  • Communication between the measurement support terminal and the payment support terminal may be of various types, and various communication technologies such as Wi-Fi (registered trademark), Bluetooth (registered trademark), wireless LAN, and wired communication are used. you can In particular, near field communication techniques such as near field wireless communication and near field wired communication may be used. This is because the supporter can use the payment support terminal to process and pay for transportation after measuring the size of the cardboard using the measurement support terminal.
  • a supporter is not essential.
  • the size of the cardboard may be measured by the client himself instead of the presence of the supporter.
  • the measurement support terminal and payment support terminal may be used by the client.
  • the measurement support terminal may be equipped with an imaging device.
  • the imaging device may have a function capable of generating a two-dimensional image by imaging.
  • the measurement support terminal may include one or more imaging devices. Note that when the measurement support terminal includes a plurality of imaging devices, the imaging devices may be provided on the front surface and the rear surface of the measurement support terminal. Also, the measurement support terminal may have only a single imaging device on the same plane.
  • the measurement support terminal may include the above-described image acquisition unit and object measurement unit. With these functions, the measurement support terminal has the advantage of being able to measure the size of the cardboard based on the captured image of the cardboard. Also, the measurement assistance terminal and/or the payment assistance terminal may include an information display section. With such a function, the measurement assistance terminal and/or the payment assistance terminal have the advantage of displaying display information that can be understood by the assistant and/or the requester.
  • the measurement support terminal and/or the payment support terminal provide object transportation charge information (hereinafter referred to as cardboard Although it is referred to as "cardboard transportation fee information" based on the above, it may be rephrased as object transportation fee information when applied to rectangular parallelepiped objects other than cardboard.).
  • FIG. 4 is a table of an example of cardboard transportation charge information.
  • the cardboard shipping charge information may include, for example, information indicating the relationship between the size of the cardboard and the shipping charge. This is because the transportation fee may depend on the size of the cardboard.
  • the information about the size of the cardboard may include the width, depth, height, and/or the sum of the width, depth, and height of the cardboard.
  • the information related to the size of the cardboard may include information within a certain range. For example, the width may be XX cm to XX cm, the depth may be XX cm to XX cm, and the height may be XX cm to XX cm. This is because the shipping charges for cardboard may vary within a certain range of cardboard sizes.
  • Information related to cardboard may include information indicating the relationship between information related to the size of cardboard, transportation charges, and transportation-related information. This is because the transportation fee may depend on the transportation-related information in addition to the size of the cardboard.
  • Transportation-related information may include information on the transportation destination. This is because the transportation fee may also depend on the transportation destination.
  • Transportation-related information may include information on the date and time of transportation. This is because the transportation fee may also depend on the transportation date and time.
  • the date and time of transportation may be the date and time of the request (that is, the date and time when the requester brought the cardboard and requested the supporter to transport it), or the date and time set by the requester as the desired arrival date of transportation. good too. In the latter case, the transportation charge may depend on whether or not there is a desired arrival schedule.
  • the transportation-related information may include information on the weight of the object.
  • the transportation charge can be set depending on the weight of the object as well.
  • Transportation-related information may include information on the value of the object. In this case, there is the advantage that the transportation charge can be set also depending on the value information of the object.
  • Value information may include, for example, precious metals and the like.
  • Transportation-related information may include information on the priority of transportation of objects. In this case, there is an advantage that the transportation fee can be set depending on the priority of the objects as well.
  • the priority information may include information indicating in what time the requester wishes the transportation to be completed, such as express, normal, and the like.
  • Cardboard shipping fee information may be changeable.
  • the cardboard shipping fee information may be changed based on information from the management terminal.
  • the management terminal may have the function of managing the entire system.
  • information on each cardboard transportation fee in a plurality of support terminals may be changed via the server based on information from the management terminal.
  • Such change instructions may be given at the same time or at different times.
  • the cardboard transportation fee information in the plurality of support terminals may be different or the same. For example, if there are no regional differences, the same charge may be used, but if there are regional differences, different charges may be used. Examples of different charges include the difference between remote islands and main islands, the difference between cities and rural areas, and the difference between cities. These may be cases based on a contract with a carrier or the like. Alternatively, it may be based on an input from a management terminal.
  • the setting of whether or not to change the cardboard transportation fee information for each support terminal may be in the following manner.
  • the management terminal allows the support terminal to change some or all of the cardboard transportation charge information, disables the change, or allows the change with the permission of the management terminal. May be configurable. If the change cannot be made by the support terminal, there is an advantage that the service can be provided based on a uniform fee by eliminating regional differences. If it is possible to make changes using a support terminal, there is an advantage that settings can be made that respect the autonomy of each region based on regional differences. Moreover, when the permission of the management terminal is required, there is an advantage that the management terminal can consider the relationship with uniform services while respecting the autonomy of each region.
  • Step 1 First, the requester brings the cardboard and provides the delivery address and transportation-related information to the supporter.
  • the supporter uses the measurement support terminal to read and store the delivery destination and transportation-related information from information presentation means such as QR codes and barcodes posted on the cardboard. You can The measurement support terminal of the system of this example acquires and stores delivery destination and/or transportation-related information in response to reading by the information presenting means.
  • the supporter uses the measurement support terminal to measure the size of the cardboard. Specifically, the size of the cardboard is measured by performing the above-described measurement step.
  • the measurement support terminal of the system of this example measures the size of the cardboard, acquires measurement information, and generates object information based on the measurement information.
  • Step 3> The system of this example generates display information based on the object information and displays the display information on the measurement support terminal.
  • the display on the measurement support terminal allows the supporter to confirm that there is no major misunderstanding about the size of the cardboard, and the client can also confirm that there is no major misunderstanding about the size of the cardboard. can.
  • the measurement support terminal may display display information based on part or all of the target object information on the display section of the measurement support terminal.
  • the display information may include information regarding the size of the cardboard, shipping charges, and/or the shipping related information described above.
  • the information about the dimensions of the cardboard includes the width of the cardboard, the depth of the cardboard, the height of the cardboard, and/or the sum of the width, depth, and height. good.
  • the display information may be displayed in the display unit by information such as human-understandable numerical values and/or other information presentation means such as QR code, bar code, and the like. If the display information is information such as numerical values that can be understood by humans, there is an advantage that the supporter and/or the requester can confirm the object information.
  • the payment support terminal will not be able to display other products and services using information presentation means such as barcodes and QR codes.
  • the measurement support terminal may transmit the target object information to the payment support terminal using communication means.
  • the supporter can store the target object information in the payment support terminal without performing physical work such as reading the target object information on the measurement support terminal with the payment support terminal.
  • the measurement support terminal transmits the target object information to the payment support terminal so that the target object can You have the advantage of being able to use the information.
  • 6 to 10 are examples of time-series displays.
  • the measurement support terminal when imaging is started in an application that includes the object measurement unit, first, as shown in FIG. 6, "Please move the device" (600) is displayed. During this time, the measurement support terminal uses the gyro function within the measurement support terminal to collect information about the direction of gravity and the direction of image pickup by the image pickup unit during this time. Such information is used in the calculation of the screen coordinate system and world coordinate system described above.
  • the measurement support terminal generates measurement information for the object with respect to the captured two-dimensional image.
  • a message "calculating” (800) may be displayed.
  • the measurement support terminal generates measurement information based on the measurement and displays display information based on the measurement information.
  • FIG. 9 shows an example of how the display information is displayed, showing the width (13.3 cm), depth (26.9 cm), and height (8.7 cm) of the cardboard (900) to be measured. (901).
  • Such a display allows the viewer to understand the information on the three side lengths of the object.
  • the total length (48.9 cm) of these width, depth and height may be displayed.
  • Such a display allows the viewer to understand the total, which is the information used when shipping charges.
  • the width (13.3 cm) is displayed in association with the portion corresponding to the width of the cardboard (902A), and the depth (26.9 cm) is displayed in association with the portion corresponding to the depth of the cardboard ( 902B), and a height (8.7 cm) may be displayed 902C in association with a point corresponding to the height of the cardboard.
  • a display allows the viewer to understand the specific lengths of the displayed corrugated board in terms of width, depth, and height.
  • such a display may be a still image, but may be superimposed on the object using AR technology in real time on the display unit, so for example, the depth (26.9 cm) in FIG. (100A) or height (8.7 cm) (100B). Associated and continue to be displayed (widths outside the display are not displayed)
  • a still image including the length display associated with each point on the three sides of the cardboard may be recorded as information indicating the measured situation and included in the object information.
  • the measurement support terminal identifies the transportation charge based on the cardboard size, destination, and/or transportation-related information, and the cardboard transportation charge information, and generates object information about the cardboard.
  • the object information may include an ID that can identify the object, the size of the cardboard that is the object, the destination, the transportation-related information, and/or the transportation fee.
  • Step 5> The requester pays a fee for the transportation of the cardboard like other goods and services, the requester receives the fee, responds to it, and the payment support terminal performs payment reception processing.
  • the payment assistance terminal may transmit some or all of the object information to the management server.
  • the measurement support terminal may transmit part or all of the object information directly to the management server using a communication function without going through the payment support terminal.
  • the measurement support terminal can communicate object information to the payment support terminal or to the management server (via the payment support terminal or not), such information can There is an advantage that information can be provided to the contractor without new work.
  • the convenience store or a supporter in the store may receive the object from the requester without re-measuring the size of the object. It has the advantage of being able to use the size as it is measured when it is received and communicate it to the carrier. For this reason, there is an advantage of saving the trouble of measuring the size of the object in the convenience store.
  • the management server may arrange for transportation of the cardboard.
  • the management server may use the object size information in the object information to make transportation arrangements.
  • transportation arrangements may be made using information indicating the store to which transportation has been requested.
  • the information indicating the store may be information associated with information indicating the geographical location of the store.
  • steps 1 and 2 may be in a different order.
  • the system of this example may perform processing to detect predetermined markings drawn on the plane on which the cardboard is placed.
  • predetermined markings may be drawn in advance on the plane on which the cardboard is placed, and the system of the present embodiment may detect such predetermined markings to assist in identifying the plane on which the cardboard is placed.
  • the table tops where product purchases are made at convenience stores and stores, and the floors of convenience stores and stores are often white or plain, which can cause malfunctions in detecting the flat surface on which cardboard boxes are placed.
  • the predetermined markings described above are drawn on the table or floor described above, and if the system of the present example can detect such predetermined markings, there is an advantage that the accuracy of the measurement can be improved.
  • the predetermined marking described above may be changeable.
  • the setting can be freely made at convenience stores or shops.
  • the predetermined markings are drawn on the cash register table or the ground in the convenience store or shop, but depending on the design of the predetermined markings, there is a possibility that they will not be in harmony with the surroundings. Therefore, if predetermined markings selected for each convenience store or store are available, there is an advantage that markings that harmonize with the design inside the convenience store or store can also be selected.
  • Predetermined markings that can be changed may be captured in advance by the measurement support terminal or obtained by communication from another information processing device.
  • the latter may be, for example, downloading from a predetermined information processing device on the Internet, a management server, a server that provides the application according to the present application, or the like.
  • the object measurement unit may use such pre-obtained predetermined markings and treat the horizontal plane on which the predetermined markings are detected as the horizontal plane of the bottom surface of the object.
  • the size of the cardboard may be measured using only the function within the measurement support terminal, or the measurement support terminal may perform information communication with another information processing device. You may measure the size of the cardboard.
  • the processing load in the measurement support terminal can be reduced, so if it is installed in a general-purpose product that includes other functions, it has the advantage of not interfering with the processing of other functions. It has the advantage of eliminating the need for functions and memory functions.
  • the machine learning function in the object measuring unit is executed in the measurement support terminal or another information processing device different from the support terminal, the following processing may be performed.
  • the object measuring unit transmits a captured image and information specifying a horizontal plane in the image (for example, a plurality of pieces of coordinate information specifying a horizontal plane in the image) to the other information processing device.
  • Another information processing apparatus performs machine learning on the relationship between information specifying a horizontal plane in the image and the vertices of the horizontal plane in response to the captured image and information specifying the horizontal plane in the image.
  • a function is applied to generate information (eg, coordinates specifying the vertices) specifying vertices of horizontal planes in the captured image.
  • the other information processing device transmits, to the measurement support terminal, information specifying the vertex of the horizontal plane in the received captured image.
  • the object itself requested by the client has a shape close to a rectangular parallelepiped
  • the object may be transported as it is without being put in the cardboard box.
  • the object itself may be measured.
  • the second system is an example of an application that is used by a direct contractor to a carrier.
  • a direct contractor For example, in an online flea market, a person (requester) who provides goods at the flea market needs to transport the goods to the buyer. In this case, the requester directly asks the transporter to transport the object.
  • the system of this example is an example of assisting a client to easily measure information on the size of an object.
  • FIG. 11 shows a client terminal 1101, a management server 019A, an administrator terminal 019B, and a carrier information processing device 1102 used by the client in this example, each of which is a communication means capable of communicating information with each other. , each capable of communicating information with each other.
  • transporter information processing devices corresponding to the number of transporters that transport the articles.
  • the client terminal may be a general-purpose information processing device or a dedicated information processing device.
  • a general-purpose information processing device for example, it may be a mobile terminal such as a smart phone or a tablet PC, in which an application capable of executing the functions according to the present application is downloaded and installed. If it is a general-purpose product and the application is downloaded and installed, there is an advantage that the convenience of introducing the function according to the present application is improved.
  • a dedicated information processing device it may be one capable of executing the functions according to the present application.
  • the internal arithmetic device may be a dedicated arithmetic device capable of executing the functions according to the present application.
  • the requester terminal may have some or all of the functions of the measurement support terminal described above.
  • the management server and administrator terminal have functions to support the functions of the client terminal. For example, it may provide information to be used in the client terminal, or receive information generated by the client terminal. For example, the client terminal may assist in communicating shipping-related instructions for the object to the carrier information processor.
  • the system of this example may include one or more client terminals, one or more carrier information processing devices, one or more management servers, and/or one or more management terminals.
  • the system of this example may consist of only one or more client terminals.
  • the system of this example includes one or more client terminals, one or more carrier information processing devices, one or more management servers, and/or one or more management terminals. may be
  • a requester activates the application of the system of this example.
  • the system of this example inquires of the management server about the presence of update information, receives update information from the management server if there is update information, and uses the update information to update the system of this example. you can go
  • the update information may include corrugated shipping rate information. This update has the advantage of setting shipping rates based on the latest corrugated shipping rate information.
  • the requester terminal acquires the corrugated cardboard transport charge information associated with the information identifying the transporter from the management server, and uses the information in the requester terminal to select the transporter requested to transport the object. good.
  • the requester inputs the information for generating the transportation charge into the portable terminal.
  • information necessary to generate transportation-related information includes information such as destination information, transportation date and time, object weight information, value information, and/or priority information. may contain.
  • the example system may obtain information for generating shipping charges and generate object information in response to input by the requester.
  • system of this example may acquire the information for generating the transportation fee described above from other applications or other information processing devices in the mobile terminal device instead of input by the requester. In this case, there is an advantage of reducing the user's input burden.
  • the client uses the client terminal to take an image of the cardboard that is the object to be transported.
  • the system of this example may measure the size of the cardboard, generate measurement information, and generate target object information based on the captured image of the cardboard.
  • the system of this example displays display information based on object information.
  • a display has the advantage that the client can understand the shipping charges for shipping the corrugated cardboard.
  • the client terminal may display the transportation charge for each carrier.
  • the requester terminal may display a list in descending order of transportation charges.
  • the requester requests transportation.
  • the system of this example transmits the object information and the transportation request information to the carrier's information processing device in response to the transportation request by the requester, with or without the management server.
  • the transporter can easily grasp the object information, which is the information on the object to be transported, quickly.
  • transportation companies have the advantage of being able to plan distribution efficiently by acquiring object information early.
  • the requester terminal displays the transportation charges for each of a plurality of carriers, the client may select one of them.
  • the system of this example sends object information and transport request information to the transporter information processing device related to the selected transporter in response to the requester's selection of the transporter through or without the management server. ,introduce.
  • Tertiary systems are systems available to carriers for shipments requested in the first through third systems. Carriers may decide on the spot the cost of an object given by a client, and it may be preferable for the carrier to also determine the size of the object.
  • the carrier is equipped with a mobile terminal device with a cardboard measuring function.
  • FIG. 13 illustrates the situation of the system of this example.
  • This figure shows a carrier terminal 1301, a carrier information processing device 1302, a management server 019A, and an administrator terminal 019B, each of which has a communication means capable of communicating information with each other. may be able to communicate information with each other.
  • the carrier terminal may be a general-purpose information processing device or a dedicated information processing device.
  • a general-purpose information processing device for example, it may be a mobile terminal such as a smart phone or a tablet PC, in which an application capable of executing the functions according to the present application is downloaded and installed. If it is a general-purpose product and the application is downloaded and installed, there is an advantage that the convenience of introducing the function according to the present application is improved.
  • a dedicated information processing device it may be one capable of executing the functions according to the present application.
  • the internal arithmetic device may be a dedicated arithmetic device capable of executing the functions according to the present application.
  • the carrier terminal may have some or all of the functions provided by the measurement assistance terminal described above.
  • the system of this example may include one or more carrier terminals, one or more carrier information processing devices, one or more management servers, and/or one or more management terminals.
  • the example system may consist solely of one or more carrier terminals.
  • the system of this example includes one or more carrier terminals, one or more carrier information processing devices, one or more management servers, and/or one or more management terminals. may be
  • the carrier obtains information about the client from the request information of the object from the client through the carrier information processing device/management server.
  • the example system may display information about the requester, such as the requester's name, address, and information about the object.
  • Information about the object may include information about the size of the object, transportation related information.
  • Step 2> The carrier visits the client's home and takes an image of the object handed over from the client at the client's home.
  • the system of this example may measure the size of the cardboard, generate measurement information, and generate target object information based on the captured image of the cardboard.
  • the example system may display display information based on the object information.
  • the transporter confirms the object information including the transportation fee, and if necessary, also shows the display to the requester and confirms the fee.
  • By displaying the object information including the transportation fee there is an advantage that the requester can confirm the transportation fee and feel at ease.
  • the system of this example compares the object information requested by the requester in advance with the object information obtained by measuring at the terminal of the carrier, and compares the size of the object with the same size. You can check if it is.
  • Such collation for example, compares the object information requested in advance by the client with the object information measured at the terminal of the carrier regarding the total information of the width, depth, and height of the object.
  • the carrier terminal may display the results of such matching.
  • Such an indication advantageously allows the carrier to confirm the identity of the previously requested object with the object received at the requester's home.
  • the object information including the size of the object may be transmitted from the portable terminal device to the management server, and used for the transportation business.
  • the transportation company does not have to reconfirm the size of the object after collecting the object from each client.
  • the fourth system may include an imaging device 1501 fixed at a specific location instead of the imaging device in the mobile terminal, and a terminal device 1502 capable of controlling the imaging device 1501 . Also, there may be one or a plurality of these imaging devices 1501 and terminal devices 1502, and they may be connected to each other or via a network wirelessly or by wire.
  • FIG. 15 illustrates an example of the situation of the system of this example.
  • a terminal device may be one or more general-purpose information processing devices, one or more dedicated information processing devices, or a mixture of these.
  • an application capable of executing the functions according to the present application may be downloaded and installed. If it is a general-purpose product and the application is downloaded and installed, there is an advantage that the convenience of introducing the function according to the present application is improved.
  • a dedicated information processing device it may be one capable of executing the functions according to the present application.
  • the internal arithmetic device may be a dedicated arithmetic device capable of executing the functions according to the present application.
  • One or a plurality of terminal devices may be provided with some or all of the functions provided by the above-described measurement support terminal (in the case of a plurality of terminal devices, they cooperate to perform the functions provided by the above-described measurement support terminal. may have some or all).
  • the system of this example may include one or more imaging devices and/or one or more terminal devices. Also, the system of this example may be an application executed on one or more imaging devices and/or one or more terminal devices.
  • the imaging device described above may be fixedly installed at a predetermined location, or may be movably installed. Also, the imaging device may be installed in a vehicle.
  • a vehicle may include a truck capable of transporting cargo.
  • the imaging device may be provided at a position where the field of view includes the inside of the cargo bed in the vehicle. For example, it may be one of the four corners in the vehicle bed and/or part of the roof of the bed.
  • an imaging device is provided at a position that includes the inside of the cargo bed in its field of view, it captures an image of cargo in the process of moving from outside the cargo space to inside the cargo space, from inside the cargo space to outside the cargo space, and/or of cargo placed in the cargo space. , has the advantage of being able to generate object information about the package.
  • the imaging device may be installed at a position where the imaging field of view includes a parking area where the vehicle is parked.
  • the imaging device may be positioned behind the loading platform where the luggage is placed and/or between the loading platform and the ground for moving the luggage into the loading platform.
  • the imaging device may be installed in a position and direction that include, in the field of view, the area inside the elevator that moves between height differences.
  • the packages placed in these areas can be imaged and object information about the packages can be generated.
  • the information based on the information presentation means about the package and the measurement information about the package can be associated and stored in the information processing device, so there is an advantage that such information can be used.
  • Step 1 The imaging device in the system of this example captures images of the cargo during the process of moving the cargo from the inside of the cargo deck to the outside of the cargo deck, the process of moving the cargo from the outside of the cargo deck to the interior of the cargo deck, and/or before and after these processes. you can
  • the example system may measure the size of such packages and generate measurement information.
  • the load may be rectangular in shape.
  • the system of this example may include information presenting means such as a QR code or bar code posted on the parcel and take an image, and may acquire information on the parcel from the information presenting means.
  • Information related to the shipment may include transportation-related information such as the owner of the shipment, the origin of the shipment, and the destination of the shipment.
  • the system of this example may generate object information by associating the measurement information with the information about the package.
  • steps 1 to 4 may be in a different order, for example, step 3 may be performed before steps 1 and 2.
  • the imaging device described above may be an imaging device that includes in its field of view a weighing scale capable of measuring the weight of a package.
  • the imager may be an imager whose field of view includes such a weighted load.
  • the example system may include a scale.
  • the terminal device in the system of this example may be connected to the weighing scale via a network so as to be able to communicate information with the weighing scale, and may acquire weight information from the weighing scale.
  • the weight scale may be installed on the floor.
  • the system of this example may have any temporal relationship between the imaging by the above-described imaging device and the measurement of the weight of the weighing scale.
  • weight may be measured after imaging, imaging may be performed after weight is measured, or weight measurement and imaging may be performed substantially simultaneously.
  • the acquisition of weight information from the weighing scale may be performed at the same time as or before or after any of steps 2 to 4 described above.
  • the system of this example may include weight information from the scale as one piece of transportation-related information in one piece of object information. If the system of this example can acquire weight information from a weighing scale, there is an advantage that object information can be enriched.
  • transportation-related information based on information presentation means for packages, measurement information for packages, and weight information for packages can be stored in the information processing device in association with each other, and such information can be used.
  • weight, size, and transportation-related information can be easily associated and collected and stored.
  • a program according to the first aspect is configured such that "a mobile terminal, Acquisition means for acquiring a two-dimensional image in which a rectangular parallelepiped object is captured; generating means for generating measurement information including the width, depth and/or height of the cuboid; display means for displaying the width, the depth and/or the height based on the measurement information; A program to function as ”.
  • a program according to a second aspect is the program according to the first aspect, wherein "the display means displays total information of the width, the depth and/or the height.”
  • a program according to a third aspect in the first or second aspect, "the display means While displaying the two-dimensional image, superimposed on the two-dimensional image, displaying the width in association with the width of the rectangular parallelepiped; displaying the depth in association with the depth of the cuboid; displaying the height in association with the height of the cuboid; is a thing.
  • the display means displays a barcode containing information on the width, the depth, and/or the height. is a thing.
  • a program according to a fifth aspect is, in any one of the first to fourth aspects, "the mobile terminal, processing means for transmitting information including information on the width, the depth, and/or the height to another information processing device; It is a program to function as A program according to a sixth aspect is a program according to any one of the first to fifth aspects, wherein "the mobile terminal is processing means for transmitting the captured image; One or more in the captured image obtained by applying a machine-learned function to the captured image and information identifying one or more vertices in the image a first acquisition means for acquiring information specifying vertices of A program for functioning as
  • the generating means is a program that generates the measurement information using information specifying the one or more vertices.
  • a program according to a seventh aspect is, in any one of the first to sixth aspects, "the mobile terminal, A function within the mobile terminal that has machine-learned a relationship between an image and information specifying one or more vertices in the image, wherein the machine-learned function is applied to the captured image.
  • a program according to an eighth aspect is, in any one of the first to seventh aspects, "the mobile terminal, identifying means for identifying the bottom surface of the object using a predetermined marking; It is a “thing" to function as
  • the system according to the ninth aspect includes an "acquisition unit that acquires a two-dimensional image in which a rectangular parallelepiped object is captured, a generator that generates measurement information including the width, depth, and/or height of the cuboid; a display unit that displays the width, the depth, and/or the height based on the measurement information; A system with ”.
  • the mobile terminal includes an "acquisition unit that acquires a two-dimensional image in which a rectangular parallelepiped object is captured, a generator that generates measurement information including the width, depth, and/or height of the cuboid; a display unit that displays the width, the depth, and/or the height based on the measurement information; It is a mobile terminal with
  • the method according to the eleventh aspect is characterized in that "the mobile terminal an acquisition step of acquiring a two-dimensional image in which a rectangular parallelepiped object is captured; generating step of generating measurement information including the width, depth and/or height of the cuboid; a display step of displaying the width, the depth and/or the height based on the measurement information; how to run. ”.
  • a program according to a twelfth aspect is the program according to any one of the first to eighth aspects, wherein "the portable terminal comprises a storage device used by the generating means."
  • a system according to a thirteenth aspect is the system according to the ninth aspect, which "includes a storage device used by the generating unit.”
  • a mobile terminal according to a fourteenth aspect is the mobile terminal according to the tenth aspect, which "includes a storage device used by the generation unit.”
  • a method according to a fifteenth aspect is the method according to the eleventh aspect, wherein "the portable terminal comprises a storage device used in the generating step.”
  • the system according to the present invention may be composed of one or a plurality of information processing devices.
  • the information processing apparatus 10 according to the present invention may include a bus 15, an arithmetic device 11, a storage device 12, and a communication device 16, as shown in FIG. Further, the information processing device 10 in one embodiment may include an input device 13 and a display device 14 . It is also directly or indirectly connected to the network 17 . Further, the information processing apparatus 10 according to the present application includes an imaging device (not shown), and the bus 15 and the imaging device may be connected. may support
  • the bus 15 may have a function of transmitting information between the computing device 11, the storage device 12, the input device 13, the display device 14 and the communication device 16.
  • An example of the computing device 11 is a processor. This may be the CPU or the MPU.
  • a computing device in one embodiment may also include a graphics processing unit, a digital signal processor, or the like.
  • the arithmetic device 11 may be any device capable of executing program instructions.
  • the storage device 12 is a device that records information. This may be either external memory or internal memory, and may be either main memory or auxiliary memory. A magnetic disk (hard disk), optical disk, magnetic tape, semiconductor memory, or the like may also be used. It may also have a storage device via a network or a cloud storage device via a network.
  • registers, L1 caches, L2 caches, etc. which store information at locations physically close to the arithmetic unit may be included in the arithmetic unit 11 in this block diagram, but in the design of the computer architecture,
  • the storage device 12 may include these as devices for recording information. In short, it is sufficient that the arithmetic device 11, the storage device 12, and the bus 15 are configured so as to cooperate to execute information processing.
  • the storage device 12 can include part or all of a program capable of executing processing according to the present invention. In addition, it is also possible to appropriately record data necessary for executing the processing according to the present invention. Storage device 12 in one embodiment may also include a database.
  • the arithmetic unit 11 is executed based on a program stored in the storage device 12.
  • the bus 15, the arithmetic unit 11, and the storage unit 12 are combined.
  • part or all of the information processing according to the present invention may be realized by a programmable logic device capable of changing the hardware circuit itself or a dedicated circuit in which the information processing to be executed is determined.
  • the input device 13 is for inputting information, but may have other functions. Examples of the input device 13 include input devices such as a keyboard, mouse, touch panel, or pen-type pointing device.
  • the display device 14 has a function of displaying information.
  • a liquid crystal display, a plasma display, an organic EL display, and the like can be used.
  • any device that can display information may be used.
  • the input device 13 may be partly provided like a touch panel.
  • the network 17 communicates information together with the communication device 16 . That is, it has a function of transmitting information from the information processing device 10 to another information terminal (not shown) via the network 17 .
  • the communication device 16 may use any connection format, such as IEEE1394, Ethernet (registered trademark), PCI, SCSI, USB, 2G, 3G, 4G, 5G. Connection to the network 17 may be wired or wireless.
  • the information processing device may be a general-purpose type or a dedicated type. Also, the information processing device may be a work station, a desktop computer, a laptop computer, a notebook computer, a PDA, a mobile phone, a smart phone, or the like.
  • one information processing device 10 is described, but the system according to the present invention may be configured by a plurality of information processing devices.
  • the plurality of information processing apparatuses may be connected internally or may be connected externally.
  • system according to the present invention may be in various forms of devices.
  • the system according to the present invention may be standalone, server-client, peer-to-peer, or cloud.
  • the system according to the present invention may be a stand-alone information processing device, may be composed of a part or all of a server-client type information processing device, or may be a part or all of a peer-to-peer type information processing device. It may be composed of a device, or may be composed of part or all of a cloud-type information processing device.
  • the system according to the present invention is composed of a plurality of information processing devices, the owners and administrators of each information processing device may be different.
  • the information processing device 10 may be a physical entity or may be a virtual entity.
  • the information processing apparatus 10 may be virtually realized using cloud computing.
  • the processes and procedures described in this document may be implemented not only by those explicitly described in the embodiments, but also by software, hardware, or a combination thereof.
  • the processes and procedures described in this document may be implemented as computer programs and executed by various computers. Part or all of the functions realized by the term "system" particularly used in this document may be realized by a program executable on such an information processing device.
  • information transmission enablement processing, reception enablement processing, and communication enablement processing may be processing for transmitting, receiving, and communicating information, respectively. It may also include a process of setting information to a state in which the program can transmit, receive, and communicate, and allowing another program to transmit, receive, and communicate. Also, communication may be a superordinate concept of transmission and reception.
  • the imaging enabling process is a process that directly or indirectly includes an imaging instruction to the imaging device on the information processing device on which the program is executed to perform imaging processing.
  • corrugated cardboard has been described as the main object, but the object is not limited to corrugated cardboard and may be composed of other substances as long as the object has a rectangular parallelepiped shape.
  • These computer programs may also be stored in a storage medium. Also, these computer programs may be stored in a non-transitory or temporary storage medium.
  • Information Processing Device 11 Arithmetic Device 12 Storage Device 13 Input Device 14 Display Device 15 Bus 16 Communication Device 010A Payment Support Terminal 010B Measurement Support Terminal 011A Payment Support Terminal 011B Measurement Support Terminal 012 Support Terminal 019A Management Server 019B Administrator Terminal 1101 Requester Terminal 1102 Carrier information processing device 1301 Carrier terminal 1302 Carrier information processing device 1501 Imaging device 1502 Terminal device

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】 本発明の一例の実施形は、より適切に画像技術を利用できる。 【解決手段】 携帯端末を、直方体の形状の対象物が撮像された二次元画像を取得する取得手段、前記直方体の幅、奥行き、及び/又は、高さ、を含む測定情報を生成する生成手段、前記測定情報に基づいて、前記幅、前記奥行き、及び/又は、前記高さ、を表示する表示手段、として機能させるためのプログラム。前記表示手段は、前記幅、前記奥行き、及び/又は、前記高さ、の合計情報を表示する、プログラム。前記表示手段は、前記二次元画像を表示しつつ、前記二次元画像に重ね合わせて、前記直方体の幅と関連付けて前記幅を表示し、前記直方体の奥行きと関連付けて前記奥行きを表示し、前記直方体の高さと関連付けて前記高さを表示する、プログラム。

Description

情報処理システム、情報処理装置、サーバ装置、端末装置、携帯端末装置、プログラム、又は方法
 本出願において開示された技術は、情報処理システム、情報処理装置、サーバ装置、端末装置、携帯端末装置、プログラム、又は方法に関する。
 近年、撮像技術の発展と撮像画像解析技術の発展に伴い、撮像した画像を用いて自動化を促進する傾向にある。
特開2011-196860号 特開平7-55445号 特開2002-365017号
 しかしながら、具体的な状況化のアプリケーションと密接に関連する態様においては、不十分なものであった。そこで、本発明の様々な実施形態は、上記の課題を解決するために、情報処理システム、情報処理装置、サーバ装置、端末装置、携帯端末装置、プログラム、又は方法を提供する。
 本願の一の態様に係るプログラムは、
 携帯端末を、
 直方体の形状の対象物が撮像された二次元画像を取得する取得手段、
 前記直方体の幅、奥行き、及び/又は、高さ、を含む測定情報を生成する生成手段、
 前記測定情報に基づいて、前記幅、前記奥行き、及び/又は、前記高さ、を表示する表示手段、
として機能させるためのプログラム。
 本願の他の態様に係るシステムは、
 直方体の形状の対象物が撮像された二次元画像を取得する取得部、
 前記直方体の幅、奥行き、及び/又は、高さ、を含む測定情報を生成する生成部、
 前記測定情報に基づいて、前記幅、前記奥行き、及び/又は、前記高さ、を表示する表示部、
を備えるシステム。
 本願の一の態様に係る携帯端末は、
 直方体の形状の対象物が撮像された二次元画像を取得する取得部、
 前記直方体の幅、奥行き、及び/又は、高さ、を含む測定情報を生成する生成部、
 前記測定情報に基づいて、前記幅、前記奥行き、及び/又は、前記高さ、を表示する表示部、
を備える携帯端末。
 本願の一の態様に係る方法は、
 携帯端末が、
 直方体の形状の対象物が撮像された二次元画像を取得する取得ステップ、
 前記直方体の幅、奥行き、及び/又は、高さ、を含む測定情報を生成する生成ステップ、
 前記測定情報に基づいて、前記幅、前記奥行き、及び/又は、前記高さ、を表示する表示ステップ、
を実行する方法
 本発明の一実施形態により、より適切に画像技術を利用できる。
図1は、一実施形態に係る一のシステムの機能を示す一例のブロック図である。 図2は、一実施形態に係る一のシステムのフローを示す一例のブロック図である。 図3は、一実施形態に係る一のシステムの全体構成を示す一例のブロック図である。 図4は、一実施形態に係る一のシステムが利用するデータの一例である。 図5は、一実施形態に係る一のシステムのフローの一例である。 図6は、一実施形態に係る一のシステムの表示画面の一例である。 図7は、一実施形態に係る一のシステムの表示画面の一例である。 図8は、一実施形態に係る一のシステムの表示画面の一例である。 図9は、一実施形態に係る一のシステムの表示画面の一例である。 図10は、一実施形態に係る一のシステムの表示画面の一例である。 図11は、一実施形態に係る一のシステムの全体構成の一例である。 図12は、一実施形態に係る一のシステムのフローの一例である。 図13は、一実施形態に係る一のシステムの全体構成の一例である。 図14は、一実施形態に係る一のシステムのフローの一例である。 図15は、一実施形態に係る一のシステムの全体構成の一例である。 図16は、一実施形態に係る一のシステムのフローの一例である。 図17は、一実施形態に係る一の情報処理装置の構成の一例である。
1.発明の概要
 本願発明に係る一実施形態のシステムは、対象物を測定する技術に係る。対象物は、固形で輸送される対象を指す。測定される観点は、主に、対象物の大きさであってよい。また、本願に係るシステムは、対象物を測定に係る技術以外の他の技術と組み合わせされてもよい。本願書類において、「システム」という用語は、一又は複数の情報処理装置から構成されてよい。例えば、一実施形態のシステムは、後述する、一又は複数の端末装置であってもよいし、一又は複数の管理装置であってもよいし、一又は複数の端末装置及び一又は複数の管理装置であってもよい。
2.本願技術に係る機能
 本願技術に係るシステムは、図1で示されるとおり、以下の画像取得部、対象物測定部、情報表示部、の一部または全部を備えてよい。また、本願技術に係るシステムは、これらの機能に加えて、他の本願書類に記載された技術の一部または全部を含んでよく、また、他の技術を含んでもよい。
2.1.画像取得部
 画像取得部は、対象物を含む画像である撮像画像を取得する機能を有する。画像取得部は、他のアプリケーションと連携して他のアプリケーションから撮像画像を取得してもよいし、画像取得部内に画像を撮像する機能を有することで撮像画像を取得してもよい。撮像画像とは、撮像された画像でよい。画像は、静止画像でもよいし、動画画像でもよい。対象物は、本願発明に係る技術において、測定の対象となるものでよい。撮像画像は、対象物を一又は複数含んで撮像された画像でよい。
2.2.対象物測定部
 対象物測定部は、対象物が撮像された画像に基づいて、対象物を測定して得られた測定情報を管理する機能を有する。画像測定部は、他のアプリケーションと連携して、測定情報を取得してもよいし、画像測定部内の機能を利用して測定情報を取得してもよい。測定情報は、測定物の大きさを示す情報を含んでよい。例えば、対象物が直方体である場合の測定情報は、直方体の幅の長さ、直方体の奥行きの長さ、直方体の高さの長さ、の3つを含む情報でよい。なお、直方体の幅、直方体の奥行き、直方体の高さは、各々、デカルト座標内に直方体の各辺をx軸、y軸又はz軸方向に沿って設置した場合におけるデカルト座標のx軸、y軸、z軸方向において直方体の各辺が占める長さを示してよい。対象物測定部の機能の一例については、以下で別途説明する。
2.3.情報表示部
 情報表示部は、測定情報に基づく情報を表示する機能を有する。情報表示部は、測定情報に基づいて、対象物情報を生成し、対象物情報に基づく表示情報を表示してもよい。
 対象物情報は、測定情報に基づく情報であればよい。対象物情報は、測定情報そのものであってもよいし、測定情報に基づいて生成されたものでもよい。例えば、測定情報が、直方体の幅、直方体の奥行き、直方体の高さ、から構成されている場合において、対象物情報は、直方体の幅の長さ、直方体の奥行きの長さ、直方体の高さの長さ、及びこれらの幅の長さと奥行きの長さと高さの合計、を含む情報であってよい。なお、対象物情報は、測定情報の一部が含まれなくてもよい。
 表示情報は、対象物情報に基づく情報であればよい。表示情報は、対象物情報そのものであってもよいし、対象物情報に基づいて生成されたものでもよい。また、表示情報は、測定情報に基づいて、生成されてもよい。この場合も、表示情報は、測定情報そのものであってもよいし、測定情報に基づいて生成されたものでもよい。
3.対象物測定部が備える機能の一例
 対象物測定部は、対象物を含む3次元を撮像した、2次元の撮像画像から、3次元内における現実の頂点の位置を測定する機能を有する。かかる機能は、2次元画像から3次元の情報を再現する周知の技術が適用可能であるが、一例の以下の技術を説明する。
 以下の技術では、二つの座標系を利用する。一方は、スクリーン座標系であり、他方は世界座標系と称する。スクリーン座標系とは、カメラ正面方向を デカルト座標の値が増加するz軸とし、カメラ位置z軸の値が0の位置とする、カメラに固定された座標系である。x軸とy軸は、カメラ画面の二次元に対応してよい。世界座標系とは、重力方向を一の座標軸とするデカルト座標である。
 対象物測定部は、図3に示されるとおり、以下の3つのステップにより、世界座標系における対象物の頂点の座標を取得する処理を行う。
1).スクリーン座標系における対象物の頂点の座標を取得する。
2).世界座標系における対象物の底面の頂点の座標を取得する。
3).世界座標系における対象物の上面の頂点の座標を取得する。
1).スクリーン座標系における対象物の頂点の座標の取得。
まず、対象物が撮像された画像内の水平面のオブジェクトを検出し、水平面の頂点を検出する。水平面のオブジェクトの検出は、例えば、ARKitなどのWorldTracking機能を利用してよい。これらにより、対象物の上面の水平面及び対象物の底面の水平面が検出されてよい。また、画像と頂点との関係を機械学習済みの機械学習機能を利用して、上述の撮像画像から、対象物の一部または全ての頂点を検出する。次に、検出された頂点について、各頂点間の距離を実際の長さに変換し、スクリーン座標における頂点の座標を取得する。例えば、画像上のある頂点が、実際の距離の単位で(x, y)座標である場合、スクリーン座標は、(x, y, 0)となる。
2).世界座標系における対象物の底面の頂点の座標を取得する。
 スクリーン座標系における対象物の底面の撮像画像内の頂点(3点)と、これらの3点からスクリーン座標系におけるz方向に伸びる直線(3本)を想定し、これら3本の直線と、対象物の底面の水平面(検出済み)との交点を、世界座標系において検出する。ここで、上述のスクリーン座標におけるz方向に伸びる直線は、世界座標では、カメラの投影中心から(x, y, 0)を通り、カメラ前方に放射状に伸びた直線であってよい。この3本の直線と、対象物の底面の水平面との交点は、例えば、ARKitなどのRaycastクエリなどを用いて、特定し、これらを対象物の底面の頂点とする。また、スクリーン座標系から世界座標系への変換は、ARKitなどのunprojektoPointを利用してよい。なお、スクリーン座標系から世界座標系への変換をunprojektoPointの利用に加えて、交点計算を用いることにより、世界座標系における座標の計算の正確性を向上している。
 なお、対象物の底面の水平面を特定するにあたり、対象物が置かれている床上の何らかの目印(マーキング)を用いてもよい。この場合、対象物が置かれた水平面が白地や無地など検出誤差が生じやすい場合においても、底面の水平面の検出誤差を減少できる利点がある。
3).世界座標系における対象物の上面の頂点の座標を取得する。
 撮像画像上の対象物の底面の3点から、法線ベクトル方向に伸びる直線を、N1、N2、N3とする。また、スクリーン座標系における対象物の上面の頂点(3点)と、スクリーン座標系における(0.0.0)と、の間の直線(3本)を、L1、L2、L3とする。なお、対象物の底面の頂点と、対象物の上面の頂点と、の間の距離が最短距離であるものの対象物の底面の頂点と上面の頂点との組み合わせに対応して、N1とL1、N2とL2、N3とL3との間の交点を求め、それらの交点を対象物の上面の頂点とする。
 なお、以上では、対象物の底面の座標を取得の後に、対象物の上面の座標を取得する処理を説明したが、これらは逆の順であってもよい。
 対象物測定部は、
  二次元画像内の対象物の頂点の座標を生成する第1生成部と、
  前記二次元画像内の対象物の頂点の座標の一部または全部を用いて、世界座標系における対象物の底面又は上面の頂点の座標を生成する第2生成部と、
を備えてよい。
 前記撮像装置に基づくスクリーン座標系は、デカルト座標であって、前記撮像装置の撮像方向を、前記デカルト座標の一軸とする座標系であってよい。
 前記世界座標系は、デカルト座標であって、重力方向を、前記デカルト座標の一軸とする、座標系であってよい。
3.1.第1システム
 本例に係るシステムは、依頼者が持参する段ボール又は物の配送を支援するものである。本例が対象とする状況の一例は、例えば、コンビニエンスストアが、客(依頼者)が輸送を希望して持参した対象物(あるいは対象物を中に入れた段ボール)を、輸送業者に仲介する場合が考えられる。このとき、依頼者が持参した段ボールの大きさ等に応じて、料金が決定されるところ、段ボールの大きさを迅速に測定して支払い処理に対応する必要があった。しかしながら、特に、段ボールの幅、奥行き、高さ、という3つの情報又はそれらの合計の長さに基づいて、輸送料金が決定される場合、これらの長さを測り、料金表に照らし合わせて料金を決定するなどの作業を迅速に行うことは難しく、手間がかかっていた。特に、近年は、現金の受け渡しすら手間であって電子マネーで対応するなど、迅速性が求められ、かつコンビニエンスストア内の作業人員を減らす要請があることから、少しでも負担を減少させることが重要であった。このような状況の中で、対象物の段ボールの大きさの測定の手間を減少させる本例のシステムについて、以下に説明する。
 なお、依頼者は、対象物を段ボールに入れて輸送を依頼する場合の他、段ボール箱と共に段ボールを持ち込む場合もあれば、対象物のみを持ち込みコンビニエンスストアにある段ボールを利用する場合もあるが、いずれにせよ対象物は段ボール等の直方体に包装された状態で料金などが計算されることから、以降では依頼者が輸送を希望する物が含まれた段ボールとして説明する。
 本例において、依頼者は、段ボールの輸送を依頼する者である。また、支援者は、店舗において、依頼者の輸送の依頼に応じて段ボールの大きさを測定する支援を行う者である。また、輸送される段ボールを撮像する撮像装置を含む端末を、測定支援端末、という。
 本例のシステムは、測定支援端末と、支払支援端末と、支援サーバと、を備え、測定支援端末と支払支援端末と、支払支援端末と支援サーバとは、各々、各々が有する通信機能により、互いに情報の通信が可能であってよい。
 図3は、本例のシステムの一例である。本図において、本例の全体のシステムは、支払支援端末010A、測定支援端末010B、支払支援端末011A、測定支援端末011B、支援端末012、管理サーバ019A、管理端末019B、を含み、互いに情報の通信が可能な通信手段によって互いに物理的、電気的、及び/又は、情報連絡手段的に接続されてよい。本図は一例であり、他の構成があってよい。例えば、管理サーバは、一又は複数の支払支援端末と接続されてよい。測定支援端末は支払支援端末及び/又は管理サーバと接続してよい。支援端末は管理サーバと接続されてよい。管理者端末は管理サーバとインターネットを介して又は介さずに接続されてよい。一のコンビニエンスストア又は店舗において、一又は複数の支払支援端末、一又は複数の測定支援端末、及び/又は、一又は複数の支援端末、が備えられてよい。支払支援端末、測定支援端末、及び/又は、支援端末、と管理サーバの間に、他の一又は複数の情報処理装置が介在してもよい。例えば、一のコンビニエンスストア又は店舗において、一又は複数の情報処理装置が備えられ、かかる一又は複数の情報処理装置が、管理サーバ、並びに、支払支援端末、測定支援端末、及び/又は、支援端末と接続されてよい。本例のシステムは、一又は複数の支払支援端末、一又は複数の測定支援端末、管理サーバ、及び/又は、管理端末、を含んでよい。本例のシステムは、一又は複数の測定支援端末、及び、一又は複数の支払支援端末、のみから構成されてもよい。本例のシステムは、一又は複数の測定支援端末のみから構成されてもよい。本例のシステムは、一又は複数の支援端末のみから構成されてもよい。また、本例のシステムは、一又は複数の支払支援端末、一又は複数の測定支援端末、一又は複数の支援端末、一又は複数の管理サーバ、及び/又は、一又は複数の管理者端末、上で実行されるアプリケーションであってもよい。
 ここで、支援端末は、測定支援端末の機能及び支払支援端末の両方の機能を含む機器であってよい。以下では、測定支援端末と支払支援端末を分けて説明するが、以下で説明される測定支援端末の機能の一部または全部と支払支援端末の機能の一部または全部は、これらが同一の機器内に備えられた支援端末によって実現されてもよい。この場合、測定支援端末と支払支援端末間の通信は不要であってよい。
 支払支援端末の一例は、POSシステムであってよい。すなわち、商品やサービスと金額との関係づけられた情報を含んでよい。測定支援端末の機能と、支払支援端末の機能と、が異なる機器に備えられる場合、段ボールを撮像し、段ボールの大きさの測定を支援可能な測定支援端末の機能を、従来の支払支援端末の機能に、容易に追加できる利点がある。
 測定支援端末は、汎用の情報処理装置であってもよいし、専用の情報処理装置であってもよい。汎用の情報処理装置である場合、例えば、スマートフォンやタブレットPCなどであって、本願に係る機能を実行可能なアプリケーションがダウンロードさせてインストールされたものであってよい。汎用品であってアプリケーションをダウンロードさせてインストールして利用される場合、本願に係る機能の導入の利便性が向上する利点がある。専用の情報処理装置の場合、本願に係る機能を実行可能なものであってよい。また、その場合、内部の演算装置は、本願に係る機能を実行可能な専用演算装置でもよい。
 測定支援端末と支払支援端末との間の通信は、種々のものであってよく、Wi-Fi(登録商標)、Bluetooth(登録商標)、無線LAN、有線などの、種々の通信技術が利用されてよい。特に、近距離無線通信や近距離有線通信などの近距離通信技術が利用されてよい。支援者は、測定支援端末で段ボールの大きさを測定した後、支払支援端末において、輸送のための処理や会計を行うことができるためである。
 なお、本例のシステムにおいて、支援者は必須ではない。支援者の存在に代わり、依頼者自身が段ボールの大きさを測定してもよい。この場合、測定支援端末、支払支援端末は、依頼者によって利用されてよい。
 測定支援端末は、撮像装置を備えてよい。撮像装置は、撮像により二次元画像を生成できる機能であってよい。測定支援端末は、一又は複数の撮像装置を備えてよい。なお、測定支援端末が複数の撮像装置を備える場合、測定支援端末の前面と後面とに撮像装置を備えてよい。また、測定支援端末は、同一面上には単一の撮像装置のみを備えてよい。
 測定支援端末は、上述の画像取得部及び対象物測定部、を備えてよい。これらの機能により、測定支援端末は、段ボールを撮像した撮像画像に基づいて段ボールの大きさを測定できる利点がある。また、測定支援端末、及び/又は、支払支援端末は、情報表示部を備えてよい。かかる機能により、測定支援端末、及び/又は、支払支援端末は、表示情報を表示し、支援者及び/又は依頼者が理解できる利点がある。
 測定支援端末、及び/又は、支払支援端末は、直方体の形状の対象物の輸送に係る輸送料金を特定するための関係を示す情報である、対象物輸送料金情報(以下では、段ボールへの適用に基づいて「段ボール輸送料金情報」というが、段ボール以外の直方体形状の対象物に適用される場合は対象物輸送料金情報と言い換えられてよい。)を備えてよい。図4は、段ボール輸送料金情報の一例のテーブルである。
 段ボール輸送料金情報は、例えば、段ボールの大きさに係る情報と、輸送料金と、の関係を示す情報を含んでよい。輸送料金は、段ボールの大きさに依存する場合があるためである。段ボールの大きさに係る情報は、段ボールの幅の長さ、奥行きの長さ、高さ、及び/又は、ボールの幅の長さと奥行きの長さと高さの合計、の情報を含んでよい。また、段ボールの大きさに係る情報は、一定の範囲の情報を含んでよい。例えば、幅の長さが○○cm~○○cm、奥行きの長さが○○cm~○○cm、高さが○○cm~○○cm、などであってよい。これは、段ボールの輸送料金が、段ボールの大きさに一定の範囲の幅があってよいためである。
 段ボールに係る情報は、段ボールの大きさに係る情報と、輸送料金と、輸送関連情報と、の関係を示す情報を含んでよい。輸送料金は、段ボールの大きさに加えて、輸送関連情報にも依存する場合があるためである。
 輸送関連情報は、輸送先の情報を含んでよい。輸送料金は、輸送先にも依存する場合があるためである。
 輸送関連情報は、輸送日時の情報を含んでよい。輸送料金は、輸送日時にも依存する場合があるためである。輸送日時は、依頼の日時(すなわち、依頼者が段ボールを持参して支援者に輸送を依頼した日時)であってもよいし、依頼者が輸送の到着希望予定日として設定したものであってもよい。また、後者の場合、輸送料金は、到着希望予定の有無の設定に異存してもよい。
 輸送関連情報は、対象物の重さの情報を含んでよい。この場合、輸送料金を、対象物の重さにも依存して設定できる利点がある。
 輸送関連情報は、対象物の価値の情報を含んでよい。この場合、輸送料金を、対象物の価値の情報にも依存して設定できる利点がある。価値の情報は、例えば、貴金属類などを含んでよい。
 輸送関連情報は、対象物の輸送の優先度の情報を含んでよい。この場合、輸送料金を、対象物の優先度にも依存して設定できる利点がある。優先度の情報は、特急、通常、などの依頼者がどの程度の時間で輸送の完了を希望するかを示す情報を含んでよい。
 段ボール輸送料金情報は、変更可能であってよい。段ボール輸送料金情報は、管理端末からの情報に基づいて、変更されてもよい。管理端末は、全体のシステム管理をする機能を有してよいが、例えば、コンビニエンスストアの統括部門と段ボールの輸送業者との間での輸送契約に変更があった場合などに対応して、段ボール輸送料金を変更する場合に、管理端末からの情報に基づいて、サーバを介して、複数の支援端末内における各段ボール輸送料金情報を変更してよい。かかる変更指示は、同時であってもよいし、異なる時であってもよい。なお、この場合においても、複数の支援端末内における段ボール輸送料金情報は、各々異なってもよいし、同じでもよい。例えば、地域差を設けない場合は同じ料金としてよいが、地域差を設ける場合は異なる料金としてよい。異なる料金とする一例としては、離島と本島との差、都市と地方との差、都市間による差などであってよい。これらは、輸送業者との契約等に基づく場合であってもよい。また、管理端末からの入力に基づいてもよい。
 また、支援端末毎における段ボール輸送料金情報の変更の可否の設定は、次の態様があってよい。管理端末は、段ボール輸送料金情報の一部または全部について、支援端末による情報の変更を可能にする、変更が不可能にする、変更は管理端末の許可を前提に可能にする、の3つを設定可能であってよい。支援端末による変更ができない場合は地域差をなくして均一の料金に基づくサービスが提供になる利点がある。支援端末による変更が可能な場合、地域差に基づいた各地域の自主性を尊重する設定が可能になる利点がある。また、管理端末の許可を必要とする場合、各地域の自主性を尊重しつつ均一のサービスとの関係を管理端末において考慮できる利点がある。
 次にコンビニエンスストア又は店舗における依頼者と支援者とのやり取りと対応する本例のシステムの使用例又は処理の流れを、図5を用いて、説明する。
<ステップ1>
 まず、依頼者が、段ボールを持参し、配達先や輸送関連情報を、支援者に提供する。支援者は、測定支援端末を利用して、配送先や輸送関連情報を、段ボール上に掲載されているQRコードやバーコードなどの情報提示手段を利用して、かかる情報提示手段から読み取って記憶してよい。本例のシステムの測定支援端末は、情報提示手段による読取に対応して、配送先及び/又は輸送関連情報を取得し、格納する。
<ステップ2>
 支援者は、測定支援端末を利用して、段ボールの大きさを測定する。具体的には、上述の測定ステップを行うことにより、段ボールの大きさを測定する。本例のシステムの測定支援端末は、段ボールの大きさの測定を行い、測定情報を取得し、測定情報に基づいて対象物情報を生成する。
<ステップ3>
 本例のシステムは、対象物情報に基づいて表示情報を生成し、表示情報を測定支援端末上に表示する。かかる測定支援端末上の表示により、支援者は段ボールの大きさについて大きな誤解がないことを確認することができ、また、依頼者も、段ボールの大きさについて大きな誤解がないことを確認することができる。これにより、自動的かつ容易に段ボールの大きさを測定するというメリットを享受しつつ、その自動測定に対する不安感も払しょくできる利点がある。
 測定支援端末は、測定支援端末上の表示部に、対象物情報の一部または全部に基づく表示情報を表示してよい。例えば、表示情報は、段ボールの大きさに係る情報、輸送料金、及び/又は、上述の輸送関連情報、を含んでよい。段ボールの大きさに係る情報は、段ボールの幅の長さ、段ボールの奥行きの長さ、段ボールの高さ、及び/又は、これらの幅の長さと奥行きの長さと高さの合計、を含んでよい。また、表示情報は、人が理解可能な数値等の情報、及び/又は、QRコード、バーコード、などの他の情報提示手段によって、表示部内に表示されてよい。表示情報が、人の理解可能な数値等の情報の場合、支援者及び/又は依頼者は対象物情報を確認できる利点がある。また、表示情報が、バーコードやQRコードなどの情報提示手段によって表示されている場合、支払支援端末は、他の商品やサービスがバーコードやQRコードなどの情報提示手段を利用している場合において他の商品と同じ態様で支払支援端末による処理が可能になる利点がある。また、測定支援端末は、対象物情報を、通信手段を利用して、支払支援端末に伝達してもよい。この場合、支援者が、測定支援端末上の対象物情報を支払支援端末によって読み取るなどの物理的な作業をせずに、対象物情報を支払支援端末に格納できる利点がある。以上の通り、測定支援端末が、対象物情報を、支払支援端末に伝達することにより、支払支援端末が利用するPOSシステムに適合する形で(POSシステム内で利用できる情報態様で)、対象物情報を利用できる利点がある。
 図6乃至図10は、時系列の表示の一例である。
 測定支援端末において、対象物測定部を含むアプリケーションにおいて、撮像を開始すると、まず、図6のように、「デバイスを動かしてください」(600)と表示される。この間、測定支援端末は、測定支援端末内のジャイロ機能を利用して、この間、重力方向及び撮像部による撮像方向についての情報を収集する。かかる情報は、上述のスクリーン座標系及び世界座標系の計算に利用される。
 次に、図7のように「測定対象を撮影してください。」(700)と表示され、支援者は、測定対象である段ボールが画面内に入る状態で、撮影する。測定支援端末は、撮像された二次元画像に対し、対象物に対して測定情報を生成する。この間、図8のように、「計算中」(800)との表示がされてよい。
 次に、測定支援端末は、測定に基づいて測定情報を生成し、測定情報に基づく表示情報を表示する。図9は表示情報が表示されている態様の一例であり、測定対象である段ボール(900)について、幅(13.3cm)、奥行き(26.9cm)、高さ(8.7cm)、を表示してよい(901)。かかる表示により、閲覧者は、対象物の3辺の長さの情報を理解できる。また、これらの幅、奥行き、高さ、の合計の長さ(48.9cm)を表示してよい。かかる表示により、閲覧者は、輸送料金時に利用される情報である合計を理解できる。さらに、表示上、段ボールの幅に対応する個所と関連付けられて幅(13.3cm)が表示され(902A)、段ボールの奥行きに対応する個所と関連付けられて奥行き(26.9cm)が表示され(902B)、段ボールの高さに対応する個所と関連付けられて高さ(8.7cm)が表示され(902C)てよい。かかる表示により、閲覧者は、幅、奥行き、高さ、が具体的に、表示されている段ボールにおけるどの個所の長さであるか、を理解できる。また、かかる表示は、静止画であってもよいが、表示部においてリアルタイムでAR技術を用いて、対象物に重ね合わせて表示されてもよいため、例えば、図10における奥行き(26.9cm)(100A)又は高さ(8.7cm)(100B)のように、撮像部の方向を変えた場合においても、各個所の長さは、測定支援端末が表示されている対象物における各個所と関連付けられて、表示が継続されている(表示の外にある幅は、表示されていない)
 なお、段ボールの3辺の各個所と関連付けられた長さ表示を含む静止画は、測定された状況を示す情報として、記録され、対象物情報に含まれてもよい。
<ステップ4>
 測定支援端末は、段ボールの大きさ、輸送先、及び/又は、輸送関連情報、と段ボール輸送料金情報に基づいて、輸送料金を特定し、段ボールについての対象物情報を生成する。対象物情報は、対象物を特定可能なID、対象物である段ボールの大きさ、輸送先、輸送関連情報、及び/又は、輸送料金、を含んでよい。
<ステップ5>
 依頼者は、他の商品・サービスと同様に、段ボールの輸送についての料金を支払い、依頼者は料金を受け、これに対応し、支払支援端末は支払受処理を行う。支払支援端末は、対象物情報の一部または全部を、管理サーバに伝達してよい。なお、上述の態様に代えて、測定支援端末は、対象物情報の一部または全部を、支払支援端末を介さずに、直接、通信機能を利用して、管理サーバに伝達してもよい。このように、測定支援端末が、対象物情報を、支払支援端末又は(支払支援端末を介して又は支払支援端末を介さずに)管理サーバに伝達できる場合、かかる情報は、段ボールを輸送する輸送業者に新たな作業なく情報を提供できる利点がある。例えば、コンビニエンスストアが輸送の依頼を受けた対象物を、輸送業者に渡す段階において、コンビニエンスストアや店舗内の支援者が、対象物の大きさを再度測定せずに、依頼者から対象物を受け取ったときに測定した大きさをそのまま利用して、輸送業者に伝達できる利点がある。このため、コンビニエンスストア内において、対象物の大きさを測定する手間を省くメリットがある。
<ステップ6>
 管理サーバは、段ボールの輸送についての手配処理を行ってよい。管理サーバは、対象物情報内の対象物の大きさの情報を用いて、輸送手配を行ってよい。この場合、輸送が依頼された店舗を示す情報が用いられて、輸送手配が行われてよい。店舗を示す情報は、店舗の地理的な場所を示す情報と関連付けられた情報であってよい。
 以上の流れにおいて、ステップ1とステップ2は異なる順序でもよい。
 また、上述のステップ2の前又はステップ2の段階において、本例のシステムは、段ボールが置かれている平面上に描かれた所定のマーキングを検知する処理をしてよい。特に、段ボールが置かれている平面が白地や無地の場合、段ボールが置かれている平面の検知に誤作動が生じる可能性があり、測定情報に誤差が生じる可能性がある。そこで、段ボールが置かれている平面上に予め所定のマーキングを描いておき、本例のシステムがかかる所定のマーキングを検知することによって段ボールが置かれている平面を特定する支援をしてよい。特に、コンビニエンスストアや店舗における商品の購入作業が行われるテーブル上や、コンビニエンスや店舗の床は、白地や無地であることが多く、段ボールの置かれている平面の検知に誤作動が生じる場合があるところ、上述の所定のマーキングが上述のテーブルや床に描かれている場合において、本例のシステムがかかる所定のマーキングを検知できる場合、測定の精度を向上できる利点がある。
 なお、上述の所定のマーキングは、変更可能であってもよい。この場合、コンビニエンスストア又は店舗において、自由に設定が可能になる利点がある。すなわち、所定のマーキングはコンビニエンスストア又は店舗におけるレジのテーブルや地面に描かれることになるが、所定のマーキングのデザインによっては、周囲と調和しない可能性がある。そこで、コンビニエンスストア又は店舗毎に選定された所定のマーキングが利用可能である場合、コンビニエンスストア又は店舗内のデザインと調和するものも選定できる利点がある。
 変更可能な所定のマーキングは、予め測定支援端末において撮像、又は、他の情報処理装置からの通信により取得してよい。後者は、例えば、インターネットの所定の情報処理装置、管理サーバ、本願に係るアプリケーションを提供するサーバなどからのダウンロードであってよい。対象物測定部は、かかる予め取得した所定のマーキングを利用して、かかる所定のマーキングの検知できた水平面を、対象物の底面の水平面として扱うよう処理してよい。
 また、上述のステップ2において、上述のとおり、測定支援端末内の機能のみで、段ボールの大きさの測定をしてもよいし、測定支援端末内が他の情報処理装置との情報通信を経て段ボールの大きさを測定してもよい。前者の場合、他の情報処理装置との間の通信処理や時間なしに測定情報を取得できる利点がある。後者の場合、測定支援端末内の処理負担が軽減できるため、他の機能を含む汎用製品にインストールされている場合には他の機能の処理を阻害しない利点があり、専用製品の場合も高い演算機能や記憶機能が不要になる利点がある。
 後者の場合において、例えば、対象物測定部における機械学習機能が、測定支援端末又は支援端末とは異なる他の情報処理装置において実行される場合次の処理が行われてよい。
<1>対象物測定部は、撮像画像とかかる画像内の水平面を特定する情報(例えば、画像内の水平面を特定する複数の座標情報)をかかる他の情報処理装置に送信する。
<2>他の情報処理装置は、かかる撮像画像とかかる画像内の水平面を特定する情報に対して、画像内の水平面を特定する情報とその水平面の頂点との関係を機械学習済みの機械学習機能を適用し、撮像画像における画像内の水平面の頂点を特定する情報(例えば、頂点を特定する座標)を生成する。
<3>他の情報処理装置は、測定支援端末に、受信した撮像画像における画像内の水平面の頂点を特定する情報を送信する。
また、依頼者が依頼する対象物自体が、直方体に近い形態である場合、対象物が段ボール内に入れられずにそのまま輸送される場合もある。この場合、上述の段ボールに代えて、対象物自体を対象として、測定されてよい。
3.2.第2システム
 第2システムは、輸送業者に直接依頼する者が利用するアプリケーションの例である。例えば、オンライン上のフリーマーケットにおいて、フリーマーケットで物品を提供する者(依頼者)は、買い手に商品を輸送する必要がある。このとき、依頼者は、輸送業者に対象物の輸送を直接依頼することになるが、物品を段ボールで包装の上、輸送業者に提供するところ、その段ボールの大きさを測定する手間が面倒である場合があった。そこで、本例のシステムは、依頼者が手軽に対象物の大きさの情報を測定する支援を行う例である。
 図11は、本例の依頼者が利用する依頼者端末1101と、管理サーバ019Aと、管理者端末019Bと、輸送業者情報処理装置1102を図示し、各々は、互いに情報を通信可能な通信手段を備え、各々は互いに情報の通信が可能であってよい。また、本図では、依頼者端末、管理サーバ、管理者端末、輸送業者情報処理装置、は、各々、一又は複数あってよい。例えば、依頼者端末は、上述のフリーマーケットで物品を提供する者である依頼者の数に対応して、複数あってよい。また、輸送業者情報処理装置は、少なくとも、物品の輸送を行う輸送業者の数に対応して複数あってよい。
 依頼者端末は、汎用の情報処理装置であってもよいし、専用の情報処理装置であってもよい。汎用の情報処理装置である場合、例えば、スマートフォンやタブレットPCなどの携帯端末であって、本願に係る機能を実行可能なアプリケーションがダウンロードさせてインストールされたものであってよい。汎用品であってアプリケーションをダウンロードさせてインストールして利用される場合、本願に係る機能の導入の利便性が向上する利点がある。専用の情報処理装置の場合、本願に係る機能を実行可能なものであってよい。また、その場合、内部の演算装置は、本願に係る機能を実行可能な専用演算装置でもよい。依頼者端末は、上述の測定支援端末が備える機能の一部または全てを備えてよい。
 管理サーバと管理者端末は、依頼者端末の機能を支援する機能を有する。例えば、依頼者端末において利用する情報を提供したり、依頼者端末によって生成された情報を受信したりしてよい。例えば、依頼者端末から、対象物についての輸送に関連する指示を、輸送業者情報処理装置に伝達することの支援をしてよい。
 本例のシステムは、一又は複数の依頼者端末、一又は複数の輸送業者情報処理装置、一又は複数の管理サーバ、及び/又は、一又は複数の管理端末、を含んでよい。本例のシステムは、一又は複数の依頼者端末、のみから構成されてもよい。また、本例のシステムは、一又は複数の依頼者端末、一又は複数の輸送業者情報処理装置、一又は複数の管理サーバ、及び/又は、一又は複数の管理端末、上で実行されるアプリケーションであってもよい。
 以下に依頼者の行動と対応する本例のシステムの処理の流れを、図12を利用して、説明する。
<ステップ1>
 依頼者が本例のシステムのアプリケーションを起動する。本例のシステムは、起動に加えて、管理サーバにアップデート情報の有無を問い合わせ、アップデート情報があれば、アップデート情報を管理サーバから受信し、かかるアップデート情報を用いて本例のシステムのアップデート処理を行ってよい。アップデート情報は、段ボール輸送料金情報を含んでよい。このアップデートにより、最新の段ボール輸送料金情報に基づいて、輸送料金を設定できる利点がある。
 また、段ボール輸送料金情報は、利用する輸送業者毎にアップデートできてよい。輸送業者毎に輸送料金が異なる場合があるためである。この場合、依頼者端末は、管理サーバから、輸送業者を特定する情報と関連付けられた段ボール輸送料金情報を取得し、依頼者端末において、対象物の輸送を依頼する輸送業者の選定にあたり利用してよい。
<ステップ2>
 依頼者は、輸送料金を生成するための情報を、携帯端末に入力する。例えば、輸送関連情報を生成するために必要な情報は、例えば、輸送先の情報、輸送日時、対象物の重さの情報、価値の情報、及び/又は、優先度の情報、などの情報を含んでよい。本例のシステムは、依頼者による入力に対応して、輸送料金を生成するための情報を取得し、対象物情報を生成してよい。
 なお、依頼者による入力に代えて、上述の輸送料金を生成するための情報を、本例のシステムは、携帯端末装置内の他のアプリケーション又は他の情報処理装置から、取得してもよい。この場合、利用者の入力負担を軽減する利点がある。
<ステップ3>
 依頼者は、依頼者端末を利用して、輸送の対象物である段ボールを撮像する。本例のシステムは、段ボールを撮像した撮像画像に基づいて、段ボールの大きさを測定し、測定情報を生成し、対象物情報を生成してよい。
<ステップ4>
 本例のシステムは、対象物情報に基づく表示情報を表示する。かかる表示により、依頼者は、段ボールを輸送した場合における輸送料金を理解できる利点がある。なお、ここで、依頼者端末が、複数の輸送業者に係る段ボール輸送料金情報を有する場合、依頼者端末は、かかる輸送業者毎の輸送料金を表示してよい。また、依頼者端末は、この場合、輸送料金が低いものから順にリスト化して、表示してもよい。
<ステップ5>
 依頼者が、輸送を依頼する。本例のシステムは、依頼者による輸送の依頼に対応して、対象物情報及び輸送依頼情報を、管理サーバを介して又は介さずに、輸送業者情報処理装置に伝達する。対象物情報が、輸送業者に係るサーバに連絡されることにより、輸送業者は、容易に輸送対象の情報である対象物情報を迅速に把握できる利点がある。特に輸送業者は、早めに対象物情報を取得することにより、物流の計画を効率的に立てることが可能となる利点がある。なお、依頼者端末が、複数の輸送業者毎の輸送料金を表示している場合、依頼者は、それらの一の輸送業者を選択してもよい。本例のシステムは、依頼者のかかる輸送業者の選択に応じて、選択された輸送業者に係る輸送業者情報処理装置に、管理サーバを介して又は介さずに、対象物情報と輸送依頼情報を、伝達する。
3.3.第3システム
 第3システムは、第1乃至第3システムにおいて依頼された輸送のために、輸送業者が利用可能なシステムである。輸送業者は、依頼者から渡された対象物の料金をその場で決定する場合があり、運送業者においても、対象物の大きさを決定することが好ましい場合がある。
 輸送業者は、段ボール測定機能を備える携帯端末装置、を備える。
 図13は、本例のシステムの状況を図示したものである。本図において、輸送業者端末1301と、輸送業者情報処理装置1302と、管理サーバ019Aと、管理者端末019Bと、が図示されており、各々は、互いに情報を通信可能な通信手段を備え、各々は互いに情報の通信が可能であってよい。また、本図では、輸送業者端末、管理サーバ、管理者端末、輸送業者情報処理装置、は、各々、一又は複数あってよい。例えば、輸送業者端末は、輸送業者において自宅から対象物を収集する担当者がそれぞれ利用するものであって、複数あってよい。
 輸送業者端末は、汎用の情報処理装置であってもよいし、専用の情報処理装置であってもよい。汎用の情報処理装置である場合、例えば、スマートフォンやタブレットPCなどの携帯端末であって、本願に係る機能を実行可能なアプリケーションがダウンロードさせてインストールされたものであってよい。汎用品であってアプリケーションをダウンロードさせてインストールして利用される場合、本願に係る機能の導入の利便性が向上する利点がある。専用の情報処理装置の場合、本願に係る機能を実行可能なものであってよい。また、その場合、内部の演算装置は、本願に係る機能を実行可能な専用演算装置でもよい。輸送業者端末は、上述の測定支援端末が備える機能の一部または全てを備えてよい。
 本例のシステムは、一又は複数の輸送業者端末、一又は複数の輸送業者情報処理装置、一又は複数の管理サーバ、及び/又は、一又は複数の管理端末、を含んでよい。本例のシステムは、一又は複数の輸送業者端末、のみから構成されてもよい。また、本例のシステムは、一又は複数の輸送業者端末、一又は複数の輸送業者情報処理装置、一又は複数の管理サーバ、及び/又は、一又は複数の管理端末、上で実行されるアプリケーションであってもよい。
 以下に輸送業者の行動と対応する本例のシステムの処理の流れを、図14を利用して、説明する。
<ステップ1>
 輸送業者は、依頼者からの対象物の依頼情報を輸送業者情報処理装置/管理サーバを介して、依頼者についての情報を取得する。本例のシステムは、依頼者についての情報、たとえば、依頼者の氏名、住所、対象物についての情報、を表示してよい。対象物についての情報は、対象物の大きさに係る情報、輸送関連情報、を含んでよい。
<ステップ2>
 輸送業者は、依頼者宅に訪問し、依頼者宅にて、依頼者から渡された対象物を撮像する。本例のシステムは、段ボールを撮像した撮像画像に基づいて、段ボールの大きさを測定し、測定情報を生成し、対象物情報を生成してよい。
<ステップ3>
 本例のシステムは、対象物情報に基づく表示情報を表示してよい。輸送業者は、輸送料金を含む対象物情報を確認し、必要に応じて、依頼者に対しても表示を示し、料金の確認を行う。輸送料金を含む対象物情報が表示されることにより、依頼者も輸送料金を確認して安心できる利点がある。
 また、依頼者が、例えば、上述の第2システム等を利用して、事前に、対象物についての情報を取得しており、その情報が、管理サーバや輸送業者情報処理装置などにある場合、本例のシステムは、事前に依頼者から依頼されている対象物情報と、輸送業者端末において測定して得られた対象物情報と、を照合して、対象物の大きさの観点で、同じものであるかどうかを確認してもよい。かかる照合は、例えば、対象物の幅・奥行き・高さの3辺の合計情報について、事前に依頼者から依頼されている対象物情報と輸送業者端末において測定された対象物情報とを比較し、誤差範囲内で合致するかどうか(例えば、誤差が所定の閾値以上を判定し、誤差が閾値以上であれば異なるものであり、誤差が閾値未満であれば同じものであると判定する)により、照合してよい。この場合、輸送業者端末は、かかる照合の結果を表示してよい。かかる表示により、輸送業者は、事前に依頼された対象物と、依頼者宅で受け取る対象物の同一性を確認できる利点がある。
<ステップ4>
 本例のシステムは、対象物の大きさを含む対象物情報を携帯端末装置から、管理サーバに伝達し、輸送業務に利用してよい。この場合、輸送業者が、個々の依頼者から対象物を収集した後に再度対象物の大きさを確認する手間が減少する利点がある。
3.3.第4システム
 第4システムは、携帯端末内の撮像装置ではなく、特定の場所に固定して備えられた撮像装置1501と、かかる撮像装置1501を制御可能な端末装置1502と、を備えてよい。また、これらの、撮像装置1501、及び、端末装置1502、は、各々、一又は複数あり、互いに又はネットワークを介して、無線又は有線により接続されてよい。図15は、本例のシステムの状況の一例を図示したものである。
 端末装置は、一又は複数の汎用の情報処理装置であってもよいし、一又は複数の専用の情報処理装置であってもよいし、これらの混合であってもよい。汎用の情報処理装置である場合、本願に係る機能を実行可能なアプリケーションがダウンロードさせてインストールされたものであってよい。汎用品であってアプリケーションをダウンロードさせてインストールして利用される場合、本願に係る機能の導入の利便性が向上する利点がある。専用の情報処理装置の場合、本願に係る機能を実行可能なものであってよい。また、その場合、内部の演算装置は、本願に係る機能を実行可能な専用演算装置でもよい。一又は複数の端末装置は、上述の測定支援端末が備える機能の一部または全てを備えてよい(複数の端末装置の場合は、それらが協調して、上述の測定支援端末装置が備える機能の一部または全てを有してよい)。
 本例のシステムは、一又は複数の撮像装置、及び/又は、一又は複数の端末装置、を含んでよい。また、本例のシステムは、一又は複数の撮像装置、及び/又は、一又は複数の端末装置、上で実行されるアプリケーションであってもよい。
 上述の撮像装置は、所定の場所に固定的に備え付けられてもよいし、移動可能に備え付けられてもよい。また、撮像装置は、車両に備え付けられてよい。車両は、荷物を輸送可能な貨物自動車を含んでよい。例えば、撮像装置は、車両内の荷台内を視野に含む位置に備えられてよい。例えば、車両の荷台内の四隅の一、及び/又は、荷台の天井の一部であってよい。荷台内を視野に含む位置に撮像装置が備えられている場合、荷台外から荷台内又は荷台内から荷台外など荷台内を移動する過程の荷物及び/又は荷台内に置かれた荷物を撮像し、荷物についての対象物情報を生成できる利点がある。また、撮像装置は、車両が駐車される駐車される駐車領域を撮像視野に含む位置に備え付けられてもよい。例えば、荷台を備える車両が荷台から荷物の出し入れをする場合において、撮像装置は、荷台の後方である荷物が置かれる領域、及び/又は、荷台内に荷物を移動するための荷台と地面との間の高低差を移動する昇降機内の領域、を視野に含む位置及び方向に設置される撮像装置であってよい。この場合、これらの領域に置かれている荷物を撮像し、荷物についての対象物情報を生成できる利点がある。特に、以下のとおり、荷物についての情報提示手段に基づく情報と、荷物についての測定情報と、を関連付けて情報処理装置内に格納することができるため、かかる情報を利用できる利点がある。
 以下に本例のシステムの処理の流れを、図16を利用して、説明する。
<ステップ1>
 本例のシステムにおける撮像装置は、荷台内から荷台外へ荷物が移動される過程、荷台外から荷台内に荷物が移動される過程、及び/又は、これらの過程の前後において、荷物を撮像してよい。
<ステップ2>
 本例のシステムは、かかる荷物の大きさを測定し、測定情報を生成してよい。荷物は、直方体の形状であってよい。
<ステップ3>
 本例のシステムは、荷物上に掲載されているQRコードやバーコード等の情報提示手段を含み撮像し、かかる情報提示手段から、荷物に係る情報を取得してよい。荷物に係る情報は、荷物の所有者、荷物の移動元、荷物の移動先、などの輸送関連情報、を含んでよい。
<ステップ4>
 本例のシステムは、測定情報と、荷物に係る情報と、を関連付けて、対象物情報を生成してよい。
 本例のシステムの上述の処理は、一例にすぎず、ステップ1乃至4は、異なる順序であってもよく、例えば、ステップ1・2の前にステップ3を行ってもよい。
 また、変形例として、上述の撮像装置は、荷物の重さを測定可能な重量計を視野に含む撮像装置であってよい。例えば、撮像装置は、かかる重量計上の荷物を視野に含む撮像装置であってよい。この場合、本例のシステムは、重量計を含んでよい。また、本例のシステムにおける端末装置は、かかる重量計と情報の通信が可能なように、かかる重量計とネットワークにより接続され、重量計からの重さ情報を、取得してよい。また、重量計は、床面に設置されていてよい。
 この場合、本例のシステムは、上述の撮像装置による撮像と、重量計の重さの測定と、の時間的関係はどのようなものであってもよい。例えば、撮像の後に重さが測定されてもよいし、重さが測定された後に撮像してもよいし、重さの測定と撮像とを実質的に同時に行ってもよい。また、重量計からの重さ情報の取得は、上述のステップ2乃至4のいずれのステップと同時又は先後であってもよい。本例のシステムは、重量計からの重さの情報を、輸送関連情報の一つの情報として、対象物情報の一つに含ませてよい。本例のシステムが、重量計から重さ情報を取得できる場合、より対象物情報を豊富にできる利点がある。特に、荷物についての情報提示手段に基づく輸送関連情報と、荷物についての測定情報と、荷物についての重さの情報と、を関連付けて情報処理装置内に格納することができるため、かかる情報を利用して、重さと大きさと輸送関連情報とを簡易に関連付けて収集して格納できるため、例えば、配送の最適化等に利用できる利点がある。
3.3.その他の態様
 第1の態様によるプログラムは、「携帯端末を、
 直方体の形状の対象物が撮像された二次元画像を取得する取得手段、
 前記直方体の幅、奥行き、及び/又は、高さ、を含む測定情報を生成する生成手段、
 前記測定情報に基づいて、前記幅、前記奥行き、及び/又は、前記高さ、を表示する表示手段、
として機能させるためのプログラム。」である。
 第2の態様によるプログラムは、上記第1の態様において「前記表示手段は、前記幅、前記奥行き、及び/又は、前記高さ、の合計情報を表示する、」ものである。
 第3の態様によるプログラムは、上記第1又は2の態様において「前記表示手段は、
  前記二次元画像を表示しつつ、前記二次元画像に重ね合わせて、
  前記直方体の幅と関連付けて前記幅を表示し、
  前記直方体の奥行きと関連付けて前記奥行きを表示し、
  前記直方体の高さと関連付けて前記高さを表示する、
」ものである。
 第4の態様によるプログラムは、上記第1乃至3のいずれか一の態様において「前記表示手段は、前記幅、前記奥行き、及び/又は、前記高さ、の情報を含むバーコードを表示する、」ものである。
 第5の態様によるプログラムは、上記第1乃至4のいずれか一の態様において「前記携帯端末を、
前記幅、前記奥行き、及び/又は、前記高さ、の情報を含む情報を、他の情報処理装置に送信するための処理手段、
として機能させるためのプログラム」である。
 第6の態様によるプログラムは、上記第1乃至5のいずれか一の態様において「 前記携帯端末を、
 前記撮像された画像を送信するための処理手段、
 前記撮像された画像に対して、画像と前記画像内の一又は複数の頂点を特定する情報との関係を機械学習済みの機能を適用することによって得られた、前記撮像画像内の一又は複数の頂点を特定する情報を取得する第1取得手段、
として機能させるためのプログラムであって、
 前記生成手段は、前記一又は複数の頂点を特定する情報を用いて、前記測定情報を生成する、」プログラムである。
 第7の態様によるプログラムは、上記第1乃至6のいずれか一の態様において「前記携帯端末を、
 画像と前記画像内の一又は複数の頂点を特定する情報との関係を機械学習済みの前記携帯端末内の機能であって、前記撮像された画像に対して、前記機械学習済みの機能を適用することによって、前記撮像画像内の一又は複数の頂点を特定する情報を生成する、頂点特定情報生成手段、」として機能させるためのプログラムである。
 第8の態様によるプログラムは、上記第1乃至7のいずれか一の態様において「前記携帯端末を、
 前記対象物の底面について、所定のマーキングを利用して特定する特定手段、
として機能させるための、」ものである。
 第9の態様によるシステムは、「直方体の形状の対象物が撮像された二次元画像を取得する取得部、
 前記直方体の幅、奥行き、及び/又は、高さ、を含む測定情報を生成する生成部、
 前記測定情報に基づいて、前記幅、前記奥行き、及び/又は、前記高さ、を表示する表示部、
を備えるシステム。」である。
 第10の態様による携帯端末は、「直方体の形状の対象物が撮像された二次元画像を取得する取得部、
 前記直方体の幅、奥行き、及び/又は、高さ、を含む測定情報を生成する生成部、
 前記測定情報に基づいて、前記幅、前記奥行き、及び/又は、前記高さ、を表示する表示部、
を備える携帯端末」である。
 第11の態様による方法は、「携帯端末が、
 直方体の形状の対象物が撮像された二次元画像を取得する取得ステップ、
 前記直方体の幅、奥行き、及び/又は、高さ、を含む測定情報を生成する生成ステップ、
 前記測定情報に基づいて、前記幅、前記奥行き、及び/又は、前記高さ、を表示する表示ステップ、
を実行する方法。」である。
 第12の態様によるプログラムは、上記第1乃至8のいずれか一の態様において「前記携帯端末が、前記生成手段に利用される記憶装置を備える、」ものである。
 第13の態様によるシステムは、上記第9の態様において「前記生成部に利用される記憶装置を備える、」ものである。
 第14の態様による携帯端末は、上記第10の態様において「前記生成部に利用される記憶装置を備える、」ものである。
 第15の態様による方法は、上記第11の態様において「前記携帯端末が、前記生成ステップに利用される記憶装置を備える、」ものである。
4.システムを構成するハードウェア構成
 本願発明に係るシステムは、一又は複数の情報処理装置から構成されてよい。本願発明に係る情報処理装置10は、図15のように、バス15、演算装置11、記憶装置12、及び通信装置16を備えてよい。また、一実施態様における情報処理装置10は、入力装置13、表示装置14を備えてよい。また、ネットワーク17と、直接または間接的に接続される。また、本願に係る情報処理装置10は、図示しない撮像装置を備え、バス15と撮像装置は接続されてよく、演算装置11は、かかる撮像装置の処理用の指示を生成し、撮像装置の実行を支援してよい。
 バス15は、演算装置11、記憶装置12、入力装置13、表示装置14及び通信装置16の間の情報を伝達する機能を有してよい。
 演算装置11の例としては、例えばプロセッサが挙げられる。これは、CPUであってもよいし、MPUであってもよい。また、一実施態様における演算装置は、グラフィックスプロセッシングユニット、デジタルシグナルプロセッサなどを有してもよい。要するに、演算装置11は、プログラムの命令を実行できる装置であればよい。
 記憶装置12は、情報を記録する装置である。これは、外部メモリと内部メモリのいずれでもよく、主記憶装置と補助記憶装置のいずれでもよい。また、磁気ディスク(ハードディスク)、光ディスク、磁気テープ、半導体メモリなどでもよい。また、ネットワークを介した記憶装置又は、ネットワークを介したクラウド上の記憶装置を有してもよい。
 なお、演算装置に物理的に近い位置で情報を記憶する、レジスタ、L1キャッシュ、L2キャッシュなどは、本ブロック図においては、演算装置11内に含まれる場合もあるが、計算機アーキテクチャのデザインにおいて、情報を記録する装置としては、記憶装置12がこれらを含んでもよい。要するに、演算装置11、記憶装置12及びバス15が協調して、情報処理を実行できるよう構成されていればよい。
 記憶装置12は、本願発明に係る処理を実行可能なプログラムの一部又は全部を備えることができる。また、本願発明に係る処理を実行する際に必要なデータを、適宜記録することもできる。また、一実施態様における記憶装置12は、データベースを含んでもよい。
 また、上記は、演算装置11が、記憶装置12に備えられたプログラムに基づいて実行される場合を記載したが、上記のバス15、演算装置11と記憶装置12が組み合わされた形式の一つとして、本願発明に係る情報処理の一部又は全部を、ハードウェア回路自体を変更することができるプログラマブルロジックデバイス又は実行する情報処理が決まっている専用回路で実現されてもよい。
 入力装置13は、情報を入力するものであるが、他の機能を有してもよい。入力装置13としては、キーボード、マウス、タッチパネル、又はペン型の指示装置などの入力装置が挙げられる。
 表示装置14は、情報を表示する機能を有する。例えば、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイなどが挙げられるが、要するに、情報を表示できる装置であればよい。また、タッチパネルのように入力装置13を一部に備えてもよい。
 ネットワーク17は、通信装置16と共に、情報を伝達する。すなわち、情報処理装置である10の情報を、ネットワーク17を介して他の情報端末(図示しない)に伝達できるようにする機能を有する。通信装置16は、どのような接続形式を用いてもよく、IEEE1394、イーサネット(登録商標)、PCI、SCSI、USB、2G、3G、4G、5Gなどでもよい。ネットワーク17への接続は、有線と無線のいずれでもよい。
 本願発明に係る情報処理装置は、汎用型であってもよいし、専用型であってもよい。また、当該情報処理装置は、ワークステーション、デスクトップパソコン、ラップトップパソコン、ノートパソコン、PDA、携帯電話、スマートフォンなどでもよい。
 本図では、一台の情報処理装置10として説明したが、本願発明に係るシステムは、複数の情報処理装置によって構成されてもよい。当該複数の情報処理装置は、内部的に接続されていてもよいし、外部的に接続されていてもよい。
 また、本願発明に係るシステムは、種々の態様の装置形式であってよい。例えば、本願発明に係るシステムは、スタンドアローンであってもよいし、サーバクライアント形式であってもよいし、ピアツーピア形式であってもよいし、クラウド形式であってもよい。本願発明に係るシステムは、スタンドアローンの情報処理装置であってもよいし、サーバクライアント形式の一部又は全部の情報処理装置から構成されてもよいし、ピアツーピア形式の一部又は全部の情報処理装置から構成されてもよいし、クラウド形式の一部又は全部の情報処理装置から構成されてもよい。
 また、本願発明に係るシステムが複数の情報処理装置で構成される場合、各情報処理装置の所有者や管理者は、異なってもよい。
 また、情報処理装置10は、物理的な存在であってもよいし、仮想的なものであってもよい。例えば、クラウドコンピューティングを用いて、情報処理装置10を仮想的に実現してもよい。
 上述では、本例のシステムが実施する構成として説明したが、これらは、システム内の一又は複数の情報処理装置が実施する構成であってもよい。
 本願書類の実施例において述べた発明例は、本願書類で説明されたものに限らず、その技術的思想の範囲内で、種々の例に適用できることはいうまでもない。例えば、上述では、情報処理装置にアプリケーションがダウンロードされてインストールされる態様を説明したが、かかる態様に代えて、情報処理装置が、インターネット上のWEBアプリケーションによって、上述の各機能が実行できる態様であってもよい。
 また、本願書類で説明される処理及び手順は、実施形態において明示的に説明されたものによってのみならず、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実現可能なものであってよい。また、本願書類で説明される処理及び手順は、それらの処理・手順をコンピュータプログラムとして実装し、各種のコンピュータに実行させることが可能であってよい。特に本願書類において用いられる「システム」という用語によって実現される機能の一部又は全部は、かかる情報処理装置上で実行可能なプログラムによって実現されてよい。また、これらのプログラムについて、情報の、送信可能化処理、受信可能化処理、通信可能化処理、とは、各々、情報を、送信、受信、通信するための処理をしてもよいし、他のプログラムが送信、受信、通信が可能なような状態に情報を設定して他のプログラムによって送信、受信、通信、が可能な状態にさせる処理を含んでよい。また、通信は、送信及び受信の上位概念であってよい。また、これらのプログラムについて、撮像可能化処理、とは、プログラムが実行される情報処理装置上の撮像装置に対して、撮像処理を行うよう撮像指示を直接的にまたは間接的に含む処理であってよい。また、本願書類において、「段ボール」を主な対象として説明したが、段ボールにとどまらず、直方体の形状を備える対象物であれば、他の物質から構成されるものであってもよい。またこれらのコンピュータプログラムは、記憶媒体に記憶されてよい。また、これらのコンピュータプログラムは、非一過性又は一時的な記憶媒体に記憶されてよい。
 10 情報処理装置
 11 演算装置
 12 記憶装置
 13 入力装置
 14 表示装置
 15 バス
 16 通信装置
010A 支払支援端末
010B 測定支援端末
011A 支払支援端末
011B 測定支援端末
012  支援端末
019A 管理サーバ
019B 管理者端末
1101  依頼者端末
1102  輸送業者情報処理装置
1301  輸送業者端末
1302  輸送業者情報処理装置
1501  撮像装置
1502  端末装置

Claims (15)

  1.  携帯端末を、
     直方体の形状の対象物が撮像された二次元画像を取得する取得手段、
     前記直方体の幅、奥行き、及び/又は、高さ、を含む測定情報を生成する生成手段、
     前記測定情報に基づいて、前記幅、前記奥行き、及び/又は、前記高さ、を表示する表示手段、
    として機能させるためのプログラム。
  2.  前記表示手段は、前記幅、前記奥行き、及び/又は、前記高さ、の合計情報を表示する、
    請求項1に記載のプログラム。
  3.  前記表示手段は、
      前記二次元画像を表示しつつ、前記二次元画像に重ね合わせて、
      前記直方体の幅と関連付けて前記幅を表示し、
      前記直方体の奥行きと関連付けて前記奥行きを表示し、
      前記直方体の高さと関連付けて前記高さを表示する、
    請求項1又は2に記載のプログラム。
  4.  前記表示手段は、前記幅、前記奥行き、及び/又は、前記高さ、の情報を含むバーコードを表示する、
    請求項1乃至3のいずれか1項に記載のプログラム。
  5.  前記携帯端末を、
    前記幅、前記奥行き、及び/又は、前記高さ、の情報を含む情報を、他の情報処理装置に送信するための処理手段、
    として機能させるための、請求項1乃至4のいずれか1項に記載のプログラム。
  6.  前記携帯端末を、
     前記撮像された画像を送信するための処理手段、
     前記撮像された画像に対して、画像と前記画像内の一又は複数の頂点を特定する情報との関係を機械学習済みの機能を適用することによって得られた、前記撮像画像内の一又は複数の頂点を特定する情報を取得する第1取得手段、
    として機能させるためのプログラムであって、
     前記生成手段は、前記一又は複数の頂点を特定する情報を用いて、前記測定情報を生成する、
    請求項1乃至5のいずれか1項に記載のプログラム。
  7.  前記携帯端末を、
     画像と前記画像内の一又は複数の頂点を特定する情報との関係を機械学習済みの前記携帯端末内の機能であって、前記撮像された画像に対して、前記機械学習済みの機能を適用することによって、前記撮像画像内の一又は複数の頂点を特定する情報を生成する、頂点特定情報生成手段、
    として機能させるための請求項1乃至5のいずれか1項に記載のプログラム。
  8.  前記携帯端末を、
     前記対象物の底面について、所定のマーキングを利用して特定する特定手段、
    として機能させるための、請求項1乃至7のいずれか1項に記載のプログラム。
  9.  直方体の形状の対象物が撮像された二次元画像を取得する取得部、
     前記直方体の幅、奥行き、及び/又は、高さ、を含む測定情報を生成する生成部、
     前記測定情報に基づいて、前記幅、前記奥行き、及び/又は、前記高さ、を表示する表示部、
    を備えるシステム。
  10.  直方体の形状の対象物が撮像された二次元画像を取得する取得部、
     前記直方体の幅、奥行き、及び/又は、高さ、を含む測定情報を生成する生成部、
     前記測定情報に基づいて、前記幅、前記奥行き、及び/又は、前記高さ、を表示する表示部、
    を備える携帯端末。
  11.  携帯端末が、
     直方体の形状の対象物が撮像された二次元画像を取得する取得ステップ、
     前記直方体の幅、奥行き、及び/又は、高さ、を含む測定情報を生成する生成ステップ、
     前記測定情報に基づいて、前記幅、前記奥行き、及び/又は、前記高さ、を表示する表示ステップ、
    を実行する方法。
  12.  前記携帯端末が、前記生成手段に利用される記憶装置を備える、
    請求項1乃至8のいずれか1項に記載のプログラム。
  13.  前記生成部に利用される記憶装置を備える、
    請求項9に記載のシステム。
  14.  前記生成部に利用される記憶装置を備える、
    請求項10に記載の携帯端末。
  15.  前記携帯端末が、前記生成ステップに利用される記憶装置を備える、
    請求項11に記載の方法。
PCT/JP2021/032489 2021-09-03 2021-09-03 情報処理システム、情報処理装置、サーバ装置、端末装置、携帯端末装置、プログラム、又は方法 WO2023032168A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021552706A JPWO2023032168A1 (ja) 2021-09-03 2021-09-03
PCT/JP2021/032489 WO2023032168A1 (ja) 2021-09-03 2021-09-03 情報処理システム、情報処理装置、サーバ装置、端末装置、携帯端末装置、プログラム、又は方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/032489 WO2023032168A1 (ja) 2021-09-03 2021-09-03 情報処理システム、情報処理装置、サーバ装置、端末装置、携帯端末装置、プログラム、又は方法

Publications (1)

Publication Number Publication Date
WO2023032168A1 true WO2023032168A1 (ja) 2023-03-09

Family

ID=85412351

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/032489 WO2023032168A1 (ja) 2021-09-03 2021-09-03 情報処理システム、情報処理装置、サーバ装置、端末装置、携帯端末装置、プログラム、又は方法

Country Status (2)

Country Link
JP (1) JPWO2023032168A1 (ja)
WO (1) WO2023032168A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0844914A (ja) * 1994-08-03 1996-02-16 Matsushita Electric Ind Co Ltd 荷物管理システム
JP2021103396A (ja) * 2019-12-25 2021-07-15 知洋 下川部 船舶の航行支援システムにおける管理サーバ、船舶の航行支援方法、及び船舶の航行支援プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0844914A (ja) * 1994-08-03 1996-02-16 Matsushita Electric Ind Co Ltd 荷物管理システム
JP2021103396A (ja) * 2019-12-25 2021-07-15 知洋 下川部 船舶の航行支援システムにおける管理サーバ、船舶の航行支援方法、及び船舶の航行支援プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Consider a method to estimate the size of a box using ARKit", GMO, GMO INTERNET GROUP, INC., JP, 29 June 2018 (2018-06-29), JP, pages 1 - 8, XP093042918, Retrieved from the Internet <URL:https://recruit.gmo.jp/engineer/jisedai/blog/arkit-box-size-estimator/> [retrieved on 20230428] *
ANONYMOUS: "Developed by AI solution "Automagi" that can easily measure the size of luggage with a smartphone", AXIS WEB MAGAZINE, AXIS, 24 April 2020 (2020-04-24), pages 1 - 4, XP093042909, Retrieved from the Internet <URL:https://www.axismag.jp/posts/2020/04/196681.html> [retrieved on 20230428] *
LAILA: "How to easily measure the size of a package to be shipped with an iPhone", IT MEDIA PC USER, IT MEDIA, JP, 25 October 2018 (2018-10-25), JP, pages 1 - 6, XP093042917, Retrieved from the Internet <URL:https://www.itmedia.co.jp/pcuser/articles/1810/25/news091.html> [retrieved on 20230428] *

Also Published As

Publication number Publication date
JPWO2023032168A1 (ja) 2023-03-09

Similar Documents

Publication Publication Date Title
US11900020B2 (en) System for on-site tracking, managing, planning and staging construction projects
US20210241220A1 (en) Integrated warehouse management, shipping, and inventory control system
CN109313711A (zh) 用于无人机调度和操作的系统和方法
US20150347962A1 (en) Moving cost estimation system
WO2019067827A1 (en) GARDEN MANAGEMENT SYSTEM
US20200342560A1 (en) Transportation planning apparatus, transportation planning system, and transportation planning method
US20190188634A1 (en) Stock management device, item sales system and stock management method
JP7133591B2 (ja) 輸送仲介装置、輸送仲介方法、およびプログラム
JP2022104641A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2022088334A (ja) 物流倉庫の搬出を管理する電子装置及びその制御方法
JP6487202B2 (ja) 資源回収システム
WO2023032168A1 (ja) 情報処理システム、情報処理装置、サーバ装置、端末装置、携帯端末装置、プログラム、又は方法
US20110208624A1 (en) Parking fee management supporting system and parking fee management supporting method
CN113807759A (zh) 基于深度学习的货物运费决定方法以及装置
JP6708844B2 (ja) 情報処理装置
WO2023053413A1 (ja) 物流管理システム、物流管理方法、及びコンピュータプログラム
JP7211336B2 (ja) サーバ装置、端末装置のプログラム、及び情報処理システムの動作方法
WO2016077596A1 (en) Distributed retail transaction system
CN113139851A (zh) 商品配送方法、通信设备及存储介质
JP2020101858A (ja) 情報処理方法
JP7323695B1 (ja) 情報処理システム、情報処理方法及びプログラム
KR20180124793A (ko) 기록매체에 기록된 건축자재 주문 어플리케이션 프로그램, 화물배송 시스템 및 이를 포함하는 오픈 마켓 시스템
WO2023188068A1 (ja) 商品数特定装置、商品数特定方法、及び記録媒体
WO2023021925A1 (ja) 荷物受付システム、および荷物受付システムの制御方法
JP2018180825A (ja) 配送管理方法、配送管理サーバ、配送管理サーバプログラム及び配送管理システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2021552706

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21956055

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE