WO2017219992A1 - 手持终端的室内导航方法、手持终端及存储介质 - Google Patents

手持终端的室内导航方法、手持终端及存储介质 Download PDF

Info

Publication number
WO2017219992A1
WO2017219992A1 PCT/CN2017/089419 CN2017089419W WO2017219992A1 WO 2017219992 A1 WO2017219992 A1 WO 2017219992A1 CN 2017089419 W CN2017089419 W CN 2017089419W WO 2017219992 A1 WO2017219992 A1 WO 2017219992A1
Authority
WO
WIPO (PCT)
Prior art keywords
triangle
barcode
handheld terminal
color block
coordinates
Prior art date
Application number
PCT/CN2017/089419
Other languages
English (en)
French (fr)
Inventor
周宝
赖众程
戎国强
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Priority to KR1020187017153A priority Critical patent/KR102120966B1/ko
Priority to JP2018527723A priority patent/JP6653759B2/ja
Priority to AU2017282889A priority patent/AU2017282889B2/en
Priority to US16/084,225 priority patent/US10317217B2/en
Priority to EP17814730.2A priority patent/EP3382339B1/en
Priority to SG11201808814PA priority patent/SG11201808814PA/en
Publication of WO2017219992A1 publication Critical patent/WO2017219992A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1413—1D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/003—Locating users or terminals or network equipment for network management purposes, e.g. mobility management locating network equipment

Definitions

  • the present application relates to the field of navigation technologies, and in particular, to an indoor navigation method for a handheld terminal, a handheld terminal, and a storage medium.
  • the present application provides an indoor navigation method, a handheld terminal, and a storage medium for a handheld terminal, and aims to achieve accurate indoor navigation of the handheld terminal at low cost.
  • the present invention provides an indoor navigation method for a handheld terminal, the method comprising the following steps:
  • the handheld terminal After receiving the indoor navigation command issued by the user, the handheld terminal controls the camera camera to acquire the image within the lens range, and performs data analysis on the barcode of the barcode label preset in the indoor preset position in the image within the lens range to obtain the lens range.
  • a handheld terminal for indoor navigation comprising:
  • the acquiring module is configured to: after receiving the indoor navigation command issued by the user, control the camera camera of the handheld terminal to acquire an image within the lens range, and perform data on the barcode of the barcode label preset in the indoor preset position in the image within the lens range. Parsing, obtaining identification information of each barcode label in the image in the lens range, and selecting a preset number of color blocks from at least two barcode labels in the image in the lens range according to a preset color block selection rule;
  • a calculation module configured to calculate coordinates in a pixel coordinate system corresponding to each color block according to the position of each color block selected in the image in the lens range; according to the preset identification information of the barcode label and the color block Correlation data of the coordinates of the world coordinate system, calculating the coordinates in the world coordinate system corresponding to each color block according to the barcode label of each color block selected;
  • a positioning module configured to calculate a coordinate of the handheld terminal in a world coordinate system according to a preset coordinate calculation rule based on coordinates in a pixel coordinate system corresponding to each selected color block and coordinates in a world coordinate system, The location of the handheld terminal.
  • a handheld terminal includes a user interaction device, a storage device, a camera, and a processor; the user interaction device is configured to implement interaction between the terminal and the user, and the storage device stores computer readable code instructions, the computer The readable code instructions are executable by the processor to implement the following steps:
  • the camera camera After receiving the indoor navigation command issued by the user, the camera camera is controlled to acquire the image in the lens range, and the barcode of the barcode label preset in the indoor preset position in the image in the lens range is analyzed to obtain the lens range. Identifying information of each barcode label in the image, and selecting a preset number of color blocks from at least two barcode labels in the image in the lens range according to a preset color block selection rule;
  • a storage medium having computer executable instructions executable by one or more processors to:
  • the camera camera After receiving the indoor navigation command issued by the user, the camera camera is controlled to acquire the image in the lens range, and the barcode of the barcode label preset in the indoor preset position in the image in the lens range is analyzed to obtain the lens range. Identifying information of each barcode label in the image, and selecting a preset number of color blocks from at least two barcode labels in the image in the lens range according to a preset color block selection rule;
  • the indoor navigation method, the handheld terminal and the storage medium of the handheld terminal provided by the invention obtain the strip preset in the indoor preset position in the image in the lens range by using the camera camera of the handheld terminal
  • the identification information of the shape code label, and selecting a preset number of color blocks from at least two barcode labels in the image in the lens range calculating the coordinates in the pixel coordinate system corresponding to each color block and the corresponding world coordinate system The coordinate in the middle; according to the coordinates in the pixel coordinate system corresponding to each selected color block and the coordinates in the world coordinate system, the position of the handheld terminal is calculated according to a preset coordinate calculation rule.
  • the software and hardware requirements are low, and the pixels of the color block according to the barcode label preset in the indoor preset position are used.
  • the coordinates in the coordinate system and the coordinates in the corresponding world coordinate system are comprehensively calculated, which can accurately and accurately calculate the real-time position of the handheld terminal, thereby improving the indoor navigation accuracy.
  • FIG. 1 is a hardware block diagram of a handheld terminal of the present application
  • FIG. 2 is a schematic flowchart of a first embodiment of an indoor navigation method of a handheld terminal according to the present application
  • FIG. 3 is a schematic structural diagram of a barcode label in an embodiment of an indoor navigation method of a handheld terminal according to the present application
  • FIG. 4 is a schematic diagram of combinations of four types of triangle vertices composed of four points of a convex quadrilateral in an embodiment of the indoor navigation method of the handheld terminal of the present application;
  • FIG. 5 is a schematic diagram of a combination of four types of triangle vertices composed of four points of a concave quadrilateral in an embodiment of the indoor navigation method of the handheld terminal of the present application;
  • FIG. 6 is a schematic flowchart of a second embodiment of an indoor navigation method of a handheld terminal according to the present application.
  • FIG. 7 is a schematic diagram of a navigation application in an embodiment of an indoor navigation method of a handheld terminal according to the present application.
  • FIG. 8 is a schematic diagram of functional modules of a first embodiment of a handheld terminal for indoor navigation of the present application
  • FIG. 9 is a schematic diagram of functional modules of a second embodiment of a handheld terminal for indoor navigation of the present application.
  • the application provides an indoor navigation method for a handheld terminal.
  • FIG. 1 it is a hardware schematic diagram of a handheld terminal to which the indoor navigation method is applied.
  • the handheld terminal includes a processor, a storage device, a user interaction device, and a camera connected by a bus system.
  • the processor is used to provide computing and control capabilities to support the operation of the entire handheld terminal.
  • the storage device is used to store data, instruction codes, and the like.
  • a storage device includes a non-volatile storage medium and an internal memory.
  • the non-volatile storage medium is used to store an operating system, a database, and at least one computer-executable instructions of the handheld terminal; the computer-executable instructions are executable by the processor to implement the indoor navigation method provided by the embodiments of the present application.
  • the internal memory provides a cached runtime environment for the operating system and computer executable instructions.
  • the user interaction device is used to implement interaction between the user and the handheld terminal, for example, user input to handheld end The touch command of the end, or the handheld terminal displays the result data of the indoor navigation method to the user.
  • the camera has a camera. When the indoor navigation method provided by the embodiment of the present application is implemented, the camera camera can receive a control instruction of the processor and acquire an image of the barcode label in the room based on the control instruction.
  • FIG. 1 is only a block diagram of a part of the structure related to the solution of the present application, and does not constitute a limitation on the server to which the solution of the present application is applied.
  • the handheld terminal can It includes more or fewer components than those shown in the figures, or some components are combined, or have different component arrangements.
  • FIG. 2 is a schematic flowchart of a first embodiment of an indoor navigation method of a handheld terminal according to the present invention.
  • the indoor navigation method of the handheld terminal includes:
  • Step S10 after receiving the indoor navigation command issued by the user, the handheld terminal controls the camera camera to acquire the image in the lens range, and performs data analysis on the barcode of the barcode label preset in the indoor preset position in the image in the lens range. Obtaining identification information of each barcode label in the image in the lens range, and selecting a preset number of color blocks from at least two barcode labels in the image in the lens range according to a preset color block selection rule;
  • a barcode label may be set in advance at a preset position of an indoor place such as a floor, a wall, a ceiling, or the like, and the barcode label includes at least corresponding identification information, a color block, and the like.
  • the camera camera of the handheld terminal After the handheld terminal receives the indoor navigation command issued by the user through the physical button or the virtual button, the camera camera of the handheld terminal is turned on, and the camera camera is controlled to acquire the image within the lens range.
  • the camera camera of the handheld terminal captures the barcode label preset in the indoor preset position in the image within the lens range, and performs data analysis on the barcode of the barcode label preset in the indoor preset position in the image within the lens range to acquire the lens.
  • the identification information of each barcode label in the image in the range, and according to the preset color block selection rule select a preset number of color blocks from at least two barcode labels in the image in the lens range, where the selected The number of color blocks is not limited.
  • Step S20 calculating coordinates in a pixel coordinate system corresponding to each color block according to the position of each selected color block in the image in the lens range; according to the preset identification information of the barcode label and the color block world Correlation data of the coordinate of the coordinate system, calculating the coordinates in the world coordinate system corresponding to each color block according to the barcode label of each color block selected;
  • the coordinates in the corresponding pixel coordinate system are determined according to their positions in the image within the lens range.
  • the geometric center of the color block can be calculated in the pixel coordinate system.
  • the coordinate in the middle; according to the associated data of the identification information of the predetermined barcode label and the coordinates of the world coordinate system of the color block, for each color block selected, according to the barcode label in which it is located, the corresponding world coordinate system is determined. Coordinates, as in one embodiment, the coordinates of the geometric center of the color block in the world coordinate system can be calculated.
  • Step S30 calculating coordinates of the handheld terminal in the world coordinate system according to preset coordinate calculation rules based on coordinates in the pixel coordinate system corresponding to each selected color block and coordinates in the world coordinate system, and obtaining the The location of the handheld terminal.
  • the camera camera of the handheld terminal acquires the identification information of the barcode label preset in the indoor preset position in the image in the lens range, and selects a preset number from at least two barcode labels in the image in the lens range.
  • a color block calculating coordinates in a pixel coordinate system corresponding to each color block and coordinates in a corresponding world coordinate system; and further selecting coordinates in a pixel coordinate system corresponding to each selected color block and coordinates in a world coordinate system.
  • the position of the handheld terminal is calculated according to a preset coordinate calculation rule.
  • the software and hardware requirements are low, and the pixels of the color block according to the barcode label preset in the indoor preset position are used.
  • the coordinates in the coordinate system and the coordinates in the corresponding world coordinate system are comprehensively calculated, which can accurately and accurately calculate the real-time position of the handheld terminal, thereby improving the indoor navigation accuracy.
  • the barcode label comprises a label base, a barcode and two color blocks, the barcode and two color blocks are disposed on the label base, and the two color blocks are located on the barcode
  • the barcode is encoded with identification information (eg, ID) of the associated barcode label; the number of the selected preset number of color blocks is four, and the preset color block selection rule is: There are only two barcode labels in the image in the lens range, and two color blocks are respectively selected from two barcode labels in the image in the lens range; if the number of barcode labels in the image in the lens range is greater than two, Lock the two barcode labels closest to the lens and select two color blocks from each of the two locked barcode labels.
  • the barcode label comprises a label base, a barcode and two color block combinations, the barcode and the two color blocks are combined on the label base, and the two color block combinations are located Both ends of the barcode;
  • the color block combination includes a plurality of color blocks of different colors, the barcode is encoded with identification information (eg, ID) of the associated barcode label; and the selected preset number of color blocks
  • ID identification information
  • the number of the preset color block selection rules is: if there are only two barcode labels in the image in the lens range, then two of the two barcode labels in the image in the lens range are selected respectively.
  • the outermost color block of the label base that is, two outermost color blocks are respectively selected from two barcode labels in the image range of the lens; if the number of barcode labels in the image in the lens range is greater than two Then, four color blocks having the largest dispersion index are determined from the respective barcode labels.
  • FIG. 3 is a schematic structural diagram of a barcode label in an embodiment of an indoor navigation method of a handheld terminal according to the present invention.
  • the barcode label comprises a label base 1, a barcode 2 and two color block combinations 3, the barcode 2 and two color block combinations 3 are disposed on the label base 1, and the two color block combinations 3 are located in the Both ends of the barcode 2;
  • the color block combination 3 includes a plurality of color blocks 31 of different colors, such as red, green, and blue color blocks 31 located at both ends of the barcode 2 in FIG.
  • the outermost color block is at the outermost end of the label base 1 where it is located, such as the red color block 31 in FIG.
  • the steps of determining the four color blocks having the largest dispersion index from the respective barcode labels include:
  • the preset position points of the four color blocks in the color block combination are determined, and if the determined four preset position points form a convex quadrilateral, the area of the convex quadrilateral is taken as the corresponding color block combination. a dispersion index; if the determined four preset position points constitute a concave quadrilateral, determining three points of the largest triangle area among the four points of the concave quadrilateral, and determining the triangle formed by the three points Area as a discrete indicator of the corresponding color block combination;
  • the dispersion index corresponding to each color block combination is compared to determine four color blocks in the color block combination having the largest dispersion index.
  • color blocks are respectively extracted from different bar code labels in a combined manner to form different color block combinations. For example, if all bar code labels have N color blocks, they may be combined.
  • Color block combination for each color block combination, determine a preset position point of four color blocks in the color block combination, such as a geometric center point, and if the determined four points constitute a convex quadrilateral, the area of the convex quadrilateral is taken as Corresponding scatter index of the color block combination; if the determined four points constitute a concave quadrilateral, determine the three points of the triangle area which are the largest among the four points, and determine the triangle area formed by the three points As a dispersion index of the corresponding color block combination; comparing the dispersion indexes corresponding to the respective color block combinations, determining four color blocks in the color block combination having the largest dispersion index.
  • the quadrilateral is divided into a convex quadrilateral and a concave quadrilateral, and any quadrilateral whose inner angle is greater than 180 degrees is a concave quadrilateral, otherwise it is a convex quadrilateral.
  • the area is taken as a measure of the degree of dispersion; and for the concave quadrilateral, the area of the triangle composed of three points is taken, and the largest area is used as the dispersion index.
  • the step of determining the four color blocks having the maximum dispersion index from each barcode label further includes:
  • the determined four preset position points constitute a convex quadrilateral
  • three points are respectively extracted from the four points of the convex quadrilateral in a combined manner to form different triangular vertex combinations; respectively, each triangle vertex combination is calculated.
  • the area of the corresponding triangle the sum of the area of the triangle corresponding to the combination of all the triangle vertices is divided by 2, the area of the convex quadrilateral is obtained, and the area of the convex quadrilateral is taken as the dispersion index of the corresponding color block combination.
  • three points are respectively extracted from the four points of the convex quadrilateral in a combined manner to form different combinations of triangle vertices.
  • the area of the triangle corresponding to each triangle vertex combination is calculated separately, and the sum of the triangle areas corresponding to all the triangle vertex combinations is divided by 2 to obtain the area of the convex quadrilateral.
  • FIG. 4 is a schematic diagram of a combination of four types of triangle vertices composed of four points of a convex quadrilateral in an embodiment of the indoor navigation method of the handheld terminal of the present invention; the convex quadrilateral has four vertices, which can be composed A combination of triangle vertices.
  • the four colors having the maximum dispersion index are determined from the respective barcode labels.
  • the steps of the block also include:
  • the determined four preset position points constitute a concave quadrilateral
  • three points are respectively extracted from the four points of the concave quadrilateral in a combined manner to form different triangular vertex combinations, and each triangle is calculated respectively.
  • the area of the triangle corresponding to the vertex combination determines the triangle vertex combination corresponding to the largest triangle area, and uses the largest triangle area as the dispersion index of the color block combination corresponding to the concave quadrilateral.
  • three points are respectively extracted from the four points of the concave quadrilateral in a combined manner to form different combinations of triangle vertices. Calculate the area of the triangle corresponding to each triangle vertex combination, determine the triangle vertex combination corresponding to the largest triangle area, and use the largest triangle area as the dispersion index of the concave quadrilateral.
  • FIG. 5 is a schematic diagram of four types of triangle vertices composed of four points of a concave quadrilateral in an embodiment of the indoor navigation method of the handheld terminal according to the present invention; the concave quadrilateral has four vertices, which can be composed A combination of triangle vertices.
  • the step of separately calculating the area of the triangle corresponding to each triangle vertex combination includes:
  • the number of the selected preset number of color blocks is four, and the preset coordinate calculation rules are as follows:
  • the rotation matrix R and the translation matrix T belonging to the out-of-camera parameters can be calculated by the solvePnP function in OpenCV, and are used in OpenCV.
  • c refers to the camera coordinate system
  • w refers to the world coordinate system
  • the second embodiment of the present application provides an indoor navigation method for a handheld terminal.
  • the method further includes:
  • Step S40 Calculate a direction vector of the handheld terminal according to the calculated coordinates of the handheld terminal in the world coordinate system according to a preset direction calculation rule.
  • the direction vector of the handheld terminal may also be calculated according to a preset direction calculation rule.
  • the parameters in the camera f x , f y , u o , v o ), the rotation matrix R, the translation matrix T, and are calibrated by the camera
  • the model has:
  • FIG. 7 is a schematic diagram of a navigation application in an embodiment of an indoor navigation method of a handheld terminal according to the present invention.
  • the camera camera of the handheld terminal acquires the identification information of the barcode label preset in the indoor preset position in the image in the lens range, and selects a preset number from at least two barcode labels in the image in the lens range.
  • a color block calculating coordinates in a pixel coordinate system corresponding to each color block and coordinates in a corresponding world coordinate system; and further selecting coordinates in a pixel coordinate system corresponding to each selected color block and coordinates in a world coordinate system, According to the preset coordinate calculation rule, the position and direction vector of the handheld terminal is calculated.
  • the real-time position and direction vector of the handheld terminal can be accurately and accurately determined accurately and accurately. The calculations thus improve the accuracy of indoor navigation.
  • the invention further provides a handheld terminal for indoor navigation.
  • FIG. 8 is a schematic diagram of functional modules of a first embodiment of a handheld terminal for indoor navigation according to the present invention.
  • the indoor navigation handheld terminal includes:
  • the obtaining module 01 is configured to: after receiving the indoor navigation command issued by the user, control the camera camera of the handheld terminal to acquire an image in the lens range, and perform barcode on the barcode label preset in the indoor preset position in the image in the lens range. Data analysis, obtaining identification information of each barcode label in the image in the lens range, and selecting a preset number of color blocks from at least two barcode labels in the image in the lens range according to a preset color block selection rule;
  • a barcode label may be set in advance at a preset position of an indoor place such as a floor, a wall, a ceiling, or the like, and the barcode label includes at least corresponding identification information, a color block, and the like.
  • the camera camera of the handheld terminal After the handheld terminal receives the indoor navigation command issued by the user through the physical button or the virtual button, the camera camera of the handheld terminal is turned on, and the camera camera is controlled to acquire the image within the lens range.
  • the camera camera of the handheld terminal captures the barcode label preset in the indoor preset position in the image within the lens range, and performs data analysis on the barcode of the barcode label preset in the indoor preset position in the image within the lens range to acquire the lens.
  • the identification information of each barcode label in the image in the range, and according to the preset color block selection rule select a preset number of color blocks from at least two barcode labels in the image in the lens range, where the selected The number of color blocks is not limited.
  • the calculation module 02 is configured to calculate coordinates in a pixel coordinate system corresponding to each color block according to the position of each selected color block in the image in the lens range; according to the preset identification information and color of the barcode label Correlation data of coordinates of the world coordinate system of the block, and calculating coordinates in a world coordinate system corresponding to each color block according to the barcode label of each color block selected;
  • the coordinates in the corresponding pixel coordinate system are determined according to their positions in the image within the lens range.
  • the geometric center of the color block can be calculated in the pixel coordinate system.
  • the coordinate in the middle; according to the identification data of the predetermined barcode label and the coordinate data of the world coordinate system of the color block, for each color block selected, according to the bar in which it is located The shape code label determines the coordinates in the corresponding world coordinate system, as in one embodiment, the coordinates of the geometric center of the color block in the world coordinate system can be calculated.
  • the positioning module 03 is configured to calculate coordinates of the handheld terminal in the world coordinate system according to preset coordinate calculation rules based on coordinates in the pixel coordinate system corresponding to each selected color block and coordinates in the world coordinate system. The location of the handheld terminal is obtained.
  • the camera camera of the handheld terminal acquires the identification information of the barcode label preset in the indoor preset position in the image in the lens range, and selects a preset number from at least two barcode labels in the image in the lens range.
  • a color block calculating coordinates in a pixel coordinate system corresponding to each color block and coordinates in a corresponding world coordinate system; and further selecting coordinates in a pixel coordinate system corresponding to each selected color block and coordinates in a world coordinate system.
  • the position of the handheld terminal is calculated according to a preset coordinate calculation rule.
  • the software and hardware requirements are low, and the pixels of the color block according to the barcode label preset in the indoor preset position are used.
  • the coordinates in the coordinate system and the coordinates in the corresponding world coordinate system are comprehensively calculated, which can accurately and accurately calculate the real-time position of the handheld terminal, thereby improving the indoor navigation accuracy.
  • the barcode label comprises a label base, a barcode and two color blocks, the barcode and two color blocks are disposed on the label base, and the two color blocks are located on the barcode
  • the barcode is encoded with identification information (eg, ID) of the associated barcode label; the number of the selected preset number of color blocks is four, and the preset color block selection rule is: There are only two barcode labels in the image in the lens range, and two color blocks are respectively selected from two barcode labels in the image in the lens range; if the number of barcode labels in the image in the lens range is greater than two, Lock the two barcode labels closest to the lens and select two color blocks from each of the two locked barcode labels.
  • the barcode label comprises a label base, a barcode and two color block combinations, the barcode and the two color blocks are combined on the label base, and the two color block combinations are located Both ends of the barcode;
  • the color block combination includes a plurality of color blocks of different colors, the barcode is encoded with identification information (eg, ID) of the associated barcode label; and the selected preset number of color blocks
  • ID identification information
  • the number of the preset color block selection rules is: if there are only two barcode labels in the image in the lens range, then two of the two barcode labels in the image in the lens range are selected respectively.
  • the outermost color block of the label base that is, two outermost color blocks are respectively selected from two barcode labels in the image range of the lens; if the number of barcode labels in the image in the lens range is greater than two Then, four color blocks having the largest dispersion index are determined from the respective barcode labels.
  • the foregoing calculation module 02 is further configured to:
  • color blocks are respectively extracted from different bar code labels in a combined manner to form different color block combinations. For example, if all bar code labels have N color blocks, they may be combined.
  • Color block combination for each color block combination, determine a preset position point of four color blocks in the color block combination, such as a geometric center point, and if the determined four points constitute a convex quadrilateral, the area of the convex quadrilateral is taken as Corresponding scatter index of the color block combination; if the determined four points constitute a concave quadrilateral, determine the three points of the triangle area which are the largest among the four points, and determine the triangle area formed by the three points As a dispersion index of the corresponding color block combination; comparing the dispersion indexes corresponding to the respective color block combinations, determining four color blocks in the color block combination having the largest dispersion index.
  • the quadrilateral is divided into a convex quadrilateral and a concave quadrilateral, and any quadrilateral whose inner angle is greater than 180 degrees is a concave quadrilateral, otherwise it is a convex quadrilateral.
  • the area is taken as a measure of the degree of dispersion; and for the concave quadrilateral, the area of the triangle composed of three points is taken, and the largest area is used as the dispersion index.
  • the foregoing calculation module 02 is further configured to:
  • the determined four preset position points constitute a convex quadrilateral
  • three points are respectively extracted from the four points of the convex quadrilateral in a combined manner to form different triangular vertex combinations; respectively, each triangle vertex combination is calculated.
  • the area of the corresponding triangle the sum of the area of the triangle corresponding to the combination of all the triangle vertices is divided by 2, the area of the convex quadrilateral is obtained, and the area of the convex quadrilateral is taken as the dispersion index of the corresponding color block combination.
  • three points are respectively extracted from the four points of the convex quadrilateral in a combined manner to form different combinations of triangle vertices.
  • the area of the triangle corresponding to each triangle vertex combination is calculated separately, and the sum of the triangle areas corresponding to all the triangle vertex combinations is divided by 2 to obtain the area of the convex quadrilateral.
  • the foregoing calculation module 02 is further configured to:
  • the determined four preset position points constitute a concave quadrilateral
  • three points are respectively extracted from the four points of the concave quadrilateral in a combined manner to form different triangular vertex combinations, and each triangle is calculated respectively.
  • the area of the triangle corresponding to the vertex combination determines the triangle vertex combination corresponding to the largest triangle area, and uses the largest triangle area as the dispersion index of the color block combination corresponding to the concave quadrilateral.
  • three points are respectively extracted from the four points of the concave quadrilateral in a combined manner to form different combinations of triangle vertices. Calculate the area of the triangle corresponding to each triangle vertex combination, determine the triangle vertex combination corresponding to the largest triangle area, and set the largest three The angular area is used as a dispersion index of the concave quadrilateral.
  • the foregoing calculation module 02 is further configured to:
  • the number of the selected preset number of color blocks is four, and the preset coordinate calculation rules are as follows:
  • the rotation matrix R and the translation matrix T belonging to the parameters outside the camera calculate the rotation matrix R and the translation matrix T belonging to the parameters outside the camera.
  • the rotation vector Rvec and the translation matrix T belonging to the off-camera parameters can be calculated by the solvePnP function in OpenCV, and are used in OpenCV.
  • c refers to the camera coordinate system
  • w refers to the world coordinate system
  • the second embodiment of the present application provides a handheld terminal for indoor navigation. Based on the foregoing embodiments, the method further includes:
  • a direction determining module 04 configured to calculate the seat of the handheld terminal in a world coordinate system based on The target is calculated according to a preset direction, and the direction vector of the handheld terminal is calculated.
  • the direction vector of the handheld terminal may also be calculated according to a preset direction calculation rule.
  • the parameters in the camera f x , f y , u o , v o ), the rotation matrix R, the translation matrix T, and are calibrated by the camera
  • the model has:
  • the technical solution of the present invention which is essential or contributes to the prior art, may be embodied in the form of a software product stored in a storage medium (such as ROM/RAM, disk,
  • a storage medium such as ROM/RAM, disk,
  • the optical disc includes a number of instructions for causing a terminal device (which may be a cell phone, a computer, a server, or a network device, etc.) to perform the methods described in various embodiments of the present invention.

Abstract

一种手持终端的室内导航方法，包括：在收到室内导航指令后，控制相机摄像头获取镜头范围内的影像，对影像中条形码标签的条形码（2）进行解析，获取各条形码标签的标识信息，按照彩色块选择规则从至少两个条形码标签中选择彩色块（S10）；按照选择的每一彩色块在镜头范围内的影像中的位置，计算其对应的像素坐标系坐标；根据条形码标签的标识信息与彩色块的世界坐标系坐标的关联数据，按照选择的每一彩色块所在条形码标签，计算每一个彩色块对应的世界坐标系坐标（S20）；按照坐标计算规则，计算手持终端在世界坐标系中的坐标（S30）。还提供了一种室内导航的手持终端及存储介质。本申请能快速准确的对手持终端的实时位置进行精确的计算，从而提高室内导航精度。

Description

手持终端的室内导航方法、手持终端及存储介质
本申请要求于2016年6月22日提交中国专利局、申请号为201610460576.5，发明名称为“手持终端的室内导航方法及手持终端”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及导航技术领域，尤其涉及一种手持终端的室内导航方法、手持终端及存储介质。
背景技术
目前，在用户使用手持终端时，有些室内场所很大，区域分布状况比较复杂，用户进入这类场所后，很难找到目标区域或位置。虽然目前有些在室内场所利用手持终端进行导航的方案，但这些方案对这些场所的软、硬件要求较高，同时，这些方案无法快速且准确的对手持终端的实时位置进行精确的计算，进而使得导航精度较低。
发明内容
本申请提供一种手持终端的室内导航方法、手持终端及存储介质，旨在低成本地实现手持终端的室内精确导航。
为实现上述目的，本发明提供的一种手持终端的室内导航方法，所述方法包括以下步骤：
在接收到用户发出的室内导航指令后，手持终端控制其相机摄像头获取镜头范围内的影像，对镜头范围内的影像中预置在室内预设位置的条形码标签的条形码进行数据解析，获取镜头范围内的影像中的各个条形码标签的标识信息，并按照预设的彩色块选择规则，从镜头范围内的影像中的至少两个条形码标签中选择预设数量的彩色块；
按照选择的每一个彩色块在镜头范围内的影像中的位置，计算出每一个彩色块对应的像素坐标系中的坐标；根据预先设定的条形码标签的标识信息与彩色块的世界坐标系的坐标的关联数据，按照选择的每一个彩色块所在的条形码标签，计算出每一个彩色块对应的世界坐标系中的坐标；
基于选择的各个彩色块对应的像素坐标系中的坐标及世界坐标系中的坐标，按照预设的坐标计算规则，计算出所述手持终端在世界坐标系中的坐标，得到所述手持终端的位置。
一种室内导航的手持终端，所述手持终端包括：
获取模块，用于在接收到用户发出的室内导航指令后，控制手持终端的相机摄像头获取镜头范围内的影像，对镜头范围内的影像中预置在室内预设位置的条形码标签的条形码进行数据解析，获取镜头范围内的影像中的各个条形码标签的标识信息，并按照预设的彩色块选择规则，从镜头范围内的影像中的至少两个条形码标签中选择预设数量的彩色块；
计算模块，用于按照选择的每一个彩色块在镜头范围内的影像中的位置，计算出每一个彩色块对应的像素坐标系中的坐标；根据预先设定的条形码标签的标识信息与彩色块的世界坐标系的坐标的关联数据，按照选择的每一个彩色块所在的条形码标签，计算出每一个彩色块对应的世界坐标系中的坐标；
定位模块，用于基于选择的各个彩色块对应的像素坐标系中的坐标及世界坐标系中的坐标，按照预设的坐标计算规则，计算出所述手持终端在世界坐标系中的坐标，得到所述手持终端的位置。
一种手持终端，包括用户交互装置、存储设备、相机及处理器；所述用户交互设备用于实现该终端与用户之间的交互，所述存储设备存储有计算机可读代码指令，所述计算机可读代码指令可被所述处理器执行，以实现以下步骤：
在接收到用户发出的室内导航指令后，控制其相机摄像头获取镜头范围内的影像，对镜头范围内的影像中预置在室内预设位置的条形码标签的条形码进行数据解析，获取镜头范围内的影像中的各个条形码标签的标识信息，并按照预设的彩色块选择规则，从镜头范围内的影像中的至少两个条形码标签中选择预设数量的彩色块；
按照选择的每一个彩色块在镜头范围内的影像中的位置，计算出每一个彩色块对应的像素坐标系中的坐标；根据预先设定的条形码标签的标识信息与彩色块的世界坐标系的坐标的关联数据，按照选择的每一个彩色块所在的条形码标签，计算出每一个彩色块对应的世界坐标系中的坐标；
基于选择的各个彩色块对应的像素坐标系中的坐标及世界坐标系中的坐标，按照预设的坐标计算规则，计算出所述电子设备在世界坐标系中的坐标，得到所述电子设备的位置。
一种具有计算机可执行指令的存储介质，该存储介质可被一个或多个处理器执行，以实现以下操作：
在接收到用户发出的室内导航指令后，控制其相机摄像头获取镜头范围内的影像，对镜头范围内的影像中预置在室内预设位置的条形码标签的条形码进行数据解析，获取镜头范围内的影像中的各个条形码标签的标识信息，并按照预设的彩色块选择规则，从镜头范围内的影像中的至少两个条形码标签中选择预设数量的彩色块；
按照选择的每一个彩色块在镜头范围内的影像中的位置，计算出每一个彩色块对应的像素坐标系中的坐标；根据预先设定的条形码标签的标识信息与彩色块的世界坐标系的坐标的关联数据，按照选择的每一个彩色块所在的条形码标签，计算出每一个彩色块对应的世界坐标系中的坐标；
基于选择的各个彩色块对应的像素坐标系中的坐标及世界坐标系中的坐标，按照预设的坐标计算规则，计算出所述电子设备在世界坐标系中的坐标，得到所述电子设备的位置。
本发明提出的一种手持终端的室内导航方法、手持终端及存储介质，利用手持终端的相机摄像头获取镜头范围内的影像中预置在室内预设位置的条 形码标签的标识信息，并从镜头范围内的影像中的至少两个条形码标签中选择预设数量的彩色块；计算出每一个彩色块对应的像素坐标系中的坐标及对应的世界坐标系中的坐标；再根据选择的各个彩色块对应的像素坐标系中的坐标及世界坐标系中的坐标，按照预设的坐标计算规则，计算得到所述手持终端的位置。由于仅需利用手持终端的相机摄像头及在室内预设位置预置条形码标签即可进行室内导航，对软、硬件要求较低，且根据在室内预设位置预置的条形码标签的彩色块的像素坐标系中的坐标及对应的世界坐标系中的坐标进行综合计算，能快速准确的对手持终端的实时位置进行精确的计算，从而提高室内导航精度。
附图说明
图1为本申请手持终端的硬件框图；
图2为本申请手持终端的室内导航方法第一实施例的流程示意图；
图3为本申请手持终端的室内导航方法一实施例中条形码标签的结构示意图；
图4为本申请手持终端的室内导航方法一实施例中凸四边形的四个点组成的4种三角形顶点组合示意图；
图5为本申请手持终端的室内导航方法一实施例中凹四边形的四个点组成的4种三角形顶点组合示意图；
图6为本申请手持终端的室内导航方法第二实施例的流程示意图；
图7为本申请手持终端的室内导航方法一实施例中的导航应用示意图；
图8为本申请室内导航的手持终端第一实施例的功能模块示意图；
图9为本申请室内导航的手持终端第二实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请提供一种手持终端的室内导航方法。如图1所示，其为适用该室内导航方法的手持终端的硬件示意图。手持终端包括通过总线系统连接的处理器、存储设备、用户交互设备及相机。其中，处理器用于提供计算和控制能力，支撑整个手持终端的运行。存储设备用于存储数据、指令代码等。在一些实施例中，存储设备包括非易失性存储介质和内存储器。非易失性存储介质用于存储手持终端的操作系统、数据库及至少一个计算机可执行指令；计算机可执行指令可被处理器所执行以实现本申请实施例提供的室内导航方法。内存储器为操作系统和计算机可执行指令提供高速缓存的运行环境。用户交互设备用于实现用户和手持终端之间的交互，例如，用户输入对手持终 端的触控指令，或者手持终端展示上述室内导航方法的结果数据给用户等。相机具有摄像头，在本申请实施例提供的室内导航方法实现时，相机摄像头可接收处理器的控制指令并基于控制指令获取室内的条形码标签的影像。
本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的服务器的限定，具体地，手持终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
参照图2，为本发明手持终端的室内导航方法第一实施例的流程示意图。
在第一实施例中，该手持终端的室内导航方法包括：
步骤S10，在接收到用户发出的室内导航指令后，手持终端控制其相机摄像头获取镜头范围内的影像，对镜头范围内的影像中预置在室内预设位置的条形码标签的条形码进行数据解析，获取镜头范围内的影像中的各个条形码标签的标识信息，并按照预设的彩色块选择规则，从镜头范围内的影像中的至少两个条形码标签中选择预设数量的彩色块；
本实施例中，可预先在室内场所的预设位置如地面、墙壁、天花板等设置条形码标签，该条形码标签中至少包括相应的标识信息、彩色块等。在手持终端接收到用户通过物理按键或虚拟按键发出的室内导航指令后，开启手持终端的相机摄像头，并控制相机摄像头获取镜头范围内的影像。通过手持终端的相机摄像头采集镜头范围内的影像中预置在室内预设位置的条形码标签，并对镜头范围内的影像中预置在室内预设位置的条形码标签的条形码进行数据解析，获取镜头范围内的影像中的各个条形码标签的标识信息，并按照预设的彩色块选择规则，从镜头范围内的影像中的至少两个条形码标签中选择预设数量的彩色块，在此对选择的彩色块数量不作限定。
步骤S20，按照选择的每一个彩色块在镜头范围内的影像中的位置，计算出每一个彩色块对应的像素坐标系中的坐标；根据预先设定的条形码标签的标识信息与彩色块的世界坐标系的坐标的关联数据，按照选择的每一个彩色块所在的条形码标签，计算出每一个彩色块对应的世界坐标系中的坐标；
为选择的每一个彩色块，按照其在镜头范围内的影像中的位置，确定出对应的像素坐标系中的坐标，如在一种实施方式中，可计算彩色块的几何中心在像素坐标系中的坐标；根据预先确定的条形码标签的标识信息和彩色块的世界坐标系的坐标的关联数据，为选择的每一个彩色块，按照其所在的条形码标签，确定出对应的世界坐标系中的坐标，如在一种实施方式中，可计算彩色块的几何中心在世界坐标系中的坐标。
步骤S30，基于选择的各个彩色块对应的像素坐标系中的坐标及世界坐标系中的坐标，按照预设的坐标计算规则，计算出所述手持终端在世界坐标系中的坐标，得到所述手持终端的位置。
根据选择的各个彩色块对应的像素坐标系中的坐标和世界坐标系中的坐标，并按照预设的坐标计算规则，计算出所述手持终端在世界坐标系中的坐标，也即所述手持终端的位置，从而实现对手持终端的实时位置进行精确的 计算，进行室内导航。
本实施例利用手持终端的相机摄像头获取镜头范围内的影像中预置在室内预设位置的条形码标签的标识信息，并从镜头范围内的影像中的至少两个条形码标签中选择预设数量的彩色块；计算出每一个彩色块对应的像素坐标系中的坐标及对应的世界坐标系中的坐标；再根据选择的各个彩色块对应的像素坐标系中的坐标及世界坐标系中的坐标，按照预设的坐标计算规则，计算得到所述手持终端的位置。由于仅需利用手持终端的相机摄像头及在室内预设位置预置条形码标签即可进行室内导航，对软、硬件要求较低，且根据在室内预设位置预置的条形码标签的彩色块的像素坐标系中的坐标及对应的世界坐标系中的坐标进行综合计算，能快速准确的对手持终端的实时位置进行精确的计算，从而提高室内导航精度。
进一步地，在其他实施例中，上述条形码标签包括标签基体、条形码和两个彩色块，所述条形码和两个彩色块设于所述标签基体上，且所述两个彩色块位于所述条形码的两端，所述条形码编码有所属的条形码标签的标识信息(例如，ID)；所述选择的预设数量的彩色块的数量为四个，所述预设的彩色块选择规则为：若镜头范围内的影像中只有两个条形码标签，则分别从镜头范围内的影像中的两个条形码标签中各选择两个彩色块；若镜头范围内的影像中的条形码标签数量大于两个，则锁定离镜头最近的两个条形码标签，并分别从锁定的两个条形码标签中各选择两个彩色块。
进一步地，在其他实施例中，上述条形码标签包括标签基体、条形码和两个彩色块组合，所述条形码和两个彩色块组合设于所述标签基体上，且所述两个彩色块组合位于所述条形码的两端；所述彩色块组合包括颜色不相同的多个彩色块，所述条形码编码有所属的条形码标签的标识信息(例如，ID)；所述选择的预设数量的彩色块的数量为四个，所述预设的彩色块选择规则为：若镜头范围内的影像中只有两个条形码标签，则分别从镜头范围内的影像中的两个条形码标签中各选择两个处于所在标签基体的最外端的彩色块，也即分别从镜头范围内的影像中的两个条形码标签中各选择两个最外围的彩色块；若镜头范围内的影像中的条形码标签数量大于两个，则从各个条形码标签中确定出具有最大分散指标的四个彩色块。
具体的，如图3所示，图3为本发明手持终端的室内导航方法一实施例中条形码标签的结构示意图。该条形码标签包括标签基体1、条形码2和两个彩色块组合3，所述条形码2和两个彩色块组合3设于所述标签基体1上，且所述两个彩色块组合3位于所述条形码2的两端；所述彩色块组合3包括颜色不相同的多个彩色块31，如图2中位于所述条形码2的两端的红、绿、蓝彩色块31。其中，最外围的彩色块是处于所在标签基体1的最外端，如图3中的红色彩色块31。
进一步地，在其他实施例中，上述若镜头范围内的影像中的条形码标签数量大于两个，则从各个条形码标签中确定出具有最大分散指标的四个彩色块的步骤包括：
从不同的条形码标签中以排列组合的方式分别抽取四个彩色块以组成不同的彩色块组合；
针对每一个彩色块组合，确定彩色块组合中四个彩色块的预设位置点，如果确定的四个预设位置点构成的是凸四边形，则将该凸四边形的面积作为对应的彩色块组合的分散指标；如果确定的四个预设位置点构成的是凹四边形，则确定所述凹四边形的四个点中构成的三角形面积最大的三个点，并将确定的三个点构成的三角形面积作为对应的彩色块组合的分散指标；
比较各个彩色块组合对应的分散指标，确定出具有最大分散指标的彩色块组合中四个彩色块。
本实施例中，从不同的条形码标签中以排列组合的方式分别抽取四个彩色块以组成不同的彩色块组合，例如，若所有的条形码标签共有N个彩色块，则共可以组成
Figure PCTCN2017089419-appb-000001
种彩色块组合；针对每一个彩色块组合，确定彩色块组合中四个彩色块的预设位置点如几何中心点，如果确定的四个点构成的是凸四边形，则将凸四边形的面积作为对应的彩色块组合的分散指标；如果确定的四个点构成的是凹四边形，则确定所述四个点中构成的三角形面积最大的三个点，并将确定的三个点构成的三角形面积作为对应的彩色块组合的分散指标；比较各个彩色块组合对应的分散指标，确定出具有最大分散指标的彩色块组合中四个彩色块。
其中，本实施例中将四边形分为凸四边形和凹四边形，有任意一个内角大于180度的四边形为凹四边形，否则为凸四边形。对于凸四边形，将其面积作为其分散程度的衡量指标；而对于凹四边形，则任取三个点构成的三角形的面积，将其中最大的面积作为其分散指标。
进一步地，在其他实施例中，上述若镜头范围内的影像中的条形码标签数量大于两个，则从各个条形码标签中确定出具有最大分散指标的四个彩色块的步骤还包括：
如果确定的四个预设位置点构成的是凸四边形，则从凸四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合；分别计算出每个三角形顶点组合对应的三角形的面积，将所有三角形顶点组合对应的三角形面积之和除以2，得到凸四边形的面积，并将该凸四边形的面积作为对应的彩色块组合的分散指标。
本实施例子，从凸四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合。分别计算出每个三角形顶点组合对应的三角形的面积，将所有三角形顶点组合对应的三角形面积之和除以2，以得到凸四边形的面积。
具体的，如图4所示，图4为本发明手持终端的室内导航方法一实施例中凸四边形的四个点组成的4种三角形顶点组合示意图；凸四边形共有四个顶点，共可以组成
Figure PCTCN2017089419-appb-000002
种三角形顶点组合。
进一步地，在其他实施例中，上述若镜头范围内的影像中的条形码标签数量大于两个，则从各个条形码标签中确定出具有最大分散指标的四个彩色 块的步骤还包括：
如果确定的四个预设位置点构成的是凹四边形，则从所述凹四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合，分别计算出每个三角形顶点组合对应的三角形的面积，确定出最大的三角形面积对应的三角形顶点组合，并将最大的三角形面积作为所述凹四边形对应的彩色块组合的分散指标。
本实施例子，从凹四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合。分别计算出每个三角形顶点组合对应的三角形的面积，确定出最大的三角形面积对应的三角形顶点组合，并将最大的三角形面积作为凹四边形的分散指标。
具体的，如图5所示，图5为本发明手持终端的室内导航方法一实施例中凹四边形的四个点组成的4种三角形顶点组合示意图；凹四边形共有四个顶点，共可以组成
Figure PCTCN2017089419-appb-000003
种三角形顶点组合。
进一步地，在其他实施例中，上述分别计算出每个三角形顶点组合对应的三角形的面积的步骤包括：
在计算一个三角形顶点组合对应的三角形的面积时，遍历预存的三角形顶点组合与三角形面积的关联数据，分析是否有预存的三角形顶点组合与该三角形顶点组合匹配；例如，假设预存的三角形顶点组合包括A1、A2、A3组合，若该三角形顶点组合由A1、A2、A3顶点组成，则代表有预存的三角形顶点组合与该三角形顶点组合匹配。
若有预存的三角形顶点组合与该三角形顶点组合匹配，则找出匹配的三角形顶点组合对应的三角形的面积，并将找出的面积作为该三角形顶点组合对应的三角形的面积；
若没有预存的三角形顶点组合与该三角形顶点组合匹配，则根据该三角形顶点组合中各个顶点在世界坐标系中的坐标即该三角形顶点组合各个顶点所在的彩色块对应的世界坐标系的坐标，确定出该三角形顶点组合对应的三角形各条边的边长，根据确定出的边长计算出该三角形顶点组合对应的三角形的面积，并将该三角形顶点组合与计算出的三角形面积形成关联数据并保存，以供后续进行三角形面积的查找。
进一步地，在其他实施例中，所述选择的预设数量的彩色块的数量为四个，所述预设的坐标计算规则如下：
根据选择的四个彩色块对应的四个像素坐标系中的坐标和四个世界坐标系中的坐标，并根据预存在所述手持终端内的相机内参数，计算出属于相机外参数的旋转矩阵和平移矩阵；根据所述旋转矩阵和平移矩阵转换获取所述手持终端的摄像头在世界坐标系中的坐标作为所述手持终端在世界坐标系中的坐标。
本实施例中，根据选择的四个彩色块对应的四个像素坐标系中的坐标和四个世界坐标系中的坐标，并根据预存于手持终端内的相机内参数(fx，fy，uo，vo)，计算出属于相机外参数的旋转矩阵R和平移矩阵T，例如，可由OpenCV 中的solvePnP函数计算出属于相机外参数的旋转向量Rvec和平移矩阵T，并由OpenCV中的cvRodrigues2函数转换旋转向量Rvec得到旋转矩阵R；将摄像头坐标系坐标原点坐标(Xc＝0，Yc＝0，Zc＝0)带入以下坐标系转换公式：
Figure PCTCN2017089419-appb-000004
其中，
Figure PCTCN2017089419-appb-000005
c指摄像头坐标系，w指世界坐标系；进而求出摄像头在世界坐标系中的坐标，也即手持终端在世界坐标系中的坐标为：
Figure PCTCN2017089419-appb-000006
如图6所示，本申请第二实施例提出一种手持终端的室内导航方法，在上述实施例的基础上，在上述步骤S30之后还包括：
步骤S40，基于计算出的所述手持终端在世界坐标系中的坐标，按照预设的方向计算规则，计算出所述手持终端的方向向量。
本实施例中，在计算出所述手持终端在世界坐标系中的坐标之后，还可按照预设的方向计算规则，计算出所述手持终端的方向向量。
具体的，所述预设的方向计算规则如下：设方向向量与地面交点在世界坐标系中的坐标是(Xw2，Yw2，Zw2)，其中Zw2＝0，则只需求Xw2，Yw2。根据手持终端在世界坐标系中的坐标(Xw1，Yw1，Zw1)，相机内参数(fx，fy，uo，vo)，旋转矩阵R，平移矩阵T，并由摄像头标定模型得：
Figure PCTCN2017089419-appb-000007
为使表达式简洁，使用矩阵S表示，设
Figure PCTCN2017089419-appb-000008
可得
uZc＝S11Xw2+S12Yw2+S14    (5)
vZc＝S21Xw2+S22Yw2+S24    (6)
Zc＝S31Xw2+S32Yw2+S34    (7)
联立(5)(6)(7)三元一次方程可解得：
Figure PCTCN2017089419-appb-000009
Figure PCTCN2017089419-appb-000010
Figure PCTCN2017089419-appb-000011
又已知Zw2＝0，法向量与地面交点在世界坐标系的坐标(Xw2，Yw2，Zw2)有解析解，则所述手持终端的方向向量为(Xw2-Xw1，Yw2-Yw1，Zw2-Zw1)。
进一步地，如图7所示，图7为本发明手持终端的室内导航方法一实施例中的导航应用示意图；
本实施例利用手持终端的相机摄像头获取镜头范围内的影像中预置在室内预设位置的条形码标签的标识信息，并从镜头范围内的影像中的至少两个条形码标签中选择预设数量的彩色块；计算出每一个彩色块对应的像素坐标系中的坐标及对应的世界坐标系中的坐标；再根据选择的各个彩色块对应的像素坐标系中的坐标及世界坐标系中的坐标，按照预设的坐标计算规则，计算得到所述手持终端的位置及方向向量。由于根据在室内预设位置预置的条形码标签的彩色块的像素坐标系中的坐标及对应的世界坐标系中的坐标进行综合计算，能快速准确的对手持终端的实时位置及方向向量进行精确的计算，从而提高室内导航精度。
本发明进一步提供一种室内导航的手持终端。
参照图8，为本发明室内导航的手持终端第一实施例的功能模块示意图。
在第一实施例中，该室内导航的手持终端包括：
获取模块01，用于在接收到用户发出的室内导航指令后，控制手持终端的相机摄像头获取镜头范围内的影像，对镜头范围内的影像中预置在室内预设位置的条形码标签的条形码进行数据解析，获取镜头范围内的影像中的各个条形码标签的标识信息，并按照预设的彩色块选择规则，从镜头范围内的影像中的至少两个条形码标签中选择预设数量的彩色块；
本实施例中，可预先在室内场所的预设位置如地面、墙壁、天花板等设置条形码标签，该条形码标签中至少包括相应的标识信息、彩色块等。在手持终端接收到用户通过物理按键或虚拟按键发出的室内导航指令后，开启手持终端的相机摄像头，并控制相机摄像头获取镜头范围内的影像。通过手持终端的相机摄像头采集镜头范围内的影像中预置在室内预设位置的条形码标签，并对镜头范围内的影像中预置在室内预设位置的条形码标签的条形码进行数据解析，获取镜头范围内的影像中的各个条形码标签的标识信息，并按照预设的彩色块选择规则，从镜头范围内的影像中的至少两个条形码标签中选择预设数量的彩色块，在此对选择的彩色块数量不作限定。
计算模块02，用于按照选择的每一个彩色块在镜头范围内的影像中的位置，计算出每一个彩色块对应的像素坐标系中的坐标；根据预先设定的条形码标签的标识信息与彩色块的世界坐标系的坐标的关联数据，按照选择的每一个彩色块所在的条形码标签，计算出每一个彩色块对应的世界坐标系中的坐标；
为选择的每一个彩色块，按照其在镜头范围内的影像中的位置，确定出对应的像素坐标系中的坐标，如在一种实施方式中，可计算彩色块的几何中心在像素坐标系中的坐标；根据预先确定的条形码标签的标识信息和彩色块的世界坐标系的坐标的关联数据，为选择的每一个彩色块，按照其所在的条 形码标签，确定出对应的世界坐标系中的坐标，如在一种实施方式中，可计算彩色块的几何中心在世界坐标系中的坐标。
定位模块03，用于基于选择的各个彩色块对应的像素坐标系中的坐标及世界坐标系中的坐标，按照预设的坐标计算规则，计算出所述手持终端在世界坐标系中的坐标，得到所述手持终端的位置。
根据选择的各个彩色块对应的像素坐标系中的坐标和世界坐标系中的坐标，并按照预设的坐标计算规则，计算出所述手持终端在世界坐标系中的坐标，也即所述手持终端的位置，从而实现对手持终端的实时位置进行精确的计算，进行室内导航。
本实施例利用手持终端的相机摄像头获取镜头范围内的影像中预置在室内预设位置的条形码标签的标识信息，并从镜头范围内的影像中的至少两个条形码标签中选择预设数量的彩色块；计算出每一个彩色块对应的像素坐标系中的坐标及对应的世界坐标系中的坐标；再根据选择的各个彩色块对应的像素坐标系中的坐标及世界坐标系中的坐标，按照预设的坐标计算规则，计算得到所述手持终端的位置。由于仅需利用手持终端的相机摄像头及在室内预设位置预置条形码标签即可进行室内导航，对软、硬件要求较低，且根据在室内预设位置预置的条形码标签的彩色块的像素坐标系中的坐标及对应的世界坐标系中的坐标进行综合计算，能快速准确的对手持终端的实时位置进行精确的计算，从而提高室内导航精度。
进一步地，在其他实施例中，上述条形码标签包括标签基体、条形码和两个彩色块，所述条形码和两个彩色块设于所述标签基体上，且所述两个彩色块位于所述条形码的两端，所述条形码编码有所属的条形码标签的标识信息(例如，ID)；所述选择的预设数量的彩色块的数量为四个，所述预设的彩色块选择规则为：若镜头范围内的影像中只有两个条形码标签，则分别从镜头范围内的影像中的两个条形码标签中各选择两个彩色块；若镜头范围内的影像中的条形码标签数量大于两个，则锁定离镜头最近的两个条形码标签，并分别从锁定的两个条形码标签中各选择两个彩色块。
进一步地，在其他实施例中，上述条形码标签包括标签基体、条形码和两个彩色块组合，所述条形码和两个彩色块组合设于所述标签基体上，且所述两个彩色块组合位于所述条形码的两端；所述彩色块组合包括颜色不相同的多个彩色块，所述条形码编码有所属的条形码标签的标识信息(例如，ID)；所述选择的预设数量的彩色块的数量为四个，所述预设的彩色块选择规则为：若镜头范围内的影像中只有两个条形码标签，则分别从镜头范围内的影像中的两个条形码标签中各选择两个处于所在标签基体的最外端的彩色块，也即分别从镜头范围内的影像中的两个条形码标签中各选择两个最外围的彩色块；若镜头范围内的影像中的条形码标签数量大于两个，则从各个条形码标签中确定出具有最大分散指标的四个彩色块。
进一步地，在其他实施例中，上述计算模块02还用于：
从不同的条形码标签中以排列组合的方式分别抽取四个彩色块以组成不 同的彩色块组合；针对每一个彩色块组合，确定彩色块组合中四个彩色块的预设位置点，如果确定的四个预设位置点构成的是凸四边形，则将该凸四边形的面积作为对应的彩色块组合的分散指标；如果确定的四个预设位置点构成的是凹四边形，则确定所述凹四边形的四个点中构成的三角形面积最大的三个点，并将确定的三个点构成的三角形面积作为对应的彩色块组合的分散指标；比较各个彩色块组合对应的分散指标，确定出具有最大分散指标的彩色块组合中四个彩色块。
本实施例中，从不同的条形码标签中以排列组合的方式分别抽取四个彩色块以组成不同的彩色块组合，例如，若所有的条形码标签共有N个彩色块，则共可以组成
Figure PCTCN2017089419-appb-000012
种彩色块组合；针对每一个彩色块组合，确定彩色块组合中四个彩色块的预设位置点如几何中心点，如果确定的四个点构成的是凸四边形，则将凸四边形的面积作为对应的彩色块组合的分散指标；如果确定的四个点构成的是凹四边形，则确定所述四个点中构成的三角形面积最大的三个点，并将确定的三个点构成的三角形面积作为对应的彩色块组合的分散指标；比较各个彩色块组合对应的分散指标，确定出具有最大分散指标的彩色块组合中四个彩色块。
其中，本实施例中将四边形分为凸四边形和凹四边形，有任意一个内角大于180度的四边形为凹四边形，否则为凸四边形。对于凸四边形，将其面积作为其分散程度的衡量指标；而对于凹四边形，则任取三个点构成的三角形的面积，将其中最大的面积作为其分散指标。
进一步地，在其他实施例中，上述计算模块02还用于：
如果确定的四个预设位置点构成的是凸四边形，则从凸四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合；分别计算出每个三角形顶点组合对应的三角形的面积，将所有三角形顶点组合对应的三角形面积之和除以2，得到凸四边形的面积，并将该凸四边形的面积作为对应的彩色块组合的分散指标。
本实施例子，从凸四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合。分别计算出每个三角形顶点组合对应的三角形的面积，将所有三角形顶点组合对应的三角形面积之和除以2，以得到凸四边形的面积。
进一步地，在其他实施例中，上述计算模块02还用于：
如果确定的四个预设位置点构成的是凹四边形，则从所述凹四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合，分别计算出每个三角形顶点组合对应的三角形的面积，确定出最大的三角形面积对应的三角形顶点组合，并将最大的三角形面积作为所述凹四边形对应的彩色块组合的分散指标。
本实施例子，从凹四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合。分别计算出每个三角形顶点组合对应的三角形的面积，确定出最大的三角形面积对应的三角形顶点组合，并将最大的三 角形面积作为凹四边形的分散指标。
进一步地，在其他实施例中，上述计算模块02还用于：
在计算一个三角形顶点组合对应的三角形的面积时，遍历预存的三角形顶点组合与三角形面积的关联数据，分析是否有预存的三角形顶点组合与该三角形顶点组合匹配；例如，假设预存的三角形顶点组合包括A1、A2、A3组合，若该三角形顶点组合由A1、A2、A3顶点组成，则代表有预存的三角形顶点组合与该三角形顶点组合匹配。
若有预存的三角形顶点组合与该三角形顶点组合匹配，则找出匹配的三角形顶点组合对应的三角形的面积，并将找出的面积作为该三角形顶点组合对应的三角形的面积；
若没有预存的三角形顶点组合与该三角形顶点组合匹配，则根据该三角形顶点组合中各个顶点在世界坐标系中的坐标即该三角形顶点组合各个顶点所在的彩色块对应的世界坐标系的坐标，确定出该三角形顶点组合对应的三角形各条边的边长，根据确定出的边长计算出该三角形顶点组合对应的三角形的面积，并将该三角形顶点组合与计算出的三角形面积形成关联数据并保存，以供后续进行三角形面积的查找。
进一步地，在其他实施例中，所述选择的预设数量的彩色块的数量为四个，所述预设的坐标计算规则如下：
根据选择的四个彩色块对应的四个像素坐标系中的坐标和四个世界坐标系中的坐标，并根据预存在所述手持终端内的相机内参数，计算出属于相机外参数的旋转矩阵和平移矩阵；根据所述旋转矩阵和平移矩阵转换获取所述手持终端的摄像头在世界坐标系中的坐标作为所述手持终端在世界坐标系中的坐标。
本实施例中，根据选择的四个彩色块对应的四个像素坐标系中的坐标和四个世界坐标系中的坐标，并根据预存于手持终端内的相机内参数(fx，fy，uo，vo)，计算出属于相机外参数的旋转矩阵R和平移矩阵T，例如，可由OpenCV中的solvePnP函数计算出属于相机外参数的旋转向量Rvec和平移矩阵T，并由OpenCV中的cvRodrigues2函数转换旋转向量Rvec得到旋转矩阵R；将摄像头坐标系坐标原点坐标(Xc＝0，Yc＝0，Zc＝0)带入以下坐标系转换公式：
Figure PCTCN2017089419-appb-000013
其中，
Figure PCTCN2017089419-appb-000014
c指摄像头坐标系，w指世界坐标系；进而求出摄像头在世界坐标系中的坐标，也即手持终端在世界坐标系中的坐标为：
Figure PCTCN2017089419-appb-000015
如图9所示，本申请第二实施例提出一种室内导航的手持终端，在上述实施例的基础上，还包括：
方向确定模块04，用于基于计算出的所述手持终端在世界坐标系中的坐 标，按照预设的方向计算规则，计算出所述手持终端的方向向量。
本实施例中，在计算出所述手持终端在世界坐标系中的坐标之后，还可按照预设的方向计算规则，计算出所述手持终端的方向向量。
具体的，所述预设的方向计算规则如下：设方向向量与地面交点在世界坐标系中的坐标是(Xw2，Yw2，Zw2)，其中Zw2＝0，则只需求Xw2，Yw2。根据手持终端在世界坐标系中的坐标(Xw1，Yw1，Zw1)，相机内参数(fx，fy，uo，vo)，旋转矩阵R，平移矩阵T，并由摄像头标定模型得：
Figure PCTCN2017089419-appb-000016
为使表达式简洁，使用矩阵S表示，设
Figure PCTCN2017089419-appb-000017
可得
uZc＝S11Xw2+S12Yw2+S14    (5)
vZc＝S21Xw2+S22Yw2+S24    (6)
Zc＝S31Xw2+S32Yw2+S34    (7)
联立(5)(6)(7)三元一次方程可解得：
Figure PCTCN2017089419-appb-000018
Figure PCTCN2017089419-appb-000019
Figure PCTCN2017089419-appb-000020
又已知Zw2＝0，法向量与地面交点在世界坐标系的坐标(Xw2，Yw2，Zw2)有解析解，则所述手持终端的方向向量为(Xw2-Xw1，Yw2-Yw1，Zw2-Zw1)。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (31)

  1. 一种手持终端的室内导航方法，其特征在于，所述方法包括以下步骤：
    在接收到用户发出的室内导航指令后，手持终端控制其相机摄像头获取镜头范围内的影像，对镜头范围内的影像中预置在室内预设位置的条形码标签的条形码进行数据解析，获取镜头范围内的影像中的各个条形码标签的标识信息，并按照预设的彩色块选择规则，从镜头范围内的影像中的至少两个条形码标签中选择预设数量的彩色块；
    按照选择的每一个彩色块在镜头范围内的影像中的位置，计算出每一个彩色块对应的像素坐标系中的坐标；根据预先设定的条形码标签的标识信息与彩色块的世界坐标系的坐标的关联数据，按照选择的每一个彩色块所在的条形码标签，计算出每一个彩色块对应的世界坐标系中的坐标；
    基于选择的各个彩色块对应的像素坐标系中的坐标及世界坐标系中的坐标，按照预设的坐标计算规则，计算出所述手持终端在世界坐标系中的坐标，得到所述手持终端的位置。
  2. 如权利要求1所述的手持终端的室内导航方法，其特征在于，所述条形码标签包括标签基体、条形码和两个彩色块，所述条形码和两个彩色块设于所述标签基体上，且所述两个彩色块位于所述条形码的两端，所述条形码编码有所属的条形码标签的标识信息；所述选择的预设数量的彩色块的数量为四个，所述预设的彩色块选择规则为：若镜头范围内的影像中只有两个条形码标签，则分别从镜头范围内的影像中的两个条形码标签中各选择两个彩色块；若镜头范围内的影像中的条形码标签数量大于两个，则锁定离镜头最近的两个条形码标签，并分别从锁定的两个条形码标签中各选择两个彩色块。
  3. 如权利要求1所述的手持终端的室内导航方法，其特征在于，所述条形码标签包括标签基体、条形码和两个彩色块组合，所述条形码和两个彩色块组合设于所述标签基体上，且所述两个彩色块组合位于所述条形码的两端；所述彩色块组合包括颜色不相同的多个彩色块，所述条形码编码有所属的条形码标签的标识信息；所述选择的预设数量的彩色块的数量为四个，所述预设的彩色块选择规则为：若镜头范围内的影像中只有两个条形码标签，则分别从镜头范围内的影像中的两个条形码标签中各选择两个处于所在标签基体的最外端的彩色块；若镜头范围内的影像中的条形码标签数量大于两个，则从各个条形码标签中确定出具有最大分散指标的四个彩色块。
  4. 如权利要求3所述的手持终端的室内导航方法，其特征在于，所述若镜头范围内的影像中的条形码标签数量大于两个，则从各个条形码标签中确定出具有最大分散指标的四个彩色块的步骤包括：
    从不同的条形码标签中以排列组合的方式分别抽取四个彩色块以组成不同的彩色块组合；
    针对每一个彩色块组合，确定彩色块组合中四个彩色块的预设位置点，如果确定的四个预设位置点构成的是凸四边形，则将该凸四边形的面积作为对应的彩色块组合的分散指标；如果确定的四个预设位置点构成的是凹四边形，则确定所述凹四边形的四个点中构成的三角形面积最大的三个点，并将确定的三个点构成的三角形面积作为对应的彩色块组合的分散指标；
    比较各个彩色块组合对应的分散指标，确定出具有最大分散指标的彩色块组合中四个彩色块。
  5. 如权利要求4所述的手持终端的室内导航方法，其特征在于，所述若镜头范围内的影像中的条形码标签数量大于两个，则从各个条形码标签中确定出具有最大分散指标的四个彩色块的步骤还包括：
    如果确定的四个预设位置点构成的是凸四边形，则从凸四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合；分别计算出每个三角形顶点组合对应的三角形的面积，将所有三角形顶点组合对应的三角形面积之和除以2，得到凸四边形的面积，并将该凸四边形的面积作为对应的彩色块组合的分散指标。
  6. 如权利要求4或5所述的手持终端的室内导航方法，其特征在于，所述若镜头范围内的影像中的条形码标签数量大于两个，则从各个条形码标签中确定出具有最大分散指标的四个彩色块的步骤还包括：
    如果确定的四个预设位置点构成的是凹四边形，则从所述凹四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合，分别计算出每个三角形顶点组合对应的三角形的面积，确定出最大的三角形面积对应的三角形顶点组合，并将最大的三角形面积作为所述凹四边形对应的彩色块组合的分散指标。
  7. 如权利要求6所述的手持终端的室内导航方法，其特征在于，所述分别计算出每个三角形顶点组合对应的三角形的面积的步骤包括：
    在计算一个三角形顶点组合对应的三角形的面积时，遍历预存的三角形顶点组合与三角形面积的关联数据，分析是否有预存的三角形顶点组合与该三角形顶点组合匹配；
    若有预存的三角形顶点组合与该三角形顶点组合匹配，则找出匹配的三角形顶点组合对应的三角形的面积，并将找出的面积作为该三角形顶点组合对应的三角形的面积；
    若没有预存的三角形顶点组合与该三角形顶点组合匹配，则根据该三角形顶点组合中各个顶点在世界坐标系中的坐标，确定出该三角形顶点组合对应的三角形各条边的边长，根据确定出的边长计算出该三角形顶点组合对应的三角形的面积，并将该三角形顶点组合与计算出的三角形面积形成关联数据并保存，以供后续进行三角形面积的查找。
  8. 如权利要求1所述的手持终端的室内导航方法，其特征在于，所述选择的预设数量的彩色块的数量为四个，所述预设的坐标计算规则如下：
    根据选择的四个彩色块对应的四个像素坐标系中的坐标和四个世界坐标系中的坐标，并根据预存在所述手持终端内的相机内参数，计算出属于相机外参数的旋转矩阵和平移矩阵；根据所述旋转矩阵和平移矩阵转换获取所述手持终端的摄像头在世界坐标系中的坐标作为所述手持终端在世界坐标系中的坐标。
  9. 如权利要求8所述的手持终端的室内导航方法，其特征在于，所述基于选择的各个彩色块对应的像素坐标系中的坐标及世界坐标系中的坐标，按照预设的坐标计算规则，计算出所述手持终端在世界坐标系中的坐标，得到所述手持终端的位置的步骤之后还包括：
    基于计算出的所述手持终端在世界坐标系中的坐标，按照预设的方向计算规则，计算出所述手持终端的方向向量。
  10. 如权利要求9所述的手持终端的室内导航方法，其特征在于，所述预设的方向计算规则如下：
    根据所述手持终端在世界坐标系中的坐标、所述相机内参数、所述旋转矩阵及所述平移矩阵，并由预设的摄像头标定模型计算得到所述手持终端的方向向量。
  11. 一种室内导航的手持终端，其特征在于，所述手持终端包括：
    获取模块，用于在接收到用户发出的室内导航指令后，控制手持终端的相机摄像头获取镜头范围内的影像，对镜头范围内的影像中预置在室内预设位置的条形码标签的条形码进行数据解析，获取镜头范围内的影像中的各个条形码标签的标识信息，并按照预设的彩色块选择规则，从镜头范围内的影像中的至少两个条形码标签中选择预设数量的彩色块；
    计算模块，用于按照选择的每一个彩色块在镜头范围内的影像中的位置，计算出每一个彩色块对应的像素坐标系中的坐标；根据预先设定的条形码标签的标识信息与彩色块的世界坐标系的坐标的关联数据，按照选择的每一个彩色块所在的条形码标签，计算出每一个彩色块对应的世界坐标系中的坐标；
    定位模块，用于基于选择的各个彩色块对应的像素坐标系中的坐标及世界坐标系中的坐标，按照预设的坐标计算规则，计算出所述手持终端在世界坐标系中的坐标，得到所述手持终端的位置。
  12. 如权利要求11所述的室内导航的手持终端，其特征在于，所述条形码标签包括标签基体、条形码和两个彩色块，所述条形码和两个彩色块设于所述标签基体上，且所述两个彩色块位于所述条形码的两端，所述条形码编码有所属的条形码标签的标识信息；所述选择的预设数量的彩色块的数量为四个，所述预设的彩色块选择规则为：若镜头范围内的影像中只有两个条形 码标签，则分别从镜头范围内的影像中的两个条形码标签中各选择两个彩色块；若镜头范围内的影像中的条形码标签数量大于两个，则锁定离镜头最近的两个条形码标签，并分别从锁定的两个条形码标签中各选择两个彩色块。
  13. 如权利要求11所述的室内导航的手持终端，其特征在于，所述条形码标签包括标签基体、条形码和两个彩色块组合，所述条形码和两个彩色块组合设于所述标签基体上，且所述两个彩色块组合位于所述条形码的两端；所述彩色块组合包括颜色不相同的多个彩色块，所述条形码编码有所属的条形码标签的标识信息；所述选择的预设数量的彩色块的数量为四个，所述预设的彩色块选择规则为：若镜头范围内的影像中只有两个条形码标签，则分别从镜头范围内的影像中的两个条形码标签中各选择两个处于所在标签基体的最外端的彩色块；若镜头范围内的影像中的条形码标签数量大于两个，则从各个条形码标签中确定出具有最大分散指标的四个彩色块。
  14. 如权利要求13所述的室内导航的手持终端，其特征在于，所述计算模块还用于：
    从不同的条形码标签中以排列组合的方式分别抽取四个彩色块以组成不同的彩色块组合；针对每一个彩色块组合，确定彩色块组合中四个彩色块的预设位置点，如果确定的四个预设位置点构成的是凸四边形，则将该凸四边形的面积作为对应的彩色块组合的分散指标；如果确定的四个预设位置点构成的是凹四边形，则确定所述凹四边形的四个点中构成的三角形面积最大的三个点，并将确定的三个点构成的三角形面积作为对应的彩色块组合的分散指标；比较各个彩色块组合对应的分散指标，确定出具有最大分散指标的彩色块组合中四个彩色块。
  15. 如权利要求14所述的室内导航的手持终端，其特征在于，所述计算模块还用于：
    如果确定的四个预设位置点构成的是凸四边形，则从凸四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合；分别计算出每个三角形顶点组合对应的三角形的面积，将所有三角形顶点组合对应的三角形面积之和除以2，得到凸四边形的面积，并将该凸四边形的面积作为对应的彩色块组合的分散指标。
  16. 如权利要求14或15所述的室内导航的手持终端，其特征在于，所述计算模块还用于：
    如果确定的四个预设位置点构成的是凹四边形，则从所述凹四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合，分别计算出每个三角形顶点组合对应的三角形的面积，确定出最大的三角形面积对应的三角形顶点组合，并将最大的三角形面积作为所述凹四边形对应的彩色块组合的分散指标。
  17. 如权利要求16所述的室内导航的手持终端，其特征在于，所述计算模块还用于：
    在计算一个三角形顶点组合对应的三角形的面积时，遍历预存的三角形顶点组合与三角形面积的关联数据，分析是否有预存的三角形顶点组合与该三角形顶点组合匹配；
    若有预存的三角形顶点组合与该三角形顶点组合匹配，则找出匹配的三角形顶点组合对应的三角形的面积，并将找出的面积作为该三角形顶点组合对应的三角形的面积；
    若没有预存的三角形顶点组合与该三角形顶点组合匹配，则根据该三角形顶点组合中各个顶点在世界坐标系中的坐标，确定出该三角形顶点组合对应的三角形各条边的边长，根据确定出的边长计算出该三角形顶点组合对应的三角形的面积，并将该三角形顶点组合与计算出的三角形面积形成关联数据并保存，以供后续进行三角形面积的查找。
  18. 如权利要求11所述的室内导航的手持终端，其特征在于，所述选择的预设数量的彩色块的数量为四个，所述预设的坐标计算规则如下：
    根据选择的四个彩色块对应的四个像素坐标系中的坐标和四个世界坐标系中的坐标，并根据预存在所述手持终端内的相机内参数，计算出属于相机外参数的旋转矩阵和平移矩阵；根据所述旋转矩阵和平移矩阵转换获取所述手持终端的摄像头在世界坐标系中的坐标作为所述手持终端在世界坐标系中的坐标。
  19. 如权利要求18所述的室内导航的手持终端，其特征在于，还包括：
    方向确定模块，用于基于计算出的所述手持终端在世界坐标系中的坐标，按照预设的方向计算规则，计算出所述手持终端的方向向量。
  20. 如权利要求19所述的室内导航的手持终端，其特征在于，所述预设的方向计算规则如下：
    根据所述手持终端在世界坐标系中的坐标、所述相机内参数、所述旋转矩阵及所述平移矩阵，并由预设的摄像头标定模型计算得到所述手持终端的方向向量。
  21. 一种手持终端，包括用户交互设备、存储设备、相机及处理器；所述用户交互设备用于实现该终端与用户之间的交互，所述存储设备存储有计算机可读代码指令，所述计算机可读代码指令可被所述处理器执行，以实现以下步骤：
    在接收到用户发出的室内导航指令后，控制其相机摄像头获取镜头范围内的影像，对镜头范围内的影像中预置在室内预设位置的条形码标签的条形码进行数据解析，获取镜头范围内的影像中的各个条形码标签的标识信息， 并按照预设的彩色块选择规则，从镜头范围内的影像中的至少两个条形码标签中选择预设数量的彩色块；
    按照选择的每一个彩色块在镜头范围内的影像中的位置，计算出每一个彩色块对应的像素坐标系中的坐标；根据预先设定的条形码标签的标识信息与彩色块的世界坐标系的坐标的关联数据，按照选择的每一个彩色块所在的条形码标签，计算出每一个彩色块对应的世界坐标系中的坐标；
    基于选择的各个彩色块对应的像素坐标系中的坐标及世界坐标系中的坐标，按照预设的坐标计算规则，计算出所述手持终端在世界坐标系中的坐标，得到所述手持终端的位置。
  22. 如权利要求21所述的手持终端，其特征在于，所述条形码标签包括标签基体、条形码和两个彩色块，所述条形码和两个彩色块设于所述标签基体上，且所述两个彩色块位于所述条形码的两端，所述条形码编码有所属的条形码标签的标识信息；所述选择的预设数量的彩色块的数量为四个，所述预设的彩色块选择规则为：若镜头范围内的影像中只有两个条形码标签，则分别从镜头范围内的影像中的两个条形码标签中各选择两个彩色块；若镜头范围内的影像中的条形码标签数量大于两个，则锁定离镜头最近的两个条形码标签，并分别从锁定的两个条形码标签中各选择两个彩色块。
  23. 如权利要求21所述的手持终端，其特征在于，所述条形码标签包括标签基体、条形码和两个彩色块组合，所述条形码和两个彩色块组合设于所述标签基体上，且所述两个彩色块组合位于所述条形码的两端；所述彩色块组合包括颜色不相同的多个彩色块，所述条形码编码有所属的条形码标签的标识信息；所述选择的预设数量的彩色块的数量为四个，所述预设的彩色块选择规则为：若镜头范围内的影像中只有两个条形码标签，则分别从镜头范围内的影像中的两个条形码标签中各选择两个处于所在标签基体的最外端的彩色块；若镜头范围内的影像中的条形码标签数量大于两个，则从各个条形码标签中确定出具有最大分散指标的四个彩色块。
  24. 如权利要求23所述的手持终端，其特征在于，所述若镜头范围内的影像中的条形码标签数量大于两个，则从各个条形码标签中确定出具有最大分散指标的四个彩色块的步骤包括：
    从不同的条形码标签中以排列组合的方式分别抽取四个彩色块以组成不同的彩色块组合；
    针对每一个彩色块组合，确定彩色块组合中四个彩色块的预设位置点，如果确定的四个预设位置点构成的是凸四边形，则将该凸四边形的面积作为对应的彩色块组合的分散指标；如果确定的四个预设位置点构成的是凹四边形，则确定所述凹四边形的四个点中构成的三角形面积最大的三个点，并将确定的三个点构成的三角形面积作为对应的彩色块组合的分散指标；
    比较各个彩色块组合对应的分散指标，确定出具有最大分散指标的彩色块组合中四个彩色块。
  25. 如权利要求24所述的手持终端，其特征在于，所述若镜头范围内的影像中的条形码标签数量大于两个，则从各个条形码标签中确定出具有最大分散指标的四个彩色块的步骤还包括：
    如果确定的四个预设位置点构成的是凸四边形，则从凸四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合；分别计算出每个三角形顶点组合对应的三角形的面积，将所有三角形顶点组合对应的三角形面积之和除以2，得到凸四边形的面积，并将该凸四边形的面积作为对应的彩色块组合的分散指标。
  26. 如权利要求24或25所述的手持终端，其特征在于，所述若镜头范围内的影像中的条形码标签数量大于两个，则从各个条形码标签中确定出具有最大分散指标的四个彩色块的步骤还包括：
    如果确定的四个预设位置点构成的是凹四边形，则从所述凹四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合，分别计算出每个三角形顶点组合对应的三角形的面积，确定出最大的三角形面积对应的三角形顶点组合，并将最大的三角形面积作为所述凹四边形对应的彩色块组合的分散指标。
  27. 如权利要求26所述的手持终端，其特征在于，所述分别计算出每个三角形顶点组合对应的三角形的面积的步骤包括：
    在计算一个三角形顶点组合对应的三角形的面积时，遍历预存的三角形顶点组合与三角形面积的关联数据，分析是否有预存的三角形顶点组合与该三角形顶点组合匹配；
    若有预存的三角形顶点组合与该三角形顶点组合匹配，则找出匹配的三角形顶点组合对应的三角形的面积，并将找出的面积作为该三角形顶点组合对应的三角形的面积；
    若没有预存的三角形顶点组合与该三角形顶点组合匹配，则根据该三角形顶点组合中各个顶点在世界坐标系中的坐标，确定出该三角形顶点组合对应的三角形各条边的边长，根据确定出的边长计算出该三角形顶点组合对应的三角形的面积，并将该三角形顶点组合与计算出的三角形面积形成关联数据并保存，以供后续进行三角形面积的查找。
  28. 如权利要求21所述的手持终端，其特征在于，所述选择的预设数量的彩色块的数量为四个，所述预设的坐标计算规则如下：
    根据选择的四个彩色块对应的四个像素坐标系中的坐标和四个世界坐标系中的坐标，并根据预存在所述手持终端内的相机内参数，计算出属于相机外参数的旋转矩阵和平移矩阵；根据所述旋转矩阵和平移矩阵转换获取所述 手持终端的摄像头在世界坐标系中的坐标作为所述手持终端在世界坐标系中的坐标。
  29. 如权利要求28所述的手持终端，其特征在于，所述基于选择的各个彩色块对应的像素坐标系中的坐标及世界坐标系中的坐标，按照预设的坐标计算规则，计算出所述手持终端在世界坐标系中的坐标，得到所述手持终端的位置的步骤之后还包括：
    基于计算出的所述手持终端在世界坐标系中的坐标，按照预设的方向计算规则，计算出所述手持终端的方向向量。
  30. 如权利要求29所述的手持终端，其特征在于，所述预设的方向计算规则如下：
    根据所述手持终端在世界坐标系中的坐标、所述相机内参数、所述旋转矩阵及所述平移矩阵，并由预设的摄像头标定模型计算得到所述手持终端的方向向量。
  31. 一种具有计算机可执行指令的存储介质，该存储介质可被一个或多个处理器执行，以实现以下操作：
    在接收到用户发出的室内导航指令后，控制其相机摄像头获取镜头范围内的影像，对镜头范围内的影像中预置在室内预设位置的条形码标签的条形码进行数据解析，获取镜头范围内的影像中的各个条形码标签的标识信息，并按照预设的彩色块选择规则，从镜头范围内的影像中的至少两个条形码标签中选择预设数量的彩色块；
    按照选择的每一个彩色块在镜头范围内的影像中的位置，计算出每一个彩色块对应的像素坐标系中的坐标；根据预先设定的条形码标签的标识信息与彩色块的世界坐标系的坐标的关联数据，按照选择的每一个彩色块所在的条形码标签，计算出每一个彩色块对应的世界坐标系中的坐标；
    基于选择的各个彩色块对应的像素坐标系中的坐标及世界坐标系中的坐标，按照预设的坐标计算规则，计算出所述手持终端在世界坐标系中的坐标，得到所述手持终端的位置。
PCT/CN2017/089419 2016-06-22 2017-06-21 手持终端的室内导航方法、手持终端及存储介质 WO2017219992A1 (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020187017153A KR102120966B1 (ko) 2016-06-22 2017-06-21 핸드헬드 단말기의 실내 내비게이션 방법, 핸드헬드　단말기 및 저장매체
JP2018527723A JP6653759B2 (ja) 2016-06-22 2017-06-21 ポータブル端末による室内ナビゲーション方法、ポータブル端末及び記憶媒体
AU2017282889A AU2017282889B2 (en) 2016-06-22 2017-06-21 Indoor navigation method for handheld terminal, handheld terminal, and storage medium
US16/084,225 US10317217B2 (en) 2016-06-22 2017-06-21 Indoor navigation method of handheld terminal, handheld terminal, and storage medium
EP17814730.2A EP3382339B1 (en) 2016-06-22 2017-06-21 Indoor navigation method for handheld terminal, handheld terminal, and storage medium
SG11201808814PA SG11201808814PA (en) 2016-06-22 2017-06-21 Indoor navigation method of handheld terminal, handheld terminal, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610460576.5 2016-06-22
CN201610460576.5A CN106197417B (zh) 2016-06-22 2016-06-22 手持终端的室内导航方法及手持终端

Publications (1)

Publication Number Publication Date
WO2017219992A1 true WO2017219992A1 (zh) 2017-12-28

Family

ID=57461811

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/089419 WO2017219992A1 (zh) 2016-06-22 2017-06-21 手持终端的室内导航方法、手持终端及存储介质

Country Status (8)

Country Link
US (1) US10317217B2 (zh)
EP (1) EP3382339B1 (zh)
JP (1) JP6653759B2 (zh)
KR (1) KR102120966B1 (zh)
CN (1) CN106197417B (zh)
AU (1) AU2017282889B2 (zh)
SG (1) SG11201808814PA (zh)
WO (1) WO2017219992A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106197417B (zh) * 2016-06-22 2017-11-10 平安科技（深圳）有限公司 手持终端的室内导航方法及手持终端
CN107481287A (zh) * 2017-07-13 2017-12-15 中国科学院空间应用工程与技术中心 一种基于多标识的物体定位定姿方法及系统
CN108801257B (zh) * 2018-04-04 2021-05-11 东南大学 一种用于室内自动泊车的定位方法
DE102018217734A1 (de) * 2018-10-17 2020-04-23 Robert Bosch Gmbh System von künstlichen Landmarken in einer Umgebung zur Verwendung für eine sensorgestützte Lokalisierung von mobilen Plattformen
CN109540144A (zh) * 2018-11-29 2019-03-29 北京久其软件股份有限公司 一种室内定位方法及装置
CN110176036B (zh) * 2019-05-28 2023-03-03 中南林业科技大学 一种移动车平面内定位的方法及系统
CN111340077B (zh) * 2020-02-18 2024-04-12 平安科技（深圳）有限公司 基于注意力机制的视差图获取方法和装置
CN112784942B (zh) * 2020-12-29 2022-08-23 浙江大学 一种用于大规模场景下定位导航的特殊色块编码方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080288165A1 (en) * 2004-09-24 2008-11-20 Nokia Corporation Displaying a Map Having a Close Known Location
US20100127883A1 (en) * 2008-11-27 2010-05-27 Mstar Semiconductor, Inc. Positioning/Navigation System Using Identification Tag and Position/Navigation Method
CN102135429A (zh) * 2010-12-29 2011-07-27 东南大学 一种基于视觉的机器人室内定位导航方法
CN103533644A (zh) * 2013-10-21 2014-01-22 镇江三鑫科技信息有限公司 基于二维码的室内定位方法
CN104019810A (zh) * 2014-06-25 2014-09-03 重庆广建装饰股份有限公司 基于商场板材的扫描定位导航方法
CN105222774A (zh) * 2015-10-22 2016-01-06 广东欧珀移动通信有限公司 一种室内定位方法及用户终端
CN105424031A (zh) * 2015-11-24 2016-03-23 深圳市亿通科技有限公司 一种室内导航系统及方法
CN106197417A (zh) * 2016-06-22 2016-12-07 平安科技（深圳）有限公司 手持终端的室内导航方法及手持终端

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009123130A (ja) * 2007-11-19 2009-06-04 Toshiba Corp カラーバーコードシート、カラーバーコード読取装置、カラーバーコード読取端末、製造システム、カラーバーコード読取プログラム、カラーバーコード読取方法
JP2011013075A (ja) * 2009-07-01 2011-01-20 Toyota Infotechnology Center Co Ltd 車両位置推定システム
GB2484316A (en) * 2010-10-06 2012-04-11 St Microelectronics Res & Dev Self navigation of mobile devices
US8862395B2 (en) * 2011-01-31 2014-10-14 Raytheon Company Coded marker navigation system and method
CN102735235B (zh) * 2012-06-07 2014-12-24 无锡普智联科高新技术有限公司 基于二维码的室内移动机器人定位系统
CN102944236B (zh) * 2012-11-20 2015-03-18 无锡普智联科高新技术有限公司 基于多个二维码读码器的移动机器人定位系统及方法
CN103868517A (zh) * 2012-12-10 2014-06-18 深圳富泰宏精密工业有限公司 室内定位系统及方法
CN103123682B (zh) * 2013-01-17 2015-09-16 无锡普智联科高新技术有限公司 基于规则图形码复合标签的移动机器人定位系统及方法
US20140236475A1 (en) * 2013-02-19 2014-08-21 Texas Instruments Incorporated Methods and systems for navigation in indoor environments
CN104573777A (zh) * 2013-10-23 2015-04-29 上海铁勋智能识别系统有限公司 以色彩作为信息源的智能标签
US9207677B2 (en) * 2014-01-02 2015-12-08 Automotive Research & Testing Center Vehicle positioning method and its system
JP2016136099A (ja) * 2015-01-23 2016-07-28 サトーホールディングス株式会社 測位システム及び測位方法
US20160345137A1 (en) * 2015-05-21 2016-11-24 Toshiba America Business Solutions, Inc. Indoor navigation systems and methods

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080288165A1 (en) * 2004-09-24 2008-11-20 Nokia Corporation Displaying a Map Having a Close Known Location
US20100127883A1 (en) * 2008-11-27 2010-05-27 Mstar Semiconductor, Inc. Positioning/Navigation System Using Identification Tag and Position/Navigation Method
CN102135429A (zh) * 2010-12-29 2011-07-27 东南大学 一种基于视觉的机器人室内定位导航方法
CN103533644A (zh) * 2013-10-21 2014-01-22 镇江三鑫科技信息有限公司 基于二维码的室内定位方法
CN104019810A (zh) * 2014-06-25 2014-09-03 重庆广建装饰股份有限公司 基于商场板材的扫描定位导航方法
CN105222774A (zh) * 2015-10-22 2016-01-06 广东欧珀移动通信有限公司 一种室内定位方法及用户终端
CN105424031A (zh) * 2015-11-24 2016-03-23 深圳市亿通科技有限公司 一种室内导航系统及方法
CN106197417A (zh) * 2016-06-22 2016-12-07 平安科技（深圳）有限公司 手持终端的室内导航方法及手持终端

Also Published As

Publication number Publication date
US10317217B2 (en) 2019-06-11
EP3382339A1 (en) 2018-10-03
AU2017282889A1 (en) 2018-10-11
CN106197417B (zh) 2017-11-10
KR20190019893A (ko) 2019-02-27
JP2019504300A (ja) 2019-02-14
SG11201808814PA (en) 2018-11-29
CN106197417A (zh) 2016-12-07
AU2017282889B2 (en) 2019-10-24
EP3382339A4 (en) 2019-02-20
US20190072394A1 (en) 2019-03-07
KR102120966B1 (ko) 2020-06-10
EP3382339B1 (en) 2020-10-14
JP6653759B2 (ja) 2020-02-26

Similar Documents

Publication Publication Date Title
WO2017219992A1 (zh) 手持终端的室内导航方法、手持终端及存储介质
US11002839B2 (en) Method and apparatus for measuring angular resolution of multi-beam lidar
US20240092344A1 (en) Method and apparatus for detecting parking space and direction and angle thereof, device and medium
CN113344986B (zh) 点云配准结果的评估方法、装置、设备及存储介质
JP2003058896A (ja) 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム
JP2004334819A (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
US20220392201A1 (en) Image feature matching method and related apparatus, device and storage medium
KR20130026741A (ko) 캘리브레이션을 위한 자동 피처 탐지용 기구물 및 그 탐지 방법
JP4521568B2 (ja) 対応点探索方法、相互標定方法、３次元画像計測方法、対応点探索装置、相互標定装置、３次元画像計測装置、対応点探索プログラム及び対応点探索プログラムを記録したコンピュータ読み取り可能な記録媒体
CN113223078A (zh) 标志点的匹配方法、装置、计算机设备和存储介质
US10733470B2 (en) Systems and methods for rapid alignment of digital imagery datasets to models of structures
US20210304411A1 (en) Map construction method, apparatus, storage medium and electronic device
CN113793392A (zh) 一种相机参数标定方法及装置
CN117576664A (zh) 障碍物面积计算方法、装置、设备及存储介质
US20230091536A1 (en) Camera Placement Guidance
CN114608521A (zh) 单目测距方法及装置、电子设备和存储介质
JP4546155B2 (ja) 画像処理方法、画像処理装置および画像処理プログラム
CN112435291A (zh) 一种多目标体积测量方法、装置及存储介质
CN114937140B (zh) 面向大规模场景的图像渲染质量预测与路径规划系统
JP6979653B2 (ja) 商品特定システム
CN113820012B (zh) 一种多光谱图像处理方法及装置
CN113483661B (zh) 一种点云数据获取方法、装置、设备及存储介质
KR102407802B1 (ko) 인공신경망 학습 기반의 실내외 3차원 좌표 및 방위 추정 장치
CN114627069A (zh) 车轮触地点的获取方法、存储介质和电子设备
CN117576590A (zh) 一种基于图匹配的多机多目标匹配方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018527723

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 20187017153

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2017814730

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017814730

Country of ref document: EP

Effective date: 20180628

ENP Entry into the national phase

Ref document number: 2017282889

Country of ref document: AU

Date of ref document: 20170621

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE