WO2020137068A1 - 位置推定システム - Google Patents

位置推定システム Download PDF

Info

Publication number
WO2020137068A1
WO2020137068A1 PCT/JP2019/038819 JP2019038819W WO2020137068A1 WO 2020137068 A1 WO2020137068 A1 WO 2020137068A1 JP 2019038819 W JP2019038819 W JP 2019038819W WO 2020137068 A1 WO2020137068 A1 WO 2020137068A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
view
angle
estimation
reference image
Prior art date
Application number
PCT/JP2019/038819
Other languages
English (en)
French (fr)
Inventor
後藤　修
Original Assignee
株式会社Ｎｔｔドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｎｔｔドコモ filed Critical 株式会社Ｎｔｔドコモ
Priority to JP2020562370A priority Critical patent/JP7153089B2/ja
Publication of WO2020137068A1 publication Critical patent/WO2020137068A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus

Definitions

  • the present invention relates to a position estimation system that estimates a position based on an image.
  • the angle of view (shooting angle of view) varies depending on the model.
  • the angle of view that can be captured varies depending on the zoom function of the camera. If the angles of view are different, the range of the landscape reflected in the image changes even if the images are taken from the same position in the same direction. Therefore, the position may not be accurately estimated only by comparing the images.
  • the angle of view of the captured image is narrower than the angle of view of the reference image, the position is estimated ahead of the true position in the image capturing direction.
  • the angle of view of the captured image is wider than the angle of view of the reference image, the position is estimated behind the true position in the image capturing direction.
  • An embodiment of the present invention has been made in view of the above, and an object thereof is to provide a position estimation system capable of highly accurately estimating a position using an image.
  • a position estimation system includes a reference image database that stores a reference image and information indicating a position in association with each other, and an estimation that is a target of position estimation.
  • Image and an acquisition unit that acquires information related to the angle of view of the estimation image, and based on the information related to the angle of view of the estimation image acquired by the acquisition unit, at least one of the reference image and the estimation image
  • An image processing unit that enlarges or reduces one of the images and an image that has been enlarged or reduced by the image processing unit is used to compare the reference image and the estimation image to obtain the reference image.
  • An estimation unit that estimates the position of the estimation image from the information indicating the associated position.
  • the position of the estimation image is estimated by enlarging or reducing the image in consideration of the angle of view of the estimation image. Therefore, according to the position estimation system of the embodiment of the present invention, the position estimation using the image can be performed with high accuracy.
  • the position of the estimation image is estimated by enlarging or reducing the image in consideration of the angle of view of the estimation image. Therefore, according to the embodiment of the present invention, the position estimation using the image can be performed with high accuracy.
  • FIG. 1 shows a position estimation system 10 according to this embodiment.
  • the position estimation system 10 is a system that estimates a position based on an image (image data). Specifically, the position estimation system 10 estimates the position of the user terminal 20, specifically, the position at which the user image was captured (user position), based on the user image captured by the user terminal 20. Further, the position estimation system 10 may estimate the direction (azimuth) in which the user image was captured together with the position estimation.
  • the user terminal 20 is used by being carried (carried) by the user.
  • the user terminal 20 is, for example, a mobile phone, a smartphone or a tablet terminal.
  • the user terminal 20 includes a camera that is an image capturing device, and can capture a user image by capturing an image.
  • the user terminal 20 also has a communication function such as a mobile communication function.
  • the position estimation system 10 and the user terminal 20 can exchange information with each other via a communication network such as a mobile communication network.
  • the user terminal 20 takes an image of the surrounding landscape with its own camera and transmits the user image obtained by the imaging to the position estimation system 10. Also, the user terminal 20 transmits the information regarding the angle of view of the user image to the position estimation system 10 together with the transmission of the user image.
  • the information regarding the angle of view transmitted from the user terminal 20 to the position estimation system 10 may be information indicating the angle of view itself or information for calculating the angle of view.
  • the information is the angle of view itself, the information is, for example, the angle of view in the vertical direction (vertical direction) and the angle of view in the horizontal direction (horizontal direction) of the user image.
  • the information for calculating the angle of view is, for example, the size of the image sensor of the camera in the vertical and horizontal directions, and the focal length at the time of image capturing.
  • the position estimation system 10 receives these from the user terminal 20 and uses them for position estimation.
  • the position estimation system 10 is realized by, for example, a server device.
  • the position estimation system 10 may be implemented by a plurality of server devices, that is, computer systems.
  • the position estimation system 10 includes a reference image database 11, an acquisition unit 12, an image processing unit 13, and an estimation unit 14.
  • the reference image database 11 is a database that stores reference images and information indicating positions in association with each other.
  • the reference image database 11 may store information regarding the angle of view of the reference image in association with the reference image.
  • the reference image is an image stored in advance in the position estimation system 10 used for position estimation based on the image.
  • the position indicated by the information associated with the reference image is the position at which the reference image was captured.
  • the reference image and the estimation image that is the target of position estimation are compared, and if they are the same image, the position indicated by the information associated with the reference image is set as the estimated position. Based on this idea, position estimation based on images is performed.
  • the images to be compared are images that have undergone image processing.
  • the information indicating the position associated with the reference image is, for example, the latitude and longitude of the position. However, other information may be used as the information indicating the position.
  • the reference image database 11 stores a plurality of reference images.
  • the reference image database 11 may store a plurality of reference images associated with information indicating various positions so that the position can be appropriately estimated.
  • the reference image stored in the reference image database 11 is such that the angle of view of the reference image (the angle of view when the reference image is captured) is known.
  • the reference image database 11 shows information relating to the angles of view of the reference images, specifically, the angles of view, in association with the respective reference images. Information may be stored.
  • the information stored in association with each reference image is, for example, information on the vertical view angle and the horizontal view angle of the reference image.
  • the reference image database 11 may store information indicating a direction in association with each reference image.
  • the direction is the direction in which the reference image is captured.
  • the position estimation system 10 can estimate the direction in addition to the position in the estimation image.
  • the reference image stored in the reference image database 11 and the information related to the reference image are obtained by image capturing at a position associated with the reference image and positioning by a GPS (Global Positioning System) or the like at the position. Is generated.
  • GPS Global Positioning System
  • the acquisition unit 12 is a functional unit that acquires an estimation image that is a position estimation target and information regarding the angle of view of the estimation image.
  • the acquisition unit 12 may acquire information for calculating the angle of view as the information related to the angle of view of the estimation image.
  • the acquisition unit 12 receives the user image transmitted from the user terminal 20 and the information regarding the angle of view of the user image as the estimation image and the information regarding the angle of view of the estimation image. get.
  • the information regarding the angle of view of the user image is, for example, information indicating the angle of view itself as described above.
  • the information regarding the angle of view of the user image may be information for calculating the angle of view.
  • the information is, for example, information about the vertical and horizontal sizes of the image sensor of the camera and the focal length at the time of image pickup as described above.
  • the acquisition unit 12 outputs the acquired user image and information to the image processing unit 13.
  • the image processing unit 13 is a functional unit that enlarges or reduces at least one of the reference image and the user image based on the information about the angle of view of the user image acquired by the acquisition unit 12.
  • the image processing unit 13 may enlarge or reduce the image based on the information about the angle of view of the reference image.
  • the image processing unit 13 may calculate the angle of view from the information for calculating the angle of view, and may enlarge or reduce the image based on the calculated angle of view.
  • the image processing unit 13 may perform image processing for matching the aspect ratios of the reference image and the user image to enlarge or reduce the image.
  • the image processing unit 13 inputs the user image and information from the acquisition unit 12.
  • Angle of view A 2 ⁇ arctan (image sensor size S/(2 ⁇ focal length F)) Note that the vertical size (length) of the image sensor is used to obtain the vertical view angle, and the horizontal size (length) of the image sensor is used to obtain the horizontal view angle. To use.
  • information other than the above may be used as the information for calculating the angle of view and the method of calculating the angle of view.
  • information indicating the model of the camera used to capture the user image may be used as the information for calculating the angle of view.
  • the user image acquired by the acquisition unit 12 is compared with each reference image stored in the reference image database 11 for position estimation.
  • the image processing unit 13 uses one of the user image and the user image as a reference, and enlarges or reduces the other image in accordance with the reference angle of view.
  • the image is enlarged or reduced according to the angle of view in both the vertical and horizontal directions of the image.
  • the image processing unit 13 performs image cropping (cropping, cutting) as the image reduction.
  • the image processing unit 13 uncrops (adds) the image as an enlargement of the image.
  • the image processing unit 13 determines the angle of view of the user image indicated by the information input from the acquisition unit 12 or the angle of view of the user image calculated as described above, and the angle of view of the reference image stored in the reference image database 11. The image is cropped or uncropped with reference to and. If the user image and the reference image have the same angle of view, the image processing unit 13 does not enlarge or reduce the image.
  • the cropping process which is a process for adjusting the image of the view angle X where view angle X>view angle Y to the view angle Y, will be described.
  • the above-described ratio calculation and cutout processing is performed in each of the vertical direction and the horizontal direction of the image.
  • the vertical angle of view is X, Y
  • the length of the image after cropping is L
  • the horizontal angle of view is X′, Y′
  • the length of the image after cropping is L′.
  • the image processing unit 13 performs image refill processing at the ratio calculated above based on the center line of the image to generate an image of the view angle Y.
  • the portion that is not included in the original image, that is, the portion that is to be repainted is of course an unknown region, so a preset color (for example, white or black)
  • An image with an angle of view Y is generated by performing interpolation at. The above-described calculation of the ratio and the addition processing are performed for each of the vertical direction and the horizontal direction of the image. In FIG.
  • FIG. 5 shows an example of an image before uncropping and an image after uncropping.
  • the angle of view X>the angle of view Y or the angle of view X ⁇ the angle of view Y is set in both the vertical and horizontal directions of the image.
  • one of the vertical direction and the horizontal direction may have the view angle X>the view angle Y, and the other may have the view angle X ⁇ the view angle Y.
  • the cropping may be performed in the same manner as described above in the direction where the view angle X>the view angle Y
  • the uncropping may be performed in the same manner as above in the direction where the view angle X ⁇ the view angle Y.
  • the image processing unit 13 performs the above-described cropping or uncropping of the user image for each reference image, that is, for each combination of the user image and each reference image.
  • the reference image having the same angle of view only needs to be cropped or uncropped once for the user image.
  • the angles of view of the reference images stored in the reference image database 11 are all the same, the user image need only be cropped or uncropped once for all the reference images. In this case, it is not necessary to store the angle of view in the reference image database 11 in association with the reference image, and the image processing unit 13 stores the uniform angle of view of the reference image in advance.
  • the user image may be cropped or uncropped based on the angle of view. Further, the image processing unit 13 may crop or uncrop the reference image for the user image.
  • cropping or uncropping processing may be performed in each of the vertical direction and the horizontal direction as described above, but as another method, first, the aspect ratio of the image is first calculated. After performing the image processing for adjusting (aspect ratio), the processing for angle of view matching may be performed while maintaining the aspect ratio in either the vertical direction or the horizontal direction.
  • the angle of view in the direction in which the uncropping is performed is calculated at a ratio according to the aspect ratio based on the angle of view in the reference direction.
  • the above is an example of matching the aspect ratio with uncrops, but it is also possible to match the aspect ratio with crops.
  • the left and right sides are cut off to obtain 4:3.
  • the region used for image comparison which will be described later, becomes narrower, which may lead to deterioration of the position estimation accuracy.
  • the image processing unit 13 performs the above-described cropping or uncropping on the images. After that, the sizes of the reference image and the user image are matched by enlarging or reducing the entire one image.
  • the image processing unit 13 outputs the enlarged or reduced image to the estimation unit 14.
  • the image processing unit 13 also outputs to the estimation unit 14 an image to be compared with the enlarged or reduced image.
  • the estimation unit 14 compares the reference image with the user image using the image that has been enlarged or reduced by the image processing unit 13, and extracts the information based on the information indicating the position associated with the reference image. It is a functional unit that estimates the position related to the user image. Specifically, the estimation unit 14 estimates as follows.
  • the estimated position of the user image is the position where the user image is captured as described above.
  • the estimation unit 14 inputs the user image and the reference image from the image processing unit 13. At least one of the input user image and reference image is enlarged (uncropped in the above example) or reduced (cropped in the above example), and the angles of view of the respective images are matched.
  • the estimation unit 14 compares the user image and the reference image to calculate the degree of similarity.
  • the estimation unit 14 calculates the degree of similarity with a value of 0% to 100%, for example.
  • the estimation unit 14 calculates the degree of similarity between each user image and each reference image.
  • SIFT Scale Invariant Feature Transform
  • contours and edges are extracted to match feature points or contours of both images.
  • the histograms of color tones may be compared to calculate the degree of similarity.
  • the method using the histogram cannot be used when the uncropped image is used for the image processing for matching the angle of view, because the histogram is the same in the image before uncropping and the image after uncropping. ..
  • the degree of similarity may be calculated using a deep learning technique using a neural network.
  • the area supplemented by uncropping may be excluded from the range in which the characteristic amount is extracted, or may be stored in a color in which the characteristic amount is not extracted (for example, white or black described above). , Do not use it for calculating the degree of similarity.
  • the area complemented by the uncrops is an "unknown" area that is not shown in the original image, so similarity should not be found, and if similarity is found, it is noise. ..
  • the size of the entire image generated by the uncropping that is, the size of the image including the portion generated by the uncropping is used for calculating the similarity.
  • the estimation unit 14 Estimates the position indicated by the information stored in the reference image database 11 in association with the reference image, that is, the position of the reference image as the position of the user image.
  • the estimation unit 14 may estimate the position of the reference image having the highest degree of similarity as the position related to the user image.
  • the estimation unit 14 normalizes the similarity of the plurality of reference images for which the similarity of more than 0% has been calculated so that the total of the similarity becomes 100%, and the normalized similarity is calculated.
  • the position of the center of gravity obtained by weighting the position of the reference image may be estimated as the position related to the user image.
  • the position estimation based on the comparison between the reference image and the user image is not limited to the above method, and may be performed by any method including the conventional technique.
  • the estimation unit 14 may estimate the direction (orientation) of the user image, specifically, the direction in which the user image is captured, by the same method as the position estimation.
  • the estimating unit 14 outputs information indicating the estimated position.
  • the estimation unit 14 transmits information indicating the estimated position to the user terminal 20 that is the transmission source of the user image.
  • the output of the information indicating the estimated position may be performed by any method other than the above.
  • the image processing unit 13 may perform distortion correction on at least one of the reference image and the user image.
  • distortion distortion, distortion aberration
  • the image has a wider angle, the features that can be used for the similarity calculation increase, so that the position estimation accuracy improves, but on the other hand, there is a possibility that the accurate similarity cannot be calculated due to the image distortion.
  • the reference image has a barrel distortion
  • the user image has a pincushion distortion, or the type of distortion is different, or the same kind of distortion has a different degree of distortion, the similarity is affected. ..
  • the image processing unit 13 performs the distortion correction on either or both of the reference image and the user image by the existing distortion correction technique before or after the view angle matching processing, and then the estimation unit 14 performs the distortion correction.
  • the above similarity calculation may be performed. By this processing, the accuracy of position estimation can be improved.
  • the above is the function of the position estimation system 10 according to the present embodiment.
  • the acquisition unit 12 acquires a user image and information related to the angle of view of the user image (S01).
  • the image processing unit 13 performs enlargement or reduction of at least one of the reference image stored in the reference image database 11 and the user image based on the information related to the angle of view of the user image. (S02).
  • the estimation unit 14 compares the reference image with the user image using the image that has been enlarged or reduced, and determines the information from the information indicating the position associated with the reference image.
  • the position of the user image is estimated (S03).
  • the estimation unit 14 outputs information indicating the estimated position (S04).
  • the above is the processing executed by the position estimation system 10 according to the present embodiment.
  • the position of the user image is estimated by enlarging or reducing the image in consideration of the angle of view of the user image. Therefore, according to the present embodiment, the position estimation using the image can be performed with high accuracy.
  • the reference image is stored in the reference image database 11 in association with the information regarding the angle of view of the reference image, and the image is also based on the information regarding the angle of view of the reference image. May be scaled up or down. According to this configuration, when there are a plurality of reference images having different view angles, the image can be enlarged or reduced according to the view angle of each reference image. Therefore, even when there are a plurality of reference images having different angles of view, the position estimation using the images can be performed with high accuracy. However, when it is possible to uniformly enlarge or reduce the user image with respect to the plurality of reference images, such as when the angle of view of the plurality of reference images is uniform, the reference image is referred to for each reference image. It is not necessary to store the information related to the angle of view of the image in association with each other.
  • the information for calculating the angle of view of the user image may be acquired and the angle of view may be calculated from the information. According to this configuration, even if the information indicating the direct angle of view cannot be acquired, the position estimation using the image can be performed with high accuracy.
  • image processing for matching the aspect ratios of the reference image and the user image may be performed to enlarge or reduce the image.
  • image processing for matching the aspect ratios of the reference image and the user image may be performed to enlarge or reduce the image.
  • the estimation image that is the position estimation target is the user image captured and transmitted by the user terminal 20, but any image can be used as the estimation image.
  • each functional block shows blocks for each functional unit.
  • These functional blocks are realized by an arbitrary combination of at least one of hardware and software.
  • the method of realizing each functional block is not particularly limited. That is, each functional block may be realized by using one device physically or logically coupled, or directly or indirectly (for example, two or more devices physically or logically separated). , Wired, wireless, etc.) and may be implemented using these multiple devices.
  • the functional blocks may be realized by combining the one device or the plurality of devices with software.
  • the position estimation system 10 may function as a computer that performs the information processing of the present disclosure.
  • FIG. 8 is a diagram illustrating an example of a hardware configuration of the position estimation system 10 according to the embodiment of the present disclosure.
  • the position estimation system 10 described above may be physically configured as a computer device including a processor 1001, a memory 1002, a storage 1003, a communication device 1004, an input device 1005, an output device 1006, a bus 1007, and the like.
  • the user terminal 20 may be configured with similar hardware.
  • position estimation system 10 can be read as a circuit, device, unit, or the like.
  • the hardware configuration of position estimation system 10 may be configured to include one or a plurality of each device illustrated in the figure, or may be configured not to include some devices.
  • Each function in the position estimation system 10 causes a predetermined software (program) to be loaded on hardware such as the processor 1001 and the memory 1002, so that the processor 1001 performs an arithmetic operation to control communication by the communication device 1004 and a memory. It is realized by controlling at least one of reading and writing of data in 1002 and the storage 1003.
  • the processor 1001 operates an operating system to control the entire computer, for example.
  • the processor 1001 may be configured by a central processing unit (CPU) including an interface with peripheral devices, a control device, an arithmetic device, a register, and the like.
  • CPU central processing unit
  • each function in the position estimation system 10 described above may be realized by the processor 1001.
  • the processor 1001 reads a program (program code), software module, data, and the like from at least one of the storage 1003 and the communication device 1004 into the memory 1002, and executes various processes according to these.
  • a program program that causes a computer to execute at least part of the operations described in the above-described embodiments is used.
  • each function in the position estimation system 10 may be realized by a control program stored in the memory 1002 and operating in the processor 1001.
  • each function in the position estimation system 10 may be realized by a control program stored in the memory 1002 and operating in the processor 1001.
  • the processor 1001 may be implemented by one or more chips.
  • the program may be transmitted from the network via an electric communication line.
  • the memory 1002 is a computer-readable recording medium, and is configured by, for example, at least one of ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), RAM (Random Access Memory), and the like. May be done.
  • the memory 1002 may be called a register, a cache, a main memory (main storage device), or the like.
  • the memory 1002 can store an executable program (program code), a software module, or the like for executing information processing according to an embodiment of the present disclosure.
  • the storage 1003 is a computer-readable recording medium, for example, an optical disc such as a CD-ROM (Compact Disc ROM), a hard disc drive, a flexible disc, a magneto-optical disc (for example, a compact disc, a digital versatile disc, a Blu-ray disc). (Registered trademark) disk), smart card, flash memory (eg, card, stick, key drive), floppy (registered trademark) disk, magnetic strip, and the like.
  • the storage 1003 may be called an auxiliary storage device.
  • the storage medium included in the position estimation system 10 may be, for example, a database including at least one of the memory 1002 and the storage 1003, a server, or another appropriate medium.
  • the communication device 1004 is hardware (transmission/reception device) for performing communication between computers via at least one of a wired network and a wireless network, and is also called, for example, a network device, a network controller, a network card, a communication module, or the like.
  • the input device 1005 is an input device (eg, keyboard, mouse, microphone, switch, button, sensor, etc.) that receives an input from the outside.
  • the output device 1006 is an output device (for example, a display, a speaker, an LED lamp, etc.) that outputs to the outside. Note that the input device 1005 and the output device 1006 may be integrated (for example, a touch panel).
  • Each device such as the processor 1001 and the memory 1002 is connected by a bus 1007 for communicating information.
  • the bus 1007 may be configured by using a single bus, or may be configured by using a different bus for each device.
  • the position estimation system 10 includes hardware such as a microprocessor, a digital signal processor (DSP), an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), and an FPGA (Field Programmable Gate Array). May be configured, and the hardware may implement some or all of the functional blocks.
  • the processor 1001 may be implemented using at least one of these hardware.
  • Information that has been input and output may be saved in a specific location (for example, memory), or may be managed using a management table. Information that is input/output may be overwritten, updated, or added. The output information and the like may be deleted. The input information and the like may be transmitted to another device.
  • the determination may be performed by a value represented by 1 bit (whether 0 or 1), may be performed by a boolean value (Boolean: true or false), and may be performed by comparing numerical values (for example, a predetermined value). (Comparison with a value).
  • the notification of the predetermined information (for example, the notification of “being X”) is not limited to the explicit notification, and is performed implicitly (for example, the notification of the predetermined information is not performed). Good.
  • software, instructions, information, etc. may be sent and received via a transmission medium.
  • the software uses a website using at least one of wired technology (coaxial cable, optical fiber cable, twisted pair, digital subscriber line (DSL), etc.) and wireless technology (infrared, microwave, etc.), When sent from a server, or other remote source, at least one of these wired and wireless technologies are included within the definition of transmission medium.
  • wired technology coaxial cable, optical fiber cable, twisted pair, digital subscriber line (DSL), etc.
  • wireless technology infrared, microwave, etc.
  • information, parameters, etc. described in the present disclosure may be represented by using an absolute value, may be represented by using a relative value from a predetermined value, or by using other corresponding information. May be represented.
  • At least one of the server (position estimation system 10) and the client (user terminal 20) may be called a transmission device, a reception device, a communication device, or the like. It should be noted that at least one of the server and the client may be a device mounted on the moving body, the moving body itself, or the like.
  • the moving body may be a vehicle (eg, car, airplane, etc.), an unmanned moving body (eg, drone, self-driving car, etc.), or a robot (manned or unmanned). ).
  • the server and the client also includes a device that does not necessarily move during a communication operation.
  • the user terminal 20 may be an IoT (Internet of Things) device such as a sensor.
  • the server in the present disclosure may be replaced with a client terminal.
  • a configuration in which the communication between the server and the client terminal is replaced with communication between a plurality of user terminals may be referred to as D2D (Device-to-Device), V2X (Vehicle-to-Everything), etc.).
  • D2D Device-to-Device
  • V2X Vehicle-to-Everything
  • each aspect/embodiment of the present disclosure may be applied.
  • the client terminal may have the function of the above-described server.
  • the client terminal in the present disclosure may be replaced by the server.
  • the server may have the function of the above-mentioned client terminal.
  • the phrase “based on” does not mean “based only on,” unless expressly specified otherwise. In other words, the phrase “based on” means both "based only on” and “based at least on.”
  • the term “A and B are different” may mean “A and B are different from each other”.
  • the term may mean that “A and B are different from C”.
  • the terms “remove”, “coupled” and the like may be construed as “different” as well.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

画像を用いた位置の推定を正確に行う。　位置推定システム１０は、参照用画像と位置を示す情報とを対応付けて記憶した参照用画像データベース１１と、位置推定の対象となる推定用画像、及び当該推定用画像の画角に係る情報を取得する取得部１２と、取得された推定用画像の画角に係る情報に基づいて、参照用画像及び推定用画像の少なくとも何れか一方の画像の拡大又は縮小を行う画像処理部１３と、拡大又は縮小が行われた画像を用いて、参照用画像と推定用画像との比較を行って、当該参照用画像に対応付けられた位置を示す情報から当該推定用画像に係る位置を推定する推定部１４とを備える。

Description

位置推定システム
　本発明は、画像に基づいて位置を推定する位置推定システムに関する。
　従来から、撮像（撮影）によって得られた撮像画像から、当該撮像画像が撮像された位置を推定する技術が提案されている（例えば、特許文献１参照）。例えば、位置に対応付けた参照用画像を予め用意しておき、参照用画像と撮像画像とを比較して、撮像画像に類似している参照用画像に対応付けられた位置から、当該位置を推定する。
特開２０１２－５４７５４号公報
　デジタルカメラは、機種によって様々なレンズ及び画像センサを搭載しており、機種によって画角（撮影画角）が異なる。また、カメラが有するズーム機能によっても撮像できる画角が異なる。画角が異なる場合、同一位置から同一方向を向いて撮像しても画像に写り込む風景の範囲が変わる。そのため、画像同士の比較のみでは、正確に位置を推定できないおそれがある。参照用画像の画角よりも撮像画像の画角が狭い場合は、撮像方向に対して真の位置よりも前方に位置を推定してしまう。一方で、参照用画像の画角よりも撮像画像の画角が広い場合は、撮像方向に対して真の位置よりも後方に位置を推定してしまう。
　例えば、図９に示すように画角が６０度の参照用画像を用いて推定することを考える。推定対象の撮像画像であるユーザ画像の画角が３０度であった場合、ユーザ画像と参照用画像とを比較すると、ユーザ画像が撮像された位置で撮像された参照用画像（位置Ａに対応付けられた参照用画像）とは一致せず、ユーザ画像が撮像された位置ではない位置で撮像された参照用画像（位置Ｂに対応付けられた参照用画像）と一致してしまう。そのため、本来、ユーザ画像が撮像された位置は位置Ａであるにもかかわらず、ユーザ画像が撮像された位置は位置Ｂであると誤って推定されてしまう。
　本発明の一実施形態は、上記に鑑みてなされたものであり、画像を用いた位置の推定を高精度に行うことができる位置推定システムを提供することを目的とする。
　上記の目的を達成するために、本発明の一実施形態に係る位置推定システムは、参照用画像と位置を示す情報とを対応付けて記憶した参照用画像データベースと、位置推定の対象となる推定用画像、及び当該推定用画像の画角に係る情報を取得する取得部と、取得部によって取得された推定用画像の画角に係る情報に基づいて、参照用画像及び推定用画像の少なくとも何れか一方の画像の拡大又は縮小を行う画像処理部と、画像処理部によって拡大又は縮小が行われた画像を用いて、参照用画像と推定用画像との比較を行って、当該参照用画像に対応付けられた位置を示す情報から当該推定用画像に係る位置を推定する推定部と、を備える。
　本発明の一実施形態に係る位置推定システムでは、推定用画像の画角が考慮されて画像の拡大又は縮小が行われて、推定用画像に係る位置が推定される。従って、本発明の一実施形態に係る位置推定システムによれば、画像を用いた位置の推定を高精度に行うことができる。
　本発明の一実施形態では、推定用画像の画角が考慮されて画像の拡大又は縮小が行われて、推定用画像に係る位置が推定される。従って、本発明の一実施形態によれば、画像を用いた位置の推定を高精度に行うことができる。
本発明の実施形態に係る位置推定システムの構成を示す図である。 画像センサのサイズ、焦点距離及び画角の関係を示す図である。 画像のクロップを示す図である。 画像のアンクロップを示す図である。 アンクロップ前の画像及びアンクロップ後の画像の例を示す図である。 画像の縦横比を変更する画像処理の例を示す図である。 本発明の実施形態に係る位置推定システムで実行される処理を示すフローチャートである。 本発明の実施形態に係る位置推定システムのハードウェア構成を示す図である。 本発明の課題を説明するための図である。
　以下、図面と共に本発明に係る位置推定システムの実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
　図１に本実施形態に係る位置推定システム１０を示す。位置推定システム１０は、画像（画像データ）に基づいて位置を推定するシステムである。具体的には、位置推定システム１０は、ユーザ端末２０によって撮像されたユーザ画像に基づいて、ユーザ端末２０の位置、具体的にはユーザ画像を撮像した位置（ユーザ位置）を推定する。また、位置推定システム１０は、位置の推定とあわせて、ユーザ画像が撮像された方向（方位）を推定することとしてもよい。
　ユーザ端末２０は、ユーザに所持（携帯）されて利用される。ユーザ端末２０は、例えば、携帯電話機、スマートフォン又はタブレット端末である。ユーザ端末２０は、撮像装置であるカメラを備えており、撮像によってユーザ画像を取得することができる。また、ユーザ端末２０は、移動体通信機能等の通信機能を有している。位置推定システム１０とユーザ端末２０とは、移動体通信網等の通信網を介して互いに情報の送受信を行うことができる。
　ユーザ端末２０は、自身の位置の推定を行う際に自身が備えるカメラで周囲の風景を撮像して撮像によって得られたユーザ画像を位置推定システム１０に送信する。また、ユーザ端末２０は、ユーザ画像の送信とあわせて当該ユーザ画像の画角に係る情報を位置推定システム１０に送信する。ユーザ端末２０から位置推定システム１０に送信される画角に係る情報としては、画角自体を示す情報であってもよいし、画角を算出するための情報であってもよい。画角自体の情報である場合、当該情報は、例えば、ユーザ画像の縦方向（垂直方向）の画角及び横方向（水平方向）の画角の情報である。画角を算出するための情報は、例えば、カメラの画像センサの縦方向及び横方向のサイズ、並びに撮像時の焦点距離の情報である。位置推定システム１０は、これらをユーザ端末２０から受信して位置の推定に用いる。
　位置推定システム１０は、例えば、サーバ装置によって実現される。また、位置推定システム１０は、複数のサーバ装置、即ち、コンピュータシステムによって実現されてもよい。
　引き続いて、本実施形態に係る位置推定システム１０の機能を説明する。図１に示すように位置推定システム１０は、参照用画像データベース１１と、取得部１２と、画像処理部１３と、推定部１４とを備えて構成される。
　参照用画像データベース１１は、参照用画像と位置を示す情報とを対応付けて記憶したデータベースである。参照用画像データベース１１は、参照用画像に対応付けて当該参照用画像の画角に係る情報を記憶することとしてもよい。
　参照用画像は、画像に基づいた位置推定に用いられる位置推定システム１０に予め記憶される画像である。参照用画像に対応付けられる情報によって示される位置は、参照用画像が撮像された位置である。本実施形態では、参照用画像と位置推定の対象となる推定用画像とを比較して、それらが同じ画像であれば、参照用画像に対応付けられた情報によって示される位置を推定位置とするという考え方に基づいて画像に基づいた位置推定を行う。但し、後述するように本実施形態では、比較される画像は画像処理が行われた画像である。
　参照用画像に対応付けられる位置を示す情報は、例えば、当該位置の緯度及び経度である。但し、位置を示す情報としてそれ以外の情報が用いられてもよい。参照用画像データベース１１は、複数の参照用画像を記憶する。適切な位置推定を行えるように、参照用画像データベース１１は、様々な位置を示す情報に対応付けられた複数の参照用画像を記憶することとしてもよい。
　参照用画像データベース１１によって記憶される参照用画像は、当該参照用画像の画角（当該参照用画像が撮像された際の画角）が把握されているものである。参照用画像データベース１１は、それぞれの参照用画像の画角が異なる場合には、それぞれの参照用画像に対応付けて当該参照用画像の画角に係る情報、具体的には当該画角を示す情報を記憶することとしてもよい。それぞれの参照用画像に対応付けて記憶される情報は、例えば、当該参照用画像の縦方向の画角及び横方向の画角の情報である。
　また、参照用画像データベース１１は、それぞれの参照用画像に対応付けて、方向を示す情報を記憶していてもよい。当該方向は、参照用画像が撮像された方向である。方向を示す情報を記憶することで、位置推定システム１０において、推定用画像に対して、位置に加えて方向を推定することができる。
　参照用画像データベース１１に記憶される参照用画像、及び参照用画像に係る情報は、参照用画像に対応付いた位置での撮像及び当該位置でのＧＰＳ（グローバルポジショニングシステム）等での測位等によって生成される。
　取得部１２は、位置推定の対象となる推定用画像、及び当該推定用画像の画角に係る情報を取得する機能部である。取得部１２は、推定用画像の画角に係る情報として、当該画角を算出するための情報を取得することとしてもよい。
　具体的には、取得部１２は、ユーザ端末２０から送信されるユーザ画像及び当該ユーザ画像の画角に係る情報を、推定用画像、及び当該推定用画像の画角に係る情報として受信して取得する。ユーザ画像の画角に係る情報は、例えば、上述したように画角自体を示す情報である。あるいは、ユーザ画像の画角に係る情報は、画角を算出するための情報であってもよい。当該情報は、例えば、上述したようにカメラの画像センサの縦方向及び横方向のサイズ、並びに撮像時の焦点距離の情報である。取得部１２は、取得したユーザ画像及び情報を画像処理部１３に出力する。
　画像処理部１３は、取得部１２によって取得されたユーザ画像の画角に係る情報に基づいて、参照用画像及びユーザ画像の少なくとも何れか一方の画像の拡大又は縮小を行う機能部である。画像処理部１３は、参照用画像の画角に係る情報にも基づいて、画像の拡大又は縮小を行うこととしてもよい。画像処理部１３は、画角を算出するための情報から画角を算出して、算出した画角に基づいて、画像の拡大又は縮小を行うこととしてもよい。画像処理部１３は、参照用画像及びユーザ画像の縦横比を合わせる画像処理を行い、画像の拡大又は縮小を行うこととしてもよい。
　画像処理部１３は、取得部１２からユーザ画像及び情報を入力する。取得部１２から入力したユーザ画像の画角に係る情報が、当該画角を算出するための上述した情報であった場合、画像処理部１３は、例えば、以下のように画角を算出する。図２に示すように画像センササイズ（図２に示す画像センサ２１の長さ）Ｓ、焦点距離Ｆ及び画角Ａの間には下記の関係が成立する。
　画像センササイズＳ／（２×焦点距離Ｆ）＝ｔａｎ（画角Ａ／２）
従って、画像処理部１３は、逆三角関数ａｒｃｔａｎｇｅｎｔを用いて下記の式によって画角Ａを算出する。
　画角Ａ＝２×ａｒｃｔａｎ（画像センササイズＳ／（２×焦点距離Ｆ））
なお、縦方向の画角を求める場合には、画像センサの縦方向のサイズ（長さ）を用い、横方向の画角を求める場合には、画像センサの横方向のサイズ（長さ）を用いる。
　なお、画角を算出するための情報及び画角の算出方法は、上記以外のものが用いられてもよい。例えば、ユーザ画像の撮像に用いられたカメラの機種を示す情報が、画角を算出するための情報として用いられてもよい。
　取得部１２によって取得されたユーザ画像は、位置推定のために参照用画像データベース１１に記憶された各参照用画像と比較される。ユーザ画像と参照用画像とを比較する前に、画像処理部１３は、ユーザ画像又はユーザ画像の一方を基準として、もう一方の画像を基準の画角に合わせて拡大又は縮小する。なお、画角に応じた画像の拡大又は縮小は、画像の縦及び横双方について行われる。
　画角を合わせる方の画像が、基準の画角よりも大きい場合、画像処理部１３は、画像の縮小として画像のクロップ（切り抜き、切り取り）を行う。画角を合わせる方の画像が、基準の画角よりも小さい場合、画像処理部１３は、画像の拡大として画像のアンクロップ（塗り足し）を行う。
　画像処理部１３は、取得部１２から入力した情報によって示されるユーザ画像の画角又は上記のように算出したユーザ画像の画角と、参照用画像データベース１１に記憶された参照用画像の画角とを参照して画像のクロップ又はアンクロップを行う。なお、ユーザ画像と参照用画像との画角が同一である場合、画像処理部１３は、画像の拡大及び縮小を行わない。
　画角Ｘ＞画角Ｙである画角Ｘの画像を画角Ｙに合わせる処理であるクロップの処理を説明する。画像処理部１３は、クロップ後の画像の長さＬの元画像に対する割合を、三角関数ｔａｎｇｅｎｔを用いた以下の式により算出する。
　クロップ後の画像の長さの元画像に対する割合＝ｔａｎ（Ｙ／２）／ｔａｎ（Ｘ／２）
続いて、図３に示すように、画像処理部１３は、画像の中心線を基準に上記で算出した割合で元画像の切り出し処理を行って、画角Ｙの画像を生成する。上記の割合の算出及び切り出し処理は、画像の縦方向及び横方向それぞれについて行われる。なお、図３では、縦方向の画角をＸ，Ｙ、クロップ後の画像の長さをＬとし、横方向の画角をＸ´，Ｙ´、クロップ後の画像の長さをＬ´としている。
　画角Ｘ＜画角Ｙである画角Ｘの画像を画角Ｙに合わせる処理であるアンクロップの処理を説明する。画像処理部１３は、アンクロップ後の画像の長さＬの元画像に対する割合を、三角関数ｔａｎｇｅｎｔを用いた以下の式により算出する。
　アンクロップ後の画像の長さの元画像に対する割合＝ｔａｎ（Ｙ／２）／ｔａｎ（Ｘ／２）
なお、上記の式は、画角Ｘ，Ｙの大小によらない。即ち、上記の式は、画角Ｘ＞画角Ｙの場合と同様である。続いて、図４に示すように、画像処理部１３は、画像の中心線を基準に上記で算出した割合で画像の塗り足し処理を行って、画角Ｙの画像を生成する。画角Ｙの画像のうち、元画像に含まれない部分、即ち塗り足しを行う部分については、当然ながら何が写っているか未知の領域であるため、予め設定した色（例えば、白又は黒）にて補間を行うことで画角Ｙの画像を生成する。上記の割合の算出及び塗り足し処理は、画像の縦方向及び横方向それぞれについて行われる。なお、図４では、縦方向の画角をＸ，Ｙ、アンクロップ後の画像の長さをＬとし、横方向の画角をＸ´，Ｙ´、アンクロップ後の画像の長さをＬ´としている。図５にアンクロップ前の画像及びアンクロップ後の画像の例を示す。
　なお、上記の図３及び図４の例では、画像の縦方向及び横方向の何れも、画角Ｘ＞画角Ｙ、又は画角Ｘ＜画角Ｙとなっていた。しかしながら、縦方向及び横方向の一方が、画角Ｘ＞画角Ｙであり、もう一方が画角Ｘ＜画角Ｙとなっている場合もある。その場合、画角Ｘ＞画角Ｙとなっている方向については上記と同様にクロップを行い、画角Ｘ＜画角Ｙとなっている方向については上記と同様にアンクロップを行えばよい。
　画像処理部１３は、例えば、参照用画像毎、即ちユーザ画像と各参照用画像との組み合わせ毎に上記のユーザ画像のクロップ又はアンクロップを行う。但し、画角が同一である参照用画像に対してはユーザ画像のクロップ又はアンクロップは一度だけ行われればよい。例えば、参照用画像データベース１１に記憶された参照用画像の画角が全て同一であれば、全ての参照用画像に対してユーザ画像のクロップ又はアンクロップは一度だけ行われればよい。この場合、参照用画像データベース１１に参照用画像に対応付けて画角を記憶させておく必要はなく、画像処理部１３は、予め一律である参照用画像の画角を記憶しておき、その画角に基づいてユーザ画像のクロップ又はアンクロップを行えばよい。また、画像処理部１３は、ユーザ画像に対して、参照用画像のクロップ又はアンクロップを行うこととしてもよい。
　参照用画像とユーザ画像との画角合わせ処理については、上述したように縦方向及び横方向それぞれに対してクロップあるいはアンクロップ処理を行ってもよいが、別の方法として、まず画像の縦横比（アスペクト比）を合わせる画像処理を行った後、縦方向及び横方向のどちらか一方について縦横比を維持しつつ画角合わせの処理を行ってもよい。
　縦横比が大きい画像の縦横比を小さくする場合は、横方向のサイズを基準として、元画像の上下をアンクロップすることとすればよい。例えば、図６（ａ）に示すように縦横比が１６：９の画像を４：３にする場合には、画像の上下をアンクロップする。縦横比が小さい画像の縦横比を大きく場合は、縦方向のサイズを基準として、元画像の左右をアンクロップすることとすればよい。例えば、図６（ｂ）に示すように縦横比が４：３の画像を１６：９にする場合には、画像の左右をアンクロップする。なお、この際、アンクロップを行う方向の画角（アンクロップ領域も含む画角）は、基準方向の画角に基づいて縦横比に応じた割合で算出する。
　上記はアンクロップで縦横比を合わせた例であるが、逆にクロップによって縦横比を合わせることもできる。例えば、図６（ａ）に示す場合、左右を切り取って４：３とする。但し、この場合、画像領域を切り落とすことで後述する画像の比較に用いる領域が狭くなり、位置推定精度の劣化につながる懸念がある。
　クロップ又はアンクロップを行った後の参照用画像とユーザ画像との画像サイズを一致させる必要はない。但し、推定部１４において、比較する画像同士の画像サイズが一致している必要がある画像の比較を行う場合には、画像処理部１３は、画像に対して上述したクロップ又はアンクロップを行った後に、参照用画像とユーザ画像との画像のサイズを、一方の画像全体を拡大又は縮小することで一致させる。
　画像処理部１３は、拡大又は縮小を行った画像を推定部１４に出力する。また、画像処理部１３は、拡大又は縮小を行った画像の比較対象となる画像も推定部１４に出力する。
　推定部１４は、画像処理部１３によって拡大又は縮小が行われた画像を用いて、参照用画像とユーザ画像との比較を行って、当該参照用画像に対応付けられた位置を示す情報から当該ユーザ画像に係る位置を推定する機能部である。具体的には推定部１４は、以下のように推定を行う。推定されるユーザ画像に係る位置は、上述したようにユーザ画像を撮像した位置である。
　推定部１４は、画像処理部１３から、ユーザ画像及び参照用画像を入力する。入力したユーザ画像及び参照用画像の少なくとも一方は、拡大（上述した例ではアンクロップ）又は縮小（上述した例ではクロップ）がなされており、それぞれの画像の画角が合わされている。推定部１４は、それらのユーザ画像と参照用画像とを比較して類似度を算出する。推定部１４は、類似度を、例えば、０％～１００％の値で算出する。推定部１４は、ユーザ画像に対して各参照用画像との類似度を算出する。
　類似度の算出については、ＳＩＦＴ（Scale　Invariant　Feature　Transform）と呼ばれる手法等を用いて特徴点又は特徴量を抽出して、あるいは輪郭、エッジを抽出して双方の画像の特徴点又は輪郭等のマッチングを行って類似度を算出する方法を用いることができる。あるいは、色調のヒストグラムを比較して類似度を算出することとしてもよい。但し、ヒストグラムを用いる手法は、アンクロップ前の画像とアンクロップ後の画像とでヒストグラムが同一となるため、画角を合わせるための画像処理にアンクロップを用いている場合には用いることができない。あるいは、ニューラルネットワークによる深層学習（Deep　Learning）技術を用いて類似度を算出することとしてもよい。
　なお、アンクロップにより補完した領域については、特徴量等を抽出する範囲の対象外としたり、あるいは特徴量等が抽出されない色（例えば、上述した白又は黒）で保管を行うこととしたりして、類似度の算出には利用しないようにする。アンクロップによって補完された領域は元画像に写っていない“未知”の領域であるため、類似性が見いだされるべきではなく、もし類似性が見いだされたとしたらそれはノイズというべきものであるためである。但し、アンクロップによって生成された画像全体、即ち、アンクロップによって生成された部分を含む画像のサイズについては、類似度の算出に用いられる。
　画角を合わせた参照用画像とユーザ画像との類似度が１００％であった場合、即ち画角を合わせた参照用画像とユーザ画像とに１００％の一致が見られた場合、推定部１４は、当該参照用画像に対応付けられて参照用画像データベース１１に記憶された情報によって示される位置、即ち当該参照用画像の位置をユーザ画像に係る位置と推定する。
　但し、１００％の一致が見られることはまれであり、多くの場合においては複数の参照用画像について０％を超える類似度が算出される。この場合、推定部１４は、最も類似度が高い参照用画像の位置を、ユーザ画像に係る位置と推定してもよい。あるいは、推定部１４は、０％を超える類似度が算出された複数の参照用画像について、類似度の合計が１００％になるように類似度の正規化を行い、正規化後の類似度で参照用画像の位置に重み付けを行った重心位置をユーザ画像に係る位置と推定してもよい。
　なお、参照用画像とユーザ画像との比較に基づく位置の推定は、上記の方法に限られず、従来の技術を含む任意の方法で行われてもよい。また、推定部１４は、位置の推定と同様の方法でユーザ画像に係る方向（方位）、具体的には、ユーザ画像を撮像した方向を推定してもよい。
　推定部１４は、推定した位置を示す情報を出力する。例えば、推定部１４は、ユーザ画像の送信元であるユーザ端末２０に推定した位置を示す情報を送信する。また、推定した位置を示す情報の出力は、上記以外での任意の方法によって行われてもよい。
　ユーザがカメラのズーム機能を用いる等して、ユーザ画像が狭い画角となった場合、参照用画像との比較及び類似度の算出の際に十分な量の特徴又は輪郭を得られないことがある。その結果、数多くの参照用画像に対して類似度が算出されてしまい、位置推定の精度が落ちることがある。これを防ぐため、ユーザ画像の撮像時に画角が予め設定した一定値以下であった場合、即ち、受信したユーザ画像の画角が一定値以下であった場合、及び類似度の算出時に予め設定した一定数以上の参照用画像に対して一定値（例えば０％）を超える類似度が算出された場合に位置推定失敗と扱ったり、エラー又は警告を出したりしてもよい。
　画像処理部１３は、参照用画像及びユーザ画像の少なくとも何れか一方の画像に対して歪み補正を行うこととしてもよい。参照用画像あるいはユーザ画像の撮像において、利用するカメラ及びレンズの性質によって画像に歪み（レンズディストーション、歪曲収差）が発生することがある。画像が広角になるほど類似度算出に利用できる特徴が増加するため位置推定精度が向上するが、一方で画像の歪みによって正確な類似度が算出できない可能性がある。例えば、参照用画像がたる型の歪み、ユーザ画像が糸巻き型の歪みというように歪みの種類が異なったり、あるいは同種の歪みでも歪みの程度が異なったりする場合、類似度の算出時に影響を及ぼす。そのため、画像処理部１３が、画角合わせの処理の前あるいは後に既存の歪み補正技術により、参照用画像及びユーザ画像の何れか、又は両方に対して歪み補正を行ってから、推定部１４が上記の類似度算出を行ってもよい。この処理により、位置推定の精度を向上させることができる。以上が、本実施形態に係る位置推定システム１０の機能である。
　引き続いて、図７のフローチャートを用いて、本実施形態に係る位置推定システム１０で実行される処理（位置推定システム１０が行う動作方法）を説明する。本処理では、まず、取得部１２によって、ユーザ画像、及び当該ユーザ画像の画角に係る情報が取得される（Ｓ０１）。続いて、画像処理部１３によって、ユーザ画像の画角に係る情報に基づいて、参照用画像データベース１１に記憶された参照用画像、及びユーザ画像の少なくとも何れか一方の画像の拡大又は縮小が行われる（Ｓ０２）。続いて、拡大又は縮小が行われた画像が用いられて、推定部１４によって、参照用画像とユーザ画像との比較が行われて、当該参照用画像に対応付けられた位置を示す情報から当該ユーザ画像に係る位置が推定される（Ｓ０３）。続いて、推定部１４によって、推定された位置を示す情報が出力される（Ｓ０４）。以上が、本実施形態に係る位置推定システム１０で実行される処理である。
　上述したように本実施形態では、ユーザ画像の画角が考慮されて画像の拡大又は縮小が行われて、ユーザ画像に係る位置が推定される。従って、本実施形態によれば、画像を用いた位置の推定を高精度に行うことができる。
　また、上述したように、参照用画像に当該参照用画像の画角に係る情報を対応付けて参照用画像データベース１１に記憶させておき、参照用画像の画角に係る情報にも基づいて画像の拡大又は縮小が行われてもよい。この構成によれば、互いに画角が異なる複数の参照用画像がある場合に、それぞれの参照用画像の画角に応じた画像の拡大又は縮小を行うことができる。従って、互いに画角が異なる複数の参照用画像がある場合であっても、画像を用いた位置の推定を高精度に行うことができる。但し、複数の参照用画像の画角が一律である場合等、複数の参照用画像に対して、ユーザ画像の一律の拡大又は縮小を行い得る場合には、個々の参照用画像に当該参照用画像の画角に係る情報を対応付けて記憶させる構成をとる必要はない。
　また、上述したようにユーザ画像の画角を算出するための情報を取得し、その情報から画角を算出することとしてもよい。この構成によれば、直接的な画角を示す情報が取得できない場合でも、画像を用いた位置の推定を高精度に行うことができる。
　また、上述したように参照用画像及びユーザ画像の縦横比を合わせる画像処理を行い、画像の拡大又は縮小を行うこととしてもよい。この構成によれば、縦方向及び横方向毎の画像の拡大又は縮小を行う必要がないため、拡大又は縮小を容易に行うことができる。
　なお、本実施形態では、位置の推定対象となる推定用画像は、ユーザ端末２０によって撮像されて送信されたユーザ画像であったが、推定用画像としては任意の画像を用いることができる。
　なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
　例えば、本開示の一実施の形態における位置推定システム１０は、本開示の情報処理を行うコンピュータとして機能してもよい。図８は、本開示の一実施の形態に係る位置推定システム１０のハードウェア構成の一例を示す図である。上述の位置推定システム１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。また、ユーザ端末２０も同様のハードウェアによって構成されていてもよい。
　なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。位置推定システム１０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
　位置推定システム１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。
　プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central　Processing　Unit）によって構成されてもよい。例えば、上述の位置推定システム１０における各機能は、プロセッサ１００１によって実現されてもよい。
　また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、位置推定システム１０における各機能は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
　メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read　Only　Memory）、ＥＰＲＯＭ（Erasable　Programmable　ＲＯＭ）、ＥＥＰＲＯＭ（Electrically　Erasable　Programmable　ＲＯＭ）、ＲＡＭ（Random　Access　Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る情報処理を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。
　ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact　Disc　ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。位置推定システム１０が備える記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。
　通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
　入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。
　また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。
　また、位置推定システム１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital　Signal　Processor）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＰＬＤ（Programmable　Logic　Device）、ＦＰＧＡ（Field　Programmable　Gate　Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。
　本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
　入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
　判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
　本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
　以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。
　ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
　また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital　Subscriber　Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
　また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
　サーバ（位置推定システム１０）及びクライアント（ユーザ端末２０）の少なくとも一方は、送信装置、受信装置、通信装置などと呼ばれてもよい。なお、サーバ及びクライアントの少なくとも一方は、移動体に搭載されたデバイス、移動体自体などであってもよい。当該移動体は、乗り物（例えば、車、飛行機など）であってもよいし、無人で動く移動体（例えば、ドローン、自動運転車など）であってもよいし、ロボット（有人型又は無人型）であってもよい。なお、サーバ及びクライアントの少なくとも一方は、必ずしも通信動作時に移動しない装置も含む。例えば、ユーザ端末２０は、センサなどのＩｏＴ（Internet　of　Things）機器であってもよい。
　また、本開示におけるサーバは、クライアント端末で読み替えてもよい。例えば、サーバ及びクライアント端末間の通信を、複数のユーザ端末間の通信（例えば、Ｄ２Ｄ（Device-to-Device）、Ｖ２Ｘ（Vehicle-to-Everything）などと呼ばれてもよい）に置き換えた構成について、本開示の各態様／実施形態を適用してもよい。この場合、上述のサーバが有する機能をクライアント端末が有する構成としてもよい。
　同様に、本開示におけるクライアント端末は、サーバで読み替えてもよい。この場合、上述のクライアント端末が有する機能をサーバが有する構成としてもよい。
　本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
　本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
　本開示において、例えば、英語でのa,　an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
　本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。
　１０…位置推定システム、１１…参照用画像データベース、１２…取得部、１３…画像処理部、１４…推定部、２０…ユーザ端末、２１…画像センサ、１００１…プロセッサ、１００２…メモリ、１００３…ストレージ、１００４…通信装置、１００５…入力装置、１００６…出力装置、１００７…バス。

Claims (5)

  1. 　参照用画像と位置を示す情報とを対応付けて記憶した参照用画像データベースと、
    　位置推定の対象となる推定用画像、及び当該推定用画像の画角に係る情報を取得する取得部と、
    　前記取得部によって取得された前記推定用画像の画角に係る情報に基づいて、前記参照用画像及び前記推定用画像の少なくとも何れか一方の画像の拡大又は縮小を行う画像処理部と、
    　前記画像処理部によって拡大又は縮小が行われた画像を用いて、前記参照用画像と前記推定用画像との比較を行って、当該参照用画像に対応付けられた位置を示す情報から当該推定用画像に係る位置を推定する推定部と、
    を備える位置推定システム。
  2. 　前記参照用画像データベースは、前記参照用画像に対応付けて当該参照用画像の画角に係る情報を記憶し、
    　前記画像処理部は、前記参照用画像の画角に係る情報にも基づいて、画像の拡大又は縮小を行う、請求項１に記載の位置推定システム。
  3. 　前記取得部は、前記推定用画像の画角に係る情報として、当該画角を算出するための情報を取得し、
    　前記画像処理部は、前記画角を算出するための情報から画角を算出して、算出した画角に基づいて、画像の拡大又は縮小を行う、請求項１又は２に記載の位置推定システム。
  4. 　前記画像処理部は、前記参照用画像及び前記推定用画像の縦横比を合わせる画像処理を行い、画像の拡大又は縮小を行う請求項１～３の何れか一項に記載の位置推定システム。
  5. 　前記画像処理部は、前記参照用画像及び前記推定用画像の少なくとも何れか一方の画像に対して歪み補正を行う請求項１～４の何れか一項に記載の位置推定システム。
PCT/JP2019/038819 2018-12-28 2019-10-01 位置推定システム WO2020137068A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020562370A JP7153089B2 (ja) 2018-12-28 2019-10-01 位置推定システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-246883 2018-12-28
JP2018246883 2018-12-28

Publications (1)

Publication Number Publication Date
WO2020137068A1 true WO2020137068A1 (ja) 2020-07-02

Family

ID=71126309

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/038819 WO2020137068A1 (ja) 2018-12-28 2019-10-01 位置推定システム

Country Status (2)

Country Link
JP (1) JP7153089B2 (ja)
WO (1) WO2020137068A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003123197A (ja) * 2001-10-16 2003-04-25 Alpine Electronics Inc 道路標示等認識装置
JP2011171932A (ja) * 2010-02-17 2011-09-01 Canon Inc 画像表示装置、画像表示方法及びプログラム
WO2016208404A1 (ja) * 2015-06-23 2016-12-29 ソニー株式会社 情報処理装置および方法、並びにプログラム
US20170006450A1 (en) * 2010-09-30 2017-01-05 Thinkware Corporation Mobile communication terminal, and system and method for safety service using same

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160171308A1 (en) 2014-12-15 2016-06-16 Kabushiki Kaisha Toshiba Electronic device and image processing method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003123197A (ja) * 2001-10-16 2003-04-25 Alpine Electronics Inc 道路標示等認識装置
JP2011171932A (ja) * 2010-02-17 2011-09-01 Canon Inc 画像表示装置、画像表示方法及びプログラム
US20170006450A1 (en) * 2010-09-30 2017-01-05 Thinkware Corporation Mobile communication terminal, and system and method for safety service using same
WO2016208404A1 (ja) * 2015-06-23 2016-12-29 ソニー株式会社 情報処理装置および方法、並びにプログラム

Also Published As

Publication number Publication date
JP7153089B2 (ja) 2022-10-13
JPWO2020137068A1 (ja) 2021-10-21

Similar Documents

Publication Publication Date Title
US20210264133A1 (en) Face location tracking method, apparatus, and electronic device
JP7085646B2 (ja) 位置推定システム
US10438086B2 (en) Image information recognition processing method and device, and computer storage medium
US8908911B2 (en) Redundant detection filtering
US10218899B2 (en) Control method in image capture system, control apparatus and a non-transitory computer-readable storage medium
CN109784250B (zh) 自动引导小车的定位方法和装置
WO2019042419A1 (zh) 图像跟踪点获取方法、设备及存储介质
US20240029297A1 (en) Visual positioning method, storage medium and electronic device
KR102441053B1 (ko) 차량의 주행차로 추정 장치 및 방법
US10089721B2 (en) Image processing system and method for object boundary smoothening for image segmentation
CN114298902A (zh) 一种图像对齐方法、装置、电子设备和存储介质
US11017557B2 (en) Detection method and device thereof
CN113158773B (zh) 一种活体检测模型的训练方法及训练装置
WO2024002186A1 (zh) 图像融合方法、装置及存储介质
WO2020137068A1 (ja) 位置推定システム
CN115661493B (zh) 一种对象位姿的确定方法及装置、设备及存储介质
US11956530B2 (en) Electronic device comprising multi-camera, and photographing method
KR20200064221A (ko) 가중치 특징점을 이용한 이미지 정합 방법 및 그 시스템
KR20180089589A (ko) 가상 특징점을 이용한 이미지 정합 방법 및 그 시스템
JP2023544473A (ja) 画像拡張装置、制御方法、及びプログラム
JP7485232B2 (ja) 画像マッチング装置、制御方法、及びプログラム
CN113628283B (zh) 摄像装置的参数标定方法、装置、介质以及电子设备
CN114608521B (zh) 单目测距方法及装置、电子设备和存储介质
JP6957651B2 (ja) 情報処理装置
CN114608521A (zh) 单目测距方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19905441

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020562370

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19905441

Country of ref document: EP

Kind code of ref document: A1