WO2023199594A1 - 情報処理システム、情報処理方法及びプログラム - Google Patents

情報処理システム、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2023199594A1
WO2023199594A1 PCT/JP2023/005485 JP2023005485W WO2023199594A1 WO 2023199594 A1 WO2023199594 A1 WO 2023199594A1 JP 2023005485 W JP2023005485 W JP 2023005485W WO 2023199594 A1 WO2023199594 A1 WO 2023199594A1
Authority
WO
WIPO (PCT)
Prior art keywords
line segment
length
information processing
type
image
Prior art date
Application number
PCT/JP2023/005485
Other languages
English (en)
French (fr)
Inventor
知也 榊原
Original Assignee
株式会社Clue
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Clue filed Critical 株式会社Clue
Priority to JP2023528343A priority Critical patent/JP7362179B1/ja
Priority to JP2023165903A priority patent/JP2023171857A/ja
Publication of WO2023199594A1 publication Critical patent/WO2023199594A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/28Measuring arrangements characterised by the use of optical techniques for measuring areas
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes

Definitions

  • the present invention relates to an information processing system, an information processing method, and a program.
  • Patent Document 1 discloses a technology that measures the shape and dimensions of a roof, which is a target object, from an image taken of the target object with a camera mounted on a flying object, and calculates the area of the roof from the shape and dimensions.
  • Patent Document 1 does not specifically disclose how to calculate the area.
  • the present invention was made in view of this background, and an object of the present invention is to provide a technique that can accurately calculate the size of an object.
  • FIG. 2 is a diagram illustrating an overview of the present embodiment.
  • 1 is a diagram schematically showing an information processing system 1 according to the present embodiment.
  • 1 is a diagram showing an example of a hardware configuration of an information processing terminal 10.
  • FIG. 1 is a diagram showing an example of a software configuration of an information processing terminal 10.
  • FIG. 2 is a diagram illustrating how input is accepted on an image.
  • 3 is a flowchart showing an example of the flow of processing of the information processing system 1.
  • FIG. FIG. 2 is a diagram schematically showing an information processing system 1' according to another embodiment.
  • the camera 31 attached to the flying object 30 flying above the roof 101 images the roof 101 as a target object.
  • FIG. 2 is a diagram schematically showing the information processing system 1 according to the present embodiment. As illustrated, the information processing system 1 includes an information processing terminal 10.
  • the information processing terminal 10 is implemented as a small computer in the form of a so-called tablet.
  • the information processing terminal 10 may be realized by a portable information processing terminal such as a smartphone or a game machine, or may be realized by a stationary information processing terminal such as a personal computer.
  • the information processing terminal 10 may be realized by a plurality of pieces of hardware, and may have a configuration in which functions are distributed among them.
  • FIG. 3 is a diagram showing an example of the hardware configuration of the information processing terminal 10. As illustrated, the information processing terminal 10 includes a control section 11 and a touch panel section 12 that is a display section.
  • the control unit 11 includes a processor 11a, a memory 11b, a storage 11c, a transmitting/receiving unit 11d, and an input/output unit 11e as main components, which are electrically connected to each other via a bus 11f.
  • the processor 11a is an arithmetic device that controls the operation of the control unit 11, controls the transmission and reception of data between each element, and performs processing necessary for program execution.
  • this processor 11a is, for example, a CPU (Central Processing Unit), and executes a program stored in a storage 11c described later and developed in a memory 11b to perform various processes.
  • CPU Central Processing Unit
  • the memory 11b includes a main storage device made up of a volatile storage device such as a DRAM (Dynamic Random Access Memory), and an auxiliary storage device made up of a non-volatile storage device such as a flash memory or an HDD (Hard Disc Drive). .
  • a volatile storage device such as a DRAM (Dynamic Random Access Memory)
  • auxiliary storage device made up of a non-volatile storage device such as a flash memory or an HDD (Hard Disc Drive).
  • This memory 11b is used as a work area for the processor 11a, and also stores a BIOS (Basic Input/Output System) executed when the control unit 11 is started, various setting information, and the like.
  • BIOS Basic Input/Output System
  • the storage 11c stores programs and information used in various processes. For example, when a user operates a flying object for capturing image information of the roof 101 via the information processing terminal 10, a program for controlling the flight of the flying object may be stored in the storage 11c. .
  • a control signal for controlling the flight of the flying object 10 may be transmitted to the flying object 10 via this transmitting/receiving section 11d.
  • the input/output unit 11e is an interface to which input/output devices are connected, and in this embodiment, the touch panel unit 12 is connected.
  • the bus 11f transmits, for example, address signals, data signals, and various control signals between the connected processor 11a, memory 11b, storage 11c, transmitting/receiving section 11d, and input/output section 11e.
  • the touch panel section 12 is an example of a display section, and includes a display surface 12a on which acquired videos and images are displayed.
  • the display surface 12a receives information input by touching the display surface 12a, and is implemented using various techniques such as a resistive film method and a capacitance method.
  • the user can input line segment information and node information to the image displayed on the display surface 12a via the touch panel section 12. Furthermore, display information output by the control unit 11 is displayed on the display surface 12a.
  • FIG. 4 is a diagram showing an example of the software configuration of the information processing terminal 10.
  • the processor 11a includes an image acquisition section 111, a line segment acquisition section 112, a part type acquisition section 113, a slope acquisition section 114, a length calculation section 115, a display section 116, a length input section 117, and an area A calculation unit 118 is provided.
  • the storage 11c also includes an image storage section 131, a coefficient storage section 132, a line segment information storage section 133, and a plane information storage section 134.
  • the image storage unit 131 stores images taken by the camera 31 of the flying object 30.
  • the image storage unit 131 may be part of a file system that stores images as files, or may be a database that stores images as data.
  • the coefficient storage unit 132 stores coefficients for determining the slope length with respect to the length in the horizontal direction.
  • the coefficient storage unit 132 can store coefficients for each slope in association with the type of region.
  • the coefficients include, for example, a slope elongation rate with respect to the horizontal length and a corner ridge elongation rate with respect to the horizontal length.
  • the slope may be expressed as an angle (degrees), expressed as a scale (sun, minute), or as a fraction.
  • the slope elongation rate and the corner ridge elongation rate are known coefficients, and for example, the slope elongation rate for a 1-inch slope is 1.005, and the corner ridge elongation rate for a 1-inch slope is 1.411. There is.
  • the coefficient storage unit 133 can store a coefficient of 1, for example, in association with horizontally arranged parts such as eaves and ridges, omitting slopes (or in association with all slopes).
  • the coefficient storage unit 133 can store a slope elongation rate for each slope in association with a part such as a vertex, and can store a corner ridge elongation rate in association with a part such as a corner ridge.
  • the line segment information storage unit 133 stores information (hereinafter referred to as line segment information) regarding line segments that are the sides of polygons that partition the object (in this embodiment, the surface portion of the roof 101).
  • the line segment information can include a start position and an end position on the image, part type, actual size length, input flag, etc. in association with information for identifying the line segment (line segment ID).
  • the start position and end position can be coordinate values on the image.
  • the part type is the type of part corresponding to the line segment.
  • the actual size length is the actual length of the part in real space.
  • the input flag is a flag value indicating whether the actual length is a value input by the user.
  • the line segment information may include information that specifies the image. In this case, a plurality of pieces of line segment information can be registered for the same line segment ID.
  • the surface information storage unit 134 stores information (hereinafter referred to as surface information) regarding the surface portion of the object (the surface portion of the roof 101).
  • the surface information may include the sides of a polygon that partitions the surface (line segment ID list), the slope and area of the surface, and the like, in association with the information that specifies the surface (surface ID).
  • the line segment ID list can be a list of line segment IDs that specify line segments corresponding to sides of a polygon.
  • the area is a value calculated by an area calculation unit 118, which will be described later.
  • the image acquisition unit 111 acquires an image taken by the camera 31 of the flying object 30.
  • the image acquisition unit 111 may communicate with the flying object 30 to acquire images taken by the camera 31, or may read images registered in the image storage unit 131 in advance.
  • the line segment acquisition unit 112 acquires a plurality of line segments that partition the target object (roof 101 in this embodiment) on an image taken of the target object.
  • the line segment acquisition unit 112 can receive a designation of a line segment on an image from a user.
  • FIG. 5 is a diagram illustrating how input is accepted on an image.
  • the line segment acquisition unit 112 displays an image of the building 100 on the display surface 12a of the touch panel unit 12, and inputs the vertices 102 of a polygon that partitions the object (roof 101 or a surface portion of the roof 101). It is possible to receive the line segment 103 between the vertices 102 and obtain the line segment 103 between the vertices 102.
  • the line segment acquisition unit 112 may recognize a target object from the image through image analysis, approximate the recognized target object to a polygon, and acquire the sides of the approximated polygon as the line segment 103.
  • the line segment acquisition unit 112 can create line segment information in which both end positions (vertices 102) on the image of the acquired line segment 103 are set as the start position and end position, and register it in the line segment information storage unit 133. .
  • the part type acquisition unit 113 acquires the type of part of the object corresponding to the line segment.
  • Examples of the types of parts of the object include eaves, ridges, corner ridges, valleys, verges, and the like.
  • Part type acquisition section 113 can receive input of the type of part from the user.
  • the body part type acquisition unit 113 can receive input from the touch panel unit 12, for example, specifying a line segment and inputting the type of body part corresponding to the line segment.
  • the part type acquisition unit 113 displays the line segments and line segment type options acquired by the line segment acquisition unit 112 on the image displayed on the display surface 12a, and accepts designations of the displayed line segments and options. By doing so, it is possible to obtain the type of part corresponding to the specified line segment.
  • the part type acquisition unit 113 can update the line segment information by setting the received type as the part type of the line segment information corresponding to the specified line segment.
  • the slope acquisition unit 114 acquires the slope of the target object (roof 101).
  • the gradient acquisition unit 114 can receive a gradient input from the user, for example.
  • the gradient acquisition unit 114 displays the image and the line segment 103 acquired by the line segment acquisition unit 112 on the display surface 12a of the touch panel unit 12, and uses the area (polygon) surrounded by the line segment 103 as the surface portion 104.
  • the selection of the surface portion 104 can be accepted, and the slope input for the selected surface portion 104 can be accepted.
  • the slope acquisition unit 114 can update the surface information by setting the received slope to the slope of the surface information corresponding to the selected surface portion 104.
  • the length calculation unit 115 converts the length of a line segment on the image (hereinafter referred to as pixel horizontal length) to a three-dimensional length (hereinafter referred to as pixel three-dimensional length) according to the gradient.
  • the length calculation unit 115 acquires a coefficient according to the type and gradient of the part corresponding to the line segment from the coefficient storage unit 132, and calculates the coefficient to the first length (pixel horizontal length) of the line segment displayed on the image. By multiplying by the coefficient, the second length of the line segment in the three-dimensional space (pixel three-dimensional length) can be calculated.
  • the length calculation unit 115 can obtain the slope of plane information including the line segment ID indicating the line segment as the slope of the line segment.
  • the length input unit 117 can receive an input of the length in real space (second length, actual size length) of a first line segment, which is one of the line segments.
  • the length input unit 117 can update the line segment information by setting the received actual size length to the actual size length of the line segment information corresponding to the first line segment.
  • the length calculation unit 115 converts the actual size length received by the length input unit 117 into a horizontal length at the actual size (hereinafter referred to as actual size horizontal length) according to the slope of the first line segment, Depending on the ratio between the actual horizontal length of the first line segment and the pixel horizontal length, convert the pixel horizontal length of the other line segments to the actual horizontal length on the image, and convert the actual horizontal length of the other line segment to the gradient. It can be converted to the appropriate actual length. That is, the length calculation unit 115 calculates the actual horizontal length of the first line segment by dividing the input actual length by a coefficient depending on the type and slope of the first line segment.
  • the length calculation unit 115 calculates the ratio between the actual horizontal length of the first line segment and the pixel horizontal length of the first line segment, and calculates the ratio of the second line segment other than the first line segment.
  • the pixel horizontal length is converted to the actual size horizontal length according to the ratio, and the coefficient (slope elongation rate, corner ridge elongation rate) corresponding to the type and slope of the second line segment is added to the actual size horizontal length of the second line segment. , or 1) to calculate the actual length of the second line segment.
  • the length calculation unit 115 can update the line segment information by setting the calculated actual size length as the actual size length of the line segment information corresponding to the line segment.
  • the length calculation unit 115 calculates the length of the line segment on the image ( (horizontal length) can be corrected.
  • the correction can be performed depending on the angle of view of the camera 31. That is, it is possible to correct the positions of both ends (vertices) of a line segment when the central projection from the camera 31 is converted into a parallel projection, and calculate the length (pixel horizontal length) between the corrected positions of the vertices.
  • the display unit 116 can display the second length (actual size length) of the part (line segment 103) on the image. In the example of FIG. 5, lengths can be displayed in a1 to a7.
  • the area calculation unit 118 calculates the area of the surface portion.
  • the area calculating unit 118 calculates a first area (hereinafter referred to as pixel area) of a polygon (surface portion) formed by the line segment on the screen based on the positions of the points at both ends of the line segment (starting position and ending position).
  • the second area (hereinafter referred to as pixel three-dimensional area) can be calculated by calculating the first area (hereinafter referred to as "horizontal area”) and multiplying the first area by a coefficient (gradient elongation rate) corresponding to the slope.
  • gradient elongation rate a coefficient corresponding to the verge and the gradient can be used, for example.
  • the area calculation unit 118 converts the actual size length received by the length input unit 117 into an actual size horizontal length according to the slope of the line segment, and calculates the pixel horizontal length on the image of the line segment and the actual size horizontal length.
  • the three-dimensional pixel area can be converted into an actual size area (hereinafter referred to as actual size area) according to the ratio to the length.
  • the display unit 116 can display the actual length and the area of the surface portion in a superimposed manner on the image. In the example of FIG. 5, areas can be displayed in A1 and A2.
  • FIG. 6 is a flowchart illustrating an example of the processing flow of the information processing system 1.
  • the information processing terminal 10 receives an input of the actual length of a certain first line segment (S103), and acquires the slope of the first line segment.
  • the information processing terminal 10 can acquire, for example, the gradient of surface information including the line segment ID indicating the first line segment from the surface information storage unit 134.
  • the information processing terminal 10 read out the coefficient corresponding to the type included in the line segment information corresponding to the first line segment and the obtained gradient from the coefficient storage unit 132, and read out the actual size length of the first line segment.
  • the actual horizontal length of the first line segment is calculated by dividing by the coefficient (S104).
  • the information processing terminal 10 calculates the length (pixel horizontal length) from the start position to the end position of each line segment, and calculates the ratio of the pixel horizontal length of the first line segment to the actual horizontal length of the first line segment.
  • the pixel horizontal length of the second line segment other than the first line segment is converted into an actual size horizontal length according to the calculated ratio (S105).
  • the information processing terminal 10 acquires the slope of the plane information including the line segment ID indicating the second line segment from the plane information storage unit 134, and uses the acquired slope and the line segment information corresponding to the second line segment.
  • the coefficient corresponding to the included type is read from the coefficient storage unit 132, and the actual horizontal length of the second line segment is multiplied by the read coefficient to calculate the actual length of the second line segment (S106).
  • the information processing terminal 10 acquires the start position and end position of the line segment information corresponding to each line segment ID included in the line segment ID list for each piece of plane information stored in the plane information storage unit 134, and Based on the ending position, e.g. The pixel area of the surface portion is calculated (S107).
  • the information processing terminal 10 calculates the three-dimensional pixel area by multiplying the pixel horizontal area by a coefficient corresponding to the slope of the surface information (for example, a coefficient corresponding to the verge and the slope) (S108), and calculates the pixel three-dimensional area of the first line segment.
  • the pixel three-dimensional area is converted into an actual size area according to the ratio between the horizontal length and the actual size horizontal length of the first line segment (S109).
  • the information processing system 1 of the present embodiment it is possible to accurately calculate the length of the part and the roof area based on the roof image photographed from above.
  • FIG. 7 is a diagram schematically showing an information processing system 1' according to another embodiment.
  • the information processing system 1' includes an information processing terminal 10 and a server 20.
  • part or all of the functions possessed by the processor 11a and the storage 11c of the information processing terminal 10 according to the above embodiment may be realized by the processor and storage included in the server 20.
  • the target object is the roof 101 of the building 100
  • it may also be a tree or any ground surface, and furthermore, it may be a temporarily stopped car or an animal. It may be an object such as.
  • the constituent parts of the object are appropriately set depending on the type of the object and the specific structure of the object.
  • an image taken by the flying object 30 flying above the roof 101 is used, but an image taken without using the flying object 30 may be used.
  • each step in the above embodiment does not necessarily need to be processed in chronological order in the order described in the flowchart.
  • each step in the processing of the above embodiment may be processed in a different order from the order described as a flowchart, or may be processed in parallel.
  • a line segment acquisition unit that acquires a plurality of line segments that partition the target object on an image of the target object; a part type acquisition unit that acquires the type of part of the line segment; a gradient acquisition unit that obtains the gradient of the object; a length calculation unit that calculates a second length of the line segment in three-dimensional space by multiplying the first length of the line segment displayed on the image by a coefficient according to the type and the gradient; and, a display section that displays the second length;
  • An information processing system comprising: [Item 2] The information processing system described in item 1, comprising a length input section that receives an input of the second length of the first line segment that is one of the line segments; The length calculation unit divides the inputted second length by the coefficient depending on the type and slope of the first line segment to obtain a first length related to the first line segment.
  • Calculate horizontal lengths and calculate the ratio of the first and second lengths for the first line segment and the first length for a second line segment other than the first line segment. , calculate a second horizontal length of the second line segment, and multiply the second horizontal length by the coefficient corresponding to the type of the second line segment and the slope.
  • An information processing system characterized by: [Item 3] The information processing system according to item 1 or 2, comprising a coefficient storage unit that stores the coefficient in association with the type and the slope;
  • An information processing system characterized by: [Item 4] The information processing system according to any one of items 1 to 3, The length calculation unit corrects the first length for each of the plurality of line segments according to the distance of both ends of the line segment from the center of the image;
  • An information processing system comprising: [Item 6] acquiring a plurality of line segments that partition the object on an image of the object; obtaining the type of part of the line segment; obtaining a gradient of the object; calculating

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

【課題】正確に対象物のサイズを計算することができるようにする。 【解決手段】情報処理システムであって、対象物を撮影した画像上において対象物を区画する複数の線分を取得する線分取得部と、線分の部位の種類を取得する部位種類取得部と、対象物の勾配を取得する勾配取得部と、種類及び勾配に応じた係数を画像上で表示される線分の第1の長さに乗じて、3次元空間における線分の第2の長さを計算する長さ計算部と、第2の長さ表示する表示部と、を備えることを特徴とする。

Description

情報処理システム、情報処理方法及びプログラム
 本発明は、情報処理システム、情報処理方法及びプログラムに関する。
 特許文献1には、飛行体に搭載したカメラで対象物を撮像した画像から対象物である屋根の形状寸法を測定し、かかる形状寸法から屋根の面積を算出する技術が開示されている。
特開2003-162552号公報
 しかしながら、特許文献1には具体的にどのようにして面積を計算するかが開示されていない。
 本発明はこのような背景を鑑みてなされたものであり、正確に対象物のサイズを計算することのできる技術を提供することを目的とする。
 上記課題を解決するための本発明の主たる発明は、情報処理システムであって、対象物を撮影した画像上において前記対象物を区画する複数の線分を取得する線分取得部と、前記線分の部位の種類を取得する部位種類取得部と、前記対象物の勾配を取得する勾配取得部と、前記種類及び前記勾配に応じた係数を前記画像上で表示される前記線分の第1の長さに乗じて、3次元空間における前記線分の第2の長さを計算する長さ計算部と、前記第2の長さ表示する表示部と、を備えることを特徴とする。
 その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
 本発明によれば、正確に対象物のサイズを計算することができる。
本実施形態の概要を説明する図である。 本実施形態に係る情報処理システム1の概略を示す図である。 情報処理端末10のハードウェア構成例を示す図である。 情報処理端末10のソフトウェア構成例を示す図である。 画像上で入力を受け付ける様子を説明する図である。 情報処理システム1の処理の流れの一例を示すフローチャートである。 他の実施形態に係る情報処理システム1’の概略を示す図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
<概要>
 図1は、本実施形態の概要を説明する図である。本実施形態に係る情報処理システム1は、対象物である建造物100の屋根101を撮像した画像から、屋根101の構造を解析しようとするものであり、例えば、平面部の面積や部位(軒や棟など)の長さを求める。
 本実施形態の情報処理システム1では、屋根101の上空に飛行する飛行体30に付随するカメラ31が、屋根101を対象物として撮像する。
 屋根101に角度θの勾配がある場合、カメラ31が撮影した画像に含まれるケラバKの画像上での長さは、水平長さHLを表したものになる。この水平長さHLをケラバKの長さに勾配伸び率を乗じて流れ長さLを求める。
<システム構成>
 図2は、本実施形態に係る情報処理システム1の概略を示す図である。図示のように、情報処理システム1は、情報処理端末10を備える。
 本実施形態に係る情報処理端末10は、いわゆるタブレット状の小型のコンピュータによって実装される。他の実施形態においては、情報処理端末10は、スマートフォンまたはゲーム機等の携帯型の情報処理端末により実現されてもよいし、パーソナルコンピュータ等の据え置き型の情報処理端末により実現されてもよい。また、情報処理端末10は、複数のハードウェアにより実現され、それらに機能が分散された構成を有してもよい。
 図3は、情報処理端末10のハードウェア構成例を示す図である。図示のように、情報処理端末10は、制御部11及び表示部であるタッチパネル部12を備える。
 制御部11は、プロセッサ11a、メモリ11b、ストレージ11c、送受信部11d、及び入出力部11eを主要構成として備え、これらが互いにバス11fを介して電気的に接続される。
 プロセッサ11aは、制御部11の動作を制御し、各要素間におけるデータの送受信の制御や、プログラムの実行に必要な処理等を行う演算装置である。
 このプロセッサ11aは、本実施の形態では例えばCPU(Central Processing Unit)であり、後述するストレージ11cに格納されてメモリ11bに展開されたプログラムを実行して各処理を行う。
 メモリ11bは、DRAM(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶装置、及びフラッシュメモリやHDD(Hard Disc Drive)等の不揮発性記憶装置で構成される補助記憶装置を備える。
 このメモリ11bは、プロセッサ11aの作業領域として使用される一方、制御部11の起動時に実行されるBIOS(Basic Input/Output System)、及び各種の設定情報等が格納される。
 ストレージ11cは、プログラムや各種の処理に用いられる情報等が格納されている。例えば、屋根101の画像情報を撮像するための飛行体を、情報処理端末10を介してユーザが操作する場合、ストレージ11cには、かかる飛行体の飛行を制御するプログラムが格納されていてもよい。
 送受信部11dは、制御部11をインターネット網等のネットワークに接続するものであって、Bluetooth(登録商標)やBLE(Bluetooth Low Energy)といった近距離通信インターフェースを具備するものであってもよい。
 本実施形態では、例えば、飛行体10の飛行を制御する制御信号が、この送受信部11dを介して飛行体10に送信されてもよい。
 入出力部11eは、入出力機器が接続されるインターフェースであって、本実施形態では、タッチパネル部12が接続される。
 バス11fは、接続したプロセッサ11a、メモリ11b、ストレージ11c、送受信部11d及び入出力部11eの間において、例えばアドレス信号、データ信号及び各種の制御信号を伝達する。
 タッチパネル部12は、表示部の一例であり、取得した映像や画像が表示される表示面12aを備える。この表示面12aは、本実施形態では、表示面12aへの接触によって情報の入力を受け付けるものであって、抵抗膜方式や静電容量方式といった各種の技術によって実装される。
 例えば、ユーザは、表示面12aに表示された画像に対して、タッチパネル部12を介して、線分情報やノード情報を入力し得る。また、表示面12aには、制御部11により出力される表示情報が表示される。
 図4は、情報処理端末10のソフトウェア構成例を示す図である。プロセッサ11aは、画像取得部111と、線分取得部112と、部位種類取得部113と、勾配取得部114と、長さ計算部115と、表示部116と、長さ入力部117と、面積算出部118と、を備える。また、ストレージ11cは、画像記憶部131と、係数記憶部132と、線分情報記憶部133と、面情報記憶部134と、を備える。
 画像記憶部131は、飛行体30のカメラ31が撮影した画像を記憶する。画像記憶部131は、画像をファイルとして格納するファイルシステムの一部であってもよいし、画像をデータとして記憶するデータベースであってもよい。
 係数記憶部132は、水平方向の長さに対して勾配長さを求めるための係数を記憶する。係数記憶部132は、部位の種類に対応付けて、勾配ごとの係数を記憶することができる。係数には、例えば、水平長さに対する勾配伸び率と、水平長さに対する隅棟伸び率とがある。勾配は、角度表現(度)であってもよいし、尺貫法による表現(寸、分)であってもよいし、分数であってもよい。勾配伸び率や隅棟伸び率は公知の係数であり、例えば、1寸の勾配に対する勾配伸び率が1.005、1寸の勾配に対応する隅棟伸び率が1.411などが知られている。係数記憶部133は、例えば、軒、棟など水平に配置される部位に対応付けて、勾配を省略して(又は全ての勾配に対応付けて)、1の係数を記憶することができる。係数記憶部133は、例えば、ケラバなどの部位に対応付けて、勾配ごとの勾配伸び率を記憶し、隅棟などの部位に対応付けて、隅棟伸び率を記憶することができる。
 線分情報記憶部133は、対象物(本実施形態では屋根101の面部分)を区画する多角形の辺となる線分に関する情報(以下、線分情報という。)を記憶する。線分情報には、線分を特定する情報(線分ID)に対応付けて、画像上における開始位置及び終了位置、部位種類、実寸長、入力フラグなどを含めることができる。開始位置及び終了位置は、画像上の座標値とすることができる。部位種類は、当該線分に対応する部位の種類である。実寸長は、実空間における当該部位の実寸での長さである。入力フラグは、当該実寸長が、ユーザから入力された値であるか否かを示すフラグ値である。例えば、入力フラグが真である場合には、当該実寸長は、後述する長さ入力部117がユーザから受け付けた値であることを示し、入力フラグが偽である場合には、当該実寸長は後述する長さ計算部115が計算した値であることを示す。線分情報には、画像を特定する情報を含めるようにしてもよい。この場合、同一の線分IDについて複数の線分情報が登録されうる。
 面情報記憶部134は、対象物の面部分(屋根101の面部分)に関する情報(以下、面情報という。)を記憶する。面情報には、面部分を特定する情報(面ID)に対応付けて、当該面部分を区画する多角形の辺(線分IDリスト)、面部分の勾配及び面積などが含まれ得る。線分IDリストは、多角形の辺に対応する線分を特定する線分IDのリストとすることができる。面積は、後述する面積算出部118により計算された値である。
 画像取得部111は、飛行体30のカメラ31が撮影した画像を取得する。画像取得部111は、飛行体30と通信を行い、カメラ31が撮影した画像を取得するようにしてもよいし、予め画像記憶部131に登録されている画像を読み出すようにしてもよい。
 線分取得部112は、対象物(本実施形態では屋根101)を撮影した画像上において対象物を区画する複数の線分を取得する。線分取得部112は、ユーザから画像上の線分の指定を受け付けることができる。
 図5は、画像上で入力を受け付ける様子を説明する図である。線分取得部112は、例えば、タッチパネル部12の表示面12aに建造物100を撮影した画像を表示し、対象物(屋根101又は屋根101の面部分)を区画する多角形の頂点102の入力を受け付けて、頂点102間の線分103を取得することができる。また、線分取得部112は、画像解析により画像から対象物を認識し、認識した対象物を多角形に近似し、近似した多角形の辺を線分103として取得するようにしてもよい。線分取得部112は、取得した線分103の画像上の両端位置(頂点102)を開始位置及び終了位置として設定した線分情報を作成して線分情報記憶部133に登録することができる。
 部位種類取得部113は、線分に対応する対象物の部位の種類を取得する。対象物の部位の種類は、例えば、軒、棟、隅棟、谷、ケラバなどがある。部位種類取得部113は、ユーザから部位の種類の入力を受け付けることができる。部位種類取得部113は、例えば、タッチパネル部12から線分の指定及び当該線分に対応する部位の種類の入力を受け付けることができる。部位種類取得部113は、例えば、表示面12aに表示した画像上において、線分取得部112が取得した線分及び線分の種類の選択肢を表示し、表示した線分及び選択肢の指定を受け付けることにより、指定された線分に対応する部位の種類を取得することができる。部位種類取得部113は、指定された線分に対応する線分情報の部位種類に、受け付けた種類を設定することにより線分情報を更新することができる。
 勾配取得部114は、対象物(屋根101)の勾配を取得する。勾配取得部114は、例えば、ユーザから勾配の入力を受け付けることができる。勾配取得部114は、例えば、タッチパネル部12の表示面12aに画像及び線分取得部112が取得した線分103を表示し、線分103により囲まれた領域(多角形)を面部分104として、面部分104の選択を受け付け、選択された面部分104についての勾配の入力を受け付けることができる。勾配取得部114は、選択された面部分104に対応する面情報の勾配に、受け付けた勾配を設定することにより面情報を更新することができる。
 長さ計算部115は、画像上における線分の長さ(以下、ピクセル水平長という。)を、勾配に応じた3次元での長さ(以下、ピクセル3次元長という。)に変換する。長さ計算部115は、線分に対応する部位の種類及び勾配に応じた係数を係数記憶部132から取得し、画像上で表示される線分の第1の長さ(ピクセル水平長)に当該係数を乗じて、3次元空間における線分の第2の長さ(ピクセル3次元長)を計算することができる。なお、長さ計算部115は、線分を示す線分IDが含まれる面情報の勾配を当該線分の勾配として取得することができる。
 長さ入力部117は、線分のうちの1つである第1の線分の実空間での長さ(第2の長さ、実寸長)の入力を受け付けることができる。長さ入力部117は、受け付けた実寸長を、当該第1の線分に対応する線分情報の実寸長に設定して線分情報を更新することができる。
 長さ計算部115は、長さ入力部117が受け付けた実寸長を、当該第1の線分の勾配に応じて実寸上での水平長さ(以下、実寸水平長という。)に変換し、第1の線分の実寸水平長とピクセル水平長との比率に応じて、他の線分の画像上についてピクセル水平長を実寸水平長に変換し、他の線分の実寸水平長を勾配に応じた実寸長に変換することができる。すなわち、長さ計算部115は、入力された実寸長を、第1の線分の種類及び勾配に応じた係数で割って、第1の線分に係る実寸水平長を計算する。長さ計算部115は、第1の線分に係る実寸水平長と、第1の線分に係るピクセル水平長との比率を計算し、第1の線分以外の第2の線分についてのピクセル水平長を当該比率に応じて実寸水平長に変換し、第2の線分に係る実寸水平長に、第2の線分の種類及び勾配に対応する係数(勾配伸び率、隅棟伸び率、又は1)を乗じて、第2の線分に係る実寸長を計算することができる。長さ計算部115は、計算した実寸長を、線分に対応する線分情報の実寸長に設定して線分情報を更新することができる。
 また、長さ計算部115は、複数の線分のそれぞれについて、線分の両端(開始位置及び終了位置)の画像の中心からの距離に応じて、当該線分の画像上での長さ(水平長さ)を補正することができる。当該補正は、カメラ31の画角に応じて行うことができる。すなわち、カメラ31からの中心投影を平行投影に変換した場合の線分の両端(頂点)の位置を補正し、補正した頂点の位置間の長さ(ピクセル水平長)を計算することができる。
 表示部116は、画像上に部位(線分103)の第2の長さ(実寸長さ)を表示することができる。図5の例では、a1~a7に長さを表示することができる。
 面積算出部118は、面部分の面積を算出する。面積算出部118は、線分の両端の点の位置(開始位置及び終了位置)に基づいて、線分により構成される多角形(面部分)の画面上での第1の面積(以下、ピクセル水平面積という。)を計算し、第1の面積に勾配に応じた係数(勾配伸び率)を乗じて第2の面積(以下、ピクセル3次元面積という。)を算出することができる。勾配伸び率は、例えばケラバ及び勾配に対応する係数を使用することができる。また、面積算出部118は、長さ入力部117が受け付けた実寸長を、線分の勾配に応じて実寸水平長に変換し、当該線分の画像上でのピクセル水平長と、当該実寸水平長との比率に応じて、ピクセル3次元面積を実寸上の面積(以下、実寸面積という。)に変換することができる。
 表示部116は、実寸長と面部分の面積とを画像に重畳表示させることができる。図5の例では、A1及びA2に面積を表示することができる。
<動作>
 次に、本実施形態に係る情報処理システム1における処理の流れについて説明する。図6は、情報処理システム1の処理の流れの一例を示すフローチャートである。
 情報処理端末10は、飛行体30のカメラ31が撮影した画像を取得し(S101)、画像上において屋根面を画定する多角形を構成する辺に対応する線分情報を取得する(S102)。線分情報は、予め線分情報記憶部133に記憶されていてもよいし、線分取得部112がユーザから線分の指定を受け付け、あるいは画像から線分を検出することができる。
 情報処理端末10は、ある第1の線分について実寸長の入力を受け付け(S103)、第1の線分の勾配を取得する。情報処理端末10は、例えば、第1の線分を示す線分IDが含まれる面情報の勾配を面情報記憶部134から取得することができる。情報処理端末10は、第1の線分に対応する線分情報に含まれる種類と、取得した勾配とに応じた係数を係数記憶部132から読み出し、第1の線分の実寸長を読み出した係数で割って、第1の線分に係る実寸水平長を計算する(S104)。情報処理端末10は、各線分の開始位置から終了位置までの長さ(ピクセル水平長)を計算し、第1の線分のピクセル水平長と第1の線分の実寸水平長との比率を求め、求めた比率に応じて、第1の線分以外の第2の線分についてピクセル水平長を実寸水平長に変換する(S105)。
 情報処理端末10は、第2の線分を示す線分IDが含まれる面情報の勾配を面情報記憶部134から取得し、取得した勾配と、第2の線分に対応する線分情報に含まれる種類とに対応する係数を係数記憶部132から読み出し、読み出した係数を第2の線分の実寸水平長に乗じて、第2の線分の実寸長を計算する(S106)。
 情報処理端末10は、面情報記憶部134に記憶されている各面情報について、線分IDリストに含まれる各線分IDに対応する線分情報の開始位置及び終了位置を取得し、開始位置及び終了位置に基づいて、例えば、
面部分のピクセル面積を計算する(S107)。情報処理端末10は、ピクセル水平面積に、面情報の勾配に応じた係数(例えばケラバ及び勾配に対応する係数)を乗じてピクセル3次元面積を計算し(S108)、第1の線分のピクセル水平長と第1の線分の実寸水平長との比率に応じて、ピクセル3次元面積を実寸面積に変換する(S109)。
 以上のようにして、本実施形態の情報処理システム1によれば、上空から撮影した屋根画像に基づいて正確な部位の長さ及び屋根面積を算出することができる。
 以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
 上記の実施形態では、情報処理システム1は、情報処理端末10のみにより実現されていたが、本発明はかかる例に限定されない。図7は、他の実施形態に係る情報処理システム1’の概略を示す図である。他の実施形態では、情報処理システム1’は、情報処理端末10およびサーバ20を備える。この場合、例えば、上記の実施形態に係る情報処理端末10のプロセッサ11aおよびストレージ11cが有していた機能の一部または全部が、サーバ20の備えるプロセッサやストレージにより実現されてもよい。
 また、上記実施の形態では、対象物が建造物100の屋根101である場合を説明したが、樹木や任意の地表面であってもよく、更には、一時的に停止している自動車や動物といった物体であってもよい。対象物の構成部位は、その対象物の種類や対象物が有する特定の構造に応じて適宜設定される。
 また、上記実施形態では、屋根101の上空に飛行する飛行体30が撮影した画像を使用するものとしたが、飛行体30を用いずに撮影した画像を使用してもよい。
 また、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理される必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本発明に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
<開示事項>
 なお、本開示には、以下のような構成も含まれる。
[項目1]
 対象物を撮影した画像上において前記対象物を区画する複数の線分を取得する線分取得部と、
 前記線分の部位の種類を取得する部位種類取得部と、
 前記対象物の勾配を取得する勾配取得部と、
 前記種類及び前記勾配に応じた係数を前記画像上で表示される前記線分の第1の長さに乗じて、3次元空間における前記線分の第2の長さを計算する長さ計算部と、
 前記第2の長さ表示する表示部と、
 を備えることを特徴とする情報処理システム。
[項目2]
 項目1に記載の情報処理システムであって、
 前記線分のうちの1つである第1の線分の前記第2の長さの入力を受け付ける長さ入力部を備え、
 前記長さ計算部は、入力された前記第2の長さを、前記第1の線分の前記種類及び前記勾配に応じた前記係数で割って、前記第1の線分に係る第1の水平長さを計算し、前記第1の線分についての前記第1及び前記第2の長さの比率と、前記第1の線分以外の第2の前記線分について前記第1の長さとに応じて、前記第2の線分に係る第2の水平長さを計算し、前記第2の水平長さに、前記第2の線分の種類及び前記勾配に応じた前記係数を乗じて前記第2の長さを計算すること、
 を特徴とする情報処理システム。
[項目3]
 項目1又は2に記載の情報処理システムであって、
 前記種類及び前記勾配に対応付けて前記係数を記憶する係数記憶部を備えること、
 を特徴とする情報処理システム。
[項目4]
 項目1ないし3のいずれか1項に記載の情報処理システムであって、
 前記長さ計算部は、前記複数の線分のそれぞれについて、前記線分の両端の前記画像の中心からの距離に応じて前記第1の長さを補正すること、
 を特徴とする情報処理システム。
[項目5]
 項目1ないし4のいずれか1項に記載の情報処理システムであって、
 前記線分の両端の点の位置に基づいて第1の面積を計算し、前記第1の面積に前記勾配に応じた係数を乗じて第2の面積を算出する面積算出部をさらに備え、
 前記表示部は、前記第2の長さと前記第2の面積とを表示すること、
 を備えることを特徴とする情報処理システム。
[項目6]
 対象物を撮影した画像上において前記対象物を区画する複数の線分を取得するステップと、
 前記線分の部位の種類を取得するステップと、
 前記対象物の勾配を取得するステップと、
 前記種類及び前記勾配に応じた係数を前記画像上で表示される前記線分の第1の長さに乗じて、3次元空間における前記線分の第2の長さを計算するステップと、
 前記第2の長さ表示するステップと、
 をコンピュータが実行することを特徴とする情報処理方法。
[項目7]
 対象物を撮影した画像上において前記対象物を区画する複数の線分を取得するステップと、
 前記線分の部位の種類を取得するステップと、
 前記対象物の勾配を取得するステップと、
 前記種類及び前記勾配に応じた係数を前記画像上で表示される前記線分の第1の長さに乗じて、3次元空間における前記線分の第2の長さを計算するステップと、
 前記第2の長さ表示するステップと、
 をコンピュータに実行させるためのプログラム。
  1   情報処理システム
  10  情報処理端末
  11  制御部
  102 頂点
  103 線分

Claims (7)

  1.  対象物を撮影した画像上において前記対象物を区画する複数の線分を取得する線分取得部と、
     前記線分の部位の種類を取得する部位種類取得部と、
     前記対象物の勾配を取得する勾配取得部と、
     前記種類及び前記勾配に応じた係数を前記画像上で表示される前記線分の第1の長さに乗じて、3次元空間における前記線分の第2の長さを計算する長さ計算部と、
     前記第2の長さ表示する表示部と、
     を備えることを特徴とする情報処理システム。
  2.  請求項1に記載の情報処理システムであって、
     前記線分のうちの1つである第1の線分の前記第2の長さの入力を受け付ける長さ入力部を備え、
     前記長さ計算部は、入力された前記第2の長さを、前記第1の線分の前記種類及び前記勾配に応じた前記係数で割って、前記第1の線分に係る第1の水平長さを計算し、前記第1の線分についての前記第1及び前記第2の長さの比率と、前記第1の線分以外の第2の前記線分について前記第1の長さとに応じて、前記第2の線分に係る第2の水平長さを計算し、前記第2の水平長さに、前記第2の線分の種類及び前記勾配に応じた前記係数を乗じて前記第2の長さを計算すること、
     を特徴とする情報処理システム。
  3.  請求項1又は2に記載の情報処理システムであって、
     前記種類及び前記勾配に対応付けて前記係数を記憶する係数記憶部を備えること、
     を特徴とする情報処理システム。
  4.  請求項1ないし3のいずれか1項に記載の情報処理システムであって、
     前記長さ計算部は、前記複数の線分のそれぞれについて、前記線分の両端の前記画像の中心からの距離に応じて前記第1の長さを補正すること、
     を特徴とする情報処理システム。
  5.  請求項1ないし4のいずれか1項に記載の情報処理システムであって、
     前記線分の両端の点の位置に基づいて第1の面積を計算し、前記第1の面積に前記勾配に応じた係数を乗じて第2の面積を算出する面積算出部をさらに備え、
     前記表示部は、前記第2の長さと前記第2の面積とを表示すること、
     を備えることを特徴とする情報処理システム。
  6.  対象物を撮影した画像上において前記対象物を区画する複数の線分を取得するステップと、
     前記線分の部位の種類を取得するステップと、
     前記対象物の勾配を取得するステップと、
     前記種類及び前記勾配に応じた係数を前記画像上で表示される前記線分の第1の長さに乗じて、3次元空間における前記線分の第2の長さを計算するステップと、
     前記第2の長さ表示するステップと、
     をコンピュータが実行することを特徴とする情報処理方法。
  7.  対象物を撮影した画像上において前記対象物を区画する複数の線分を取得するステップと、
     前記線分の部位の種類を取得するステップと、
     前記対象物の勾配を取得するステップと、
     前記種類及び前記勾配に応じた係数を前記画像上で表示される前記線分の第1の長さに乗じて、3次元空間における前記線分の第2の長さを計算するステップと、
     前記第2の長さ表示するステップと、
     をコンピュータに実行させるためのプログラム。
PCT/JP2023/005485 2022-04-12 2023-02-16 情報処理システム、情報処理方法及びプログラム WO2023199594A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023528343A JP7362179B1 (ja) 2022-04-12 2023-02-16 情報処理システム、情報処理方法及びプログラム
JP2023165903A JP2023171857A (ja) 2022-04-12 2023-09-27 情報処理システム、情報処理方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022065946 2022-04-12
JP2022-065946 2022-04-12

Publications (1)

Publication Number Publication Date
WO2023199594A1 true WO2023199594A1 (ja) 2023-10-19

Family

ID=88329221

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/005485 WO2023199594A1 (ja) 2022-04-12 2023-02-16 情報処理システム、情報処理方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2023199594A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0961121A (ja) * 1995-08-25 1997-03-07 Sumitomo Electric Ind Ltd 寸法計測装置及び計測方法
JP2021002247A (ja) * 2019-06-24 2021-01-07 株式会社Clue 情報処理システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0961121A (ja) * 1995-08-25 1997-03-07 Sumitomo Electric Ind Ltd 寸法計測装置及び計測方法
JP2021002247A (ja) * 2019-06-24 2021-01-07 株式会社Clue 情報処理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"What is an app that can calculate with high accuracy with simple operation | New common sense in building surveys. Roof and exterior inspection media using drones", DRONEROOFER WEB MAGAZINE, 16 March 2021 (2021-03-16), Retrieved from the Internet <URL:https://drone-roofer.com/mottobe/topics/column/237/> [retrieved on 20230410] *

Similar Documents

Publication Publication Date Title
US11783543B2 (en) Method and system for displaying and navigating an optimal multi-dimensional building model
US20210084228A1 (en) Tracking shot method and device, and storage medium
CN111612852A (zh) 用于验证相机参数的方法和装置
US20220076469A1 (en) Information display device and information display program
US20240071016A1 (en) Mixed reality system, program, mobile terminal device, and method
CN111145294A (zh) 二维户型图构建方法及装置、存储介质
JP2018026064A (ja) 画像処理装置、画像処理方法、システム
US10600202B2 (en) Information processing device and method, and program
CN113483774A (zh) 导航方法、装置、电子设备及可读存储介质
CN115097975A (zh) 用于控制视角转换的方法、装置、设备和存储介质
CN113610702A (zh) 一种建图方法、装置、电子设备及存储介质
WO2023199594A1 (ja) 情報処理システム、情報処理方法及びプログラム
JP7362179B1 (ja) 情報処理システム、情報処理方法及びプログラム
CN112767211A (zh) 救援资源推荐方法、装置、电子设备和存储介质
CN115578432A (zh) 图像处理方法、装置、电子设备及存储介质
CN113168712A (zh) 从多个图像中选择互补图像以用于3d几何提取的系统和方法
CN111581322B (zh) 视频中兴趣区域在地图窗口内显示的方法和装置及设备
CN114266876A (zh) 定位方法、视觉地图的生成方法及其装置
JP6204781B2 (ja) 情報処理方法、情報処理装置、およびコンピュータプログラム
KR20210126903A (ko) 실시간 3차원 모델 구축 방법 및 시스템
CN113096254A (zh) 目标物渲染方法及装置、计算机设备和介质
CN113516497A (zh) 信息推送方法、装备、计算机设备及存储介质
CN112988609A (zh) 数据处理方法、装置、存储介质和客户端
JP2023157779A (ja) 情報処理装置、情報処理方法及びプログラム
US11948327B2 (en) Method and system for joint object location and ground plane estimation in computer vision

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2023528343

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23788017

Country of ref document: EP

Kind code of ref document: A1