WO2023157099A1 - 情報処理システム - Google Patents

情報処理システム Download PDF

Info

Publication number
WO2023157099A1
WO2023157099A1 PCT/JP2022/006025 JP2022006025W WO2023157099A1 WO 2023157099 A1 WO2023157099 A1 WO 2023157099A1 JP 2022006025 W JP2022006025 W JP 2022006025W WO 2023157099 A1 WO2023157099 A1 WO 2023157099A1
Authority
WO
WIPO (PCT)
Prior art keywords
line segment
information
node
information processing
processing system
Prior art date
Application number
PCT/JP2022/006025
Other languages
English (en)
French (fr)
Inventor
潜隆 王
Original Assignee
株式会社Clue
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Clue filed Critical 株式会社Clue
Priority to PCT/JP2022/006025 priority Critical patent/WO2023157099A1/ja
Publication of WO2023157099A1 publication Critical patent/WO2023157099A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Definitions

  • the present invention relates to an information processing system.
  • drones or multi-copters which fly by rotating multiple propellers, are used to observe objects from high places, take aerial photographs of the ground from above, or observe areas that are difficult to enter.
  • the body is sometimes used.
  • Patent Document 1 discloses that a three-dimensional image is generated from an image of an object captured by a camera mounted on an aircraft.
  • the present invention has been made in view of the above circumstances, and it is an object of the present invention to easily determine the constituent parts of an object appearing in an image.
  • an information processing system includes a display unit having a display surface for displaying an image of an object, and corresponding to the object on the image displayed on the display surface.
  • an acquisition unit that acquires a line segment that partitions at least a part of an area to be covered and nodes that connect each of the line segments; and an estimating unit for estimating the constituent parts of
  • this information processing system it is possible to automatically link the constituent parts of an object from the characteristics of the line segment that defines the area corresponding to the object shown in the image. Therefore, it is not necessary for the user to determine the component by himself/herself.
  • FIG. 3 shows an example of a mode of generating image information according to the same embodiment. It is a figure which shows the example of a display of the image information which concerns on the same embodiment. It is a figure which shows an example of generation of the node information and line segment information which concern on the same embodiment. It is a figure which shows the example of a display based on the estimation result by the estimation part which concerns on the same embodiment.
  • FIG. 1 is a diagram showing an outline of an information processing system according to one embodiment of the present invention. As illustrated, the information processing system 1 includes an information processing terminal 10 .
  • the information processing system 1 determines the component parts of the roof 101 from the captured image of the roof 101 of the building 100 that is the object.
  • the information processing terminal 10 is implemented by a so-called tablet-like small computer.
  • the information processing terminal 10 may be realized by a portable information processing terminal such as a smart phone or a game machine, or may be realized by a stationary information processing terminal such as a personal computer.
  • Information processing terminal 10 may also have a configuration in which functions are distributed among a plurality of pieces of hardware.
  • FIG. 2 is a block diagram showing the configuration of the information processing terminal 10 according to one embodiment of the present invention.
  • the information processing terminal 10 includes a control section 11 and a touch panel section 12 which is a display section.
  • the control unit 11 includes a processor 11a, a memory 11b, a storage 11c, a transmission/reception unit 11d, and an input/output unit 11e as main components, which are electrically connected to each other via a bus 11f.
  • the processor 11a is an arithmetic device that controls the operation of the control unit 11, controls transmission and reception of data between elements, and performs processes necessary for program execution.
  • This processor 11a is, for example, a CPU (Central Processing Unit) in this embodiment, and executes a program stored in a storage 11c described later and developed in a memory 11b to perform each process.
  • CPU Central Processing Unit
  • the memory 11b includes a main memory device composed of a volatile memory device such as a DRAM (Dynamic Random Access Memory), and an auxiliary memory device composed of a non-volatile memory device such as a flash memory or a HDD (Hard Disc Drive). .
  • a volatile memory device such as a DRAM (Dynamic Random Access Memory)
  • auxiliary memory device composed of a non-volatile memory device such as a flash memory or a HDD (Hard Disc Drive).
  • This memory 11b is used as a work area for the processor 11a, and stores the BIOS (Basic Input/Output System) that is executed when the control unit 11 is started, various setting information, and the like.
  • BIOS Basic Input/Output System
  • the storage 11c stores programs and information used for various processes. For example, when a user operates an aircraft for capturing image information of the roof 101 via the information processing terminal 10, the storage 11c may store a program for controlling the flight of the aircraft. .
  • the transmission/reception unit 11d connects the control unit 11 to a network such as the Internet network, and may be equipped with a short-range communication interface such as Bluetooth (registered trademark) or BLE (Bluetooth Low Energy).
  • a short-range communication interface such as Bluetooth (registered trademark) or BLE (Bluetooth Low Energy).
  • a control signal for controlling the flight of the flying object 10 may be transmitted to the flying object 10 via the transmitting/receiving section 11d.
  • the input/output unit 11e is an interface to which an input/output device is connected, and in this embodiment, the touch panel unit 12 is connected.
  • the bus 11f transmits, for example, address signals, data signals and various control signals among the connected processor 11a, memory 11b, storage 11c, transmission/reception unit 11d and input/output unit 11e.
  • the touch panel unit 12 is an example of a display unit, and includes a display surface 12a on which acquired videos and images are displayed.
  • the display surface 12a receives information input by touching the display surface 12a, and is implemented by various techniques such as a resistive film system and a capacitance system.
  • the user can input line segment information and node information via the touch panel unit 12 with respect to the image displayed on the display surface 12a.
  • Display information output by the control unit 11 is displayed on the display surface 12a.
  • FIG. 3 is a block diagram showing functional configurations of the processor 11a and storage 11c according to one embodiment of the present invention.
  • the processor 11 a includes an acquisition unit 111 , an estimation unit 113 and a display control unit 115 .
  • the storage 11 c also includes an input information database 117 and an object information database 119 .
  • the acquisition unit 111 has a function of acquiring various types of information from the input information database 117. For example, the acquisition unit 111 acquires image information 121, node information 123, and line segment information 125 included in the input information database 117. FIG.
  • the image information 121 is, for example, image information obtained by imaging the roof 101 .
  • FIG. 4 shows an example of how image information 121 is generated according to an embodiment of the present invention.
  • the image information 121 may be image information generated by capturing an image of the roof 101 as an object by the camera 31 attached to the aircraft 30 flying over the roof 101 .
  • the image information obtained by the flying object 30 is stored in the input information database 117 of the storage 11c of the information processing terminal 10.
  • the acquired image information 121 can be displayed on the display unit 12a.
  • FIG. 5 is a diagram showing a display example of the image information 121 according to one embodiment of the present invention. As illustrated, an image including the roof 101 of the building 100 is displayed on the display surface 12a based on the acquired image information 121. FIG. In this embodiment, the user operating the mobile information terminal 10 visually recognizes the structure of the roof 101 from the image displayed on the display surface 12a.
  • the node information 123 and line segment information 125 are, for example, information about nodes and line segments for partitioning the area corresponding to the roof 101 .
  • a line segment is part of the outer and inner boundaries of a region defining an object, and corresponds to a component part of the object.
  • the component parts corresponding to the line segment are eaves, ridges, and the like.
  • a node means a vertex connecting such multiple line segments. Note that when the object is the roof 101, the structural part corresponding to the node is the edge (top) of the eaves, ridge, or the like.
  • the node information 123 and the line segment information 125 may be generated, for example, by the user operating the mobile information terminal 10 operating the display surface 12a. Specifically, when an image showing the roof 101 is displayed on the display surface 12a, the user operates the touch panel unit 12 to set line segments and nodes corresponding to the constituent parts of the roof 101. good too.
  • FIG. 6 is a diagram showing an example of generation of node information and line segment information according to one embodiment of the present invention.
  • nodes 102a to 102l and line segments 103a to 103o are set by, for example, user's operation on the touch panel unit 12.
  • the nodes 102a to 102l and the line segments 103a to 103o may be set by the user's input so that the nodes and line segments are superimposed on the image of the roof 101 being displayed.
  • the area that partitions the object refers to the area surrounded by the line segments 103a to 103o.
  • the outer periphery of the area refers to a portion formed by line segments corresponding to the outermost side of the area to be partitioned, as shown in FIG.
  • the inside of the area means the inside portion surrounded by the outer circumference of the area.
  • the set nodes 102a to 102l and line segments 103a to 103o are generated as node information and line segment information, respectively, and stored in the input information database 117 of the storage 11c.
  • node information 123 and the line segment information 125 are generated by the user's operation on the touch panel unit 12, but the present invention is not limited to such an example.
  • node information and line segment information may be generated by extracting portions corresponding to nodes and line segments through image recognition processing on an image showing the roof 101 .
  • image recognition processing for example, a known machine learning method such as deep learning may be used.
  • image recognition processing can be realized by using an image showing the roof 101 and a learning model related to the components of the roof 101 .
  • Image recognition processing may be performed in the processor 11 a of the mobile information terminal 10 .
  • the estimating unit 113 has a function of estimating the component part of the target object corresponding to the set line segment based on the various input information acquired by the acquiring unit 111 and the target object information. For example, the estimation unit 113 acquires the object part information 127 and the node attribute information 129 stored in the object information database 119 . Next, the estimation unit 113 identifies node attributes defined in the node attribute information 129 for various nodes included in the node information 123 . Then, the estimating unit 113 determines, for each line segment included in the line segment information 125, the correspondence relationship between the combination of the node attributes of the nodes at both ends of the line segment and the component parts of the object included in the target object part information 127. Based on this, the constituent parts of the object are estimated. A specific example will be described below.
  • FIG. 7 is a diagram showing a display example based on the estimation result by the estimation unit 113 according to one embodiment of the present invention.
  • the display control unit 115 outputs the estimation result by the estimation unit 113 as display information and displays it on the display surface 12a.
  • the estimation unit 113 estimates node attributes defined in the node attribute information 129 for various nodes included in the node information 123 .
  • a node attribute means an attribute of a node specified from a relationship with a connecting line segment.
  • the node according to this embodiment has five attributes (the second attribute will be described later).
  • Table 1 shows an example of node attributes according to this embodiment. Note that the numbers shown in each of the nodes 102a to 102l shown in FIG. 7 are added for explanation of this embodiment, and may not actually be displayed on the display surface 12a.
  • the attribute "Corner” is an attribute given when the number of line segments connecting to a node is 2 and the position of the node in the area is on the outer circumference of the area.
  • Outer Vertex indicates that the number of line segments connected to the node is 3, the position of the node in the region is on the outer circumference of the region, and of the three line segments, the two line segments that make up the outer circumference of the region This attribute is given when the angle inside the region formed by is 180 degrees or less.
  • the attribute "Inner Vertex” indicates that the number of line segments connecting to the node is 3, the position of the node in the region is on the outer circumference of the region, and of the three line segments, the two line segments that make up the outer circumference of the region This attribute is given when the angle inside the region formed by is 180 degrees or less.
  • the attribute "Top Vertex” is an attribute given when the position of the node in the area is inside the area.
  • the attribute "Rake Top Vertex” has 3 line segments connected to the node, the position of the node in the area is on the outer circumference of the area, and two of the three line segments have the attribute "Corner”. This attribute is given when connecting.
  • the attributes of a node may be determined based on the number of line segments connected to the node. By using the information on the number of line segments, it becomes easier to distinguish between cases of nodes.
  • the attribute of a node may be determined based on the angle formed by one line segment connecting the node and another line segment. For example, as described above, depending on the angle between the line segments forming the outer periphery, the constituent parts of the object corresponding to the line segments existing between the line segments differ as described later.
  • the angle threshold is set to 180 degrees, but the present invention is not limited to such an example, and can be changed as appropriate according to the shape of the object.
  • the estimation unit 113 may estimate the attribute of a node based on the angle formed by two line segments connecting the node.
  • the attributes of a node may be determined based on which part of the area the node is located. For example, as described above, the attribute of a node may be determined depending on whether the node is on the perimeter of the area or inside the area. This is because the constituent parts of the object are distinguished by whether they are the outer shell or the inner part of the object.
  • the estimation unit 113 acquires a combination of node attributes of nodes at both ends of each line segment. Then, the estimation unit 113 compares the component parts of the object corresponding to the combination, and estimates the component part of the roof 101 corresponding to the line segment. For example, in the case of the roof 101, the component parts of the object correspond to the component parts corresponding to the ridgelines of the roof, such as "eaves”, “ridges”, “corners”, “verges”, and "valleys".
  • Table 2 shows examples of combinations of node attributes according to this embodiment.
  • attribute 1 the attribute of one of the two ends of a certain line segment (hereinafter referred to as attribute 1) is either “Corner”, “Outer Vertex” or “Inner Vertex”, and the other node (hereinafter referred to as attribute 2) is "Corner”, “Outer Vertex” or “Inner Vertex”, the line segment is estimated to be “eaves (AA)”.
  • the eaves are parallel to the ground on the roof 101 and constitute the outer periphery of the roof 101 . Therefore, in the case of the combination of attributes of the nodes described above, since the line segment between them is configured parallel to the ground, it is estimated to be the eaves.
  • the line segment is estimated to be “corner ridge (BB)". This is because the line segment is geometrically determined to be a ridge portion of the roof 101 that is convex upward. Also, when attribute 1 is "Inner Vertex” and attribute 2 is “Top Vertex”, the line segment is estimated to be “valley (CC)”. This is because the line segment is geometrically determined to be a ridge portion of the roof 101 having a downwardly convex shape.
  • the line segment is estimated to be "building (DD)". be. This is because the attribute of any node is the top of the portion that protrudes upward from the roof 101, and the line segment corresponds to the ridge connecting the tops.
  • attribute 1 is “Corner” and attribute 2 is “Rake Top Vertex”
  • the line segment is estimated to be “Verge (EE)”.
  • the verge is the tip portion on the gable side, and the combination of each node shakes the shape projecting upward from the roof 101 on the outer circumference of the region.
  • the estimating unit 113 can estimate the component part of the object corresponding to the line segment based on the attributes of the nodes at both ends of the line segment. Specifically, the estimating unit 113 can estimate the constituent part of the object corresponding to the line segment based on the combination of the attributes of the nodes at both ends of the line segment.
  • the display control unit 115 has a function of generating information (display information) regarding the component parts of the object corresponding to the line segment estimated by the estimation unit 113 . Such display information is output to the touch panel section 12 and presented via the display surface 12 a of the touch panel section 12 .
  • the display control unit 115 may display the line segments 103 a to 103 m in different display modes for each attribute of the roof 101 .
  • the line types of the line segments 103a to 103m are displayed so as to change for each structural part of the roof 101.
  • Components corresponding to line types may be indicated in legend 104 .
  • FIG. 8 is a diagram showing a display example based on the estimation result by the estimation unit 113 according to the modification of one embodiment of the present invention.
  • nodes 202a to 202l are set, and the line types of line segments 203a to 203o are displayed so as to change for each constituent part of the roof 201 of the building 200.
  • FIG. Components corresponding to linetypes may be indicated in legend 204 .
  • the display position of the legend 204 may be appropriately changed according to the shape and size of the roof 201 in the image.
  • the structural parts of the roof corresponding to the line segment are displayed by changing the line type of the line segment, but the present invention is not limited to such an example.
  • the display control unit 115 may display information about the component parts of the roof corresponding to the line segment near the line segment. Further, the display control unit 115 may display information about the constituent parts of the roof corresponding to the line segment based on the user's operation on the display surface 12a.
  • FIG. 9 is a flow chart showing an example of the processing flow of the information processing system 1 according to one embodiment of the present invention.
  • the acquiring unit 111 of the information processing terminal 10 first acquires the image information 121 stored in the storage 11c and outputs it to the estimating unit 113 (step SQ101).
  • the acquiring unit 121 acquires the node information 123 and the line segment information 125 stored in the storage 11c, and outputs them to the estimating unit 113 (step SQ103).
  • the estimation unit 113 acquires the object information (object part information 127, node attribute information 129) stored in the storage 11c (step SQ105). Next, estimation unit 113 estimates the attribute of each node included in node information 123 based on line segment information 125 and node attribute information 129 (step SQ107). Next, the estimating unit 113 uses the obtained attribute of each node and the target object part information 127 to estimate the constituent part of the object corresponding to each line segment (step SQ109). This estimation result is output to the display control unit 115 .
  • the display control unit 115 generates display information based on the estimation result (step SQ111). Then, the touch panel unit 12 displays the display information on the display surface 12a (step SQ113).
  • FIG. 10 is a diagram showing an outline of an information processing system 1' according to another embodiment.
  • an information processing system 1 ′ comprises an information processing terminal 10 and a server 20 .
  • some or all of the functions of the processor 11a and the storage 11c of the information processing terminal 10 according to the above-described embodiment may be implemented by the processor and storage of the server 20.
  • the object is the roof 101 of the building 100
  • it may be a tree or an arbitrary ground surface. It may be an object such as The constituent parts of the object are appropriately set according to the type of the object and the specific structure of the object.
  • each step in the above embodiment does not necessarily have to be processed in chronological order according to the order described in the flowchart.
  • each step in the processing of the above embodiment may be processed in an order different from the order described in the flowchart, or may be processed in parallel.
  • a display unit having a display surface for displaying an image of an object; an acquisition unit configured to acquire line segments defining at least a portion of a region corresponding to the object on the image displayed on the display surface and nodes connecting the line segments; an estimation unit for estimating a component part of the object corresponding to the line segment based on attributes of nodes at both ends of the line segment;
  • An information processing system comprising (2) The information processing system according to (1), wherein the estimating unit estimates a constituent part of the object corresponding to the line segment based on a combination of attributes of nodes at both ends of the line segment.
  • the image is an image obtained by imaging the object from above.
  • information processing system 10 information processing terminal 11 control unit 12 touch panel unit (display unit) 30 flying object 100, 200 building 101, 201 roof (object) 102, 202 nodes 103, 203 line segment 111 acquisition unit 113 estimation unit 115 display control unit 121 image information 123 node information 125 line segment information 127 object part information 129 node attribute information

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】画像に映る対象物の構成部位を容易に判別することができる情報処理システムを提供する。 【解決手段】情報処理システムは、対象物を撮像した画像を表示する表示面を有する表示部と、上記表示面に表示された上記画像上において上記対象物に対応する領域の少なくとも一部を区画する線分および該線分の各々を接続するノードを取得する取得部と、上記線分の両端のノードの属性に基づいて、上記線分に対応する上記対象物の構成部位を推定する推定部と、を備える。

Description

情報処理システム
　本発明は、情報処理システムに関する。
　対象物を高所から観察したり、上空から地上を空撮したり、あるいは立ち入りが困難な領域を観察したりする場合には、近年、複数のプロペラの回転によって飛行するいわゆるドローンあるいはマルチコプタといった飛行体が用いられることがある。
　例えば特許文献１には、飛行体に搭載したカメラで対象物を撮像した画像から三次元の画像を生成することが開示されている。
特開２０１８－１０６３０公報
　しかしながら、上記特許文献に開示された技術においては、その画像情報から対象物の構成部位など該対象物に関連した情報を直接取得することは開示されていない。そのため、画像から対象物の構成部位の情報を利用したい場合、ユーザ自身が画像を観察して対象物の構成部位を判別する必要があった。
　本発明は、上記事情に鑑みてなされたものであり、画像に映る対象物の構成部位を容易に判別することを課題とするものである。
　上記課題を達成するための、本発明に係る情報処理システムは、対象物を撮像した画像を表示する表示面を有する表示部と、上記表示面に表示された上記画像上において上記対象物に対応する領域の少なくとも一部を区画する線分および該線分の各々を接続するノードを取得する取得部と、上記線分の両端のノードの属性に基づいて、上記線分に対応する上記対象物の構成部位を推定する推定部と、を備えることを特徴としている。
　この情報処理システムによれば、画像に映る対象物に対応する領域を区画する線分の特徴から該対象物の構成部位を自動的に紐付けることができる。そのため、ユーザが該構成部位について自ら判別する必要がなくなる。
　本発明によれば、画像に映る対象物の構成部位を容易に判別することができる。
本発明の一実施形態に係る情報処理システムの概略を示す図である。 同実施形態に係る情報処理端末の構成を示すブロック図である。 同実施形態に係るプロセッサおよびストレージの機能構成を示すブロック図である。 同実施形態に係る画像情報の生成態様の一例を示す。 同実施形態に係る画像情報の表示例を示す図である。 同実施形態に係るノード情報および線分情報の生成の一例を示す図である。 同実施形態に係る推定部による推定結果に基づく表示例を示す図である。 同実施形態の変形例に係る推定部による推定結果に基づく表示例を示す図である。 同実施形態に係る情報処理システムの処理の流れの一例を示すフローチャートである。 他の実施形態に係る情報処理システムの概略を示す図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　図１は、本発明の一実施形態に係る情報処理システムの概略を示す図である。図示のように、情報処理システム１は、情報処理端末１０を備える。
　本実施形態に係る情報処理システム１は、対象物である建造物１００の屋根１０１を撮像した画像から、屋根１０１の構成部位を判別するものである。
　本実施形態に係る情報処理端末１０は、いわゆるタブレット状の小型のコンピュータによって実装される。他の実施形態においては、情報処理端末１０は、スマートフォンまたはゲーム機等の携帯型の情報処理端末により実現されてもよいし、パーソナルコンピュータ等の据え置き型の情報処理端末により実現されてもよい。また、情報処理端末１０は、複数のハードウェアにより実現され、それらに機能が分散された構成を有してもよい。
　図２は、本発明の一実施形態に係る情報処理端末１０の構成を示すブロック図である。図示のように、情報処理端末１０は、制御部１１及び表示部であるタッチパネル部１２を備える。
　制御部１１は、プロセッサ１１ａ、メモリ１１ｂ、ストレージ１１ｃ、送受信部１１ｄ、及び入出力部１１ｅを主要構成として備え、これらが互いにバス１１ｆを介して電気的に接続される。
　プロセッサ１１ａは、制御部１１の動作を制御し、各要素間におけるデータの送受信の制御や、プログラムの実行に必要な処理等を行う演算装置である。
　このプロセッサ１１ａは、本実施の形態では例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であり、後述するストレージ１１ｃに格納されてメモリ１１ｂに展開されたプログラムを実行して各処理を行う。
　メモリ１１ｂは、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶装置、及びフラッシュメモリやＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶装置を備える。
　このメモリ１１ｂは、プロセッサ１１ａの作業領域として使用される一方、制御部１１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ／Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）、及び各種の設定情報等が格納される。
　ストレージ１１ｃは、プログラムや各種の処理に用いられる情報等が格納されている。例えば、屋根１０１の画像情報を撮像するための飛行体を、情報処理端末１０を介してユーザが操作する場合、ストレージ１１ｃには、かかる飛行体の飛行を制御するプログラムが格納されていてもよい。
　送受信部１１ｄは、制御部１１をインターネット網等のネットワークに接続するものであって、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ　Ｌｏｗ　Ｅｎｅｒｇｙ）といった近距離通信インターフェースを具備するものであってもよい。
　本実施形態では、例えば、飛行体１０の飛行を制御する制御信号が、この送受信部１１ｄを介して飛行体１０に送信されてもよい。
　入出力部１１ｅは、入出力機器が接続されるインターフェースであって、本実施形態では、タッチパネル部１２が接続される。
　バス１１ｆは、接続したプロセッサ１１ａ、メモリ１１ｂ、ストレージ１１ｃ、送受信部１１ｄ及び入出力部１１ｅの間において、例えばアドレス信号、データ信号及び各種の制御信号を伝達する。
　タッチパネル部１２は、表示部の一例であり、取得した映像や画像が表示される表示面１２ａを備える。この表示面１２ａは、本実施形態では、表示面１２ａへの接触によって情報の入力を受け付けるものであって、抵抗膜方式や静電容量方式といった各種の技術によって実装される。
　例えば、ユーザは、表示面１２ａに表示された画像に対して、タッチパネル部１２を介して、線分情報やノード情報を入力し得る。また、表示面１２ａには、制御部１１により出力される表示情報が表示される。
　図３は、本発明の一実施形態に係るプロセッサ１１ａおよびストレージ１１ｃの機能構成を示すブロック図である。図示のように、プロセッサ１１ａは、取得部１１１、推定部１１３および表示制御部１１５を備える。また、ストレージ１１ｃは、入力情報データベース１１７および対象物情報データベース１１９を備える。
　取得部１１１は、入力情報データベース１１７から各種情報を取得する機能を有する。例えば、取得部１１１は、入力情報データベース１１７に含まれる画像情報１２１、ノード情報１２３および線分情報１２５を取得する。
　画像情報１２１は、例えば、屋根１０１を撮像して得られる画像の情報である。図４は、本発明の一実施形態に係る画像情報１２１の生成態様の一例を示す。図示のように、かかる画像情報１２１は、屋根１０１の上空に飛行する飛行体３０に付随するカメラ３１が、屋根１０１を対象物として撮像することにより生成される画像情報であってもよい。飛行体３０により得られる画像情報は、情報処理端末１０のストレージ１１ｃの入力情報データベース１１７に格納される。
　取得した画像情報１２１は、表示部１２ａに表示され得る。
　図５は、本発明の一実施形態に係る画像情報１２１の表示例を示す図である。図示のように、表示面１２ａには、取得された画像情報１２１をもとに、建造物１００の屋根１０１を含む画像が表示される。本実施形態では、携帯情報端末１０を操作するユーザは、表示面１２ａに表示される画像から、屋根１０１の構造を視認する。
　ノード情報１２３および線分情報１２５は、例えば、屋根１０１に対応する領域を区画するためのノードおよび線分に関する情報である。線分は、対象物を区画する領域の外側および内側の境界の一部であり、対象物の構成部位に対応する。例えば、対象物が屋根１０１である場合、線分に対応する構成部位とは、軒や棟等である。ノードは、かかる複数の線分を接続する頂点を意味する。なお、対象物が屋根１０１である場合、ノードに対応する構成部位とは、軒や棟等の端部（頂部）である。
　ノード情報１２３および線分情報１２５は、例えば、携帯情報端末１０を操作するユーザが表示面１２ａに対する操作により生成されてもよい。具体的には、表示面１２ａに屋根１０１が映る画像が表示されている場合、ユーザは、タッチパネル部１２に対して、屋根１０１の構成部位に対応する線分およびノードを設定する操作を行ってもよい。
　図６は、本発明の一実施形態に係るノード情報および線分情報の生成の一例を示す図である。図示のように、例えばユーザのタッチパネル部１２に対する操作により、ノード１０２ａ～１０２ｌおよび線分１０３ａ～１０３ｏが設定される。このとき、表示されている屋根１０１の画像に対して、ノードおよび線分が重畳されるようにユーザが入力することで、ノード１０２ａ～１０２ｌおよび線分１０３ａ～１０３ｏが設定されてもよい。このとき、対象物を区画する領域とは、各線分１０３ａ～１０３ｏにより囲まれる領域を指す。また、領域の外周とは、図６で示すように、区画する領域の最外側に対応する線分により構成される部分を指す。また、領域の内側とは、かかる領域の外周に囲まれる内側の部分を意味する。
　設定されたノード１０２ａ～１０２ｌおよび線分１０３ａ～１０３ｏはそれぞれノード情報および線分情報として生成され、ストレージ１１ｃの入力情報データベース１１７に格納される。
　なお、図６に示した例では、ユーザのタッチパネル部１２に対する操作によりノード情報１２３および線分情報１２５が生成されるとしたが、本発明はかかる例に限定されない。例えば、ノード情報および線分情報は、屋根１０１が映る画像に対する画像認識処理により、ノードおよび線分に相当する部分を抽出することで生成されてもよい。かかる画像認識処理は、例えば、ディープラーニング等の公知の機械学習による手法が用いられてもよい。この場合、例えば、屋根１０１が映る画像と屋根１０１の構成部位とに関する学習モデルを用いることで、画像認識処理が実現され得る。画像認識処理は、携帯情報端末１０のプロセッサ１１ａにおいて行われてもよい。
　推定部１１３は、取得部１１１が取得した各種入力情報と、対象物情報に基づいて、設定した線分に対応する対象物の構成部位を推定する機能を有する。例えば、推定部１１３は、対象物情報データベース１１９に格納される対象物部位情報１２７およびノード属性情報１２９を取得する。次に、推定部１１３は、ノード情報１２３に含まれる各種ノードについて、ノード属性情報１２９において定義されるノード属性を特定する。そして、推定部１１３は、線分情報１２５に含まれる各種線分について、該線分の両端のノードのノード属性の組み合わせと対象物部位情報１２７に含まれる対象物の構成部位との対応関係に基づいて、対象物の構成部位を推定する。以下、具体例について説明する。
　図７は、本発明の一実施形態に係る推定部１１３による推定結果に基づく表示例を示す図である。図示する例は、推定部１１３による推定結果を表示制御部１１５が表示情報として出力し、表示面１２ａに表示したものである。
　推定部１１３は、ノード情報１２３に含まれる各種ノードについて、ノード属性情報１２９において定義されるノード属性を推定する。ノード属性とは、接続する線分との関係から特定されるノードの属性を意味する。
　図７に示すように、本実施形態に係るノードは５つの属性を有する（そのうち２番目の属性については後述する）。本実施形態に係るノード属性の例を表１に示す。なお、図７に示すノード１０２ａ～１０２ｌのそれぞれに示す数字は本実施形態の説明のために付したものであり、表示面１２ａに実際に表示されなくてもよい。
Figure JPOXMLDOC01-appb-T000001
　表１に示すように、例えば、属性「Ｃｏｒｎｅｒ」は、ノードに接続する線分の数が２であり、領域におけるノードの位置が領域の外周上である場合に与えられる属性である。
　属性「Ｏｕｔｅｒ　Ｖｅｒｔｅｘ」は、ノードに接続する線分の数が３であり、領域におけるノードの位置が領域の外周上であり、３つの線分のうち、領域の外周を構成する２つの線分が成す領域内側の角度が１８０度以下である場合に与えられる属性である。
　属性「Ｉｎｎｅｒ　Ｖｅｒｔｅｘ」は、ノードに接続する線分の数が３であり、領域におけるノードの位置が領域の外周上であり、３つの線分のうち、領域の外周を構成する２つの線分が成す領域内側の角度が１８０度以下である場合に与えられる属性である。
　属性「Ｔｏｐ　Ｖｅｒｔｅｘ」は、領域におけるノードの位置が領域の内側である場合に与えられる属性である。
　属性「Ｒａｋｅ　Ｔｏｐ　Ｖｅｒｔｅｘ」は、ノードに接続する線分の数が３であり、領域におけるノードの位置が領域の外周上であり、３つの線分のうち２つの線分が属性「Ｃｏｒｎｅｒ」と接続する場合に与えられる属性である。
　このように、ノードの属性は、ノードに接続する線分の数に基づいて決定されてもよい。線分の数の情報を用いることにより、ノードの場合分けが容易になる。
　また、ノードの属性は、ノードと接続する一の線分と他の線分とのなす角度に基づいて決定されてもよい。例えば、上記のように、外周を成す線分間の角度に応じて、後述するように該線分間に存在する線分に対応する対象物の構成部位が異なるためである。表１に示した例では、角度によるしきい値を１８０度と設定されたが、本発明はかかる例に限定されず、対象物の形状等に応じて適宜変更可能である。例えば、推定部１１３は、ノードに接続する２つの線分がなす角度に基づいて、ノードの属性を推定してもよい。
　また、ノードの属性は、ノードが領域のどの部分に位置づけられるかに基づいて決定されてもよい。例えば、上記のように、ノードが領域の外周上にあるか、領域の内部にあるかでノードの属性が決定されてもよい。対象物の構成部位は対象物の外郭か内側かによって区別されるからである。
　次に推定部１１３は、各線分の両端のノードのノード属性の組み合わせを取得する。そして推定部１１３は、その組み合わせに対応する対象物の構成部位を突き合わせ、該線分に対応する屋根１０１の構成部位を推定する。例えば、屋根１０１の場合、対象物の構成部位とは「軒」「棟」「隅棟」「ケラバ」「谷」等、屋根の各稜線に相当する構成部位に対応する。
　本実施形態に係るノード属性の組み合わせの例を表２に示す。
Figure JPOXMLDOC01-appb-T000002
　表２に示すように、例えば、ある線分の両端のうち一方のノードの属性（以下、属性１という）が「Ｃｏｒｎｅｒ」「Ｏｕｔｅｒ　Ｖｅｒｔｅｘ」または「Ｉｎｎｅｒ　Ｖｅｒｔｅｘ」のいずれかであり、他方のノードの属性（以下、属性２という）が「Ｃｏｒｎｅｒ」「Ｏｕｔｅｒ　Ｖｅｒｔｅｘ」または「Ｉｎｎｅｒ　Ｖｅｒｔｅｘ」である場合、該線分は「軒（ＡＡ）」であると推定される。軒は、屋根１０１において地面と平行して屋根１０１の外周部を構成する。そのため、上述するノードの属性の組み合わせの場合、その間の線分は地面と平行に構成されることから、軒であると推定される。
　また、属性１が「Ｏｕｔｅｒ　Ｖｅｒｔｅｘ」であり、属性２が「Ｔｏｐ　Ｖｅｒｔｅｘ」である場合、該線分は「隅棟（ＢＢ）」であると推定される。これは、該線分が幾何学的に屋根１０１の上方に凸となる形状となっている稜線部分であると判断されるためである。また、属性１が「Ｉｎｎｅｒ　Ｖｅｒｔｅｘ」であり、属性２が「Ｔｏｐ　Ｖｅｒｔｅｘ」である場合、該線分は「谷（ＣＣ）」であると推定される。これは、該線分が幾何学的に屋根１０１の下方に凸となる形状となっている稜線部分であると判断されるためである。
　また、属性１が「Ｔｏｐ　Ｖｅｒｔｅｘ」または「Ｒａｋｅ　Ｔｏｐ　Ｖｅｒｔｅｘ」であり、属性２が「Ｔｏｐ　Ｖｅｒｔｅｘ」または「Ｒａｋｅ　Ｔｏｐ　Ｖｅｒｔｅｘ」である場合、該線分は「棟（ＤＤ）」であると推定される。これは、いずれのノードの属性も屋根１０１の上方に突出する部分の頂部であり、該線分がその頂部同士を結ぶ稜線に相当するためである。
　また、属性１が「Ｃｏｒｎｅｒ」であり、属性２が「Ｒａｋｅ　Ｔｏｐ　Ｖｅｒｔｅｘ」である場合、該線分は「ケラバ（ＥＥ）」であると推定される。ケラバは切妻側の先端部分であり、各ノードの組み合わせが、領域の外周上において、屋根１０１の上方に突出する形状を揺するためである。
　このノードの組み合わせと対象物の構成部位との対応づけは、予め設定していてもよい。
　このように、推定部１１３は、線分の両端のノードの属性に基づいて、該線分に対応する対象物の構成部位を推定することができる。具体的には、推定部１１３は、該線分の両端のノードの属性の組み合わせに基づいて、該線分に対応する対象物の構成部位を推定することができる。
　表示制御部１１５は、推定部１１３により推定された線分に対応する対象物の構成部位に関する情報（表示情報）を生成する機能を有する。かかる表示情報はタッチパネル部１２に出力され、タッチパネル部１２の表示面１２ａを介して提示される。
　例えば表示制御部１１５は、線分１０３ａ～１０３ｍについて、屋根１０１の属性ごとに表示態様を変えて表示するようにしてもよい。図７に示す例では、線分１０３ａ～１０３ｍの線の種類が屋根１０１の構成部位ごとに変更するように表示されている。線種に対応する構成部位については凡例１０４に示されてもよい。これにより、設定された線分に対応する屋根１０１の構成部位を視覚的に容易に把握することができる。
　図８は、本発明の一実施形態の変形例に係る推定部１１３による推定結果に基づく表示例を示す図である。図示する例においても同様に、ノード２０２ａ～２０２ｌが設定され、線分２０３ａ～２０３ｏの線の種類が建造物２００の屋根２０１の構成部位ごとに変更するように表示されている。線種に対応する構成部位については凡例２０４に示されてもよい。凡例２０４の表示位置は、画像における屋根２０１の形状や大きさに応じて適宜変更されてもよい。
　また、図７および図８に示した例では、線分に対応する屋根の構成部位は該線分の線の種類を変更することにより表示するようにしたが、本発明はかかる例に限定されない。例えば、表示制御部１１５は、線分の近傍に該線分に対応する屋根の構成部位に関する情報を表示するようにしてもよい。また、表示制御部１１５は、表示面１２ａに対するユーザの操作に基づいて、線分に対応する屋根の構成部位に関する情報を表示するようにしてもよい。
　次に、本実施形態に係る情報処理システム１における処理の流れについて説明する。図９は、本発明の一実施形態に係る情報処理システム１の処理の流れの一例を示すフローチャートである。図示のように、まず情報処理端末１０の取得部１１１は、ストレージ１１ｃに格納されている画像情報１２１を取得し、推定部１１３に出力する（ステップＳＱ１０１）。次に、取得部１２１は、ストレージ１１ｃに格納されているノード情報１２３および線分情報１２５を取得し、推定部１１３に出力する（ステップＳＱ１０３）。
　次に、推定部１１３は、ストレージ１１ｃに格納されている対象物情報（対象物部位情報１２７、ノード属性情報１２９）を取得する（ステップＳＱ１０５）。次に、推定部１１３は、線分情報１２５およびノード属性情報１２９に基づいて、ノード情報１２３に含まれる各ノードの属性を推定する（ステップＳＱ１０７）。次に、推定部１１３は、得られた各ノードの属性と対象物部位情報１２７とを用いて、各線分に対応する対象物の構成部位を推定する（ステップＳＱ１０９）。かかる推定結果は表示制御部１１５に出力される。
　次に、表示制御部１１５は、推定結果に基づいて表示情報を生成する（ステップＳＱ１１１）。そして、タッチパネル部１２は、表示面１２ａに該表示情報を表示する（ステップＳＱ１１３）。
　以上説明したように、本発明の実施形態によれば、画像に映る対象物の構成部位を容易に判別することが可能である。
　以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
　上記の実施形態では、情報処理システム１は、情報処理端末１０のみにより実現されていたが、本発明はかかる例に限定されない。図１０は、他の実施形態に係る情報処理システム１’の概略を示す図である。他の実施形態では、情報処理システム１’は、情報処理端末１０およびサーバ２０を備える。この場合、例えば、上記の実施形態に係る情報処理端末１０のプロセッサ１１ａおよびストレージ１１ｃが有していた機能の一部または全部が、サーバ２０の備えるプロセッサやストレージにより実現されてもよい。
　また、上記実施の形態では、対象物が建造物１００の屋根１０１である場合を説明したが、樹木や任意の地表面であってもよく、更には、一時的に停止している自動車や動物といった物体であってもよい。対象物の構成部位は、その対象物の種類や対象物が有する特定の構造に応じて適宜設定される。
　また、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理される必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本発明に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本発明の技術的範囲に属する。
（１）
　対象物を撮像した画像を表示する表示面を有する表示部と、
　上記表示面に表示された上記画像上において上記対象物に対応する領域の少なくとも一部を区画する線分および該線分の各々を接続するノードを取得する取得部と、
　上記線分の両端のノードの属性に基づいて、上記線分に対応する上記対象物の構成部位を推定する推定部と、
　を備える情報処理システム。
（２）
　上記推定部は、上記線分の両端のノードの属性の組み合わせに基づいて、上記線分に対応する上記対象物の構成部位を推定する、（１）に記載の情報処理システム。
（３）
　上記ノードの属性は、上記ノードと接続する線分の数に基づいて決定される、（１）または（２）に記載の情報処理システム。
（４）
　上記ノードの属性は、上記ノードと接続する一の線分と上記一の線分とは異なる他の線分とがなす角度に基づいて推定される、（１）～（３）のいずれか１項に記載の情報処理システム。
（５）
　上記推定部は、上記ノードが、上記領域の外周または上記領域の内側のいずれかに該当するかに基づいて推定する、（１）～（４）のいずれか１項に記載の情報処理システム。
（６）
　上記表示部は、上記推定部により推定された上記線分に対応する上記対象物の構成部位に関する情報を上記表示面に提示する、（１）～（５）のいずれか１項に記載の情報処理システム。
（７）
　上記表示部は、上記対象物の構成部位に関する情報を上記線分に対応づけて表示する、（６）に記載の情報処理システム。
（８）
　上記画像は、上記対象物の上方から撮像されて得られる画像である、（１）～（７）のいずれか１項に記載の情報処理システム。
（９）
　上記対象物が建造物の屋根である、（１）～（８）のいずれか１項に記載の情報処理システム
１　　情報処理システム
１０　　情報処理端末
１１　　制御部
１２　　タッチパネル部（表示部）
３０　　飛行体
１００、２００　　建造物
１０１、２０１　　屋根（対象物）
１０２、２０２　　ノード
１０３、２０３　　線分
１１１　　取得部
１１３　　推定部
１１５　　表示制御部
１２１　　画像情報
１２３　　ノード情報
１２５　　線分情報
１２７　　対象物部位情報
１２９　　ノード属性情報

 

Claims (9)

  1. 　対象物を撮像した画像を表示する表示面を有する表示部と、
    　前記表示面に表示された前記画像上において前記対象物に対応する領域の少なくとも一部を区画する線分および該線分の各々を接続するノードを取得する取得部と、
    　前記線分の両端のノードの属性に基づいて、前記線分に対応する前記対象物の構成部位を推定する推定部と、
    　を備える情報処理システム。
  2. 　前記推定部は、前記線分の両端のノードの属性の組み合わせに基づいて、前記線分に対応する前記対象物の構成部位を推定する、請求項１に記載の情報処理システム。
  3. 　前記ノードの属性は、前記ノードと接続する線分の数に基づいて決定される、請求項１または２に記載の情報処理システム。
  4. 　前記ノードの属性は、前記ノードと接続する一の線分と前記一の線分とは異なる他の線分とがなす角度に基づいて推定される、請求項１～３のいずれか１項に記載の情報処理システム。
  5. 　前記推定部は、前記ノードが、前記領域の外周または前記領域の内側のいずれかに該当するかに基づいて推定する、請求項１～４のいずれか１項に記載の情報処理システム。
  6. 　前記表示部は、前記推定部により推定された前記線分に対応する前記対象物の構成部位に関する情報を前記表示面に提示する、請求項１～５のいずれか１項に記載の情報処理システム。
  7. 　前記表示部は、前記対象物の構成部位に関する情報を前記線分に対応づけて表示する、請求項６に記載の情報処理システム。
  8. 前記画像は、前記対象物の上方から撮像されて得られる画像である、請求項１～７のいずれか１項に記載の情報処理システム。
  9. 　前記対象物が建造物の屋根である、請求項１～８のいずれか１項に記載の情報処理システム。

     
PCT/JP2022/006025 2022-02-15 2022-02-15 情報処理システム WO2023157099A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/006025 WO2023157099A1 (ja) 2022-02-15 2022-02-15 情報処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/006025 WO2023157099A1 (ja) 2022-02-15 2022-02-15 情報処理システム

Publications (1)

Publication Number Publication Date
WO2023157099A1 true WO2023157099A1 (ja) 2023-08-24

Family

ID=87577774

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/006025 WO2023157099A1 (ja) 2022-02-15 2022-02-15 情報処理システム

Country Status (1)

Country Link
WO (1) WO2023157099A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100114537A1 (en) * 2008-10-31 2010-05-06 Eagle View Technologies, Inc. Concurrent display systems and methods for aerial roof estimation
US20150234947A1 (en) * 2013-11-04 2015-08-20 Aurora Solar Inc. Estimation of Three-Dimensional Models of Roofs from Spatial Two-Dimensional Graphs
JP2021002246A (ja) * 2019-06-24 2021-01-07 株式会社Ｃｌｕｅ 情報処理システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100114537A1 (en) * 2008-10-31 2010-05-06 Eagle View Technologies, Inc. Concurrent display systems and methods for aerial roof estimation
US20150234947A1 (en) * 2013-11-04 2015-08-20 Aurora Solar Inc. Estimation of Three-Dimensional Models of Roofs from Spatial Two-Dimensional Graphs
JP2021002246A (ja) * 2019-06-24 2021-01-07 株式会社Ｃｌｕｅ 情報処理システム

Similar Documents

Publication Publication Date Title
US11704878B2 (en) Surface aware lens
US10635902B2 (en) Electronic apparatus and operating method thereof
KR102649254B1 (ko) 디스플레이 제어 방법, 저장 매체 및 전자 장치
US11715224B2 (en) Three-dimensional object reconstruction method and apparatus
CN108513060B (zh) 使用外部电子设备的拍摄方法和支持该方法的电子设备
CN108986016B (zh) 图像美化方法、装置及电子设备
JP7490784B2 (ja) 拡張現実マップキュレーション
US11509809B2 (en) Following control method, control terminal, and unmanned aerial vehicle
US11613354B2 (en) Method and device for controlling flight, control terminal, flight system and processor
US20210072818A1 (en) Interaction method, device, system, electronic device and storage medium
WO2017147909A1 (zh) 目标设备的控制方法和装置
WO2020073245A1 (zh) 手势识别方法、vr视角控制方法以及vr系统
JP2022087153A (ja) 情報処理システム
JP6595896B2 (ja) 電子機器及び表示制御方法
KR102159767B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
JP2022103427A (ja) 情報処理システム
WO2023157099A1 (ja) 情報処理システム
WO2022082440A1 (zh) 确定目标跟随策略的方法、装置、系统、设备及存储介质
CN112817447A (zh) 一种ar内容显示方法及系统
JP7230396B2 (ja) 画像処理プログラムおよび画像処理装置、並びにプログラム
US11138776B2 (en) Adaptive image armatures with interactive composition guidance
CN109429008B (zh) 图像处理装置、信息处理系统、信息处理方法和存储介质
CN110276737A (zh) 图像优化处理方法、装置、设备及存储介质
KR102312601B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
WO2018072178A1 (zh) 一种基于虹膜识别的图像预览方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22927002

Country of ref document: EP

Kind code of ref document: A1