JP6908953B1 - Information processing device - Google Patents

Information processing device Download PDF

Info

Publication number
JP6908953B1
JP6908953B1 JP2021518976A JP2021518976A JP6908953B1 JP 6908953 B1 JP6908953 B1 JP 6908953B1 JP 2021518976 A JP2021518976 A JP 2021518976A JP 2021518976 A JP2021518976 A JP 2021518976A JP 6908953 B1 JP6908953 B1 JP 6908953B1
Authority
JP
Japan
Prior art keywords
site
image
shooting
unit
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021518976A
Other languages
Japanese (ja)
Other versions
JPWO2022079881A1 (en
Inventor
淳 南部
淳 南部
和義 宮内
和義 宮内
浩明 黒田
浩明 黒田
兼太郎 深見
兼太郎 深見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensyn Robotics Inc
Original Assignee
Sensyn Robotics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensyn Robotics Inc filed Critical Sensyn Robotics Inc
Priority to JP2021105688A priority Critical patent/JP2022066137A/en
Application granted granted Critical
Publication of JP6908953B1 publication Critical patent/JP6908953B1/en
Publication of JPWO2022079881A1 publication Critical patent/JPWO2022079881A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】現場の画像を効果的に管理することができるようにする。【解決手段】情報処理装置であって、現場を撮影した撮影画像の入力を受け付ける画像入力部と、現場を表す現場画像を表示し、現場画像上で撮影画像の撮影場所の指定を受け付ける撮影場所指定部と、撮影画像、現場画像、撮影場所及び撮影方向を対応付けて記憶する撮影場所記憶部と、を備えることを特徴とする。PROBLEM TO BE SOLVED: To effectively manage an image of a site. SOLUTION: The information processing apparatus is an image input unit that accepts input of a photographed image of a site, and a filming location that displays a site image representing the site and accepts a designation of a filming location of the captured image on the site image. It is characterized by including a designated unit and a photographing location storage unit that stores a photographed image, a site image, a photographing place, and a photographing direction in association with each other.

Description

本発明は、情報処理装置に関する。 The present invention relates to an information processing device.

目的地の実写画像を表示して利用者が指定した目的地に案内を行うシステムが提案されている（特許文献１参照）。 A system has been proposed that displays a live-action image of a destination and guides the user to a designated destination (see Patent Document 1).

特開２００４−２１９２９３号公報Japanese Unexamined Patent Publication No. 2004-219293

しかしながら、特許文献１に記載のシステムでは目的地の実写画像を管理するには手間がかかる。 However, in the system described in Patent Document 1, it takes time and effort to manage a live-action image of a destination.

本発明はこのような背景を鑑みてなされたものであり、現場の画像を効果的に管理することのできる技術を提供することを目的とする。 The present invention has been made in view of such a background, and an object of the present invention is to provide a technique capable of effectively managing images of a site.

上記課題を解決するための本発明の主たる発明は、情報処理装置であって、現場を撮影した撮影画像の入力を受け付ける画像入力部と、前記現場を表す現場画像を表示し、前記現場画像上で前記撮影画像の撮影場所の指定を受け付ける撮影場所指定部と、前記撮影画像、前記現場画像、前記撮影場所及び前記撮影方向を対応付けて記憶する撮影場所記憶部と、を備えることを特徴とする。 The main invention of the present invention for solving the above-mentioned problems is an information processing apparatus, which displays an image input unit that accepts input of a photographed image of a site and a site image representing the site, and displays the site image on the site image. It is characterized in that it includes a shooting location designation unit that accepts designation of a shooting location of the shot image, and a shooting location storage unit that stores the shot image, the site image, the shooting location, and the shooting direction in association with each other. do.

その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。 Other problems disclosed in the present application and solutions thereof will be clarified in the columns and drawings of the embodiments of the invention.

本発明によれば、現場の画像を効果的に管理することができる。 According to the present invention, the image of the site can be effectively managed.

本発明の一実施形態に係る撮影画像管理システムの全体構成例を示す図である。It is a figure which shows the whole structure example of the photographed image management system which concerns on one Embodiment of this invention. 管理サーバ２のハードウェア構成例を示す図である。It is a figure which shows the hardware configuration example of management server 2. 管理サーバ２のソフトウェア構成例を示す図である。It is a figure which shows the software configuration example of management server 2. 撮影場所の指定を受け付ける画面３０の一例を示す図である。It is a figure which shows an example of the screen 30 which accepts the designation of the shooting place. オブジェクトが撮影されたことの判定処理を説明する図である。It is a figure explaining the determination process that the object was photographed. 撮影画像の表示画面４０の一例を示す図である。It is a figure which shows an example of the display screen 40 of a photographed image.

＜発明の概要＞
本発明の実施形態の内容を列記して説明する。本発明は、たとえば、以下のような構成を備える。
［項目１］
現場を撮影した撮影画像の入力を受け付ける画像入力部と、
前記現場を表す現場画像を表示し、前記現場画像上で前記撮影画像の撮影場所の指定を受け付ける撮影場所指定部と、
前記撮影画像、前記現場画像、前記撮影場所及び前記撮影方向を対応付けて記憶する撮影場所記憶部と、
を備えることを特徴とする情報処理装置。
［項目２］
項目１に記載の情報処理装置であって、
前記撮影場所指定部は、前記撮影場所とともに撮影方向の入力を受け付け、
前記撮影場所記憶部は、前記撮影画像、前記現場画像及び前記撮影場所とともに、前記撮影方向を対応付けて記憶すること、
を特徴とする情報処理装置。
［項目３］
項目１に記載の情報処理装置であって、
前記撮影場所指定部は、前記現場画像とともに前記撮影画像を表示すること、
を特徴とする情報処理装置。
［項目４］
項目３に記載の情報処理装置であって、
前記現場の地図上の位置を記憶する現場位置記憶部をさらに備え、
前記画像入力部は、前記撮影画像を複数受け付け、
前記撮影場所指定部は、前記撮影画像にＧＰＳ情報が含まれている場合に、前記現場の位置から所定距離内にある前記撮影画像を特定し、特定した前記撮影画像を表示すること、
を特徴とする情報処理装置。
［項目５］
項目１に記載の情報処理装置であって、
前記現場の地図上の位置を記憶する現場位置記憶部をさらに備え、
前記撮影場所指定部は、前記撮影画像にＧＰＳ情報が含まれている場合に、前記ＧＰＳ情報が示す位置に応じた前記撮影画像上の箇所を示す情報を前記現場画像上に表示すること、
を特徴とする情報処理装置。
［項目６］
項目１に記載の情報処理装置であって、
前記撮影画像に写っているオブジェクトを示すタグ情報の入力を受け付けるタグ情報入力部と、
前記撮影画像と前記タグ情報とを対応付けて記憶する撮影オブジェクト記憶部と、
をさらに備えることを特徴とする情報処理装置。
［項目７］
項目６に記載の情報処理装置であって、
前記タグ情報の指定を受け付け、指定された前記タグ情報に対応する前記撮影画像を前記撮影オブジェクト記憶部から取得し、取得した前記撮影画像を表示する検索部をさらに備えること、
を特徴とする情報処理装置。
［項目８］
項目１に記載の情報処理装置であって、
前記現場は複数階を有する構造物であり、
前記階ごとに前記現場画像を記憶する現場画像記憶部をさらに備え、
前記撮影場所指定部は、前記階の指定を受け付け、受け付けた前記階に対応する前記現場画像を表示し、
前記撮影場所記憶部は、前記撮影画像、前記現場画像、前記撮影場所及び前記撮影方向と、前記階とを対応付けて記憶すること、
を特徴とする情報処理装置。
［項目９］
項目１に記載の情報処理装置であって、
前記撮影画像上で前記現場に配置されているオブジェクトが写っている位置の指定を受け付けるオブジェクト位置指定部と、
指定された前記オブジェクトに関連するドキュメントの指定を受け付けるドキュメント指定部と、
をさらに備え、
前記撮影場所記憶部は、前記撮影画像に対応付けて、前記位置及び前記ドキュメントをさらに記憶すること、
を特徴とする情報処理装置。
［項目１０］
項目９に記載の情報処理装置であって、
複数の前記ドキュメントを示す情報を記憶するドキュメント記憶部と、
前記ドキュメントのうち、前記撮影画像と対応付けられていないものを特定して出力する出力部と、
をさらに備えることを特徴とする情報処理装置。
［項目１１］
項目９に記載の情報処理装置であって、
前記現場に配置されている複数の前記オブジェクトを示す情報を記憶するオブジェクト記憶部と、
前記オブジェクトのうち、前記撮影画像と対応付けられていないものを特定して出力する出力部と、
をさらに備えることを特徴とする情報処理装置。
［項目１２］
項目１に記載の情報処理装置であって、
前記現場に配置されたオブジェクトの前記現場内の位置を記憶する配置位置記憶部と、
前記撮影場所から前記撮影方向に延ばした直線上に前記オブジェクトが配置されているか否かにより前記オブジェクトが撮影されたことを判定する判定部と、
撮影されていない前記オブジェクトを報知する報知部と、
をさらに備えることを特徴とする情報処理装置。
［項目１３］
項目１２に記載の情報処理装置であって、
前記画像入力部は、前記撮影画像を撮影したカメラの画角を取得し、
前記判定部は、前記撮影場所、前記撮影方向及び前記画角に基づいて撮影範囲を特定し、特定した前記撮影範囲に前記オブジェクトが含まれるか否かにより前記オブジェクトが撮影されたか否かを判定すること、
を特徴とする情報処理装置。
［項目１４］
項目１２に記載の情報処理装置であって、
前記判定部は、前記直線上で前記位置から第１の前記オブジェクトまでの間に、他の第２の前記オブジェクトが配置されている場合には、前記第１のオブジェクトは撮影されていないと判定すること、
を特徴とする情報処理装置。
［項目１５］
項目１２乃至１４のいずれか１項に記載の情報処理装置であって、
前記報知部は、所定数以上の前記撮影方向から撮影されていない前記オブジェクトを報知すること、
を特徴とする情報処理装置。
［項目１６］
項目１に記載の情報処理装置であって、
前記現場に配置されたオブジェクトの前記現場内の位置を記憶する配置位置記憶部と、
前記撮影場所から前記撮影方向に延ばした直線上に配置されている前記オブジェクトを特定する撮影オブジェクト特定部と、
をさらに備え、
前記撮影場所記憶部は、前記撮影画像に対応付けて、特定した前記オブジェクトをさらに記憶すること、
を特徴とする情報処理装置。 <Outline of the invention>
The contents of the embodiments of the present invention will be described in a list. The present invention includes, for example, the following configuration.
[Item 1]
An image input unit that accepts input of captured images of the scene,
A shooting location designation unit that displays a site image representing the site and accepts the designation of the shooting location of the captured image on the site image.
A shooting location storage unit that stores the shot image, the site image, the shooting location, and the shooting direction in association with each other.
An information processing device characterized by being equipped with.
[Item 2]
The information processing device according to item 1.
The shooting location designation unit receives input of the shooting direction together with the shooting location, and receives input.
The shooting location storage unit stores the shooting image, the site image, and the shooting location in association with the shooting direction.
An information processing device characterized by.
[Item 3]
The information processing device according to item 1.
The shooting location designation unit displays the shot image together with the site image.
An information processing device characterized by.
[Item 4]
The information processing device according to item 3.
Further equipped with a site position storage unit for storing the position on the map of the site,
The image input unit receives a plurality of the captured images and receives a plurality of captured images.
When the shooting image includes GPS information, the shooting location designation unit identifies the shooting image within a predetermined distance from the position of the site and displays the specified shooting image.
An information processing device characterized by.
[Item 5]
The information processing device according to item 1.
Further equipped with a site position storage unit for storing the position on the map of the site,
When the shooting image includes GPS information, the shooting location designation unit displays on the site image information indicating a location on the shooting image according to the position indicated by the GPS information.
An information processing device characterized by.
[Item 6]
The information processing device according to item 1.
A tag information input unit that accepts input of tag information indicating an object shown in the captured image, and a tag information input unit.
A shooting object storage unit that stores the shot image and the tag information in association with each other,
An information processing device characterized by further providing.
[Item 7]
The information processing device according to item 6.
Further comprising a search unit that accepts the designation of the tag information, acquires the photographed image corresponding to the designated tag information from the photographed object storage unit, and displays the acquired photographed image.
An information processing device characterized by.
[Item 8]
The information processing device according to item 1.
The site is a structure with multiple floors.
A site image storage unit for storing the site image is further provided for each floor.
The shooting location designation unit receives the designation of the floor, displays the site image corresponding to the received floor, and displays the site image.
The shooting location storage unit stores the shooting image, the site image, the shooting location, the shooting direction, and the floor in association with each other.
An information processing device characterized by.
[Item 9]
The information processing device according to item 1.
And o Bed object position designating unit that receives designation of a position object arranged in the field on the captured image is captured,
A document specification part that accepts the specification of the document related to the specified object, and
With more
The shooting location storage unit further stores the position and the document in association with the shot image.
An information processing device characterized by.
[Item 10]
The information processing device according to item 9.
A document storage unit that stores information indicating a plurality of the documents, and a document storage unit.
An output unit that identifies and outputs a document that is not associated with the captured image,
An information processing device characterized by further providing.
[Item 11]
The information processing device according to item 9.
An object storage unit that stores information indicating a plurality of the objects arranged at the site, and an object storage unit.
An output unit that identifies and outputs an object that is not associated with the captured image,
An information processing device characterized by further providing.
[Item 12]
The information processing device according to item 1.
An arrangement position storage unit that stores the position of an object arranged at the site in the site, and an arrangement position storage unit.
A determination unit that determines that the object has been photographed based on whether or not the object is arranged on a straight line extending from the photographing location in the photographing direction.
A notification unit that notifies the object that has not been photographed, and
An information processing device characterized by further providing.
[Item 13]
The information processing device according to item 12.
The image input unit acquires the angle of view of the camera that captured the captured image, and obtains the angle of view of the camera.
The determination unit specifies a shooting range based on the shooting location, the shooting direction, and the angle of view, and determines whether or not the object has been shot based on whether or not the object is included in the specified shooting range. To do,
An information processing device characterized by.
[Item 14]
The information processing device according to item 12.
When the other second object is arranged between the position and the first object on the straight line, the determination unit determines that the first object has not been photographed. To do,
An information processing device characterized by.
[Item 15]
The information processing device according to any one of items 12 to 14.
The notification unit notifies the objects that have not been photographed from the predetermined number or more of the photographing directions.
An information processing device characterized by.
[Item 16]
The information processing device according to item 1.
An arrangement position storage unit that stores the position of an object arranged at the site in the site, and an arrangement position storage unit.
A shooting object specifying unit that identifies the object arranged on a straight line extending from the shooting location in the shooting direction, and
With more
The shooting location storage unit further stores the specified object in association with the shot image.
An information processing device characterized by.

＜システム概要＞
以下、本発明の一実施形態に係る撮影画像管理システムについて説明する。本実施形態の撮影画像管理システムは、現場（対象となる場所、空間、領域等、３次元において所定の体積を有する場）を撮影した画像を管理しようとするものである。特に、本実施形態では、現場とは、作業の対象となる場所を示す。例えば、検査、監視、巡回、点検等の対象となる場所を現場とすることができる。本実施形態の撮影画像管理システムは、現場を撮影した撮影画像が、現場のどこで撮影されたものであるかを登録するにあたり、現場を表す現場画像（本実施形態では、フロアマップを想定するが、現場内の場所を特定可能な画像であればよく、例えば、青写真や設計図、見取り図、模式図などであってもよい。）上で撮影位置の指定を行うことで効率的な撮影画像の管理を行うことができるようにしている。本実施形態では、撮影画像は、パノラマ画像、とくにカメラの全周囲を撮影した画像（以下、３６０度画像という。）であることを想定しているが、３６０度画像に限らず、通常のカメラで所定画角内を撮影した画像としてもよい。<System overview>
Hereinafter, a photographed image management system according to an embodiment of the present invention will be described. The captured image management system of the present embodiment is intended to manage images captured at a site (a place having a predetermined volume in three dimensions such as a target place, space, area, etc.). In particular, in the present embodiment, the site indicates a place to be worked. For example, the site can be a place subject to inspection, monitoring, patrol, inspection, or the like. The photographed image management system of the present embodiment assumes a site image representing the site (in this embodiment, a floor map is assumed) when registering where the photographed image of the site was photographed at the site. , Any image that can identify the location in the site, for example, a blueprint, a design drawing, a sketch, a schematic drawing, etc.) Efficient shooting image by specifying the shooting position on It is possible to manage. In the present embodiment, it is assumed that the captured image is a panoramic image, particularly an image obtained by capturing the entire circumference of the camera (hereinafter referred to as a 360-degree image), but the captured image is not limited to the 360-degree image and is a normal camera. It may be an image taken within a predetermined angle of view.

図１は、本発明の一実施形態に係る撮影画像管理システムの全体構成例を示す図である。本実施形態の撮影画像管理システムは、管理サーバ２を含んで構成される。管理サーバ２は、ユーザ端末１と通信ネットワーク３を介して通信可能に接続される。通信ネットワーク３は、たとえばインターネットであり、公衆電話回線網や携帯電話回線網、無線通信路、イーサネット（登録商標）などにより構築される。 FIG. 1 is a diagram showing an overall configuration example of a captured image management system according to an embodiment of the present invention. The captured image management system of the present embodiment includes a management server 2. The management server 2 is communicably connected to the user terminal 1 via the communication network 3. The communication network 3 is, for example, the Internet, and is constructed by a public telephone line network, a mobile phone line network, a wireless communication path, Ethernet (registered trademark), or the like.

ユーザ端末１は、現場を撮影した撮影画像を登録しようとするユーザが操作するコンピュータである。ユーザ端末１は、例えば、スマートフォンやタブレットコンピュータ、パーソナルコンピュータなどである。ユーザは、現場を撮影した者であってもよいし、現場を撮影した撮影画像を登録する作業を行う者であってもよい。また、ユーザ端末１は、現場を撮影した撮影画像を閲覧しようとするユーザが操作してもよい。なお、撮影画像を登録するユーザのユーザ端末１と、撮影画像を閲覧するユーザのユーザ端末１とを別としてもよい。 The user terminal 1 is a computer operated by a user who intends to register a photographed image of a scene. The user terminal 1 is, for example, a smartphone, a tablet computer, a personal computer, or the like. The user may be a person who has photographed the site, or may be a person who performs a work of registering a photographed image of the site. Further, the user terminal 1 may be operated by a user who wants to view a photographed image of the scene. The user terminal 1 of the user who registers the captured image and the user terminal 1 of the user who browses the captured image may be separated.

管理サーバ２は、撮影画像を管理するコンピュータである。管理サーバ２は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、あるいはクラウド・コンピューティングによって論理的に実現されてもよい。 The management server 2 is a computer that manages captured images. The management server 2 may be a general-purpose computer such as a workstation or a personal computer, or may be logically realized by cloud computing.

＜管理サーバ２のハードウェア構成＞
図２は、管理サーバ２のハードウェア構成例を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。管理サーバ２は、ＣＰＵ２０１、メモリ２０２、記憶装置２０３、通信インタフェース２０４、入力装置２０５、出力装置２０６を備える。記憶装置２０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース２０４は、通信ネットワーク３に接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Universal Serial Bus）コネクタやＲＳ２３２Ｃコネクタなどである。入力装置２０５は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置２０６は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。なお、後述する管理サーバ２が備える各機能部はＣＰＵ２０１が記憶装置２０３に記憶されているプログラムをメモリ２０２に読み出して実行することにより実現され、管理サーバ２の各記憶部は、メモリ２０２及び記憶装置２０３が提供する記憶領域の一部として実現される。<Hardware configuration of management server 2>
FIG. 2 is a diagram showing a hardware configuration example of the management server 2. The illustrated configuration is an example, and may have other configurations. The management server 2 includes a CPU 201, a memory 202, a storage device 203, a communication interface 204, an input device 205, and an output device 206. The storage device 203 stores various data and programs, such as a hard disk drive, a solid state drive, and a flash memory. The communication interface 204 is an interface for connecting to the communication network 3, for example, an adapter for connecting to Ethernet (registered trademark), a modem for connecting to a public telephone network, and a wireless communication device for performing wireless communication. , USB (Universal Serial Bus) connector for serial communication, RS232C connector and the like. The input device 205 is, for example, a keyboard, a mouse, a touch panel, a button, a microphone, or the like for inputting data. The output device 206 is, for example, a display, a printer, a speaker, or the like that outputs data. Each functional unit included in the management server 2 described later is realized by the CPU 201 reading the program stored in the storage device 203 into the memory 202 and executing the program, and each storage unit of the management server 2 is the memory 202 and the storage unit. It is realized as a part of the storage area provided by the device 203.

＜管理サーバ２のソフトウェア構成＞
図３は、管理サーバ２のソフトウェア構成例を示す図である。管理サーバ２は、画像入力部２１１、撮影場所指定部２１２、タグ情報入力部２１３、検索部２１４、オブジェクト位置指定部２１５、ドキュメント指定部２１６、出力部２１７、判定部２１８、報知部２１９、撮影オブジェクト特定部２２０、撮影画像表示部２２１、撮影場所記憶部２３１、現場位置記憶部２３２、撮影オブジェクト記憶部２３３、現場画像記憶部２３４、ドキュメント記憶部２３５、配置オブジェクト記憶部２３６を備える。 <Software configuration of management server 2>
FIG. 3 is a diagram showing a software configuration example of the management server 2. Management server 2, the image input unit 211, the shooting location designation part 212, the tag information input unit 213, a search unit 214, O blanking object position specifying section 215, a document specifying unit 216, an output unit 217, determination unit 218, the notification unit 219 A shooting object identification unit 220, a shooting image display unit 221 and a shooting location storage unit 231, a site position storage unit 232, a shooting object storage unit 233, a site image storage unit 234, a document storage unit 235, and an arrangement object storage unit 236 are provided.

＜１．ＵＩ＞
本実施形態の撮影画像管理システムでは、現場を撮影した撮影画像について現場のどこで撮影したかを容易に設定することが可能なユーザインタフェースを提供する。<1. UI>
The captured image management system of the present embodiment provides a user interface that can easily set where the captured image captured at the site was captured at the site.

画像入力部２１１は、現場を撮影した撮影画像の入力を受け付ける。本実施形態では、画像入力部２１１は、３６０度画像の入力を受け付けることを想定する。画像入力部２１１は、例えば、ファイルとして撮影画像の入力を受け付けることができる。画像入力部２１１は、例えば、ユーザ端末１から撮影画像のファイルを受信するようにしてもよいし、管理サーバ２の入力装置２０５から撮影画像の入力を受け付けるようにしてもよい。画像入力部２１１は、複数の撮影画像を受け付けるようにしてもよい。 The image input unit 211 accepts input of a photographed image of the scene. In the present embodiment, it is assumed that the image input unit 211 accepts the input of a 360-degree image. The image input unit 211 can accept input of a captured image as a file, for example. For example, the image input unit 211 may receive the captured image file from the user terminal 1, or may accept the input of the captured image from the input device 205 of the management server 2. The image input unit 211 may accept a plurality of captured images.

現場画像記憶部２３４は、現場を表す現場画像を記憶する。本実施形態では、現場画像記憶部２３４は、現場は複数階を有する構造物であり、現場画像は階別のフロアマップであるものとする。現場画像記憶部２３４は、階に対応付けて現場画像を記憶することができる。 The site image storage unit 234 stores a site image representing the site. In the present embodiment, the site image storage unit 234 is a structure in which the site has a plurality of floors, and the site image is a floor map for each floor. The site image storage unit 234 can store the site image in association with the floor.

撮影場所記憶部２３１は、撮影画像、現場画像、及び撮影場所を対応付けて記憶する。また、撮影場所記憶部２３１は、撮影方向を記憶することもできる。本実施形態では、撮影場所記憶部２３１は、現場を特定する情報（現場ＩＤ）に対応付けて、撮影画像、現場画像、撮影場所、及び撮影方向を記憶する。 The shooting location storage unit 231 stores the shot image, the site image, and the shooting location in association with each other. In addition, the shooting location storage unit 231 can also store the shooting direction. In the present embodiment, the shooting location storage unit 231 stores the shooting image, the scene image, the shooting location, and the shooting direction in association with the information (site ID) that identifies the scene.

撮影場所指定部２１２は、現場画像を表示し、現場画像上で撮影画像の撮影場所の指定を受け付ける。撮影場所指定部２１２は、撮影方向の指定を受け付けることもできる。また、撮影場所指定部２１２は、現場画像とともに撮影画像を表示するようにすることができる。図４は、撮影場所の指定を受け付ける画面３０の一例を示す図である。画面３０は、例えば、Ｗｅｂページとして作成することができ、撮影場所指定部２１２は、Ｗｅｂページに埋め込まれる、例えば、ＪａｖａＳｃｒｉｐｔなどにより記載されたスクリプト（プログラム）として実現する、第１の撮影場所指定部と、第１の撮影場所指定部から指定された場所を受信する第２の撮影場所指定部とにより実装するようにしてもよい。画面３０は、フロアマップの表示欄３０１と、撮影画像の表示欄３０２とを備える。撮影場所指定部２１２は、例えば、階の指定を受け付けて、受け付けた階に対応するフロアマップ（現場画像）を現場画像記憶部２３４から読み出して画面３０の表示欄３０１に表示することができる。図４の例では、画像入力部２１１が複数の画像を受け付けた場合を想定しており、表示欄３０２は、複数の撮影画像を一覧表示することができる。撮影場所指定部２１２は、設定対象となる撮影画像の指定を受け付けることができる。撮影場所指定部２１２は、表示欄３０１に表示されたフロアマップ上において、設定対象となる撮影画像が撮影された場所（フロアマップ上の位置）の指定を受け付けることができる。図４の例では、撮影場所指定部２１２は、ポインタ３０３によりフロアマップ上でクリックされた位置を撮影場所として受け付けることが可能である。撮影場所指定部２１２は、指定された撮影場所を示すマーカ３０４をフロアマップ上に表示することができる。撮影場所指定部２１２は、撮影方向の入力を受け付けることができる。図４の例において、ユーザがフロアマップ上でクリックして撮影場所を指定した後、ポインタ３０３をドラッグして撮影方向を指定することができる。撮影場所指定部２１２は、このような撮影方向の指定を受け付けることができる。撮影場所指定部２１２は、撮影画像を示す情報（撮影画像ＩＤ）、現場画像を示す情報（現場画像ＩＤ）、及び撮影場所を示す画像上の座標を対応付けて撮影場所記憶部２３１に登録することができる。撮影場所指定部２１２は、撮影方向の入力を受け付けた場合には、撮影画像ＩＤ、現場画像ＩＤ及び座標に加えて、撮影方向を撮影場所記憶部２３１に登録することができる。 The shooting location designation unit 212 displays the site image and accepts the designation of the shooting location of the shot image on the site image. The shooting location designation unit 212 can also accept the designation of the shooting direction. In addition, the shooting location designation unit 212 can display the shot image together with the site image. FIG. 4 is a diagram showing an example of the screen 30 that accepts the designation of the shooting location. The screen 30 can be created as, for example, a Web page, and the shooting location designation unit 212 is embedded in the Web page, for example, realized as a script (program) described by Javascript or the like, the first shooting location designation. It may be implemented by a unit and a second imaging location designation unit that receives a location designated by the first imaging location designation unit. The screen 30 includes a floor map display field 301 and a captured image display field 302. For example, the shooting location designation unit 212 can receive the designation of the floor, read the floor map (site image) corresponding to the received floor from the site image storage unit 234, and display it in the display field 301 of the screen 30. In the example of FIG. 4, it is assumed that the image input unit 211 receives a plurality of images, and the display field 302 can display a list of a plurality of captured images. The shooting location designation unit 212 can accept the designation of the shooting image to be set. The shooting location designation unit 212 can accept the designation of the location (position on the floor map) where the shot image to be set is shot on the floor map displayed in the display field 301. In the example of FIG. 4, the shooting location designation unit 212 can accept the position clicked on the floor map by the pointer 303 as the shooting location. The shooting location designation unit 212 can display the marker 304 indicating the designated shooting location on the floor map. The shooting location designation unit 212 can accept the input of the shooting direction. In the example of FIG. 4, after the user clicks on the floor map to specify the shooting location, the pointer 303 can be dragged to specify the shooting direction. The shooting location designation unit 212 can accept such designation of the shooting direction. The shooting location designation unit 212 registers the information indicating the shot image (shooting image ID), the information indicating the site image (site image ID), and the coordinates on the image indicating the shooting location in association with each other in the shooting location storage unit 231. be able to. When the shooting location designation unit 212 receives the input of the shooting direction, the shooting direction can be registered in the shooting location storage unit 231 in addition to the shooting image ID, the site image ID and the coordinates.

本実施形態の撮影画像管理システムは、現場において撮影した３６０度画像を管理することができる。また、本実施形態の撮影画像管理システムでは、現場のどこで撮影したのか、また必要に応じてどちらを向いて撮影したのか、をフロアマップ上で入力するユーザインタフェースを提供することができる。 The captured image management system of the present embodiment can manage 360-degree images captured in the field. In addition, the captured image management system of the present embodiment can provide a user interface for inputting where the image was taken at the site and which direction the image was taken when necessary on the floor map.

現場位置記憶部２３２は、現場の地図上の位置（現場位置）を記憶する。現場位置は、例えば、緯度及び経度で表すことができる。現場位置は、緯度及び軽度に加えて、高度又は構造物における階を含めるようにしてもよい。現場ごとに代表地点が設定されており、現場位置は、その代表地点を設定することができる。 The site position storage unit 232 stores the position (site position) on the map of the site. The site location can be represented, for example, in latitude and longitude. The site location may include floors at altitude or structure, in addition to latitude and mildness. A representative point is set for each site, and the representative point can be set for the site position.

撮影場所指定部２１２は、撮影画像にＧＰＳ情報が含まれている場合に、現場位置から所定距離内にある撮影画像を特定し、特定した撮影画像を画面３０に表示することができる。ＧＰＳ情報は、例えば、緯度及び経度を含む。 When the shooting image includes GPS information, the shooting location designation unit 212 can specify the shooting image within a predetermined distance from the site position and display the specified shooting image on the screen 30. GPS information includes, for example, latitude and longitude.

このようにして、本実施形態の撮影画像管理システムでは、３６０度画像にＧＰＳ情報が設定されている場合には、複数ある３６０度画像の中から、現場に対応する３６０度画像をピックアップすることができる。 In this way, in the captured image management system of the present embodiment, when GPS information is set for the 360-degree image, the 360-degree image corresponding to the site is picked up from the plurality of 360-degree images. Can be done.

撮影場所指定部２１２は、撮影画像にＧＰＳ情報が含まれている場合に、ＧＰＳ情報が示す位置に応じた撮影画像上の箇所を示す情報をフロアマップ上に表示することができる。例えば、撮影場所指定部２１２は、表示欄３０２から撮影画像が選択された場合に、撮影画像に設定されているＧＰＳ情報に対応するフロアマップ上の位置に、マーカ３０４を設定し、そのマーカ３０４をユーザに移動させるようにすることができる。 When the shooting image includes GPS information, the shooting location designation unit 212 can display information indicating a location on the shooting image according to the position indicated by the GPS information on the floor map. For example, when the shooting image is selected from the display field 302, the shooting location designation unit 212 sets the marker 304 at a position on the floor map corresponding to the GPS information set in the shooting image, and the marker 304 Can be moved to the user.

このようにして、本実施形態の撮影画像管理システムでは、３６０度画像にＧＰＳ情報が設定されている場合には、現場における撮影位置をサジェストすることができる。ユーザは、サジェストされた位置を調整することで、容易に撮影位置の設定を行うことが可能となる。 In this way, in the captured image management system of the present embodiment, when GPS information is set in the 360-degree image, it is possible to suggest the photographing position at the site. The user can easily set the shooting position by adjusting the suggested position.

タグ情報入力部２１３は、撮影画像に写っている設備（オブジェクト）を示すタグ情報の入力を受け付ける。図４の例では、画面３０は、新規のタグの入力欄３０５と、設定済みのタグの一覧３０６とを備えている。タグ情報入力部２１３は、入力欄３０５に入力されたタグ情報又は一覧３０６から選択されたタグ情報を、撮影画像に対応付けて撮影オブジェクト記憶部２３３に登録することができる。 The tag information input unit 213 accepts the input of tag information indicating the equipment (object) shown in the captured image. In the example of FIG. 4, the screen 30 includes a new tag input field 305 and a set tag list 306. The tag information input unit 213 can register the tag information input in the input field 305 or the tag information selected from the list 306 in the photographed object storage unit 233 in association with the photographed image.

撮影オブジェクト記憶部２３３は、撮影画像とタグ情報とを対応付けて記憶することができる。 The shooting object storage unit 233 can store the shot image and the tag information in association with each other.

このようにして、本実施形態の撮影画像管理システムでは、３６０度画像に写っている設備等のオブジェクトにタグ付けをすることができる。 In this way, in the captured image management system of the present embodiment, it is possible to tag objects such as equipment appearing in the 360-degree image.

検索部２１４は、タグ情報の指定を受け付け、指定されたタグ情報に対応する撮影画像を撮影オブジェクト記憶部２３３から取得し、取得した撮影画像を表示することができる。図４の例では、画面３０は入力欄３０７を備えており、検索部２１４は、入力欄３０７に入力されたテキストに一致又は類似したタグ情報を撮影オブジェクト記憶部２３３から検索することができる。 The search unit 214 can accept the designation of the tag information, acquire the photographed image corresponding to the designated tag information from the photographed object storage unit 233, and display the acquired photographed image. In the example of FIG. 4, the screen 30 includes an input field 307, and the search unit 214 can search the photographed object storage unit 233 for tag information that matches or is similar to the text input in the input field 307.

このようにして、本実施形態の撮影画像管理システムでは、タグから３６０度画像を検索することができる。したがって、例えば、ある特定の設備（オブジェクト）が写っている撮影画像を容易に検索することができる。 In this way, in the captured image management system of the present embodiment, a 360-degree image can be searched from the tag. Therefore, for example, it is possible to easily search for a photographed image showing a specific facility (object).

また、撮影場所指定部２１２は、階の指定を受け付け、受け付けた階に対応する現場画像を表示し、撮影場所記憶部２３１は、撮影画像、現場画像、撮影場所及び撮影方向と、階とを対応付けて記憶するようにしてもよい。これにより、本実施形態の撮影画像管理システムでは、フロアマップと３６０度画像との紐付けを行うことができる。すなわち、何階の写真であるかを指定することができる。 Further, the shooting location designation unit 212 receives the designation of the floor and displays the site image corresponding to the received floor, and the shooting location storage unit 231 displays the shooting image, the site image, the shooting location, the shooting direction, and the floor. It may be associated and stored. As a result, in the captured image management system of the present embodiment, the floor map and the 360-degree image can be linked. That is, it is possible to specify the floor of the photo.

＜２．設備とドキュメントの関連付け＞
また、本実施形態の撮影画像管理システムでは、現場に設置されている設備と、ドキュメントとを関連付けることができる。ドキュメントとは、例えば、設備の説明書や詳細図面などとすることができるが、これに限らない。<2. Association of equipment and documents>
Further, in the captured image management system of the present embodiment, the equipment installed at the site can be associated with the document. The document can be, for example, a manual of equipment or a detailed drawing, but is not limited to this.

オブジェクト位置指定部２１５は、撮影画像上で現場に配置されているオブジェクトが写っている位置の指定を受け付ける。オブジェクト位置指定部２１５は、指定された位置を配置オブジェクト記憶部２３６に登録することができる。 O Bed object position specifying unit 215 receives designation of a position object arranged in the field on the photographed image is captured. The object position designation unit 215 can register the designated position in the arrangement object storage unit 236.

配置オブジェクト記憶部２３６は、現場に配置されている複数のオブジェクトを示す情報を記憶する。配置オブジェクト記憶部２３６は、設備等のオブジェクトを特定するオブジェクトＩＤと、現場を示す現場ＩＤと、現場画像を示す現場ＩＤとに対応付けて、指定された位置を記憶することができる。 The arrangement object storage unit 236 stores information indicating a plurality of objects arranged at the site. The arrangement object storage unit 236 can store a designated position in association with an object ID that identifies an object such as equipment, a site ID that indicates a site, and a site ID that indicates a site image.

ドキュメント指定部２１６は、指定されたオブジェクトに関連するドキュメントの指定を受け付けることができる。ドキュメントは、例えば、ＰＤＦファイルや画像ファイルとすることができる。これにより、Ｗｅｂ画像上においてドキュメントへのリンクを設定することができる。 The document designation unit 216 can accept the designation of the document related to the designated object. The document can be, for example, a PDF file or an image file. This makes it possible to set a link to the document on the Web image.

撮影場所記憶部２３１は、撮影画像に対応付けて、オブジェクトの位置（アイコン位置）及びドキュメントをさらに記憶することができる。 The shooting location storage unit 231 can further store the position (icon position) of the object and the document in association with the shot image.

本実施形態の撮影画像管理システムでは、３６０度画像にアイコンを埋め込み、現場に配置されている設備等のオブジェクトに、例えば設備の説明書や詳細図面等のドキュメントと関連付けを行うことができる。 In the captured image management system of the present embodiment, an icon can be embedded in a 360-degree image, and an object such as equipment arranged at the site can be associated with a document such as a description or detailed drawing of equipment.

ドキュメント記憶部２３５は、複数のドキュメントを示す情報を記憶することができる。撮影画像上に表示されたアイコンが選択された場合に、そのアイコンの位置に対応するドキュメントを撮影場所記憶部２３１から特定し、特定したドキュメントをドキュメント記憶部２３５から読み出して表示することができる。ドキュメント記憶部２３５は、現場を示す現場ＩＤに対応付けて、当該現場に関連するドキュメントを記憶するようにすることができる。 The document storage unit 235 can store information indicating a plurality of documents. When an icon displayed on the captured image is selected, the document corresponding to the position of the icon can be specified from the shooting location storage unit 231 and the specified document can be read out from the document storage unit 235 and displayed. The document storage unit 235 can store documents related to the site in association with the site ID indicating the site.

また、出力部２１７は、ドキュメントのうち、撮影画像と対応付けられていないものを特定して出力することができる。出力部２１７は、ドキュメント記憶部２３５に記憶されているドキュメントのうち、当該現場に対応するものであって、撮影場所記憶部２３１に登録されていないものを特定して出力することができる。 Further, the output unit 217 can identify and output a document that is not associated with the captured image. The output unit 217 can identify and output a document stored in the document storage unit 235 that corresponds to the site and is not registered in the shooting location storage unit 231.

このようにして、本実施形態の撮影画像管理システムでは、全てのドキュメントの関連付けがなされているかどうかをチェックすることができる。 In this way, in the captured image management system of the present embodiment, it is possible to check whether or not all the documents are associated with each other.

また、出力部２１７は、オブジェクトのうち、撮影画像と対応付けられていないものを特定して出力することができる。出力部２１７は、例えば、配置オブジェクト記憶部２３６に記憶されているオブジェクトのうち、撮影場所記憶部２３１に、ドキュメントと対応付けて記憶されていないものを特定して出力することができる。 Further, the output unit 217 can identify and output an object that is not associated with the captured image. For example, the output unit 217 can identify and output an object stored in the arrangement object storage unit 236 that is not stored in the shooting location storage unit 231 in association with the document.

このようにして、本実施形態の撮影画像管理システムでは、ドキュメントが紐付いていないオブジェクトを検索することができる。 In this way, in the captured image management system of the present embodiment, it is possible to search for an object to which no document is associated.

＜３．撮影のアラート＞
また、本実施形態の撮影画像管理システムでは、現場での撮影に関する各種のアラートを発することができる。<3. Shooting alert>
In addition, the captured image management system of the present embodiment can issue various alerts regarding shooting at the site.

判定部２１８は、撮影画像により、現場に配置されたオブジェクトが撮影されているか否かを判定する。判定部２１８は、指定された撮影場所から撮影方向に延ばした直線上にオブジェクトが配置されているか否かによりオブジェクトが撮影されたことを判定することができる。図５は、オブジェクトが撮影されたことの判定処理を説明する図である。図５の例では、オブジェクト３１１についての判定が行われている。判定部２１８は、例えば、マーカ３０４が示す撮影場所から、撮影方向３１２を延長した直線３１３がオブジェクト３１１と交差するか否かにより、直線３１３上にオブジェクトが存在するか否かを判定することができる。この場合、配置オブジェクト記憶部２３６は、位置のみでなく、オブジェクトの形状やサイズを記憶することができる。判定部２１８は、配置オブジェクト記憶部２３６が記憶する位置、形状及びサイズに応じて、現場画像上でオブジェクトが占める領域（例えば、多角形や楕円などにより表示することができる。）を特定し、この領域と直線３１３との交差を判定することができる。 The determination unit 218 determines whether or not the object placed at the site is photographed based on the photographed image. The determination unit 218 can determine that the object has been photographed depending on whether or not the object is arranged on a straight line extending in the imaging direction from the designated imaging location. FIG. 5 is a diagram illustrating a determination process for determining that the object has been photographed. In the example of FIG. 5, the determination for the object 311 is performed. The determination unit 218 can determine whether or not an object exists on the straight line 313, for example, depending on whether or not the straight line 313 extending the shooting direction 312 intersects the object 311 from the shooting location indicated by the marker 304. can. In this case, the arrangement object storage unit 236 can store not only the position but also the shape and size of the object. The determination unit 218 identifies the area occupied by the object (for example, can be displayed by a polygon, an ellipse, or the like) on the site image according to the position, shape, and size stored by the arrangement object storage unit 236. The intersection of this region with the straight line 313 can be determined.

報知部２１９は、撮影されていないオブジェクトを報知する。報知部２１９は、画面３０上に撮影されてないオブジェクトを報知するようにしてもよいし、ユーザ端末１に対して、撮影されていないオブジェクトを記載したメッセージを送信するようにしてもよい。 The notification unit 219 notifies an object that has not been photographed. The notification unit 219 may notify the object that has not been photographed on the screen 30, or may transmit a message describing the object that has not been photographed to the user terminal 1.

このようにして、本実施形態の撮影画像管理システムでは、現場に配置された設備が写っていないことのアラートを報知することができる。 In this way, the captured image management system of the present embodiment can notify an alert that the equipment arranged at the site is not shown.

また、画像入力部２１１は、撮影画像を撮影したカメラの画角を取得し、判定部２１８は、撮影場所、撮影方向及び画角に基づいて撮影範囲を特定し、特定した撮影範囲にオブジェクトが含まれるか否かによりオブジェクトが撮影されたか否かを判定するようにしてもよい。画像入力部２１１は、カメラの画角をユーザに入力させるようにしてもよいし、撮影画像に、例えば、ＥＸＩＦ（Exchangeable image file format）により画角を示す情報が含まれているような場合には、撮影画像から画角を取得するようにしてもよい。判定部２１８は、例えば、図５の例において、画角３１４に応じて、直線３１５及び３１６の間に入る領域を撮影範囲として特定することができる。 Further, the image input unit 211 acquires the angle of view of the camera that captured the captured image, and the determination unit 218 specifies the shooting range based on the shooting location, shooting direction, and angle of view, and the object is placed in the specified shooting range. It may be determined whether or not the object has been photographed depending on whether or not it is included. The image input unit 211 may allow the user to input the angle of view of the camera, or when the captured image contains information indicating the angle of view by, for example, EXIF (Exchangeable image file format). May acquire the angle of view from the captured image. For example, in the example of FIG. 5, the determination unit 218 can specify a region between the straight lines 315 and 316 as a shooting range according to the angle of view 314.

このようにして、本実施形態の撮影画像管理システムでは、画角も考慮し、所定画角の範囲内にあるかどうかで設備が撮影されたか否かを判定することができる。 In this way, in the captured image management system of the present embodiment, it is possible to determine whether or not the equipment has been photographed based on whether or not the equipment is within a predetermined angle of view in consideration of the angle of view.

また、判定部２１８は、直線上で撮影場所から第１のオブジェクトまでの間に、他の第２のオブジェクトが配置されている場合には、第１のオブジェクトは撮影されていないと判定することができる。判定部２１８がオブジェクト３１７について撮影されているか否かを判定するに際して、直線３１３上に他のオブジェクトが存在するかどうかを判定する。図５の例では、マーカ３０４が示す撮影場所からオブジェクト３１７までの間にオブジェクト３１１が存在しているため、判定部２１８は、オブジェクト３１７は撮影されていないと判定することができる。 Further, the determination unit 218 determines that the first object has not been photographed when another second object is arranged between the shooting location and the first object on a straight line. Can be done. When the determination unit 218 determines whether or not the object 317 is photographed, it determines whether or not another object exists on the straight line 313. In the example of FIG. 5, since the object 311 exists between the shooting location indicated by the marker 304 and the object 317, the determination unit 218 can determine that the object 317 has not been shot.

このようにして、本実施形態の撮影画像管理システムでは、現場の設備が確実に撮れているかどうかをチェックすることができる。 In this way, in the captured image management system of the present embodiment, it is possible to check whether or not the equipment at the site is reliably captured.

また、報知部２１９は、所定数以上の撮影方向から撮影されていないオブジェクトを報知することができる。例えば、判定部２１８は、配置オブジェクト記憶部２３６から現場に配置されているオブジェクトを特定し、特定したオブジェクトのそれぞれについて、撮影場所記憶部２３１に登録されている各撮影画像において、当該オブジェクトが撮影されているか否かを判定する。報知部２１９は、各オブジェクトについて、当該オブジェクトを撮影したと判定された撮影画像が所定数以上存在していない場合に、その旨を報知することができる。報知部２１９は、例えば、画面３０上にアラートを表示してもよいし、ユーザ端末１にアラートを送信するようにしてもよい。 In addition, the notification unit 219 can notify an object that has not been photographed from a predetermined number or more of the photographing directions. For example, the determination unit 218 identifies an object arranged at the site from the arrangement object storage unit 236, and for each of the identified objects, the object is photographed in each photographed image registered in the photographing location storage unit 231. Judge whether or not it has been done. The notification unit 219 can notify each object when there are not more than a predetermined number of captured images determined to have captured the object. The notification unit 219 may display an alert on the screen 30, or may send the alert to the user terminal 1, for example.

このようにして、本実施形態の撮影画像管理システムでは、現場の設備が複数方向から撮影がされていることをチェックすることができる。 In this way, in the captured image management system of the present embodiment, it is possible to check that the equipment at the site is photographing from a plurality of directions.

また、撮影オブジェクト特定部２２０は、撮影場所から撮影方向に延ばした直線上に配置されているオブジェクトを特定することができる。撮影オブジェクト特定部２２０は、マーカ３０４が示す撮影場所から撮影方向３１２を延長した直線３１３上に存在するオブジェクト（直線３１３と交差するオブジェクト）を、撮影画像に撮影されたオブジェクトとして特定することができる。撮影オブジェクト特定部２２０は、特定したオブジェクトのうち、最も撮影場所に近いもののみを撮影オブジェクトとして特定するようにしてもよい。例えば、図５の例では、マーカ３０４が示す撮影場所からオブジェクト３１７までの間にオブジェクト３１１が存在しているため、撮影オブジェクト特定部２２０は、オブジェクト３１７は撮影されていないと判定することができる。また、撮影オブジェクト特定部２２０は、画角３１４を考慮して直線３１５から直線３１６までの撮影範囲に含まれているオブジェクトを撮影されたオブジェクトとして特定するようにしてもよいし、撮影範囲に含まれているオブジェクトのうち、撮影場所からオブジェクトの位置までの間に他のオブジェクトが存在していないもののみを撮影されたオブジェクトとして特定するようにしてもよい。 In addition, the shooting object identification unit 220 can specify an object arranged on a straight line extending in the shooting direction from the shooting location. The shooting object identification unit 220 can specify an object (an object that intersects the straight line 313) existing on a straight line 313 extending the shooting direction 312 from the shooting location indicated by the marker 304 as an object shot in the shot image. .. The shooting object specifying unit 220 may specify only the specified object closest to the shooting location as a shooting object. For example, in the example of FIG. 5, since the object 311 exists between the shooting location indicated by the marker 304 and the object 317, the shooting object identification unit 220 can determine that the object 317 has not been shot. .. Further, the shooting object specifying unit 220 may specify an object included in the shooting range from the straight line 315 to the straight line 316 as a shot object in consideration of the angle of view 314, or may be included in the shooting range. Of the objects that have been photographed, only those objects for which no other object exists between the shooting location and the position of the object may be specified as the photographed object.

撮影場所記憶部２３１は、撮影画像に対応付けて、特定したオブジェクトをさらに記憶することができ、撮影オブジェクト特定部２２０は、撮影画像に対応付けて特定したオブジェクトを撮影場所記憶部２３１に登録することができる。 The shooting location storage unit 231 can further store the specified object in association with the shot image, and the shooting object specifying unit 220 registers the specified object in association with the shot image in the shooting location storage unit 231. be able to.

撮影画像表示部２２１は、撮影画像を表示する。図６は、撮影画像の表示画面４０の一例を示す図である。画面４０は例えばＷｅｂページとして実現することができ、撮影画像表示部２２１はＷｅｂページを表示するための、例えばＨＴＭＬにより記述された画面データをユーザ端末１に送信することができる。また、ＷｅｂページにはＪａｖａＳｃｒｉｐｔなどのプログラムを設定し、ユーザ端末１上で動作させるようにすることができる。 The captured image display unit 221 displays the captured image. FIG. 6 is a diagram showing an example of a captured image display screen 40. The screen 40 can be realized as, for example, a Web page, and the captured image display unit 221 can transmit screen data described by, for example, HTML, for displaying the Web page to the user terminal 1. In addition, a program such as Javascript can be set on the Web page so that it can be operated on the user terminal 1.

表示画面４０には、フロアマップ４０１が表示される。ボタン４０２が押下されると階を切り替えることができる。撮影画像表示部２２１は、ボタン４０２の押下に応じてユーザに階の指定をさせることができ、指定された階に対応する現場画像を読み出してフロアマップ４０１として表示することができる。また、撮影画像表示部２２１は、撮影場所記憶部２３１から現場画像に対応する撮影位置を取得し、取得した撮影位置にマーカ４０３を表示することができる。フロアマップ４０１上でマーカ４０３が選択されると、撮影画像表示部２２１は、選択されたマーカ４０３が示す撮影場所に対応する撮影画像を撮影場所記憶部２３１から特定し、特定した撮影画像を画面４０の表示部４０４に表示することができる。また、撮影画像表示部２２１は、３６０度画像の一部を表示部４０４に表示することができ、表示部４０４に対するドラッグやスワイプなどの操作に応じて、３６０度画像の表示部分を変更することができる。 The floor map 401 is displayed on the display screen 40. When the button 402 is pressed, the floor can be switched. The captured image display unit 221 can cause the user to specify the floor in response to pressing the button 402, and can read out the site image corresponding to the designated floor and display it as the floor map 401. In addition, the captured image display unit 221 can acquire a shooting position corresponding to the site image from the shooting location storage unit 231 and display the marker 403 at the acquired shooting position. When the marker 403 is selected on the floor map 401, the captured image display unit 221 identifies the captured image corresponding to the shooting location indicated by the selected marker 403 from the shooting location storage unit 231 and displays the specified captured image on the screen. It can be displayed on the display unit 404 of 40. Further, the captured image display unit 221 can display a part of the 360-degree image on the display unit 404, and changes the display portion of the 360-degree image in response to an operation such as dragging or swiping on the display unit 404. Can be done.

また、撮影画像表示部２２１は、撮影場所記憶部２３１に撮影画像に対応するアイコン位置が設定されている場合には、撮影画像に重畳させてアイコン４０５を表示することができる。表示部４０４においてアイコン４０５が選択された場合、撮影画像表示部２２１は、対応するドキュメントを取得して表示することができる。 Further, the captured image display unit 221 can display the icon 405 by superimposing it on the captured image when the icon position corresponding to the captured image is set in the photographing location storage unit 231. When the icon 405 is selected in the display unit 404, the captured image display unit 221 can acquire and display the corresponding document.

このようにして、フロアマップ４０１から選択された撮影場所から撮影した撮影画像を表示することができ、また、撮影画像内に撮影されているオブジェクトに対する説明や詳細図面などの関連ドキュメントを表示することができる。 In this way, the captured image taken from the shooting location selected from the floor map 401 can be displayed, and related documents such as explanations and detailed drawings for the objects captured in the captured image can be displayed. Can be done.

以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。 Although the present embodiment has been described above, the above embodiment is for facilitating the understanding of the present invention, and is not for limiting and interpreting the present invention. The present invention can be modified and improved without departing from the spirit thereof, and the present invention also includes an equivalent thereof.

例えば、本実施形態では、ユーザ端末１は１台のみ表示したが、複数のユーザ端末１が存在してよい。 For example, in the present embodiment, only one user terminal 1 is displayed, but a plurality of user terminals 1 may exist.

また、本実施形態では、所定数の撮影箇所から撮影されているか否かをチェックすることができる旨を説明したが、数だけでなく、撮影方向が全周囲に分散されているか否かをチェックするようにしてもよい。例えば、オブジェクトの位置を中心として、オブジェクトの位置から撮影位置に向けた複数の直線の隣接する２直線の間の角度が、所定角度以下になっていることをチェックし、所定角度以下になっていなければアラートを報知するようにすることができる。 Further, in the present embodiment, it has been explained that it is possible to check whether or not shooting is performed from a predetermined number of shooting locations, but it is checked whether or not not only the number but also the shooting direction is dispersed all around. You may try to do it. For example, it is checked that the angle between two adjacent straight lines of a plurality of straight lines from the position of the object to the shooting position is equal to or less than a predetermined angle with the position of the object as the center, and the angle is equal to or less than the predetermined angle. If not, an alert can be sent.

また、本実施形態では、アイコンとドキュメントとは１対１で設定するものとしたが、一つのアイコンに複数のドキュメントを紐付けるようにしてもよい。例えば、ドキュメント記憶部２３５では、ドキュメントＩＤに対応付けて版を管理するようにし、アイコン４０５がクリックされた場合には、最新の版のドキュメントを表示するようにし、さらに版の選択を受付可能として、異なる版のドキュメントもユーザからの指示に応じて表示できるようにすることができる。この場合、例えば、メンテナンス履歴のドキュメントを過去に遡って閲覧するようにすることができる。 Further, in the present embodiment, the icon and the document are set on a one-to-one basis, but a plurality of documents may be associated with one icon. For example, the document storage unit 235 manages the version in association with the document ID, displays the latest version of the document when the icon 405 is clicked, and makes it possible to accept the selection of the version. , Different versions of the document can also be displayed according to the user's instructions. In this case, for example, the maintenance history document can be browsed retroactively.

また、撮影画像の撮影日や撮影時間を考慮するようにしてもよい。この場合、撮影場所記憶部２３１には、撮影日時を対応付けて記憶するようにすることができる。撮影日時は、撮影画像に含まれるＥＸＩＦ情報から取得するようにしてもよいし、カメラを制御している場合には撮影時点の日時を取得するようにしてもよいし、ユーザから入力を受け付けるようにしてもよい。また、この場合、撮影日の指定を受け付けて、指定された撮影時に対応する撮影画像についてのみフロアマップ４０１にマーカ４０３を表示して選択可能としてもよい。また、時間帯の指定を受け付けて、指定された時間帯に撮影された撮影画像についてのみフロアマップ４０１にマーカ４０３を表示して選択可能としてもよい。 In addition, the shooting date and shooting time of the shot image may be taken into consideration. In this case, the shooting location storage unit 231 can store the shooting date and time in association with each other. The shooting date and time may be acquired from the EXIF information included in the captured image, or the date and time at the time of shooting may be acquired when the camera is controlled, or input from the user may be accepted. It may be. Further, in this case, the designation of the shooting date may be accepted, and the marker 403 may be displayed on the floor map 401 to be selectable only for the shot image corresponding to the designated shooting. Further, the designation of the time zone may be accepted, and the marker 403 may be displayed on the floor map 401 so that the photographed image taken in the designated time zone can be selected.

また、同じ撮影場所に、異なるタイミングで撮影された撮影画像を登録するようにしてもよい。この場合、撮影場所記憶部２３１には、撮影場所に対応付けて、複数の撮影画像を登録されることになる。撮影画像の表示時には、最新の撮影画像を表示し、過去の時点の撮影画像についてもユーザからの指示に応じて表示可能とすることができる。 Further, the captured images taken at different timings may be registered in the same shooting location. In this case, a plurality of captured images are registered in the photographing location storage unit 231 in association with the photographing location. When displaying the captured image, the latest captured image can be displayed, and the captured image at the past time can be displayed according to the instruction from the user.

１ ユーザ端末
２ 管理サーバ
３ 通信ネットワーク
２１１ 画像入力部
２１２ 撮影場所指定部
２１３ タグ情報入力部
２１４ 検索部
２１５ オブジェクト位置指定部
２１６ ドキュメント指定部
２１７ 出力部
２１８ 判定部
２１９ 報知部
２２０ 撮影オブジェクト特定部
２２１ 撮影画像表示部
２３１ 撮影場所記憶部
２３２ 現場位置記憶部
２３３ 撮影オブジェクト記憶部
２３４ 現場画像記憶部
２３５ ドキュメント記憶部
２３６ 配置オブジェクト記憶部

1 user terminal 2 management server 3 communication network 211 image input unit 212 taken at specified unit 213 tag information input unit 214 search unit 215 O Bed object position designator 216 document specifying unit 217 output unit 218 determination unit 219 notifying unit 220 photographed objects identified 221 Photographed image display unit 231 Photographed location storage unit 232 Site position storage unit 233 Photographed object storage unit 234 Site image storage unit 235 Document storage unit 236 Arranged object storage unit

Claims (17)

現場を撮影した撮影画像の入力を受け付ける画像入力部と、
前記現場を表す現場画像を表示し、前記現場画像上で前記撮影画像の撮影場所の指定を受け付ける撮影場所指定部と、
前記撮影画像上で前記現場に配置されているオブジェクトが写っている位置の指定を受け付けるオブジェクト位置指定部と、
前記現場に関連するドキュメントを示す情報を記憶するドキュメント記憶部と、
前記現場に関連するドキュメントから、指定された前記オブジェクトに関連する前記ドキュメントの指定を受け付けるドキュメント指定部と、
前記撮影画像、前記現場画像、前記撮影場所、前記位置及び前記ドキュメントを対応付けて記憶する撮影場所記憶部と、
前記現場に関連するドキュメントのうち、前記撮影画像と対応付けられていないものを特定して出力する出力部と、
を備えることを特徴とする情報処理装置。 An image input unit that accepts input of captured images of the scene,
A shooting location designation unit that displays a site image representing the site and accepts the designation of the shooting location of the captured image on the site image.
And o Bed object position designating unit that receives designation of a position object arranged in the field on the captured image is captured,
A document storage unit that stores information indicating documents related to the site, and
A document specification unit that accepts the designation of the document related to the specified object from the document related to the site, and
A shooting location storage unit that stores the shot image, the site image, the shooting location, the position, and the document in association with each other.
An output unit that identifies and outputs documents related to the site that are not associated with the captured image.
An information processing device characterized by being equipped with. 請求項１に記載の情報処理装置であって、
前記撮影場所指定部は、前記撮影場所とともに撮影方向の入力を受け付け、
前記撮影場所記憶部は、前記撮影画像、前記現場画像及び前記撮影場所とともに、前記撮影方向を対応付けて記憶すること、
を特徴とする情報処理装置。 The information processing device according to claim 1.
The shooting location designation unit receives input of the shooting direction together with the shooting location, and receives input.
The shooting location storage unit stores the shooting image, the site image, and the shooting location in association with the shooting direction.
An information processing device characterized by. 請求項１に記載の情報処理装置であって、
前記撮影場所指定部は、前記現場画像とともに前記撮影画像を表示すること、
を特徴とする情報処理装置。 The information processing device according to claim 1.
The shooting location designation unit displays the shot image together with the site image.
An information processing device characterized by. 請求項３に記載の情報処理装置であって、
前記現場の地図上の位置を記憶する現場位置記憶部をさらに備え、
前記画像入力部は、前記撮影画像を複数受け付け、
前記撮影場所指定部は、前記撮影画像にＧＰＳ情報が含まれている場合に、前記現場の位置から所定距離内にある前記撮影画像を特定し、特定した前記撮影画像を表示すること、
を特徴とする情報処理装置。 The information processing device according to claim 3.
Further equipped with a site position storage unit for storing the position on the map of the site,
The image input unit receives a plurality of the captured images and receives a plurality of captured images.
When the shooting image includes GPS information, the shooting location designation unit identifies the shooting image within a predetermined distance from the position of the site and displays the specified shooting image.
An information processing device characterized by. 請求項１に記載の情報処理装置であって、
前記現場の地図上の位置を記憶する現場位置記憶部をさらに備え、
前記撮影場所指定部は、前記撮影画像にＧＰＳ情報が含まれている場合に、前記ＧＰＳ情報が示す位置に応じた前記撮影画像上の箇所を示す情報を前記現場画像上に表示すること、
を特徴とする情報処理装置。 The information processing device according to claim 1.
Further equipped with a site position storage unit for storing the position on the map of the site,
When the shooting image includes GPS information, the shooting location designation unit displays on the site image information indicating a location on the shooting image according to the position indicated by the GPS information.
An information processing device characterized by. 請求項１に記載の情報処理装置であって、
前記撮影画像に写っているオブジェクトを示すタグ情報の入力を受け付けるタグ情報入力部と、
前記撮影画像と前記タグ情報とを対応付けて記憶する撮影オブジェクト記憶部と、
をさらに備えることを特徴とする情報処理装置。 The information processing device according to claim 1.
A tag information input unit that accepts input of tag information indicating an object shown in the captured image, and a tag information input unit.
A shooting object storage unit that stores the shot image and the tag information in association with each other,
An information processing device characterized by further providing. 請求項６に記載の情報処理装置であって、
前記タグ情報の指定を受け付け、指定された前記タグ情報に対応する前記撮影画像を前記撮影オブジェクト記憶部から取得し、取得した前記撮影画像を表示する検索部をさらに備えること、
を特徴とする情報処理装置。 The information processing device according to claim 6.
Further comprising a search unit that accepts the designation of the tag information, acquires the photographed image corresponding to the designated tag information from the photographed object storage unit, and displays the acquired photographed image.
An information processing device characterized by. 請求項１に記載の情報処理装置であって、
前記現場は複数階を有する構造物であり、
前記階ごとに前記現場画像を記憶する現場画像記憶部をさらに備え、
前記撮影場所指定部は、前記階の指定を受け付け、受け付けた前記階に対応する前記現場画像を表示し、
前記撮影場所記憶部は、前記撮影画像、前記現場画像、及び前記撮影場所と、前記階とを対応付けて記憶すること、
を特徴とする情報処理装置。 The information processing device according to claim 1.
The site is a structure with multiple floors.
A site image storage unit for storing the site image is further provided for each floor.
The shooting location designation unit receives the designation of the floor, displays the site image corresponding to the received floor, and displays the site image.
The shooting location storage unit stores the shooting image, the site image, and the shooting location in association with the floor.
An information processing device characterized by. 請求項１に記載の情報処理装置であって、
前記現場に配置されている複数の前記オブジェクトを示す情報を記憶するオブジェクト記憶部と、
前記オブジェクトのうち、前記撮影画像と対応付けられていないものを特定して出力する出力部と、
をさらに備えることを特徴とする情報処理装置。 The information processing device according to claim 1.
An object storage unit that stores information indicating a plurality of the objects arranged at the site, and an object storage unit.
An output unit that identifies and outputs an object that is not associated with the captured image,
An information processing device characterized by further providing. 請求項１に記載の情報処理装置であって、
前記現場に配置されたオブジェクトの前記現場内の位置を記憶する配置位置記憶部と、
前記撮影場所指定部は、前記撮影場所とともに撮影方向の入力を受け付け、
前記撮影場所から前記撮影方向に延ばした直線上に前記オブジェクトが配置されているか否かにより前記オブジェクトが撮影されたことを判定する判定部と、
撮影されていない前記オブジェクトを報知する報知部と、
をさらに備えることを特徴とする情報処理装置。 The information processing device according to claim 1.
An arrangement position storage unit that stores the position of an object arranged at the site in the site, and an arrangement position storage unit.
The shooting location designation unit receives input of the shooting direction together with the shooting location, and receives input.
A determination unit that determines that the object has been photographed based on whether or not the object is arranged on a straight line extending from the photographing location in the photographing direction.
A notification unit that notifies the object that has not been photographed, and
An information processing device characterized by further providing. 請求項１０に記載の情報処理装置であって、
前記画像入力部は、前記撮影画像を撮影したカメラの画角を取得し、
前記判定部は、前記撮影場所、前記撮影方向及び前記画角に基づいて撮影範囲を特定し、特定した前記撮影範囲に前記オブジェクトが含まれるか否かにより前記オブジェクトが撮影されたか否かを判定すること、
を特徴とする情報処理装置。 The information processing device according to claim 10.
The image input unit acquires the angle of view of the camera that captured the captured image, and obtains the angle of view of the camera.
The determination unit specifies a shooting range based on the shooting location, the shooting direction, and the angle of view, and determines whether or not the object has been shot based on whether or not the object is included in the specified shooting range. To do,
An information processing device characterized by. 請求項１０に記載の情報処理装置であって、
前記判定部は、前記直線上で前記位置から第１の前記オブジェクトまでの間に、他の第２の前記オブジェクトが配置されている場合には、前記第１のオブジェクトは撮影されていないと判定すること、
を特徴とする情報処理装置。 The information processing device according to claim 10.
When the other second object is arranged between the position and the first object on the straight line, the determination unit determines that the first object has not been photographed. To do,
An information processing device characterized by. 請求項１０乃至１２のいずれか１項に記載の情報処理装置であって、
前記報知部は、所定数以上の前記撮影方向から撮影されていない前記オブジェクトを報知すること、
を特徴とする情報処理装置。 The information processing device according to any one of claims 10 to 12.
The notification unit notifies the objects that have not been photographed from the predetermined number or more of the photographing directions.
An information processing device characterized by. 請求項１に記載の情報処理装置であって、
前記現場に配置されたオブジェクトの前記現場内の位置を記憶する配置位置記憶部と、
前記撮影場所から前記撮影方向に延ばした直線上に配置されている前記オブジェクトを特定する撮影オブジェクト特定部と、
をさらに備え、
前記撮影場所記憶部は、前記撮影画像に対応付けて、特定した前記オブジェクトをさらに記憶すること、
を特徴とする情報処理装置。 The information processing device according to claim 1.
An arrangement position storage unit that stores the position of an object arranged at the site in the site, and an arrangement position storage unit.
A shooting object specifying unit that identifies the object arranged on a straight line extending from the shooting location in the shooting direction, and
With more
The shooting location storage unit further stores the specified object in association with the shot image.
An information processing device characterized by. ユーザ端末と管理サーバとを含み、 Including user terminal and management server
前記ユーザ端末は、 The user terminal is
現場を撮影した撮影画像を前記管理サーバに送信する機能と、 A function to send the captured image of the site to the management server,
前記現場を表す現場画像を表示し、前記現場画像上で前記撮影画像の撮影場所の指定を受け付ける第１の撮影場所指定部と、 A first shooting location designation unit that displays a site image representing the site and accepts designation of a shooting location of the captured image on the site image.
を備え、 With
前記管理サーバは、 The management server
前記ユーザ端末から前記撮影画像を受信する画像入力部と、 An image input unit that receives the captured image from the user terminal, and
前記撮影場所の指定を前記ユーザ端末から受信する第２の撮影場所指定部と、 A second shooting location designation unit that receives the shooting location designation from the user terminal, and
前記撮影画像上で前記現場に配置されているオブジェクトが写っている位置の指定を受け付けるオブジェクト位置指定部と、 An object position designation unit that accepts the designation of the position where the object placed at the site is shown on the captured image, and
前記現場に関連するドキュメントを示す情報を記憶するドキュメント記憶部と、 A document storage unit that stores information indicating documents related to the site, and
前記現場に関連するドキュメントから、指定された前記オブジェクトに関連する前記ドキュメントの指定を受け付けるドキュメント指定部と、 A document specification unit that accepts the designation of the document related to the specified object from the document related to the site, and
前記撮影画像、前記現場画像、前記撮影場所、前記位置及び前記ドキュメントを対応付けて記憶する撮影場所記憶部と、 A shooting location storage unit that stores the shot image, the site image, the shooting location, the position, and the document in association with each other.
前記現場に関連するドキュメントのうち、前記撮影画像と対応付けられていないものを特定して出力する出力部と、 An output unit that identifies and outputs documents related to the site that are not associated with the captured image.
を備えること、 To prepare
を特徴とする情報処理システム。 An information processing system featuring. 現場を撮影した撮影画像の入力を受け付けるステップと、 Steps to accept input of captured images of the scene,
前記現場を表す現場画像を表示し、前記現場画像上で前記撮影画像の撮影場所の指定を受け付けるステップと、 A step of displaying a site image representing the site and accepting a designation of a shooting location of the captured image on the site image.
前記撮影画像上で前記現場に配置されているオブジェクトが写っている位置の指定を受け付けるステップと、 A step of accepting the designation of the position where the object placed at the site is shown on the photographed image, and
前記現場に関連するドキュメントを示す情報を記憶するステップと、 A step of storing information indicating a document related to the site, and
前記現場に関連するドキュメントから、指定された前記オブジェクトに関連する前記ドキュメントの指定を受け付けるステップと、 A step of accepting the designation of the document related to the specified object from the document related to the site, and
前記撮影画像、前記現場画像、前記撮影場所、前記位置及び前記ドキュメントを対応付けて記憶するステップと、 A step of associating and storing the captured image, the site image, the photographing location, the position, and the document, and
前記現場に関連するドキュメントのうち、前記撮影画像と対応付けられていないものを特定して出力するステップと、 A step of identifying and outputting a document related to the site that is not associated with the captured image.
を情報処理装置が実行することを特徴とする情報処理方法。 An information processing method characterized in that an information processing device executes. 現場を撮影した撮影画像の入力を受け付けるステップと、 Steps to accept input of captured images of the scene,
前記現場を表す現場画像を表示し、前記現場画像上で前記撮影画像の撮影場所の指定を受け付けるステップと、 A step of displaying a site image representing the site and accepting a designation of a shooting location of the captured image on the site image.
前記撮影画像上で前記現場に配置されているオブジェクトが写っている位置の指定を受け付けるステップと、 A step of accepting the designation of the position where the object placed at the site is shown on the photographed image, and
前記現場に関連するドキュメントを示す情報を記憶するステップと、 A step of storing information indicating a document related to the site, and
前記現場に関連するドキュメントから、指定された前記オブジェクトに関連する前記ドキュメントの指定を受け付けるステップと、 A step of accepting the designation of the document related to the specified object from the document related to the site, and
前記撮影画像、前記現場画像、前記撮影場所、前記位置及び前記ドキュメントを対応付けて記憶するステップと、 A step of associating and storing the captured image, the site image, the photographing location, the position, and the document, and
前記現場に関連するドキュメントのうち、前記撮影画像と対応付けられていないものを特定して出力するステップと、 A step of identifying and outputting a document related to the site that is not associated with the captured image.
を情報処理装置に実行させるためのプログラム。 A program for causing an information processing device to execute.
JP2021518976A 2020-10-16 2020-10-16 Information processing device Active JP6908953B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021105688A JP2022066137A (en) 2020-10-16 2021-06-25 Information processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/039025 WO2022079881A1 (en) 2020-10-16 2020-10-16 Information processing device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021105688A Division JP2022066137A (en) 2020-10-16 2021-06-25 Information processing device

Publications (2)

Publication Number Publication Date
JP6908953B1 true JP6908953B1 (en) 2021-07-28
JPWO2022079881A1 JPWO2022079881A1 (en) 2022-04-21

Family

ID=76967273

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021518976A Active JP6908953B1 (en) 2020-10-16 2020-10-16 Information processing device
JP2021105688A Pending JP2022066137A (en) 2020-10-16 2021-06-25 Information processing device

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021105688A Pending JP2022066137A (en) 2020-10-16 2021-06-25 Information processing device

Country Status (2)

Country Link
JP (2) JP6908953B1 (en)
WO (1) WO2022079881A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034632A (en) * 1999-07-23 2001-02-09 Fuji Photo Film Co Ltd Image retrieving method
JP2002073730A (en) * 2000-09-05 2002-03-12 Jutaku Shizai Ryutsu Center:Kk Method of confirming construction state of building
JP2015118509A (en) * 2013-12-18 2015-06-25 富士ゼロックス株式会社 Information processing apparatus and information processing program
US20180025451A1 (en) * 2014-10-15 2018-01-25 UScope Technologies, Inc. Systems and Methods for Improved Property Inspection Management

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034632A (en) * 1999-07-23 2001-02-09 Fuji Photo Film Co Ltd Image retrieving method
JP2002073730A (en) * 2000-09-05 2002-03-12 Jutaku Shizai Ryutsu Center:Kk Method of confirming construction state of building
JP2015118509A (en) * 2013-12-18 2015-06-25 富士ゼロックス株式会社 Information processing apparatus and information processing program
US20180025451A1 (en) * 2014-10-15 2018-01-25 UScope Technologies, Inc. Systems and Methods for Improved Property Inspection Management

Also Published As

Publication number Publication date
WO2022079881A1 (en) 2022-04-21
JPWO2022079881A1 (en) 2022-04-21
JP2022066137A (en) 2022-04-28

Similar Documents

Publication Publication Date Title
US10346560B2 (en) Electronic blueprint system and method
KR101357260B1 (en) Apparatus and Method for Providing Augmented Reality User Interface
CN101262586B (en) Information sharing support system, information processing device and computer controlling method
EP3151197B1 (en) Automatic measurement of objects in images
JP6184125B2 (en) Medical support system
US8094242B2 (en) Object management apparatus, mobile terminal, and object management method
JP7067604B2 (en) Event monitoring system, event monitoring method, and program
JP6555026B2 (en) Information provision system
JP6686547B2 (en) Image processing system, program, image processing method
KR102568100B1 (en) Building construction safety management support system and method based on augmented reality
US9485387B2 (en) Icon arrangement drawing creation system
JP2009094868A (en) Information processing apparatus, remote indication system and program
JP2015230580A (en) Program and information processor
JP6908953B1 (en) Information processing device
JP2013113809A (en) Distance measurement system
JP2017130004A (en) Construction inspection system and method
JP2017108356A (en) Image management system, image management method and program
JP2019053359A (en) Data processing device
KR102273198B1 (en) Method and device for recognizing visually coded patterns
US11481507B2 (en) Augmented reality document redaction
WO2023095770A1 (en) Augmented reality display device, server device, augmented reality display system, augmented reality display method, and program
JP6377221B2 (en) Medical support system
US20140063240A1 (en) Systems, apparatuses, and methods for branding and/or advertising through immediate user interaction, social networking, and image sharing
JP2020149668A (en) Augmented reality document processing
WO2024018974A1 (en) Information processing method, information processing device, and information processing program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210406

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210406

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210406

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210610

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210625

R150 Certificate of patent or registration of utility model

Ref document number: 6908953

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350