JP7362011B1 - Information processing device, information processing method and program - Google Patents

Information processing device, information processing method and program Download PDF

Info

Publication number
JP7362011B1
JP7362011B1 JP2022090623A JP2022090623A JP7362011B1 JP 7362011 B1 JP7362011 B1 JP 7362011B1 JP 2022090623 A JP2022090623 A JP 2022090623A JP 2022090623 A JP2022090623 A JP 2022090623A JP 7362011 B1 JP7362011 B1 JP 7362011B1
Authority
JP
Japan
Prior art keywords
image data
electronic blackboard
terminal
data
site
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022090623A
Other languages
Japanese (ja)
Other versions
JP2023177770A (en
Inventor
高史 内藤
建丸 平井
悠生 添田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
V Cube Inc
Original Assignee
V Cube Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by V Cube Inc filed Critical V Cube Inc
Priority to JP2022090623A priority Critical patent/JP7362011B1/en
Application granted granted Critical
Publication of JP7362011B1 publication Critical patent/JP7362011B1/en
Publication of JP2023177770A publication Critical patent/JP2023177770A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

Figure 0007362011000001

【課題】現場にいる人と現場にいない人とが連携して記録画像を作成できるようにする。
【解決手段】情報処理装置1は、ネットワークNを介して接続された現場端末2から工事現場の撮像画像データを受信する画像データ受信部131と、現場端末2又は管理端末3から指示データを取得するデータ取得部132と、電子小黒板画像を作成する指示を含む指示データをデータ取得部132が取得した場合に、撮像画像データに重ねられる電子小黒板画像データを作成し、現場端末2及び管理端末3に電子小黒板画像データを送信することにより、撮像画像データ及び電子小黒板画像データを含む記録画像データに基づく記録画像を現場端末2及び管理端末3に表示させる表示処理部133と、を有する。
【選択図】図7

Figure 0007362011000001

[Problem] To enable people who are on-site and people who are not on-site to collaborate and create recorded images.
An information processing device 1 includes an image data receiving unit 131 that receives captured image data of a construction site from a site terminal 2 connected via a network N, and acquires instruction data from the site terminal 2 or a management terminal 3. When the data acquisition unit 132 acquires instruction data including an instruction to create a small electronic blackboard image, it creates small electronic blackboard image data to be superimposed on the captured image data, and sends it to the site terminal 2 and management. a display processing unit 133 that causes the field terminal 2 and the management terminal 3 to display a recorded image based on the recorded image data including the captured image data and the electronic blackboard image data by transmitting the electronic blackboard image data to the terminal 3; have
[Selection diagram] Figure 7

Description

本発明は、端末に画像を表示させるための情報処理装置、情報処理方法及びプログラムに関する。 The present invention relates to an information processing device, an information processing method, and a program for displaying images on a terminal.

従来、施工現場において撮影された画像に、施工に関する情報が記載された電子小黒板の画像が重ねられた記録画像データを作成するシステムが知られている(例えば、特許文献1を参照)。 BACKGROUND ART Conventionally, a system is known that creates recorded image data in which an image of a small electronic blackboard on which information related to construction is written is superimposed on an image taken at a construction site (for example, see Patent Document 1).

特許第7004925号公報Patent No. 7004925

従来のシステムにおいては、電子小黒板が重ねられた画像を施工現場の人以外の人が確認することができなかったので、現場にいる人と現場にいない関係者(例えば管理部門の人)が連携して記録画像を作成することができないという問題があった。 In the conventional system, it was not possible for anyone other than the construction site personnel to check the image of the electronic blackboard superimposed on it. There was a problem in that recorded images could not be created in cooperation.

そこで、本発明はこれらの点に鑑みてなされたものであり、現場にいる人と現場にいない人とが連携して記録画像を作成できるようにすることを目的とする。 Therefore, the present invention has been made in view of these points, and an object of the present invention is to enable people who are on-site and people who are not on-site to work together to create recorded images.

本発明の第1の態様の情報処理装置は、ネットワークを介して接続された現場端末から工事現場の撮像画像データを受信する画像データ受信部と、前記現場端末、又は前記工事現場と異なる場所にいる管理者が使用する管理端末から指示データを取得するデータ取得部と、電子小黒板画像を作成する指示を含む前記指示データを前記データ取得部が取得した場合に、前記撮像画像データに重ねられる電子小黒板画像データを作成し、前記現場端末及び前記管理端末に前記電子小黒板画像データを送信することにより、前記撮像画像データ及び前記電子小黒板画像データを含む記録画像データに基づく記録画像を前記現場端末及び前記管理端末に表示させる表示処理部と、を有する。 An information processing device according to a first aspect of the present invention includes an image data receiving unit that receives captured image data of a construction site from a site terminal connected via a network, and a site terminal connected to the site terminal or a location different from the construction site. a data acquisition unit that acquires instruction data from a management terminal used by an administrator; and when the data acquisition unit acquires the instruction data including an instruction to create a small electronic blackboard image, the instruction data is superimposed on the captured image data. By creating small electronic blackboard image data and transmitting the small electronic blackboard image data to the on-site terminal and the management terminal, a recorded image based on the recorded image data including the captured image data and the small electronic blackboard image data is created. It has a display processing unit that causes the on-site terminal and the management terminal to display the information.

前記表示処理部は、前記指示データが示す、前記電子小黒板画像データを表示する位置、前記電子小黒板画像データの大きさ、又は前記電子小黒板画像データの種類に基づく態様で前記撮像画像データに前記電子小黒板画像データを重ねた前記記録画像データを前記管理端末に送信してもよい。 The display processing unit displays the captured image data in a manner based on a position for displaying the electronic blackboard image data, a size of the electronic blackboard image data, or a type of the electronic blackboard image data, which is indicated by the instruction data. The recorded image data overlaid with the electronic small board image data may be transmitted to the management terminal.

前記表示処理部は、前記記録画像データを記録する指示を含む前記指示データを前記データ取得部が取得した時点で前記管理端末に表示されている前記記録画像データを記憶部に記憶させてもよい。 The display processing unit may cause a storage unit to store the recorded image data displayed on the management terminal at the time when the data acquisition unit acquires the instruction data including an instruction to record the recorded image data. .

前記データ取得部は、前記現場端末又は前記管理端末から前記電子小黒板画像に記載する文字を示す文字データを含む前記指示データを取得し、前記表示処理部は、前記データ取得部が取得した前記文字データに基づく文字を含む前記電子小黒板画像データを作成してもよい。 The data acquisition unit acquires the instruction data including character data indicating characters to be written on the electronic blackboard image from the on-site terminal or the management terminal, and the display processing unit acquires the instruction data including character data indicating characters to be written on the electronic blackboard image, and the display processing unit The electronic blackboard image data including characters based on character data may be created.

前記情報処理装置は、複数の前記電子小黒板画像データを記憶する記憶部をさらに有し、前記データ取得部は、前記複数の電子小黒板画像データから、前記記録画像データの作成に用いる電子小黒板画像データを選択するための前記指示データを取得し、前記表示処理部は、当該指示データにより特定される前記電子小黒板画像データを前記現場端末及び前記管理端末に送信してもよい。 The information processing device further includes a storage unit that stores a plurality of the electronic blackboard image data, and the data acquisition unit stores the electronic blackboard image data used for creating the recorded image data from the plurality of electronic blackboard image data. The display processing unit may acquire the instruction data for selecting blackboard image data, and transmit the small electronic blackboard image data specified by the instruction data to the site terminal and the management terminal.

前記情報処理装置は、前記記録画像データを作成する条件を記憶する記憶部をさらに有し、前記表示処理部は、前記撮像画像データが前記条件を満たす画像を含んでいる場合に前記記録画像データを前記現場端末及び前記管理端末に表示させてもよい。 The information processing device further includes a storage unit that stores conditions for creating the recorded image data, and the display processing unit stores the recorded image data when the captured image data includes an image that satisfies the conditions. may be displayed on the site terminal and the management terminal.

前記情報処理装置は、前記記録画像データを作成する対象となる工程の名称を記憶する記憶部をさらに有し、前記表示処理部は、前記撮像画像データが前記工程の名称に対応する画像を含んでいる場合に、前記工程の名称に対応する文字を含む前記電子小黒板画像データを含む前記記録画像データを前記現場端末及び前記管理端末に表示させてもよい。 The information processing device further includes a storage unit that stores a name of a process for which the recorded image data is created, and the display processing unit is configured such that the captured image data includes an image corresponding to the name of the process. In this case, the recorded image data including the electronic blackboard image data including characters corresponding to the name of the process may be displayed on the site terminal and the management terminal.

前記表示処理部は、前記電子小黒板画像データと、前記記録画像データにおいて前記電子小黒板画像データを重ねた位置を示す位置データとを前記現場端末に送信することにより、前記記録画像データと同じ位置に前記電子小黒板画像データが重ねられた前記撮像画像データを前記現場端末に表示させてもよい。 The display processing unit transmits the electronic blackboard image data and position data indicating a position where the electronic blackboard image data is overlapped in the recorded image data to the site terminal, so that the electronic blackboard image data is the same as the recorded image data. The captured image data on which the small electronic blackboard image data is superimposed may be displayed on the on-site terminal.

本発明の第2の態様の情報処理方法は、コンピュータが実行する、ネットワークを介して接続された現場端末から工事現場の撮像画像データを受信するステップと、前記現場端末、又は前記工事現場と異なる場所にいる管理者が使用する管理端末から指示データを取得するステップと、電子小黒板画像を作成する指示を含む前記指示データを取得した場合に、前記撮像画像データに重ねられる電子小黒板画像データを作成するステップと、前記現場端末及び前記管理端末に前記電子小黒板画像データを送信することにより、前記撮像画像データ及び前記電子小黒板画像データを含む記録画像データに基づく記録画像を前記現場端末及び前記管理端末に表示させるステップと、を有する。 An information processing method according to a second aspect of the present invention includes a step of receiving captured image data of a construction site from a site terminal connected via a network, which is executed by a computer, and a step different from the site terminal or the construction site. a step of acquiring instruction data from a management terminal used by an administrator at a location, and electronic small blackboard image data superimposed on the captured image data when the instruction data including an instruction to create a small electronic blackboard image is acquired; and transmitting the small electronic blackboard image data to the on-site terminal and the management terminal, so that a recorded image based on the recorded image data including the captured image data and the small electronic blackboard image data is transmitted to the on-site terminal. and displaying the information on the management terminal.

本発明の第3の態様のプログラムは、コンピュータに、ネットワークを介して接続された現場端末から工事現場の撮像画像データを受信するステップと、前記現場端末、又は前記工事現場と異なる場所にいる管理者が使用する管理端末から指示データを取得するステップと、電子小黒板画像を作成する指示を含む前記指示データを取得した場合に、前記撮像画像データに重ねられる電子小黒板画像データを作成するステップと、前記現場端末及び前記管理端末に前記電子小黒板画像データを送信することにより、前記撮像画像データ及び前記電子小黒板画像データを含む記録画像データに基づく記録画像を前記現場端末及び前記管理端末に表示させるステップと、を実行させる。 A program according to a third aspect of the present invention includes the steps of: receiving captured image data of a construction site from a site terminal connected to a computer via a network; and managing the site terminal at a location different from the construction site. a step of obtaining instruction data from a management terminal used by a person; and a step of creating electronic small blackboard image data to be superimposed on the captured image data when the instruction data including an instruction to create a small electronic blackboard image is obtained. By transmitting the small electronic blackboard image data to the on-site terminal and the management terminal, the recorded image based on the recorded image data including the captured image data and the small electronic blackboard image data is transmitted to the on-site terminal and the management terminal. The steps to be displayed and the steps to be executed.

本発明によれば、現場にいる人と現場にいない人とが連携して記録画像を作成できるという効果を奏する。 According to the present invention, it is possible to produce a recorded image in cooperation with people who are present at the site and people who are not present at the site.

情報処理システムSの概要を説明するための図である。1 is a diagram for explaining an overview of an information processing system S. FIG. 電子小黒板画像について説明するための図である。FIG. 3 is a diagram for explaining a small electronic blackboard image. 黒板設定画面の一例を示す図である。It is a figure which shows an example of a blackboard setting screen. サイズ変更画面の一例を示す図である。It is a figure which shows an example of a size change screen. 種類変更画面の一例を示す図である。It is a figure which shows an example of a type change screen. 文字入力画面について説明するための図である。FIG. 3 is a diagram for explaining a character input screen. 情報処理装置1の構成を示す図である。1 is a diagram showing the configuration of an information processing device 1. FIG. 情報処理システムSにおける処理の流れを示すシーケンス図である。3 is a sequence diagram showing the flow of processing in the information processing system S. FIG.

[情報処理システムSの概要]
図1は、情報処理システムSの概要を説明するための図である。情報処理システムSは、工事の記録として残される記録画像データを作成するために用いられる。記録画像データは、工事現場が撮影されて作成された撮像画像データと、工事の説明が記載された電子小黒板の画像データとを含んでおり、役所に提出する工事写真を含む書面を作成するために用いられる。
[Overview of information processing system S]
FIG. 1 is a diagram for explaining an overview of the information processing system S. As shown in FIG. The information processing system S is used to create recorded image data that is kept as a record of construction work. The recorded image data includes captured image data created by photographing the construction site and image data of a small electronic blackboard with an explanation of the construction work, and creates a document containing construction photos to be submitted to the government office. used for

図1に示す情報処理システムSは、情報処理装置1と、現場端末2と、管理端末3と、を備える。情報処理装置1は、ネットワークN(例えばインターネット)を介して現場端末2及び管理端末3とデータを送受信できるコンピュータである。情報処理装置1は、例えば、工事を施工する企業が管理するサーバ、又は工事記録画像データの作成を支援するサービスを提供する企業が管理するサーバである。 The information processing system S shown in FIG. 1 includes an information processing device 1, a field terminal 2, and a management terminal 3. The information processing device 1 is a computer that can send and receive data to and from the field terminal 2 and the management terminal 3 via a network N (for example, the Internet). The information processing device 1 is, for example, a server managed by a company that performs construction work, or a server managed by a company that provides a service that supports creation of construction record image data.

現場端末2は、工事現場の作業者Tが使用する情報端末であり、例えばタブレット、眼鏡型端末、ゴーグル型端末又はスマートフォンである。現場端末2は、例えば無線通信回線W及びネットワークNを介して情報処理装置1との間でデータを送受信する。 The site terminal 2 is an information terminal used by the worker T at the construction site, and is, for example, a tablet, a glasses-type terminal, a goggle-type terminal, or a smartphone. The field terminal 2 transmits and receives data to and from the information processing device 1 via the wireless communication line W and the network N, for example.

管理端末3は、工事現場と異なる場所にいる工事の管理者Uが使用する情報端末であり、例えばパーソナルコンピュータ、タブレット、眼鏡型端末、ゴーグル型端末又はスマートフォンである。管理端末3は、ネットワークNを介して情報処理装置1との間でデータを送受信する。本実施の形態においては、管理者Uが管理端末3を使用する場合を例示するが、管理端末3の使用者は任意である。 The management terminal 3 is an information terminal used by a construction manager U located at a location different from the construction site, and is, for example, a personal computer, a tablet, a glasses-type terminal, a goggle-type terminal, or a smartphone. The management terminal 3 transmits and receives data to and from the information processing device 1 via the network N. In this embodiment, the case where the administrator U uses the management terminal 3 is illustrated, but the user of the management terminal 3 is arbitrary.

以下、現場端末2及び管理端末3に記録画像が表示されるまでの手順の概要を説明する。作業者Tが現場端末2を用いて工事現場を撮影すると、現場端末2は撮像画像データを作成し、作成した撮像画像データを情報処理装置1に送信する。情報処理装置1は、受信した撮像画像データを管理端末3に送信することにより、作業者T及び管理者Uが同じ撮像画像を見えるようにする。 Hereinafter, an outline of the procedure until the recorded image is displayed on the site terminal 2 and the management terminal 3 will be explained. When the worker T photographs the construction site using the site terminal 2, the site terminal 2 creates captured image data and transmits the created captured image data to the information processing device 1. The information processing device 1 transmits the received captured image data to the management terminal 3 so that the worker T and the manager U can view the same captured image.

情報処理装置1は、作業者T又は管理者Uの操作により、現場端末2又は管理端末3から電子小黒板画像を表示するための指示を受信すると、作業者T又は管理者Uにより内容が入力された電子小黒板画像データを撮像画像データに重ねることにより、記録画像データを作成する。情報処理装置1は、記録画像データを現場端末2及び管理端末3に送信することにより、現場端末2及び管理端末3が記録画像を表示することができる。 When the information processing device 1 receives an instruction to display a small electronic blackboard image from the site terminal 2 or the management terminal 3 through the operation of the worker T or the manager U, the information processing device 1 inputs the contents by the worker T or the manager U. By superimposing the electronic blackboard image data thus obtained on the captured image data, recorded image data is created. The information processing device 1 transmits the recorded image data to the site terminal 2 and the management terminal 3, so that the site terminal 2 and the management terminal 3 can display the recorded image.

[記録画像作成手順の概要]
図2は、電子小黒板画像について説明するための図である。図2(a)は、現場端末2が作成した撮像画像が表示された画面の一例を示している。図2(a)には、「黒板を表示」というボタンが表示されている。図2(b)には、「黒板メニューを表示」というボタンと「登録」というボタンが表示されている。
[Overview of recorded image creation procedure]
FIG. 2 is a diagram for explaining a small electronic blackboard image. FIG. 2(a) shows an example of a screen on which a captured image created by the on-site terminal 2 is displayed. In FIG. 2(a), a button labeled "Display blackboard" is displayed. In FIG. 2(b), a button labeled "Display blackboard menu" and a button labeled "Register" are displayed.

このようなボタンの画像を表示する方法は任意である。情報処理装置1が、このようなボタンの画像データを現場端末2及び管理端末3に送信し、現場端末2及び管理端末3が有するプロセッサが、ボタンの画像データをディスプレイに表示させてもよく、現場端末2及び管理端末3が有するプロセッサが、予めメモリに記憶したボタンの画像データをディスプレイに表示させてもよい。 Any method can be used to display such a button image. The information processing device 1 may transmit such button image data to the site terminal 2 and the management terminal 3, and the processors of the site terminal 2 and the management terminal 3 may display the button image data on a display. The processors included in the field terminal 2 and the management terminal 3 may display button image data stored in memory in advance on the display.

作業者T又は管理者Uが「黒板を表示」というボタンを選択すると、図2(b)に示すように、撮像画像に電子小黒板画像が重ねて表示された暫定的な記録画像が表示される。「黒板メニューを表示」というボタンは、電子小黒板画像の態様を設定するために用いられるボタンである。作業者T又は管理者Uが当該ボタンを選択すると、電子小黒板画像の態様を設定するための黒板設定画面が表示される。 When worker T or administrator U selects the "Display blackboard" button, a provisional recorded image with a small electronic blackboard image superimposed on the captured image is displayed, as shown in FIG. 2(b). Ru. The button "Display blackboard menu" is a button used to set the mode of the small electronic blackboard image. When the worker T or the administrator U selects the button, a blackboard setting screen for setting the form of the small electronic blackboard image is displayed.

図3は、黒板設定画面の一例を示す図である。黒板設定画面においては、電子小黒板画像の表示位置を変更するための「表示位置変更」ボタン、電子小黒板画像のサイズを変更するための「サイズ変更」ボタン、及び電子小黒板画像の種類を変更するための「種類変更」ボタンが表示されている。作業者T又は管理者Uが「表示位置変更」ボタンを押すと、表示されている電子小黒板画像の位置を作業者T又は管理者Uが移動させることができる。作業者T又は管理者Uが「サイズ変更」ボタンを押すと、電子小黒板画像のサイズを変更するためのサイズ変更画面が表示される。 FIG. 3 is a diagram showing an example of a blackboard setting screen. On the blackboard setting screen, there is a "Change display position" button to change the display position of the small electronic blackboard image, a "change size" button to change the size of the small electronic blackboard image, and a button to change the type of the small electronic blackboard image. A "Change Type" button is displayed to change the type. When the worker T or manager U presses the "change display position" button, the worker T or manager U can move the position of the displayed small electronic blackboard image. When the worker T or the administrator U presses the "change size" button, a size change screen for changing the size of the electronic blackboard image is displayed.

図4は、サイズ変更画面の一例を示す図である。図4には、「1」から「6」までの数字が書かれたサイズボタンが表示されている。図4においては、「3」に対応するサイズボタンが太線で表示されており、表示されている電子小黒板画像が「3」のサイズに対応していることを示している。作業者T又は管理者Uが他の数字のボタンを押すと、数字に対応するサイズの電子小黒板画像が表示される。作業者T又は管理者Uが「戻る」ボタンを押すと、図3に示した黒板設定画面に戻る。 FIG. 4 is a diagram showing an example of a size change screen. In FIG. 4, size buttons with numbers from "1" to "6" written on them are displayed. In FIG. 4, the size button corresponding to "3" is displayed with a bold line, indicating that the displayed small electronic blackboard image corresponds to the size "3". When the worker T or the manager U presses a button with another number, a small electronic blackboard image of a size corresponding to the number is displayed. When the worker T or the administrator U presses the "back" button, the screen returns to the blackboard setting screen shown in FIG. 3.

黒板設定画面において作業者T又は管理者Uが「種類変更」ボタンを押すと、電子小黒板画像の種類を変更するための種類変更画面が表示される。情報処理装置1は、電子小黒板に含まれる項目名、項目数又はレイアウトの少なくともいずれかが異なる複数の種類の電子小黒板画像を記憶しており、作業者T又は管理者Uは、所望の電子小黒板画像を選択することができる。情報処理装置1は、予め記入された工事名、工種、測点、説明文の内容が異なる複数の種類の電子小黒板画像を記憶していてもよい。 When the operator T or administrator U presses the "change type" button on the blackboard setting screen, a type change screen for changing the type of electronic small blackboard image is displayed. The information processing device 1 stores a plurality of types of electronic blackboard images that differ in at least one of the item names, number of items, and layouts included in the electronic blackboard, and the worker T or the administrator U can select the desired one. A small electronic blackboard image can be selected. The information processing device 1 may store a plurality of types of electronic blackboard images with different contents of the construction name, construction type, measurement point, and explanatory text written in advance.

図5は、種類変更画面の一例を示す図である。種類変更画面においては、予め登録された複数の種類の電子小黒板画像のサムネイル画像が表示され、それぞれの電子小黒板画像の名前が表示されている。名前には、予め記入された工事名、工種、測点、説明文の内容を特定するための文字が含まれていてもよい。 FIG. 5 is a diagram showing an example of a type change screen. On the type change screen, thumbnail images of a plurality of types of small electronic blackboard images registered in advance are displayed, and the name of each small electronic blackboard image is displayed. The name may include characters for specifying the construction name, type of construction, measurement point, and content of the explanatory text written in advance.

作業者T又は管理者Uは、種類変更画面において操作することにより、所望の電子小黒板画像を選択できる。図5に示す例においては、電子小黒板画像の種類が10種類あり、作業者T又は管理者Uは、「前へ」又は「後へ」を押すことで、表示されていない種類の電子小黒板画像を見ることができる。また、作業者T又は管理者Uが「最新黒板」ボタンを押すと、最も直近に登録された電子小黒板画像が表示される。作業者T又は管理者Uが「戻る」ボタンを押すと、図3に示した黒板設定画面に戻る。 The operator T or the administrator U can select a desired electronic blackboard image by operating on the type change screen. In the example shown in FIG. 5, there are 10 types of electronic small board images, and by pressing "Previous" or "Back", the operator T or administrator U can select the electronic small board image of the type that is not displayed. You can see the blackboard image. Further, when the worker T or the administrator U presses the "latest blackboard" button, the most recently registered small electronic blackboard image is displayed. When the worker T or the administrator U presses the "back" button, the screen returns to the blackboard setting screen shown in FIG. 3.

図3の黒板設定画面で作業者T又は管理者Uが「戻る」ボタンを押すと、図2(b)の画面に戻る。この画面において、作業者T又は管理者Uが電子小黒板画像を選択すると、電子小黒板に文字を記入するための文字入力画面が表示される。 When the operator T or administrator U presses the "back" button on the blackboard setting screen of FIG. 3, the screen returns to the screen of FIG. 2(b). On this screen, when the operator T or the administrator U selects the electronic small blackboard image, a character input screen for writing characters on the electronic blackboard is displayed.

図6は、文字入力画面について説明するための図である。図6(a)は、文字を入力するための画面であり、作業者T又は管理者Uは、現場端末2又は管理端末3が有する文字を入力するためのユーザインターフェースを介して所望の文字を入力することができる。文字を入力するためのユーザインターフェースは、例えばキーボード、タッチパネル又は音声入力用マイクロホンである。現場端末2が眼鏡型端末である場合、現場端末2が有するマイクロホンに向かって作業者Tが単語又は文を声で発すると、現場端末2は、入力された単語又は文を音声認識処理により文字データに変換し、変換した文字データを情報処理装置1に送信する。 FIG. 6 is a diagram for explaining the character input screen. FIG. 6(a) is a screen for inputting characters, and the worker T or manager U inputs the desired characters via the user interface for inputting characters that the field terminal 2 or the management terminal 3 has. can be entered. The user interface for inputting characters is, for example, a keyboard, a touch panel, or a microphone for voice input. When the on-site terminal 2 is a glasses-type terminal, when the worker T speaks a word or sentence into the microphone of the on-site terminal 2, the on-site terminal 2 converts the input word or sentence into text by voice recognition processing. The character data is converted into data, and the converted character data is sent to the information processing device 1.

作業者T又は管理者Uが文字を入力した後に「戻る」ボタンを押すと、図6(b)の画面に遷移する。この画面において作業者T又は管理者Uが「登録」ボタンを押すと、図6(c)に示す記録画像データが情報処理装置1に記憶される。 When the operator T or manager U presses the "back" button after inputting characters, the screen changes to the screen shown in FIG. 6(b). When the operator T or the administrator U presses the "Register" button on this screen, the recorded image data shown in FIG. 6(c) is stored in the information processing device 1.

以上のように作業者T又は管理者Uが記録画像データを作成する作業を行っている間、情報処理装置1は、同じ画面が現場端末2及び管理端末3に表示されるように電子小黒板画像データ、又は電子小黒板画像データを含む記録画像データを現場端末2及び管理端末3に送信する。また、この間に、情報処理装置1は、現場端末2から送信された音声データを管理端末3に送信し、管理端末3から送信された音声データを現場端末2に送信してもよい。情報処理装置1がこのように動作することで、作業者T及び管理者Uは、互いに会話をしながら、適切な撮像画像に、適切な位置・サイズ・種類の電子小黒板画像が重ねられた記録画像データを連携して作成することができる。
以下、情報処理装置1の構成及び動作を詳細に説明する。
While the worker T or the manager U is working to create recorded image data as described above, the information processing device 1 displays the electronic blackboard so that the same screen is displayed on the site terminal 2 and the management terminal 3. Image data or recorded image data including electronic blackboard image data is transmitted to the site terminal 2 and the management terminal 3. Also, during this time, the information processing device 1 may transmit the audio data transmitted from the on-site terminal 2 to the management terminal 3, and may transmit the audio data transmitted from the management terminal 3 to the on-site terminal 2. By operating the information processing device 1 in this way, the worker T and the manager U can superimpose a small electronic blackboard image of an appropriate position, size, and type on an appropriate captured image while conversing with each other. Recorded image data can be created in conjunction.
The configuration and operation of the information processing device 1 will be described in detail below.

[情報処理装置1の構成]
図7は、情報処理装置1の構成を示す図である。情報処理装置1は、通信部11と、記憶部12と、制御部13と、を有する。制御部13は、画像データ受信部131と、データ取得部132と、表示処理部133と、を有する。
[Configuration of information processing device 1]
FIG. 7 is a diagram showing the configuration of the information processing device 1. As shown in FIG. The information processing device 1 includes a communication section 11, a storage section 12, and a control section 13. The control section 13 includes an image data reception section 131, a data acquisition section 132, and a display processing section 133.

通信部11は、ネットワークNを介して現場端末2及び管理端末3との間でデータを送受信するための通信インターフェースを含む。通信部11は、現場端末2から受信した撮像画像データを画像データ受信部131に入力する。また、通信部11は、現場端末2又は管理端末3から受信した指示データをデータ取得部132に入力する。指示データは、電子小黒板画像を表示させるための指示、又は電子小黒板画像の表示位置、サイズ、若しくは種類等を設定するための指示等を含むデータである。 The communication unit 11 includes a communication interface for transmitting and receiving data between the field terminal 2 and the management terminal 3 via the network N. The communication unit 11 inputs the captured image data received from the field terminal 2 to the image data receiving unit 131. Furthermore, the communication unit 11 inputs instruction data received from the field terminal 2 or the management terminal 3 to the data acquisition unit 132. The instruction data is data including instructions for displaying the small electronic blackboard image, instructions for setting the display position, size, type, etc. of the small electronic blackboard image.

また、通信部11は、現場端末2及び管理端末3に表示させるデータを送信する。通信部11は、例えば表示処理部133から入力される電子小黒板画像データ、又は撮像画像データに電子小黒板画像データが重ねられた記録画像データを現場端末2又は管理端末3に送信する。 The communication unit 11 also transmits data to be displayed on the field terminal 2 and the management terminal 3. The communication unit 11 transmits, for example, electronic blackboard image data input from the display processing unit 133 or recorded image data in which the electronic blackboard image data is superimposed on captured image data to the field terminal 2 or the management terminal 3.

記憶部12は、ROM(Read Only Memory)、RAM(Random Access Memory)及びSSD(Solid State Drive)等の記憶媒体を有する。記憶部12は、制御部13が実行するプログラムを記憶している。また、記憶部12は、複数の種類の電子小黒板画像データを記憶している。さらに、記憶部12は、作成された記録画像データを記憶している。記憶部12は、記録画像データが作成された日時及び場所に関連付けて記録画像データを記憶してもよい。 The storage unit 12 includes storage media such as ROM (Read Only Memory), RAM (Random Access Memory), and SSD (Solid State Drive). The storage unit 12 stores programs executed by the control unit 13. Furthermore, the storage unit 12 stores a plurality of types of electronic blackboard image data. Furthermore, the storage unit 12 stores the created recorded image data. The storage unit 12 may store the recorded image data in association with the date and time and place where the recorded image data was created.

また、記憶部12は、記録画像データを作成する条件を記憶してもよい。記録画像データを作成する条件は、例えば、撮像画像に含まれているべき物体、撮像画像データが作成された日時、撮像画像データを作成した現場端末2の使用者等である。記憶部12は、記録画像データを作成する対象となる工程の名称を記憶してもよい。 Furthermore, the storage unit 12 may store conditions for creating recorded image data. Conditions for creating the recorded image data include, for example, the object to be included in the captured image, the date and time when the captured image data was created, the user of the site terminal 2 that created the captured image data, and the like. The storage unit 12 may store the name of the process for which recorded image data is created.

制御部13は、例えばCPU(Central Processing Unit)を有する。制御部13は、記憶部12に記憶されたプログラムを実行することにより、画像データ受信部131、データ取得部132及び表示処理部133として機能する。 The control unit 13 includes, for example, a CPU (Central Processing Unit). The control unit 13 functions as an image data reception unit 131, a data acquisition unit 132, and a display processing unit 133 by executing a program stored in the storage unit 12.

画像データ受信部131は、通信部11を介して、ネットワークNを介して接続された現場端末2から工事現場の撮像画像データを受信する。画像データ受信部131は、受信した撮像画像データを表示処理部133に入力する。画像データ受信部131は、撮像画像データを記憶部12に記憶させてもよい。 The image data receiving unit 131 receives, via the communication unit 11, captured image data of the construction site from the site terminal 2 connected via the network N. The image data receiving section 131 inputs the received captured image data to the display processing section 133. The image data receiving section 131 may cause the storage section 12 to store the captured image data.

データ取得部132は、通信部11を介して、現場端末2及び管理端末3から指示データを取得する。具体的には、指示データは、図2から図6を参照しながら説明した、作業者T又は管理者Uが現場端末2又は管理端末3において行った操作の内容を示すデータである。 The data acquisition unit 132 acquires instruction data from the field terminal 2 and the management terminal 3 via the communication unit 11. Specifically, the instruction data is data indicating the content of the operation performed by the worker T or the manager U on the site terminal 2 or the management terminal 3, as described with reference to FIGS. 2 to 6.

より具体的には、指示データは、(1)電子小黒板画像データを表示する位置、電子小黒板画像データの大きさ、若しくは電子小黒板画像データの種類を示すデータ、(2)記録画像データを記録する指示を含むデータ、(3)電子小黒板画像に記載する文字を示す文字データを含むデータ、又は(4)複数の電子小黒板画像データから、記録画像データの作成に用いる電子小黒板画像データを選択するためのデータの少なくともいずれかである。データ取得部132は、受信した指示データを表示処理部133に入力する。 More specifically, the instruction data includes (1) data indicating the position of displaying the electronic blackboard image data, the size of the electronic blackboard image data, or the type of the electronic blackboard image data; (2) recorded image data. (3) data containing character data indicating characters to be written on the electronic blackboard image; or (4) electronic blackboard used to create recorded image data from a plurality of electronic blackboard image data. At least one of the data for selecting image data. The data acquisition unit 132 inputs the received instruction data to the display processing unit 133.

表示処理部133は、撮像画像データに重ねられる電子小黒板画像データを作成する。表示処理部133は、通信部11を介して、作成した画像データを現場端末2及び管理端末3に送信することにより、撮像画像データ及び電子小黒板画像データを含む記録画像データに基づく記録画像を現場端末2及び管理端末3に表示させる。 The display processing unit 133 creates electronic blackboard image data to be superimposed on the captured image data. The display processing unit 133 transmits the created image data to the site terminal 2 and the management terminal 3 via the communication unit 11, thereby displaying a recorded image based on the recorded image data including the captured image data and the electronic blackboard image data. It is displayed on the field terminal 2 and the management terminal 3.

表示処理部133は、例えば、電子小黒板を作成する指示を含む指示データをデータ取得部132が取得した場合に、画像データ受信部131から取得した撮像画像データに電子小黒板画像データを重ねた記録画像データを作成する。表示処理部133は、複数の電子小黒板画像データから1つの電子小黒板画像データを選択するための指示データをデータ取得部132が取得した場合、当該指示データにより特定される電子小黒板画像データを含む記録画像データを作成する。 For example, when the data acquisition unit 132 acquires instruction data including an instruction to create a small electronic blackboard, the display processing unit 133 superimposes the electronic blackboard image data on the captured image data acquired from the image data receiving unit 131. Create recorded image data. When the data acquisition unit 132 acquires instruction data for selecting one piece of electronic blackboard image data from a plurality of pieces of electronic blackboard image data, the display processing unit 133 selects the electronic blackboard image data specified by the instruction data. Create recorded image data including.

表示処理部133は、作成した記録画像データを管理端末3に送信することにより、記録画像データに基づく記録画像を管理端末3に表示させる。表示処理部133は、現場端末2にも同じ記録画像データを送信することにより、記録画像データに基づく記録画像を現場端末2に表示させてもよい。 The display processing unit 133 causes the management terminal 3 to display a recorded image based on the recorded image data by transmitting the created recorded image data to the management terminal 3. The display processing unit 133 may cause the site terminal 2 to display a recorded image based on the recorded image data by transmitting the same recorded image data to the site terminal 2 as well.

表示処理部133は、記録画像データを作成する際に、データ取得部132が取得した指示データが示す、電子小黒板画像データを表示する位置、電子小黒板画像データの大きさ、又は電子小黒板画像データの種類に基づく態様で撮像画像データに電子小黒板画像データを重ねた記録画像データを現場端末2及び管理端末3に送信する。これにより、表示処理部133は、図6(c)に示したように、作業者T又は管理者Uが指定した態様の電子小黒板画像が含まれる記録画像を現場端末2及び管理端末3に表示させることができる。 When creating recorded image data, the display processing unit 133 determines the position of displaying the electronic blackboard image data, the size of the electronic blackboard image data, or the size of the electronic blackboard indicated by the instruction data acquired by the data acquisition unit 132. Recorded image data in which the electronic blackboard image data is superimposed on the captured image data is transmitted to the field terminal 2 and the management terminal 3 in a manner based on the type of image data. Thereby, the display processing unit 133 sends the recorded image including the electronic blackboard image in the form specified by the worker T or the administrator U to the site terminal 2 and the management terminal 3, as shown in FIG. 6(c). It can be displayed.

表示処理部133は、記録画像を現場端末2又は管理端末3に表示させる際、データ取得部132が取得した文字データに基づく文字を含む電子小黒板画像データを含む記録画像データを作成する。表示処理部133は、データ取得部132が現場端末2及び管理端末3からほぼ同時に文字データを取得した場合、例えば、予め作業者T又は管理者Uにより設定された端末から取得された文字データを含む電子小黒板画像データを作成する。表示処理部133は、現場端末2及び管理端末3のうち、文字を入力する操作が先に行われた端末で入力された文字データを含む電子小黒板画像データを作成してもよい。 When displaying the recorded image on the site terminal 2 or the management terminal 3, the display processing unit 133 creates recorded image data including electronic blackboard image data including characters based on the character data acquired by the data acquisition unit 132. When the data acquisition unit 132 acquires character data from the site terminal 2 and the management terminal 3 almost simultaneously, the display processing unit 133, for example, displays the character data acquired from the terminal set in advance by the worker T or the manager U. Create electronic small board image data that includes. The display processing unit 133 may create electronic blackboard image data including character data input at the terminal on which the operation for inputting characters was performed first among the site terminal 2 and the management terminal 3.

文字の入力においては、作業者T又は管理者Uの一方が入力した文字を他方が訂正したいという場合がある。そこで、表示処理部133は、直近にデータ取得部132が取得した文字データに基づく文字を含む電子小黒板画像データを作成してもよい。この場合、表示処理部133は、例えば作業者Tが入力した文字を含む電子小黒板画像データを現場端末2及び管理端末3に送信した後に、入力された文字を管理者Uが修正する操作(例えば新たな文字の入力の操作)をした場合に、修正する操作をした後の文字を含む電子小黒板画像データを現場端末2及び管理端末3に送信する。このように表示処理部133が動作することで、作業者Tと管理者Uが連携して適切な記録画像データを作成することができる。 When inputting characters, there is a case where one of the operator T and the manager U wants to correct the characters input by the other. Therefore, the display processing unit 133 may create electronic blackboard image data that includes characters based on the character data most recently acquired by the data acquisition unit 132. In this case, the display processing unit 133 transmits the electronic blackboard image data including the characters input by the worker T to the site terminal 2 and the management terminal 3, and then performs an operation in which the administrator U corrects the input characters ( For example, when an operation for inputting new characters is performed, electronic blackboard image data including the characters after the correcting operation is transmitted to the site terminal 2 and the management terminal 3. By operating the display processing unit 133 in this manner, the worker T and the administrator U can work together to create appropriate recorded image data.

また、表示処理部133は、記録画像データを記録する指示を含む指示データをデータ取得部132が取得した時点で管理端末3に表示されている記録画像データを記憶部12に記憶させてもよい。具体的には、表示処理部133は、図6(b)に表示された画面において「登録」ボタンが押されたことを示す指示データをデータ取得部132が取得した場合に、図6(b)に表示されている画面において操作を行うためのボタンを除去した状態の記録画像データ(すなわち、図6(c)に示す記録画像データ)を記憶部12に記憶させる。この際、表示処理部133は、記憶させる記録画像データの名称を入力するための画面を現場端末2又は管理端末3に表示させ、入力された名称に関連付けて記録画像データを記憶部12に記憶させてもよい。 Further, the display processing unit 133 may cause the storage unit 12 to store the recorded image data displayed on the management terminal 3 at the time when the data acquisition unit 132 acquires instruction data including an instruction to record recorded image data. . Specifically, when the data acquisition unit 132 acquires instruction data indicating that the “Register” button has been pressed on the screen displayed in FIG. 6(b), the display processing unit 133 ) is stored in the storage unit 12, with the buttons for performing operations removed from the screen (ie, the recorded image data shown in FIG. 6(c)). At this time, the display processing unit 133 causes the field terminal 2 or the management terminal 3 to display a screen for inputting the name of the recorded image data to be stored, and stores the recorded image data in the storage unit 12 in association with the input name. You may let them.

ところで、不適切な撮像画像データを含む記録画像データが作成されてしまうと、記録画像データを作成し直す必要が生じてしまう。そこで、表示処理部133は、撮像画像データが、記憶部12に記憶された条件を満たす画像を含んでいる場合に記録画像データを作成してもよい。一例として、記憶部12に記憶された条件が「外壁の画像」である場合に、建物の外壁が含まれていない撮像画像が現場端末2及び管理端末3に表示されている時点で、電子小黒板画像データを作成するための操作が行われると、表示処理部133は「この撮像画像では記録画像データを作成できません」といった警告を現場端末2及び管理端末3に表示させる。表示処理部133は、例えば予め記憶部12に記憶された標準画像データ(例えば外壁の画像データ)と撮像画像とを比較することにより、記憶部12に記憶された条件を撮像画像が満たしているかどうかを判定することができる。 By the way, if recorded image data including inappropriate captured image data is created, it becomes necessary to recreate the recorded image data. Therefore, the display processing unit 133 may create recorded image data when the captured image data includes an image that satisfies the conditions stored in the storage unit 12. As an example, when the condition stored in the storage unit 12 is "image of external wall", when a captured image that does not include the external wall of the building is displayed on the site terminal 2 and the management terminal 3, When an operation for creating blackboard image data is performed, the display processing unit 133 causes the field terminal 2 and the management terminal 3 to display a warning such as "recorded image data cannot be created with this captured image." The display processing unit 133 determines whether the captured image satisfies the conditions stored in the storage unit 12 by comparing the captured image with standard image data (for example, image data of an external wall) stored in the storage unit 12 in advance, for example. It is possible to determine whether

記憶部12に記憶された条件が「日時」である場合に、当該日時の条件を満たさない日時に電子小黒板画像データを作成するための操作が行われると、表示処理部133は「この日時には記録画像データを作成できません」といった警告を現場端末2及び管理端末3に表示させる。記憶部12に記憶された条件が「現場端末2の使用者」である場合に、当該使用者以外の人が使用する現場端末2から電子小黒板画像データを作成するための指示データが取得されると、表示処理部133は「記録画像データの作成権限がありません」といった警告を現場端末2及び管理端末3に表示させる。このように表示処理部133が動作することで、所定の条件を満たす適切な記録画像データが作成される。 When the condition stored in the storage unit 12 is “date and time”, if an operation is performed to create electronic blackboard image data at a date and time that does not satisfy the date and time condition, the display processing unit 133 displays “this date”. A warning such as "Sometimes recorded image data cannot be created" is displayed on the field terminal 2 and the management terminal 3. When the condition stored in the storage unit 12 is "user of the on-site terminal 2", instruction data for creating electronic blackboard image data is acquired from the on-site terminal 2 used by a person other than the user. Then, the display processing unit 133 causes the field terminal 2 and the management terminal 3 to display a warning such as "You do not have the authority to create recorded image data." By operating the display processing unit 133 in this manner, appropriate recorded image data that satisfies predetermined conditions is created.

表示処理部133は、撮像画像データが、記録画像データを作成する対象となる工程の名称に対応する画像を含んでいる場合に、工程の名称に対応する文字を含む電子小黒板画像データを含む記録画像データを作成してもよい。記憶部12には、工程の名称と工程に対応する標準的な画像データとが関連付けて記憶されており、表示処理部133は、当該画像データを参照することにより、撮像画像データが、記録画像データを作成する対象となる工程の名称に対応する画像を含んでいるか否かを判定することができる。 When the captured image data includes an image corresponding to the name of the process for which recorded image data is to be created, the display processing unit 133 includes electronic blackboard image data that includes characters corresponding to the process name. Recorded image data may also be created. The storage unit 12 stores process names and standard image data corresponding to the processes in association with each other, and the display processing unit 133 refers to the image data so that the captured image data can be converted into a recorded image. It can be determined whether an image corresponding to the name of the process for which data is to be created is included.

一例として、記録画像データを作成する対象となる工程の名称として「外壁塗装工程」が含まれている場合、表示処理部133は、工程の名称に対応する外壁の画像が撮像画像データに含まれていることを検出したときは記録画像データを作成する。一方、表示処理部133は、撮像画像データに外壁の画像が含まれているとしても、記録画像データを作成する対象となる工程として「外壁塗装工程」が含まれていない場合には記録画像データを作成しない。 As an example, if "exterior wall painting process" is included as the name of the process for which recorded image data is to be created, the display processing unit 133 may display an image of the exterior wall corresponding to the process name included in the captured image data. When it detects that the image is being recorded, it creates recorded image data. On the other hand, even if the captured image data includes an image of an exterior wall, if the "exterior wall painting process" is not included as a process for which recorded image data is to be created, the display processing unit 133 displays the recorded image data. do not create.

表示処理部133は、撮像画像データを解析して、記録画像データを作成する対象となる工程に対応する物体の画像が含まれていることを検出した場合に、図2(a)に示したように、電子小黒板画像を表示させる操作を行える画面を現場端末2又は管理端末3に表示させてもよい。表示処理部133がこのように動作することで、作業者T又は管理者Uが記録画像データの作成に慣れていない場合であっても、適切な撮像画像データを用いた記録画像データを作成することができる。 When the display processing unit 133 analyzes the captured image data and detects that an image of an object corresponding to the process for which recorded image data is created is included, the display processing unit 133 displays the image shown in FIG. 2(a). In this way, the site terminal 2 or the management terminal 3 may display a screen on which an operation for displaying a small electronic blackboard image can be performed. By operating the display processing unit 133 in this manner, even if the worker T or the manager U is not accustomed to creating recorded image data, recorded image data can be created using appropriate captured image data. be able to.

表示処理部133は、撮像画像データに対応する工程の名称が工種の欄に記載された電子小黒板画像データを含む記録画像データを自動的に作成してもよい。また、表示処理部133は、撮像画像データを解析することにより、建物の撮影位置を特定し、特定した撮影位置に対応する文字(例えば撮影された建物の部位の名称)が測点の欄に記載された電子小黒板画像データを含む記録画像データを自動的に作成してもよい。表示処理部133がこのように動作することで、作業者T又は管理者Uが記録画像データの作成に要する時間を短縮することができる。 The display processing unit 133 may automatically create recorded image data including electronic blackboard image data in which the name of the process corresponding to the captured image data is written in the type of work column. In addition, the display processing unit 133 specifies the photographing position of the building by analyzing the captured image data, and the characters corresponding to the specified photographing position (for example, the name of the photographed part of the building) are displayed in the measurement point column. Recorded image data including the written electronic blackboard image data may be automatically created. By operating the display processing unit 133 in this manner, the time required for the operator T or administrator U to create recorded image data can be shortened.

[情報処理システムSにおける処理の流れ]
図8は、情報処理システムSにおける処理の流れを示すシーケンス図である。図8に示すシーケンス図においては、管理端末3を使用する管理者Uが電子小黒板画像の作成に関連する操作をする場合が例示されているが、管理端末3における動作の一部が現場端末2において行われてもよい。
[Flow of processing in information processing system S]
FIG. 8 is a sequence diagram showing the flow of processing in the information processing system S. In the sequence diagram shown in FIG. 8, a case is illustrated in which the administrator U using the management terminal 3 performs an operation related to the creation of a small electronic blackboard image, but some of the operations on the management terminal 3 are performed on the on-site terminal. 2 may be performed.

まず、作業者Tが工事現場において現場端末2を用いて撮影をすると、現場端末2は撮像画像データを作成し(S11)、作成した撮像画像データを情報処理装置1に送信する。情報処理装置1は、撮像画像データを管理端末3に送信することにより、管理端末3に撮像画像データを表示させる(S12)。管理端末3は、電子小黒板画像を作成するための指示データの入力をできる画面を表示し、指示データが入力されると(S13)、指示データを情報処理装置1に送信する。 First, when the worker T takes a picture using the site terminal 2 at a construction site, the site terminal 2 creates captured image data (S11) and transmits the created captured image data to the information processing device 1. The information processing device 1 causes the management terminal 3 to display the captured image data by transmitting the captured image data to the management terminal 3 (S12). The management terminal 3 displays a screen that allows input of instruction data for creating a small electronic blackboard image, and when the instruction data is input (S13), transmits the instruction data to the information processing device 1.

情報処理装置1は、管理端末3から受信した指示データに基づいて電子小黒板画像データを作成し、作成した電子小黒板画像データと撮像画像データとを含む記録画像データを作成する(S14)。情報処理装置1は、作成した記録画像データを現場端末2及び管理端末3に送信する。現場端末2及び管理端末3は、受信した記録画像データを表示する(S15、S16)。管理端末3において、表示された記録画像データを登録するための操作が行われると(S17においてYES)、管理端末3は登録のための指示データを情報処理装置1に送信する。情報処理装置1は、登録のための指示データを受信すると、その時点で現場端末2及び管理端末3に表示されていた記録画像データを記憶部12に保存する(S18)。 The information processing device 1 creates electronic small board image data based on the instruction data received from the management terminal 3, and creates recorded image data including the created electronic small board image data and captured image data (S14). The information processing device 1 transmits the created recorded image data to the site terminal 2 and the management terminal 3. The field terminal 2 and the management terminal 3 display the received recorded image data (S15, S16). When an operation for registering the displayed recorded image data is performed on the management terminal 3 (YES in S17), the management terminal 3 transmits instruction data for registration to the information processing device 1. When the information processing device 1 receives the instruction data for registration, it stores the recorded image data displayed on the site terminal 2 and the management terminal 3 at that time in the storage unit 12 (S18).

[変形例]
以上の説明においては、表示処理部133が作成した記録画像データを現場端末2と管理端末3の両方に送信し、現場端末2及び管理端末3において同等の記録画像データを表示する場合を例示したが、表示処理部133は、電子小黒板画像データを現場端末2及び管理端末3に送信し、現場端末2及び管理端末3において、撮像画像データと電子小黒板画像データとを合成することにより記録画像データを作成してもよい。
[Modified example]
In the above explanation, the case where the recorded image data created by the display processing unit 133 is transmitted to both the site terminal 2 and the management terminal 3, and the equivalent recorded image data is displayed on the site terminal 2 and the management terminal 3 is exemplified. However, the display processing unit 133 sends the electronic small blackboard image data to the on-site terminal 2 and the management terminal 3, and the on-site terminal 2 and the management terminal 3 record it by combining the captured image data and the electronic small blackboard image data. Image data may also be created.

この場合、表示処理部133は、電子小黒板画像データと、記録画像データにおいて電子小黒板画像データを重ねた位置を示す位置データとを現場端末2に送信することにより、記録画像データと同じ位置に電子小黒板画像データが重ねられた撮像画像データを現場端末2に表示させる。表示処理部133は、同様に、電子小黒板画像データと位置データとを管理端末3に送信してもよい。表示処理部133は、現場端末2及び管理端末3のいずれか一方に、電子小黒板画像データと位置データを送信し、他方に記録画像データを送信してもよい。 In this case, the display processing unit 133 transmits the small electronic blackboard image data and position data indicating the position where the small electronic blackboard image data is overlapped in the recorded image data to the site terminal 2. The captured image data on which the small electronic blackboard image data is superimposed is displayed on the field terminal 2. The display processing unit 133 may similarly transmit the electronic blackboard image data and position data to the management terminal 3. The display processing unit 133 may transmit the electronic blackboard image data and position data to either the field terminal 2 or the management terminal 3, and transmit the recorded image data to the other.

また、上記の説明においては現場端末2により工事現場が撮影され、現場端末2が撮像画像データを作成する場合を例示したが、現場端末2は、工事現場を撮影できる他のデバイスが作成した撮像画像データを取得して、取得した撮像画像データを情報処理装置1に送信してもよい。 Furthermore, in the above explanation, the case where the construction site is photographed by the construction site terminal 2 and the construction site terminal 2 creates the captured image data is exemplified, but the construction site terminal 2 can take an image created by another device capable of photographing the construction site. Image data may be acquired and the acquired captured image data may be transmitted to the information processing device 1.

[情報処理システムSによる効果]
以上説明したように、画像データ受信部131は、現場端末2が作成した撮像画像データを取得し、電子小黒板を作成する指示を含む指示データをデータ取得部132が取得した場合に、表示処理部133は、撮像画像データに重ねられる電子小黒板画像データを作成し、現場端末2及び管理端末3に電子小黒板画像データを送信することにより、撮像画像データ及び電子小黒板画像データを含む記録画像データに基づく記録画像を現場端末2及び管理端末3に表示させる。情報処理装置1がこのように構成されていることで、現場端末2を利用する作業者Tと管理端末3を利用する管理者Uが、同じ撮像画像と電子小黒板画像を含む記録画像を見ることができるので、現場にいる人と現場にいない人とが連携して記録画像を作成できる。
[Effects of information processing system S]
As described above, the image data receiving unit 131 acquires captured image data created by the on-site terminal 2, and when the data acquiring unit 132 acquires instruction data including an instruction to create a small electronic blackboard, the image data receiving unit 131 performs display processing. The unit 133 creates a small electronic blackboard image data to be superimposed on the captured image data, and transmits the small electronic blackboard image data to the field terminal 2 and the management terminal 3, thereby creating a record including the captured image data and the small electronic blackboard image data. A recorded image based on the image data is displayed on the site terminal 2 and the management terminal 3. With the information processing device 1 configured in this way, the worker T using the on-site terminal 2 and the administrator U using the management terminal 3 can view recorded images including the same captured image and small electronic blackboard image. This allows people on-site and off-site to work together to create recorded images.

情報処理システムSにおいては、作業者Tと管理者Uが連携して電子小黒板画像データを含む記録画像データを作成することができるので、情報処理システムSは、作業者Tが電子小黒板画像の位置や大きさ等の設定をしたり、文字を入力したりする作業をしづらい工事現場に好適である。 In the information processing system S, the worker T and the administrator U can work together to create recorded image data including the electronic small blackboard image data. It is suitable for construction sites where it is difficult to set the position and size of the screen or enter text.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments, and various modifications and changes can be made within the scope of the gist. be. For example, all or part of the device can be functionally or physically distributed and integrated into arbitrary units. In addition, new embodiments created by arbitrary combinations of multiple embodiments are also included in the embodiments of the present invention. The effects of the new embodiment resulting from the combination have the effects of the original embodiment.

1 情報処理装置
2 現場端末
3 管理端末
11 通信部
12 記憶部
13 制御部
131 画像データ受信部
132 データ取得部
133 表示処理部
N ネットワーク
S 情報処理システム
1 Information processing device 2 Field terminal 3 Management terminal 11 Communication section 12 Storage section 13 Control section 131 Image data reception section 132 Data acquisition section 133 Display processing section N Network S Information processing system

Claims (10)

ネットワークを介して接続された現場端末から工事現場の撮像画像データを受信する画像データ受信部と、
前記現場端末、又は前記工事現場と異なる場所にいる管理者が使用する管理端末から指示データを取得するデータ取得部と、
電子小黒板画像を作成する指示を含む前記指示データを前記データ取得部が取得した場合に、前記撮像画像データに重ねられる電子小黒板画像データを作成し、前記現場端末及び前記管理端末に前記電子小黒板画像データを送信することにより、前記撮像画像データ及び前記電子小黒板画像データを含む記録画像データに基づく記録画像を前記現場端末及び前記管理端末に表示させる表示処理部と、
を有する情報処理装置。
an image data receiving unit that receives captured image data of a construction site from a site terminal connected via a network;
a data acquisition unit that acquires instruction data from the site terminal or a management terminal used by a manager located at a location different from the construction site;
When the data acquisition unit acquires the instruction data including an instruction to create a small electronic blackboard image, it creates electronic small board image data to be superimposed on the captured image data, and sends the electronic blackboard image data to the on-site terminal and the management terminal. a display processing unit that causes the field terminal and the management terminal to display a recorded image based on recorded image data including the captured image data and the electronic small blackboard image data by transmitting small blackboard image data;
An information processing device having:
前記表示処理部は、前記指示データが示す、前記電子小黒板画像データを表示する位置、前記電子小黒板画像データの大きさ、又は前記電子小黒板画像データの種類に基づく態様で前記撮像画像データに前記電子小黒板画像データを重ねた前記記録画像データを前記管理端末に送信する、
請求項1に記載の情報処理装置。
The display processing unit displays the captured image data in a manner based on a position for displaying the electronic blackboard image data, a size of the electronic blackboard image data, or a type of the electronic blackboard image data, which is indicated by the instruction data. transmitting the recorded image data overlaid with the electronic small board image data to the management terminal;
The information processing device according to claim 1.
前記表示処理部は、前記記録画像データを記録する指示を含む前記指示データを前記データ取得部が取得した時点で前記管理端末に表示されている前記記録画像データを記憶部に記憶させる、
請求項1又は2に記載の情報処理装置。
The display processing unit causes a storage unit to store the recorded image data displayed on the management terminal at the time when the data acquisition unit acquires the instruction data including an instruction to record the recorded image data.
The information processing device according to claim 1 or 2.
前記データ取得部は、前記現場端末又は前記管理端末から前記電子小黒板画像に記載する文字を示す文字データを含む前記指示データを取得し、
前記表示処理部は、前記データ取得部が取得した前記文字データに基づく文字を含む前記電子小黒板画像データを作成する、
請求項1又は2に記載の情報処理装置。
The data acquisition unit acquires the instruction data including character data indicating characters to be written on the electronic blackboard image from the on-site terminal or the management terminal,
The display processing unit creates the electronic blackboard image data including characters based on the character data acquired by the data acquisition unit.
The information processing device according to claim 1 or 2.
複数の前記電子小黒板画像データを記憶する記憶部をさらに有し、
前記データ取得部は、前記複数の電子小黒板画像データから、前記記録画像データの作成に用いる電子小黒板画像データを選択するための前記指示データを取得し、
前記表示処理部は、当該指示データにより特定される前記電子小黒板画像データを前記現場端末及び前記管理端末に送信する、
請求項1又は2に記載の情報処理装置。
further comprising a storage unit that stores a plurality of the electronic blackboard image data,
The data acquisition unit acquires the instruction data for selecting electronic blackboard image data to be used for creating the recorded image data from the plurality of electronic blackboard image data,
The display processing unit transmits the electronic blackboard image data specified by the instruction data to the on-site terminal and the management terminal.
The information processing device according to claim 1 or 2.
前記記録画像データを作成する条件を記憶する記憶部をさらに有し、
前記表示処理部は、前記撮像画像データが前記条件を満たす画像を含んでいる場合に前記記録画像データを前記現場端末及び前記管理端末に表示させる、
請求項1又は2に記載の情報処理装置。
further comprising a storage unit that stores conditions for creating the recorded image data,
The display processing unit causes the recorded image data to be displayed on the site terminal and the management terminal when the captured image data includes an image satisfying the condition.
The information processing device according to claim 1 or 2.
前記記録画像データを作成する対象となる工程の名称を記憶する記憶部をさらに有し、
前記表示処理部は、前記撮像画像データが前記工程の名称に対応する画像を含んでいる場合に、前記工程の名称に対応する文字を含む前記電子小黒板画像データを含む前記記録画像データを前記現場端末及び前記管理端末に表示させる、
請求項1又は2に記載の情報処理装置。
further comprising a storage unit that stores a name of a process for which the recorded image data is created;
When the captured image data includes an image corresponding to the name of the process, the display processing unit displays the recorded image data including the electronic blackboard image data including characters corresponding to the name of the process. display on the field terminal and the management terminal;
The information processing device according to claim 1 or 2.
前記表示処理部は、前記電子小黒板画像データと、前記記録画像データにおいて前記電子小黒板画像データを重ねた位置を示す位置データとを前記現場端末に送信することにより、前記記録画像データと同じ位置に前記電子小黒板画像データが重ねられた前記撮像画像データを前記現場端末に表示させる、
請求項1又は2に記載の情報処理装置。
The display processing unit transmits the electronic blackboard image data and position data indicating a position where the electronic blackboard image data is overlapped in the recorded image data to the site terminal, so that the electronic blackboard image data is the same as the recorded image data. Displaying the captured image data in which the electronic blackboard image data is superimposed on the on-site terminal;
The information processing device according to claim 1 or 2.
コンピュータが実行する、
ネットワークを介して接続された現場端末から工事現場の撮像画像データを受信するステップと、
前記現場端末、又は前記工事現場と異なる場所にいる管理者が使用する管理端末から指示データを取得するステップと、
電子小黒板画像を作成する指示を含む前記指示データを取得した場合に、前記撮像画像データに重ねられる電子小黒板画像データを作成するステップと、
前記現場端末及び前記管理端末に前記電子小黒板画像データを送信することにより、前記撮像画像データ及び前記電子小黒板画像データを含む記録画像データに基づく記録画像を前記現場端末及び前記管理端末に表示させるステップと、
を有する情報処理方法。
computer executes
receiving captured image data of the construction site from a site terminal connected via a network;
acquiring instruction data from the site terminal or a management terminal used by a manager located at a location different from the construction site;
When the instruction data including an instruction to create a small electronic blackboard image is obtained, creating small electronic blackboard image data to be superimposed on the captured image data;
By transmitting the small electronic blackboard image data to the on-site terminal and the management terminal, a recorded image based on recorded image data including the captured image data and the small electronic blackboard image data is displayed on the on-site terminal and the management terminal. the step of
An information processing method having
コンピュータに、
ネットワークを介して接続された現場端末から工事現場の撮像画像データを受信するステップと、
前記現場端末、又は前記工事現場と異なる場所にいる管理者が使用する管理端末から指示データを取得するステップと、
電子小黒板画像を作成する指示を含む前記指示データを取得した場合に、前記撮像画像データに重ねられる電子小黒板画像データを作成するステップと、
前記現場端末及び前記管理端末に前記電子小黒板画像データを送信することにより、前記撮像画像データ及び前記電子小黒板画像データを含む記録画像データに基づく記録画像を前記現場端末及び前記管理端末に表示させるステップと、
を実行させるためのプログラム。
to the computer,
receiving captured image data of the construction site from a site terminal connected via a network;
acquiring instruction data from the site terminal or a management terminal used by a manager located at a location different from the construction site;
When the instruction data including an instruction to create a small electronic blackboard image is obtained, creating small electronic blackboard image data to be superimposed on the captured image data;
By transmitting the small electronic blackboard image data to the on-site terminal and the management terminal, a recorded image based on the recorded image data including the captured image data and the small electronic blackboard image data is displayed on the on-site terminal and the management terminal. the step of
A program to run.
JP2022090623A 2022-06-03 2022-06-03 Information processing device, information processing method and program Active JP7362011B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022090623A JP7362011B1 (en) 2022-06-03 2022-06-03 Information processing device, information processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022090623A JP7362011B1 (en) 2022-06-03 2022-06-03 Information processing device, information processing method and program

Publications (2)

Publication Number Publication Date
JP7362011B1 true JP7362011B1 (en) 2023-10-17
JP2023177770A JP2023177770A (en) 2023-12-14

Family

ID=88328277

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022090623A Active JP7362011B1 (en) 2022-06-03 2022-06-03 Information processing device, information processing method and program

Country Status (1)

Country Link
JP (1) JP7362011B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018113013A (en) 2017-01-06 2018-07-19 オリンパス株式会社 Imaging device, imaging system, imaging method, imaging program, and display device for imaging

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018113013A (en) 2017-01-06 2018-07-19 オリンパス株式会社 Imaging device, imaging system, imaging method, imaging program, and display device for imaging

Also Published As

Publication number Publication date
JP2023177770A (en) 2023-12-14

Similar Documents

Publication Publication Date Title
US10339383B2 (en) Method and system for providing augmented reality contents by using user editing image
JP2017215996A (en) Change request form annotation
US8484719B2 (en) Information processing apparatus, information processing method, and media storing a program therefor
JP6504234B2 (en) INFORMATION PROCESSING APPARATUS, PROCESSING METHOD THEREOF, AND PROGRAM
CN103337047A (en) Conference preparation apparatus and conference preparation method
CN107037939B (en) Electronic blackboard and image processing method
US9959292B2 (en) Application program, smart device, information processing apparatus, information processing system, and information processing method
JP2008217545A (en) Console information acquisition system, console information acquisition method, and console information acquisition program
JP7362011B1 (en) Information processing device, information processing method and program
JP2005157458A (en) Automatic contract system, automatic contract reception machine, and automatic contract method
JP6032632B2 (en) Business report creation program
JP2011186651A (en) Work management system, work management method, and program thereof
JP6162860B1 (en) User information input support system
WO2022070353A1 (en) Information processing system, information processing method, and program
JP6707112B2 (en) User information input support system
JP4797435B2 (en) Image creating apparatus and image providing method
JP2007115189A (en) Form processor, control method and program
JP5190324B2 (en) Personal information disclosure support device
US20230076217A1 (en) Form creating system and non-transitory computer readable medium
CN111326035A (en) Task synchronization method and remote teaching system
US20230030429A1 (en) Information processing apparatus, text data editing method, and communication system
JP2017228293A (en) User information input assistance system
JP2017216593A (en) Information processor, control method, and program
JP2024026470A (en) Information processing systems and programs for information processing systems
JP6013391B2 (en) Form creation support program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230809

R150 Certificate of patent or registration of utility model

Ref document number: 7362011

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150