WO2023224036A1 - 情報処理方法、情報処理装置、及び情報処理プログラム - Google Patents

情報処理方法、情報処理装置、及び情報処理プログラム Download PDF

Info

Publication number
WO2023224036A1
WO2023224036A1 PCT/JP2023/018260 JP2023018260W WO2023224036A1 WO 2023224036 A1 WO2023224036 A1 WO 2023224036A1 JP 2023018260 W JP2023018260 W JP 2023018260W WO 2023224036 A1 WO2023224036 A1 WO 2023224036A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
annotation
display
information
icon
Prior art date
Application number
PCT/JP2023/018260
Other languages
English (en)
French (fr)
Inventor
理佐子 谷川
隼 石坂
和紀 小塚
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Publication of WO2023224036A1 publication Critical patent/WO2023224036A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/214—Monitoring or handling of messages using selective forwarding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services

Definitions

  • the present disclosure relates to a technique for displaying selected images.
  • Patent Document 1 discloses that an image (e.g., a contour line) indicating a designated area specified by a worker is displayed on a bird's-eye view image of a work site, and an input is made by the worker in a display field provided next to the bird's-eye view image. Displaying chats related to a designated area that has been created is disclosed.
  • an image e.g., a contour line
  • Patent Document 1 does not disclose that an image taken at the scene indicated by the bird's-eye view image is displayed on a display in response to a user's selection instruction. Therefore, this prior art does not disclose that annotation information is displayed in association with the first image displayed on the display in response to a user's selection instruction. Therefore, this prior art allows the user to check the annotation information set on the second image while viewing the first image without inputting an operation to select a second image different from the first image. I can't.
  • the present disclosure has been made in order to solve such problems, and it is possible to select a second image while viewing the first image without inputting an operation to select a second image different from the first image.
  • the purpose is to provide a technology that allows users to confirm annotation information set in .
  • An information processing method is an information processing method in a computer, which displays, on a display of a terminal device, an overhead image in which a plurality of shooting point icons indicating shooting points are superimposed; When a selection of a first photographing point icon that is one of the icons among the icons is detected, a first image corresponding to the first photographing point icon is displayed on the display, and the first image is displayed on the display.
  • the display includes determining whether annotation information is associated with a second photographing point icon within a predetermined range with respect to the first photographing point icon, and determining whether the annotation information is associated with the second photographing point icon. If it is determined that they are associated, the first image and the annotation information may be displayed on the display.
  • the user while viewing the first image, the user can check the annotation information set on the second image without inputting an operation to select the second image different from the first image. can.
  • FIG. 1 is a block diagram illustrating an example of the configuration of an information processing system in an embodiment of the present disclosure. It is a figure showing an example of a display screen displayed on a display of a terminal device.
  • FIG. 7 is a diagram showing an example of a menu screen for selecting a shooting date and time. It is a figure showing an example of the 1st image displayed on a display. It is a figure which shows another example of the 1st image displayed on a display. It is a figure showing detailed composition of a design drawing image display field.
  • 2 is a flowchart showing an example of processing of the information processing apparatus shown in FIG. 1.
  • FIG. 8 is a flowchart showing details of the display processing shown in FIG. 7.
  • FIG. 8 is a flowchart showing details of the display processing shown in FIG. 7.
  • FIG. 7 is a diagram showing a first image in which an annotation icon is displayed in association with a second annotation area.
  • Issues at construction sites include communication issues such as not being able to convey specific instructions to workers, the time it takes to explain those instructions, the need for manpower to go around the entire construction site, and the time it takes to travel to the construction site. There are challenges in confirming construction sites, such as this.
  • the user when the user inputs an operation to select a certain position in the blueprint of the construction site displayed on the display, the user can specify an area and annotate the image of the construction site taken in advance at that position, or the image. It has been discovered that if there is a user interface that allows input, it is possible to check the status of a construction site in detail from a remote location.
  • the user wishes to confirm the annotation set on the second image taken at a shooting point near the first image while viewing the first image selected and displayed in this way.
  • the user is required to close the first image and input an operation to select the shooting point of the second image from the user interface.
  • Such operations are time-consuming for the user.
  • the inventor proposed that if an annotation is set on a second image taken near the first image, if the annotation is displayed together with the first image, the second image can be viewed without performing such operations.
  • An information processing method is an information processing method in a computer, which displays an overhead image on a display of a terminal device on which a plurality of shooting point icons indicating shooting points are superimposed, and When it is detected that a first photographing point icon, which is one of the photographing point icons, is selected, a first image corresponding to the first photographing point icon is displayed on the display, and the first image corresponding to the first photographing point icon is displayed on the display,
  • the display on the display includes determining whether or not annotation information is associated with a second shooting point icon that is within a predetermined range with respect to the first shooting point icon, and
  • the method includes displaying the first image and the annotation information on the display when it is determined that the annotation information is associated with each other.
  • the annotation information is associated with the second photography point icon within a predetermined range with respect to the first photography point icon corresponding to the first image
  • the first image is associated with this annotation information.
  • the annotation information set on the second image can be checked without having to separately input an operation to close the first image and display the second image while viewing the first image. Furthermore, since the annotation information can be confirmed without going through such operations, the number of computer processing steps required for such operations is reduced.
  • the annotation information includes the position of an annotation area in which an annotation is set in the second image corresponding to the second shooting point icon
  • the display on the display includes detecting a corresponding area corresponding to the annotation area from the first image based on the second image, and displaying the first image in which the annotation area is superimposed on the corresponding area. and displaying the information on a display.
  • the annotation information set on the second image can be displayed at a position on the first image corresponding to the annotation information set on the second image, so the annotation information set on the second image can be displayed on which subject. You can easily check whether the
  • the first image is displayed on the display when the annotation information is associated with the first shooting point icon.
  • the method may further include displaying the annotation information associated with the first photographing point icon and the annotation information associated with the second photographing point icon on the display.
  • the annotation information associated with the first photography location icon and the annotation information associated with the second photography location icon can be confirmed at the same time.
  • the annotation information includes a position of a first annotation area indicating an area where an annotation is set in the first image; a position of a second annotation area indicating an area in which an annotation is set in a second image corresponding to the second photographing point icon, and the display of the first image on the display is based on the second image. , detecting a corresponding area corresponding to the second annotation area from the first image; and if the first annotation area is set in the first image, the first annotation area is superimposed; The method may include displaying the first image in which the second annotation area is superimposed on the corresponding area on the display.
  • the first annotation area and the second annotation area can be confirmed simultaneously in the first image.
  • display of the first image on the display includes the annotation information associated with the first shooting point icon. and the annotation information associated with the second photographing point icon using different display objects.
  • the annotation information associated with the first photography location icon and the annotation information associated with the second photography location icon can be easily distinguished.
  • a selection icon configured to be movable is further displayed on the bird's-eye view image, and the first shooting point icon is , may be determined based on the distance between the movement completion position of the selected icon and each of the plurality of photographing point icons.
  • the shooting point icon can be selected by moving the selection icon on the bird's-eye view image, so the shooting point icon can be selected intuitively.
  • an annotation message indicated by the annotation information may be displayed on the display.
  • An information processing device is an information processing device including a processor, and the processor displays an overhead view on a display of a terminal device on which a plurality of shooting point icons indicating shooting points are superimposed. displaying an image, and when detecting selection of a first shooting point icon that is one of the plurality of shooting point icons, displaying a first image corresponding to the first shooting point icon on the display; , execute the process, and display the first image on the display by determining whether annotation information is set for a second photographing point icon that is within a predetermined range with respect to the first photographing point icon. and displaying the first image and the annotation information on the display when it is determined that the annotation information is associated with the second shooting location icon.
  • the information processing device can check the annotation information set on the second image without inputting a separate operation to close the first image and display the second image while viewing the first image. can be provided.
  • An information processing program causes a computer to execute the information processing method described in any one of (1) to (7) above.
  • the information processing program can check the annotation information set on the second image without inputting a separate operation to close the first image and display the second image while viewing the first image. can be provided.
  • the present disclosure can also be realized as an information processing system operated by such an information processing program. Further, it goes without saying that such a computer program can be distributed via a computer-readable non-transitory recording medium such as a CD-ROM or a communication network such as the Internet.
  • a computer-readable non-transitory recording medium such as a CD-ROM or a communication network such as the Internet.
  • FIG. 1 is a block diagram illustrating an example of the configuration of an information processing system 1 in an embodiment of the present disclosure.
  • the information processing system 1 includes an information processing device 10, a photographing device 20, and a terminal device 30.
  • the information processing device 10, the photographing device 20, and the terminal device 30 are communicably connected via a network.
  • An example of a network is the Internet.
  • the information processing device 10 is, for example, a cloud server configured of one or more computers. However, this is just an example, and the information processing device 10 may be configured as an edge server or may be implemented in the terminal device 30.
  • the photographing device 20 is composed of, for example, an omnidirectional camera, and photographs images at a predetermined frame rate.
  • the photographing device 20 is, for example, a portable photographing device carried by a user.
  • the users are, for example, construction site workers and site supervisors. The user moves within the construction site while photographing the construction site with the photographing device 20.
  • the photographing device 20 transmits image information indicating the photographed image to the information processing device 10 via the network.
  • the image information is associated with the location of the shooting point indicating the shooting point and the date and time of the shooting.
  • the position of the photographing point is acquired by a position sensor such as a magnetic sensor or a GPS sensor included in the photographing device 20, and is expressed in latitude and longitude.
  • the photographing date and time is acquired, for example, by a clock included in the photographing device 20.
  • the information processing device 10 can obtain image information at a plurality of photographing points at the construction site.
  • the photographing device 20 photographs images at a predetermined frame rate, the photographing point is defined in units of frame cycles. However, this is just an example, and the shooting points may be defined for each predetermined time (for example, 1 second, 1 minute, etc.).
  • the photographing device 20 includes an image sensor, an operating device, a communication circuit, a signal processing circuit, and the like.
  • the photographing device 20 may be configured with a portable computer such as a smartphone or a doublet computer.
  • the terminal device 30 is owned by a user.
  • the terminal device 30 may be configured with a portable computer such as a smartphone or a tablet computer, or may be configured with a stationary computer.
  • the terminal device 30 displays image information on a display under the control of the information processing device 10.
  • a plurality of terminal devices may be connected to the information processing device 10 via a network.
  • the terminal device 30 includes a central processing unit (CPU), a memory, a display, operation devices such as a touch panel and a keyboard, and a communication circuit.
  • the information processing device 10 includes a processor 11, a memory 12, and a communication unit 13.
  • the processor 11 is composed of, for example, a central processing unit (CPU).
  • Processor 11 includes a display control section 111.
  • the display control unit 111 may be realized by the processor 11 executing an information processing program, or may be configured by a dedicated hardware circuit such as an ASIC.
  • the display control unit 111 obtains an instruction from the user to select a blueprint from the terminal device 30, reads blueprint information indicated by the instruction from the memory 12, and displays the read blueprint information on the display of the terminal device 30.
  • the blueprint information is information indicating a blueprint of a construction site.
  • the blueprint information is an example of an overhead image.
  • the display control unit 111 superimposes and displays a photographing point icon for selecting an arbitrary position on the blueprint on the blueprint.
  • the display control unit 111 receives an instruction from the terminal device 30 to select a photographing date and time from the user, it displays a plurality of photographing point icons indicating photographing points at the photographing date and time in a superimposed manner on the blueprint.
  • the selection icon is configured to be movable on the blueprint.
  • latitude and longitude are associated with key points in advance. Key points are, for example, the four corners of the blueprint.
  • the display control unit 111 detects the selection of the first shooting point icon, which is one shooting point icon, by acquiring an instruction to select one shooting point icon from the plurality of shooting point icons from the terminal device 30.
  • the display control unit 111 detects selection of the first photographing point icon, it displays the first image corresponding to the first photographing point icon on the display of the terminal device 30 .
  • the first image is an image photographed at the photographing point indicated by the first photographing point icon.
  • the first image is an omnidirectional image. However, this is just an example, and the first image may be a panoramic image.
  • the display control unit 111 executes the following processing when displaying the first image.
  • the display control unit 111 determines whether annotation information is associated with a second photographing point icon that is within a predetermined range with respect to the first photographing point icon. If the display control unit 111 determines that the annotation information is associated with the second photographing point icon, the display control unit 111 displays the first image on the display of the terminal device 30 in association with the annotation information.
  • the second photographing point icon is a photographing point icon located within a certain distance range around the position (coordinates) of the first photographing point icon. In the following description, for convenience of explanation, the second photographing point icon refers to two photographing point icons adjacent to the left and right sides of the first photographing point.
  • the second shooting point icon is composed of n (an integer greater than or equal to 2) shooting point icons located to the left of the first shooting point icon and n shooting point icons located to the right.
  • n an integer greater than or equal to 2
  • shooting point icons located to the left of the first shooting point icon There may be.
  • the certain distance range for example, a distance where the shooting point of the first image and the shooting point of the second image are so close that it is considered that the same subject is included in the first image and the second image can be adopted. .
  • the annotation information includes the position on the image of the annotation area where the annotation is set.
  • the annotation area set on the first image will be referred to as a first annotation area
  • the annotation area set on the second image will be referred to as a second annotation area.
  • the display control unit 111 detects a corresponding area corresponding to the second annotation area from the first image based on the second image, and displays the first image in which the second annotation area is superimposed on the corresponding area on the display of the terminal device 30. to be displayed. In this case, the display control unit 111 may transmit an instruction to display the first image to the terminal device 30 via the communication unit 13.
  • the first annotation area and the second annotation area are displayed using different display objects. For example, the display object in the first annotation area and the display object in the second annotation area are displayed with different colors, shapes, etc.
  • the annotation area is an area set by the user by moving and transforming a rectangular frame displayed superimposed on the first image or the second image.
  • the display control unit 111 may detect the corresponding area from the first image by applying pattern matching using the second annotation area as a template to the first image. Alternatively, first, the display control unit 111 recognizes the object included in the second annotation area using an object recognizer created in advance using machine learning such as deep learning. Next, the display control unit 111 uses this object recognizer to recognize the object included in the first image. Finally, the display control unit 111 may detect an area on the first image that displays the same object as the object included in the second annotation area as a corresponding area.
  • the display control unit 111 may further display the annotation information associated with the first photography location icon on the display of the terminal device 30.
  • the display control unit 111 displays the first image on which the first annotation area is further superimposed on the display of the terminal device 30.
  • the memory 12 is composed of a nonvolatile rewritable storage device such as a hard disk drive or solid state drive.
  • the memory 12 stores blueprint information, photographing information, annotation information, and image information.
  • the blueprint information is image information showing the blueprint.
  • the blueprint information is associated with a blueprint ID that identifies the blueprint. As described above, the latitude and longitude of the actual construction site are set at key points in the blueprint.
  • the photographing information indicates information regarding one photographing operation using the photographing device 20. Photographing information is generated every time one photographing operation is performed. One photographing operation refers to a series of operations from when a worker holding the photographing device 20 starts photographing at a construction site to when the worker finishes photographing. A plurality of images are photographed by one photographing operation.
  • the photographing information includes a blueprint ID, a photographing ID, a photographing date and time, a representative value of the photographing date and time, a position of a photographing point, and a position of a photographing point icon.
  • the photographing ID is an identifier for identifying each photograph included in one photographing operation.
  • the photographing date and time is the photographing date and time of the photographing indicated by the photographing ID.
  • the representative value of the photographing date and time is the photographing date and time when photographing was started.
  • the photographing point indicates the position (latitude and longitude) where the photographing indicated by the photographing ID was taken.
  • the position of the photographing point icon indicates the display position (coordinates) of the photographing point icon corresponding to the photographing ID on the design drawing.
  • the location of the photographing point icon is based on the photographing position (latitude and longitude) at the key point of the blueprint indicated by the blueprint information and the photographing point (latitude and longitude) corresponding to the photographing ID. Calculated by mapping.
  • Annotation information is information indicating an annotation.
  • One piece of annotation information corresponds to one annotation.
  • the annotation information includes the shooting ID, the position of the annotation area, and the annotation message.
  • the annotation message is character information input by the user as an annotation.
  • the image information indicates one image photographed by each photograph included in one photographing operation. That is, the image information indicates the above-mentioned first image or second image.
  • a shooting ID is associated with the image information.
  • the photographing information and the image information are associated with the photographing ID
  • the image corresponding to the photographing point icon is specified using the photographing ID as a key.
  • the annotation information includes the shooting ID, the position of the annotation area, and the annotation message, and the image information is associated with the shooting ID, so using the shooting ID as a key, you can edit the annotation area set on the image. Location and annotation messages are specified.
  • the communication unit 13 is a communication circuit that connects the information processing device 10 to a network.
  • FIG. 2 is a diagram showing an example of the display screen G1 displayed on the display of the terminal device 30.
  • the display screen G1 is a basic screen of an application provided by the information processing device 10.
  • the display screen G1 includes an image information display field R1, an annotation information display field R2, a blueprint display field R3, and a news display field R4.
  • the image information display column R1 displays the first image associated with the first shooting point icon.
  • the annotation information display field R2 displays annotation information associated with the first shooting point icon.
  • a list of annotation messages C1 input by a plurality of users with respect to the first image displayed in the image information display field R1 is displayed.
  • the annotation message C1 input by a user other than the user is displayed on the left, and the annotation message C1 input by the user is displayed on the right.
  • the blueprint display field R3 displays blueprints of the construction site.
  • a selection icon 201, a photographing point icon 202, and a trajectory 203 are displayed in a superimposed manner on the blueprint displayed in the blueprint display field R3.
  • the selection icon 201 is configured to be movable by a drag-and-drop operation.
  • the selection icon 201 is composed of an image simulating a person.
  • the photographing point icon 202 is an icon indicating a photographing point, and is associated with an image photographed at the photographing point.
  • the shooting location icon 202 is composed of a circular image.
  • a trajectory 203 indicates the trajectory of the user who captured the image.
  • the trajectory 203 is composed of lines connecting adjacent shooting point icons 202.
  • the shooting point icon 202 located at the tip of the trajectory 203 and the shooting point icon 202 located at the trailing end of the trajectory 203 are displayed in a larger size than other shooting point icons.
  • a photographing point icon 202 located at the leading end (for example, the right end) of the trajectory 203 indicates the photographing start position
  • a photographing point icon 202 located at the trailing end (for example, the left end) of the trajectory 203 indicates the photographing end position.
  • the blueprint display field R3 selects the image displayed in the image information display field R1 from the blueprint display field R3. to be displayed.
  • the news display column R4 displays various messages related to this construction site and input by the user.
  • the shooting point icon 202 is determined as the first shooting point icon, and the image corresponding to the first shooting point icon is It is detected as one image.
  • the first image is then displayed in the image information display column R1.
  • annotation information is associated with the first photographing point icon
  • the annotation information corresponding to the first photographing point icon is displayed in the annotation information display column R2.
  • the shooting point icon with the shortest distance from the drop position and associated with the annotation information is determined as the first shooting point icon, and the image corresponding to the first shooting point icon is the first image. Detected as . Then, the first image is displayed in the image information display field R1, and annotation information corresponding to this first image is displayed in the annotation information display field R2.
  • FIG. 3 is a diagram showing an example of a menu screen 300 for selecting the shooting date and time.
  • Menu screen 300 is displayed when a predetermined operation for displaying menu screen 300 is performed on display screen G1.
  • the menu screen 300 displays a list of multiple shooting dates and times taken at one construction site.
  • One photographing date and time included in the menu screen 300 indicates a representative value of the photographing date and time of one photographing operation.
  • the display control unit 111 acquires the instruction from the terminal device 30. Then, the display control unit 111 transmits a display instruction to the terminal device 30 to display the trajectory 203 corresponding to the photographing date and time indicated by the acquired instruction in a superimposed manner on the blueprint display field R3. Thereby, the user can display the trajectory 203 corresponding to the selected photographing date and time on the blueprint display field R3. Note that on the display screen G1 that is first displayed after starting the application, a trajectory 203 corresponding to the latest photographing date and time is displayed in the blueprint display field R3. Although the photographing point icon 202 is omitted in FIG. 3 for convenience of explanation, the photographing point icon 202 is actually also displayed as shown in FIG. 2.
  • FIG. 4 is a diagram showing an example of the first image G31 displayed on the display.
  • the left side shows the first image G31
  • the right side shows the second image G32.
  • a rectangular frame in the first image G31 indicates the first annotation area 301.
  • a circular area in the first image G31 and the second image G32 indicates the second annotation area 302.
  • the first image G31 displays a second annotation area 302 set for the second image G32.
  • the second annotation area 302 displayed on the first image G31 is displayed in a corresponding area on the first image G31 of the second annotation area 302 included in the second image G32.
  • the user can check the second annotation area 302 on the first image G31 without inputting an operation to display the second image G32 while viewing the first image G31.
  • the first annotation area and the second annotation area are set for the same subject, so the first annotation area and the second display area are displayed in an overlapping manner.
  • the first image G31 and the second image G32 are omnidirectional images, so in the example of FIG. 4, the first image G31 displayed on the display is a part of the entire area of the first image.
  • FIG. 5 is a diagram showing another example of the first image G31 displayed on the display.
  • developed images obtained by developing the entire area of the omnidirectional image are used as the first image G31 and the second image G32. Therefore, in the example of FIG. 5, although the first image G31 and the second image G32 are distorted, the entire area of the first image G31 and the second image G32 is displayed on the display.
  • the second annotation area 302 set for the second image G32 is displayed in the first image G31.
  • the display control unit 111 generates expanded images of the first image G31 and the second image G32 using an equidistant azimuthal projection, a fisheye projection, or the like.
  • FIG. 6 is a diagram showing the detailed configuration of the blueprint display column R3.
  • an annotation icon 204 is displayed in association with a shooting location icon 202 that is associated with annotation information.
  • the annotation icon 204 employs a speech bubble mark starting from the corresponding shooting point icon 202.
  • the annotation icon 204 only indicates that annotation information is associated, and does not display an annotation message.
  • the photographing point icon 202 indicated by the arrow is determined as the first photographing point icon 202_1. Therefore, the two shooting point icons 202 adjacent to the left and the shooting point icon 202 adjacent to the right of the first shooting point icon 202_1 become the second shooting point icon 202_2.
  • the left second photographing point icon 202_2 is associated with annotation information. Therefore, the first image corresponding to the first photographing point icon 202_1 is displayed with the second annotation area corresponding to the second photographing point icon 202_2 on the left side superimposed thereon. Further, annotation information is also associated with the first photographing point icon 202_1. Therefore, the first annotation area corresponding to the first photographing point icon 202_1 is also displayed in a superimposed manner on the first image.
  • FIG. 7 is a flowchart showing an example of the processing of the information processing device 10 shown in FIG. 1.
  • the display control unit 111 obtains an instruction from the user to select a design drawing (step S1). In this case, a menu screen for selecting a design drawing is displayed on the display of the terminal device 30, and an instruction to select one design drawing from the menu screen is input.
  • the input instruction is transmitted to the information processing device 10 via the network and received by the communication unit 13.
  • the display control unit 111 obtains instructions via the communication unit 13. Since this instruction includes the blueprint ID, the display control unit 111 can acquire blueprint information indicating the instructed blueprint from among the blueprint information stored in the memory 12.
  • the display control unit 111 displays the display screen G1 on the display of the terminal device 30 by transmitting a display instruction for the display screen G1 to the terminal device 30 via the communication unit 13 (step S2).
  • the display instructions on the display screen G1 displayed by default include blueprint information indicating the blueprint selected in step S1 and photographing information corresponding to the latest photographing date and time. Therefore, as shown in FIG. 2, the display screen G1 displayed by default includes a blueprint selection icon 201, a photographing point icon 202 corresponding to the latest photographing date and time, and a trajectory 203. At this point, since the first photographing point icon has not been determined, the image information display field R1 and the annotation information display field R2 are blank.
  • the display control unit 111 includes a blueprint in which a photographing point icon 202 and a trajectory 203 corresponding to the selected photographing date and time are superimposed.
  • a display screen G1 is displayed on the display.
  • the display control unit 111 determines whether an instruction from the user to select the shooting date and time has been obtained (step S3).
  • a menu screen 300 for selecting the shooting date and time is displayed on the display of the terminal device 30.
  • the user inputs an instruction to select one shooting date and time from the menu screen 300.
  • the photographing date and time displayed on the menu screen 300 is a representative value of the photographing date and time included in the photographing information stored in the memory 12.
  • the input instruction is transmitted to the information processing device 10 via the network and received by the communication unit 13.
  • the display control unit 111 obtains instructions via the communication unit 13.
  • step S3 If an instruction to select a shooting date and time is input (YES in step S3), the process proceeds to step S4. If the instruction to select the shooting date and time is not input (NO in step S3), the process returns to step S2.
  • the display process is a process of displaying the first image in the image information display field R1.
  • the display control unit 111 determines whether an instruction to input an annotation has been obtained (step S5).
  • the annotation input instruction is an instruction input when the user intends to input an annotation to the image displayed in the image information display field R1. This instruction is input, for example, by selecting an annotation input instruction button (not shown) displayed on the display screen G1.
  • the input instruction is transmitted to the information processing device 10 via the network and received by the communication unit 13.
  • the display control unit 111 obtains instructions via the communication unit 13.
  • the display control unit 111 acquires the position of the annotation area (step S6).
  • the position of the annotation area is input by performing an operation of moving and deforming, for example, a rectangular frame in the image information display field R1.
  • the position of the annotation area is, for example, the coordinates of a key point (vertex) of the frame.
  • the input position of the annotation area is transmitted to the information processing device 10 via the network and received by the communication unit 13.
  • the display control unit 111 acquires the position of the annotation area via the communication unit 13.
  • the display control unit 111 generates annotation information including the position of the acquired annotation area, and stores the generated annotation information in the memory 12 in association with the photographing ID.
  • the annotation area D1 is set as shown in FIG.
  • step S5 if an annotation input instruction has not been acquired (NO in step S5), the process proceeds to step S8.
  • the display control unit 111 obtains the annotation message (step S7).
  • the annotation message is input into the annotation information display field R2, as shown in FIG.
  • the input annotation message is transmitted to the information processing device 10 via the network and received by the communication unit 13.
  • the display control unit 111 obtains the annotation message via the communication unit 13.
  • the display control unit 111 stores the obtained annotation message in the memory 12 by including it in the annotation information generated in step S6.
  • the display control unit 111 determines whether a termination instruction has been obtained (step S8).
  • the termination instruction is an instruction to close the display screen G1 displayed in step S3. This instruction is input by pressing an end button (not shown) displayed on the display screen G1. If the termination instruction is obtained (YES in step S8), the process ends. If the termination instruction has not been obtained (NO in step S8), the process returns to step S3. In this case, the display on the display screen G1 is maintained.
  • the termination instruction is transmitted to the information processing device 10 via the network and received by the communication unit 13.
  • the display control unit 111 obtains the termination instruction via the communication unit 13.
  • FIG. 8 is a flowchart showing details of the display processing shown in FIG. 7.
  • the display control unit 111 obtains an instruction to select the first image (step S21). This instruction is given by dragging and dropping the selection icon 201 on the design drawing, as shown in FIG. As described above, the display control unit 111 determines one shooting point icon selected by the user as the first shooting point icon based on the drop position of the selection icon 201 and the position of the shooting point icon 202, and The image corresponding to the shooting point icon is detected as the first image.
  • the display control unit 111 determines whether or not annotation information is associated with the second shooting point icon (step S22). If the annotation information is associated with the second shooting point icon (YES in step S22), the display control unit 111 converts the corresponding area of the second annotation area set in the second image into the above-mentioned pattern from the first image. Detection is performed by matching (step S23). If annotation information is not associated with the second photographing point icon (NO in step S22), the process proceeds to step S25.
  • step S24 the display control unit 111 superimposes the second annotation area on the corresponding area (step S24).
  • the display control unit 111 determines whether or not annotation information is associated with the first shooting point icon (step S25). If annotation information is associated with the first shooting point icon (YES in step S25), the display control unit 111 superimposes the first annotation area on the first image (step S26). On the other hand, if annotation information is not associated with the first photographing point icon (NO in step S25), the process proceeds to step S27.
  • the display control unit 111 displays the first image in which the first annotation area and the second annotation area are superimposed on the display of the terminal device 30 (step S27). Note that in the case of NO in step S25, the second annotation area is superimposed on the first image, and the first annotation area is not superimposed.
  • FIG. 9 is a diagram showing yet another example of the first image G31 displayed on the display.
  • a developed image in which the entire area of the omnidirectional image is developed is adopted as the first image G31.
  • the first annotation area 301 and the second annotation area 302 are set for different subjects. Therefore, in the example of FIG. 9, unlike the example of FIG. 5, the first annotation area 301 and the second annotation area 302 are displayed separately.
  • the annotation information when the annotation information is associated with the second shooting point icon within a predetermined range with respect to the first shooting point icon corresponding to the first image, the second shooting point icon corresponding to the first image is is displayed in association with this annotation information. Therefore, the annotation information set on the second image can be checked without having to separately input an operation to close the first image and display the second image while viewing the first image. Furthermore, since the annotation information can be confirmed without going through such operations, the number of computer processing steps required for such operations is reduced.
  • the display control unit 111 further displays this annotation information on the first image. It's okay.
  • the first image includes the second annotation area set in the second image corresponding to the second shooting point icon 202_2 on the right side.
  • the set second annotation area is also displayed superimposed on the first image. If the two second annotation areas do not fit within the display area of the first image, the display control unit 111 may reduce the first image so that the two annotation areas fit within the display area at the same time. Alternatively, the display control unit 111 may display a developed image of the first image in order to display the entire area of the first image.
  • the display control unit 111 may cause the first annotation area and the second annotation area to fit within the display area of the first image.
  • the first image may be reduced so that it fits within the range.
  • the display control unit 111 may display a developed image of the first image in order to display the entire area of the first image.
  • the display control unit 111 detects corresponding areas of each of the plurality of annotation areas set in the second image from the first image by pattern matching. , it is sufficient to display the first image in which the plurality of annotation areas set in the second image are superimposed on the detected plurality of corresponding areas.
  • the display control unit 111 does not need to superimpose the second annotation area on the first image.
  • the display control unit 111 may display a message indicating that annotation information is set on the second image together with the first image.
  • the display control unit 111 may display an annotation icon with a speech bubble mark attached to the outer frame of the first image.
  • the user does not need to set the second annotation area on the second image.
  • the display control unit 111 does not need to superimpose the first annotation area on the first image.
  • the display control unit 111 may display a message indicating that annotation information is set on the first image together with the first image.
  • the display control unit 111 may display an annotation icon with a speech bubble mark attached to the outer frame on the first image.
  • the user does not need to set the first annotation area on the first image.
  • the display control unit 111 may display the annotation message corresponding to the second annotation area in the annotation information display column R2. Further, in this state, if an instruction to select the first annotation area is input, the display control unit 111 may display an annotation message corresponding to the first annotation area in the annotation information display field R2.
  • a construction site is exemplified as a site, but the present disclosure is not limited to this, and includes a manufacturing site, a logistics site, a distribution site, farmland, a civil engineering site, a retail site, an office, a hospital, a commercial facility, A nursing home or the like may also be employed as a site.
  • the second annotation area 302 is displayed superimposed on the first image G31, but the present disclosure is not limited thereto.
  • the display control unit 111 displays an annotation icon indicating that an annotation comment is attached to the second image G32, as shown in FIG. 303 may be displayed on the first image G31.
  • FIG. 10 is a diagram showing another example of the display mode of the first image G31. In FIG. 10, the left side shows the first image G31, and the right side shows the second image G32. A second annotation area 302 is set in the second image G32 adjacent to the first image G31. Furthermore, an annotation message is attached to the second annotation area 302.
  • the first image G31 displays an annotation icon 303 indicating that an annotation message has been attached to the second image G32 in association with the first annotation area 301.
  • the user who viewed the first image G31 can confirm at a glance that an annotation message is set on the adjacent image.
  • FIG. 11 is a diagram showing a first image G31 in which an annotation icon 303 is displayed in association with a second annotation area 302. Note that in FIG. 11, illustration of the first annotation area 301 is omitted.
  • the display control unit 111 detects an operation (for example, click or tap) to select the annotation icon 303 as shown on the left side of FIG. 11, the display control unit 111 changes the annotation message display field 305 to the first image G31 as shown on the right side of FIG. superimposed on the image.
  • the annotation message display field 305 displays a list of annotation messages added to the second annotation area 302.
  • the annotation message display column 305 displays a list of annotation messages in the second annotation area 302 that are listed in the annotation information display column R2 shown in FIG.
  • the user can confirm the annotation message attached to the second annotation area 302 by simply inputting an operation to select the annotation icon 304 in the first image G31 without displaying the second image G32.
  • the present disclosure is useful for managing construction sites because the status of the construction site can be checked remotely.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

情報処理装置は、複数の撮影地点アイコンのうち１の撮影地点アイコンである第１撮影地点アイコンの選択を検知した場合、第１撮影地点アイコンに対応する第１画像を前記ディスプレイに表示し、第１画像の前記ディスプレイへの表示は、第１撮影地点アイコンに対して所定範囲内にある第２撮影地点アイコンに注釈情報が対応付けられているか否かを判定することと、第２撮影地点アイコンに注釈情報が対応付けられていると判定した場合、第１画像と注釈情報とをディスプレイに表示すること、を含む。

Description

情報処理方法、情報処理装置、及び情報処理プログラム
　本開示は、選択された画像を表示する技術に関するものである。
　特許文献１には、作業現場の鳥瞰撮影画像上に作業員が指定した指定エリアを示す画像（例えば輪郭線）を表示すること、鳥瞰撮影画像の横に設けられた表示欄に作業員により入力された指定エリアに関連するチャットを表示すること、が開示されている。
　しかしながら、特許文献１に示す従来技術では、鳥瞰撮影画像が示す現場において撮影された画像をユーザの選択指示に応じてディスプレイに表示させることが開示されていない。そのため、この従来技術は、ユーザの選択指示に応じてディスプレイに表示された第１画像と対応付けて注釈情報を表示することの開示もない。したがって、この従来技術は、第１画像の閲覧中に、第１画像とは別の第２画像を選択する操作を入力することなく、第２画像に設定された注釈情報をユーザに確認させることはできない。
特開２０２１－８６２２４号公報
　本開示は、このような課題を解決するためになされたものであり、第１画像の閲覧中に、第１画像とは別の第２画像を選択する操作を入力することなく、第２画像に設定された注釈情報をユーザに確認させる技術を提供することを目的とする。
　本開示の一態様における情報処理方法は、コンピュータにおける情報処理方法であって、端末装置のディスプレイに、撮影地点を示す複数の撮影地点アイコンが重畳された俯瞰画像を表示し、前記複数の撮影地点アイコンのうち１の撮影地点アイコンである第１撮影地点アイコンの選択を検知した場合、前記第１撮影地点アイコンに対応する第１画像を前記ディスプレイに表示し、前記第１画像の前記ディスプレイへの表示は、前記第１撮影地点アイコンに対して所定範囲内にある第２撮影地点アイコンに注釈情報が対応付けられているか否かを判定することと、前記第２撮影地点アイコンに前記注釈情報が対応付けられていると判定した場合、前記第１画像と前記注釈情報とを前記ディスプレイに表示することと、を含む。
　この構成によれば、第１画像の閲覧中に、第１画像とは別の第２画像を選択する操作を入力することなく、第２画像に設定された注釈情報をユーザに確認させることができる。
本開示の実施の形態における情報処理システムの構成の一例を示すブロック図である。 端末装置のディスプレイに表示される表示画面の一例を示す図である。 撮影日時を選択するメニュー画面の一例を示す図である。 ディスプレイに表示される第１画像の一例を示す図である。 ディスプレイに表示される第１画像の別の一例を示す図である。 設計図画像表示欄の詳細な構成を示した図である。 図１に示す情報処理装置の処理の一例を示すフローチャートである。 図７に示す表示処理の詳細を示すフローチャートである。 ディスプレイに表示される第１画像のさらに別の一例を示す図である。 第１画像の表示態様の他の一例を示す図である。 第２注釈領域に注釈アイコンが対応付けて表示された第１画像を示す図である。
　（本開示の一態様に至る経緯）
　建築現場の課題として、具体的な指示が作業員に伝わらない、その指示の説明に時間がかかるといったコミュニケーション上の課題や建築現場全体を回るのに人手が必要、建築現場への移動に時間がかかるといった建築現場の確認上の課題などがある。
　このような課題を解決するには、例えば建築現場に多数のカメラを設置し、多数のカメラから得られた画像を参照しながら遠隔にいる現場監督が作業員に指示を出すことも考えられる。しかしながら、建築現場では建築が進むにつれて設置したセンサを取り外したり、取り外したセンサを別の場所に設置したりといった作業が発生する。このような作業は手間がかかるので、建築現場でセンサを設置するのは実用的ではない。そこで、本発明者は、センサを設置せずに建築現場の状況を遠隔から詳細に確認できる技術を検討した。
　すると、ディスプレイに表示された建築現場の設計図においてある位置を選択する操作を入力すると、その位置で事前に撮影された建築現場の画像やその画像に対してユーザが領域を指定して注釈を入力することができるユーザインターフェースがあれば、建築現場の状況を遠隔から詳細に確認できることが知見された。
　ところで、このように選択して表示された第１画像の閲覧中に第１画像の近くの撮影地点で撮影された第２画像に設定された注釈の確認をユーザが望むケースが想定される。この場合、ユーザは、第１画像を閉じ、ユーザインターフェースから第２画像の撮影地点を選択する操作を入力することが要求される。このような操作はユーザにとって手間がかかる。
　そこで、本発明者は、第１画像の近くで撮影された第２画像に注釈が設定されている場合、その注釈を第１画像と合わせて表示すれば、このような操作を行わずに第１画像の閲覧中に第２画像に設定された注釈を確認できるとの知見を得て、本開示を想到するに至った。
　（１）本開示の一態様における情報処理方法は、コンピュータにおける情報処理方法であって、端末装置のディスプレイに、撮影地点を示す複数の撮影地点アイコンが重畳された俯瞰画像を表示し、前記複数の撮影地点アイコンのうち１の撮影地点アイコンである第１撮影地点アイコンの選択を検知した場合、前記第１撮影地点アイコンに対応する第１画像を前記ディスプレイに表示し、前記第１画像の前記ディスプレイへの表示は、前記第１撮影地点アイコンに対して所定範囲内にある第２撮影地点アイコンに注釈情報が対応付けられているか否かを判定することと、前記第２撮影地点アイコンに前記注釈情報が対応付けられていると判定した場合、前記第１画像と前記注釈情報とを前記ディスプレイに表示することと、を含む。
　この構成によれば、第１画像に対応する第１撮影地点アイコンに対して所定範囲内にある第２撮影地点アイコンに注釈情報が対応付けられている場合、第１画像はこの注釈情報と対応付けて表示される。そのため、第１画像の閲覧中に別途、第１画像を閉じて第２画像を表示する操作を入力しなくても、第２画像に設定された注釈情報を確認できる。また、このような操作を介さずに注釈情報が確認できるので、このような操作のために費やされるコンピュータの処理ステップ数が削減される。
　（２）上記（１）記載の情報処理方法において、前記注釈情報は、前記第２撮影地点アイコンに対応する第２画像において注釈が設定された注釈領域の位置を含み、前記第１画像の前記ディスプレイへの表示は、前記第２画像に基づいて、前記注釈領域に対応する対応領域を前記第１画像から検知することと、前記対応領域に前記注釈領域が重畳された前記第１画像を前記ディスプレイに表示することと、を含んでもよい。
　この構成によれば、第２画像上に設定された注釈情報に対応する第１画像上の位置に当該注釈情報を表示できるので、第２画像上に設定された注釈情報がどの被写体に設定されたかを容易に確認できる。
　（３）上記（１）または（２）記載の情報処理方法において、前記第１画像の前記ディスプレイへの表示は、前記第１撮影地点アイコンに前記注釈情報が対応付けられている場合、前記第１撮影地点アイコンに対応付けられた前記注釈情報と前記第２撮影地点アイコンに対応付けられた前記注釈情報とをさらに前記ディスプレイに表示することを含んでもよい。
　この構成によれば、第１撮影地点アイコンに対応付けられた注釈情報と第２撮影地点アイコンに対応付けられた注釈情報とを同時に確認できる。
　（４）上記（１）～（３）のいずれか１つに記載の情報処理方法において、前記注釈情報は、前記第１画像において注釈が設定された領域を示す第１注釈領域の位置と、前記第２撮影地点アイコンに対応する第２画像において注釈が設定された領域を示す第２注釈領域の位置とを含み、前記第１画像の前記ディスプレイへの表示は、前記第２画像に基づいて、前記第２注釈領域に対応する対応領域を前記第１画像から検知することと、前記第１画像に前記第１注釈領域が設定されている場合、前記第１注釈領域が重畳されるとともに、前記対応領域に前記第２注釈領域が重畳された前記第１画像を前記ディスプレイに表示することと、を含んでもよい。
　この構成によれば、第１画像において、第１注釈領域と第２注釈領域とを同時に確認できる。
　（５）上記（１）～（４）のいずれか１つに記載の情報処理方法において、前記第１画像の前記ディスプレイへの表示は、前記第１撮影地点アイコンに対応付けられた前記注釈情報と前記第２撮影地点アイコンに対応付けられた前記注釈情報とを異なる表示オブジェクトを用いて表示すること、含んでもよい。
　この構成によれば、第１撮影地点アイコンに対応付けられた注釈情報と第２撮影地点アイコンに対応付けられた注釈情報とを容易に区別できる。
　（６）上記（１）～（５）のいずれか１つに記載の情報処理方法において、さらに、前記俯瞰画像に、移動可能に構成された選択アイコンを表示し、前記第１撮影地点アイコンは、前記選択アイコンの移動完了位置と前記複数の撮影地点アイコンのそれぞれとの距離に基づいて決定されてもよい。
　この構成によれば、選択アイコンを俯瞰画像上で移動させることで撮影地点アイコンが選択できるので、撮影地点アイコンの選択を直感的に行うことができる。
　（７）上記（１）～（６）のいずれか１つに記載の情報処理方法において、さらに、前記ディスプレイに表示された前記注釈情報の選択が検知された場合、前記注釈情報が示す注釈メッセージを前記ディスプレイに表示してもよい。
　この構成によれば、必要に応じて注釈情報が示す注釈メッセージを確認できる。
　（８）本開示の別の一態様における情報処理装置は、プロセッサを備える情報処理装置であって、前記プロセッサは、端末装置のディスプレイに、撮影地点を示す複数の撮影地点アイコンが重畳された俯瞰画像を表示し、前記複数の撮影地点アイコンのうち１の撮影地点アイコンである第１撮影地点アイコンの選択を検知した場合、前記第１撮影地点アイコンに対応する第１画像を前記ディスプレイに表示する、処理を実行し、前記第１画像の前記ディスプレイへの表示は、前記第１撮影地点アイコンに対して所定範囲内にある第２撮影地点アイコンに注釈情報が設定されているか否かを判定することと、前記第２撮影地点アイコンに前記注釈情報が対応付けられていると判定した場合、前記第１画像と前記注釈情報とを前記ディスプレイに表示することと、を含む。
　この構成によれば、第１画像の閲覧中に別途、第１画像を閉じて第２画像を表示する操作を入力しなくても、第２画像に設定された注釈情報を確認できる情報処理装置を提供できる。
　（９）本開示のさらに別の一態様における情報処理プログラムは、上記（１）～（７）のいずれか１つに記載の情報処理方法をコンピュータに実行させる。
　この構成によれば、第１画像の閲覧中に別途、第１画像を閉じて第２画像を表示する操作を入力しなくても、第２画像に設定された注釈情報を確認できる情報処理プログラムを提供できる。
　本開示は、このような情報処理プログラムによって動作する情報処理システムとして実現することもできる。また、このようなコンピュータプログラムを、ＣＤ－ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
　なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。
　（実施の形態）
　図１は、本開示の実施の形態における情報処理システム１の構成の一例を示すブロック図である。情報処理システム１は、情報処理装置１０、撮影装置２０、及び端末装置３０を含む。情報処理装置１０、撮影装置２０、及び端末装置３０は、ネットワークを介して通信可能に接続されている。ネットワークの一例はインターネットである。情報処理装置１０は、例えば１又は複数のコンピュータで構成されたクラウドサーバである。但し、これは一例であり、情報処理装置１０は、エッジサーバで構成されもよいし、端末装置３０に実装されてもよい。
　撮影装置２０は、例えば全方位カメラで構成され、所定のフレームレートで画像を撮影する。撮影装置２０は、例えば、ユーザにより所持される携帯型の撮影装置である。ユーザは、例えば建築現場の作業員及び現場監督である。ユーザは、撮影装置２０で建築現場を撮影しながら、建築現場内を移動する。撮影装置２０は、撮影した画像を示す画像情報をネットワークを介して情報処理装置１０に送信する。画像情報には、撮影地点を示す撮影地点の位置と撮影日時とが対応づけられている。撮影地点の位置は例えば撮影装置２０が備える磁気センサ又はＧＰＳセンサなどの位置センサによって取得され、緯度及び経度で表される。撮影日時は、例えば撮影装置２０が備える時計により取得される。これにより、情報処理装置１０は、建築現場の複数の撮影地点における画像情報を得ることができる。ここでは、撮影装置２０は、所定のフレームレートで画像を撮影するので、撮影地点は、フレーム周期単位で規定される。但し、これは一例であり、撮影地点は所定時間（例えば、１秒、１分など）ごとに規定されてもよい。撮影装置２０は、画像センサ、操作装置、通信回路、信号処理回路などを含む。撮影装置２０は、スマートフォン又はダブレット型コンピュータなどの携帯型のコンピュータで構成されてもよい。
　端末装置３０は、ユーザによって所持される。端末装置３０は、例えばスマートフォン又はタブレット型コンピュータなどの携帯型のコンピュータで構成されてもよいし、据え置き型のコンピュータで構成されてもよい。端末装置３０は、情報処理装置１０による制御にしたがって画像情報をディスプレイに表示する。図１の例では１台の端末装置３０が図示されているが、情報処理装置１０には複数の端末装置がネットワークを介して接続されていてもよい。端末装置３０は、中央演算処理装置（ＣＰＵ）、メモリ、ディスプレイ、タッチパネル及びキーボードなどの操作装置、並びに通信回路を含む。
　情報処理装置１０は、プロセッサ１１、メモリ１２、及び通信部１３を含む。プロセッサ１１は、例えば中央演算処理装置（ＣＰＵ）で構成される。プロセッサ１１は、表示制御部１１１を含む。表示制御部１１１は、プロセッサ１１が情報処理プログラムを実行することで実現されてもよいし、ＡＳＩＣなどの専用のハードウェア回路で構成されてもよい。
　表示制御部１１１は、ユーザから設計図を選択する指示を端末装置３０から取得し、指示が示す設計図情報をメモリ１２から読み出し、読み出した設計図情報を端末装置３０のディスプレイに表示する。設計図情報は、建築現場の設計図を示す情報である。設計図情報は、俯瞰画像の一例である。表示制御部１１１は、設計図の任意の位置を選択するための撮影地点アイコンを設計図に重畳表示する。表示制御部１１１は、ユーザにより撮影日時を選択する指示を端末装置３０から取得すると、当該撮影日時における撮影地点を示す複数の撮影地点アイコンを設計図に重畳表示する。これらの表示は、表示制御部１１１が表示指示を通信部１３を用いて端末装置３０に送信することで実現される。選択アイコンは設計図上を移動可能に構成される。設計図にはキーポイントとなる位置に予め緯度及び経度が対応づけられている。キーポイントとなる位置は、例えば設計図の４隅の位置である。
　表示制御部１１１は、複数の撮影地点アイコンの中から１の撮影地点アイコンの選択指示を端末装置３０から取得することで１の撮影地点アイコンである第１撮影地点アイコンの選択を検知する。表示制御部１１１は、第１撮影地点アイコンの選択を検知すると、第１撮影地点アイコンに対応する第１画像を端末装置３０のディスプレイに表示する。第１画像は第１撮影地点アイコンが示す撮影地点で撮影された画像である。第１画像は全方位画像である。但し、これは一例であり第１画像はパノラマ画像であってもよい。
　表示制御部１１１は、第１画像を表示するに際して以下の処理を実行する。表示制御部１１１は、第１撮影地点アイコンに対して所定範囲内にある第２撮影地点アイコンに注釈情報が対応付けられているか否かを判定する。そして、表示制御部１１１は、第２撮影地点アイコンに注釈情報が対応付けられていると判定した場合、第１画像を注釈情報と対応付けて端末装置３０のディスプレイに表示する。第２撮影地点アイコンとは、第１撮影地点アイコンの位置（座標）を中心に一定の距離範囲にある撮影地点アイコンである。以下の説明では、説明の便宜上、第２撮影地点アイコンは第１撮影地点の左右に隣接する２つの撮影地点アイコンを指すものとする。但し、これは一例であり、第２撮影地点アイコンは第１撮影地点アイコンの左側に位置するｎ（２以上の整数）個の撮影地点アイコンと、右側に位置するｎ個の撮影地点アイコンとであってもよい。一定の距離範囲としては例えば第１画像と第２画像とにおいて同じ被写体が含まれているとみなされるほど第１画像の撮影地点と第２画像の撮影地点とが近接している距離が採用できる。
　注釈情報には、注釈が設定された注釈領域の画像上の位置が含まれている。以下、第１画像に設定された注釈領域を第１注釈領域、第２画像に設定された注釈領域を第２注釈領域と呼ぶ。表示制御部１１１は、第２画像に基づいて、第２注釈領域に対応する対応領域を第１画像から検知し、対応領域に第２注釈領域が重畳された第１画像を端末装置３０のディスプレイに表示する。この場合、表示制御部１１１は、この第１画像の表示指示を通信部１３を介して端末装置３０に送信すればよい。第１注釈領域と第２注釈領域とは異なる表示オブジェクトを用いて表示される。例えば、第１注釈領域の表示オブジェクトと第２注釈領域の表示オブジェクトとは、色、形などを変えて表示される。
　注釈領域は、第１画像または第２画像に重畳表示された矩形状の枠体を移動及び変形する操作を行うことでユーザにより設定される領域である。表示制御部１１１は、第２注釈領域をテンプレートとするパターンマッチングを第１画像に適用することで対応領域を第１画像から検知すればよい。或いは、まず、表示制御部１１１は、深層学習などの機械学習を用いて事前に作成された物体認識器を用いて第２注釈領域に含まれる物体を認識する。次に、表示制御部１１１は、この物体認識器を用いて第１画像に含まれる物体を認識する。最後に、表示制御部１１１は、第２注釈領域に含まれる物体と同じ物体を表示する第１画像上の領域を対応領域として検知してもよい。
　表示制御部１１１は、第１撮影地点アイコンに注釈情報が対応付けられている場合、第１撮影地点アイコンに対応付けられた注釈情報をさらに端末装置３０のディスプレイに表示してもよい。
　詳細には、表示制御部１１１は、第１画像に第１注釈領域が設定されている場合、第１注釈領域がさらに重畳された第１画像を端末装置３０のディスプレイに表示する。
　メモリ１２は、ハードディスクドライブ、ソリッドステートドライブなどの不揮発性の書き換え可能な記憶装置で構成される。メモリ１２は、設計図情報、撮影情報、注釈情報、及び画像情報を記憶する。設計図情報は、設計図を示す画像情報である。設計図情報には、設計図を識別する設計図ＩＤが対応づけられている。設計図には、上述したようにキーポイントに実際の建築現場の緯度及び経度が設定されている。
　撮影情報は撮影装置２０を用いた１回の撮影動作に関する情報を示す。撮影情報は１回の撮影動作が行われるたびに生成される。１回の撮影動作とは撮影装置２０を持った作業員が建築現場において撮影を開始してからから撮影を終了するまでの一連の動作を指す。１回の撮影動作により複数の画像が撮影される。撮影情報は、設計図ＩＤ、撮影ＩＤ、撮影日時、撮影日時の代表値、撮影地点の位置、及び撮影地点アイコンの位置を含む。撮影ＩＤは１回の撮影動作に含まれる各撮影を識別するための識別子である。撮影日時は撮影ＩＤが示す撮影の撮影日時である。撮影日時の代表値は撮影が開始されたときの撮影日時である。撮影地点は撮影ＩＤが示す撮影が行われた位置（緯度及び経度）を示す。撮影地点アイコンの位置は撮影ＩＤに対応する撮影地点アイコンの設計図上での表示位置（座標）を示す。撮影地点アイコンの位置は、設計図情報が示す設計図のキーポイントにおける撮影位置（緯度及び経度）と、撮影ＩＤに対応する撮影地点（緯度及び経度）とに基づいて、設計図に撮影位置をマッピングすることで算出される。
　注釈情報は注釈を示す情報である。１つの注釈情報は１つの注釈に対応している。注釈情報は、撮影ＩＤ、注釈領域の位置、及び注釈メッセージを含む。注釈メッセージは注釈としてユーザに入力された文字情報である。
　画像情報は１回の撮影動作に含まれる各撮影により撮影された１枚の画像を示す。すなわち、画像情報は、上述の第１画像または第２画像を示す。画像情報には撮影ＩＤが対応づけられている。
　このように、撮影情報及び画像情報には撮影ＩＤが対応づけられているので、撮影ＩＤをキーにして撮影地点アイコンに対応する画像が特定される。撮影情報及び注釈情報には撮影ＩＤが対応づけられているので、撮影ＩＤをキーにして撮影地点アイコンに対応する注釈情報が特定される。注釈情報には撮影ＩＤ、注釈領域の位置、及び注釈メッセージが含まれており、画像情報には撮影ＩＤが対応づけられているので、撮影ＩＤをキーにして、画像に設定された注釈領域の位置及び注釈メッセージが特定される。
　通信部１３は、情報処理装置１０をネットワークに接続する通信回路である。
　図２は、端末装置３０のディスプレイに表示される表示画面Ｇ１の一例を示す図である。表示画面Ｇ１は、情報処理装置１０が提供するアプリケーションの基本画面である。表示画面Ｇ１は、画像情報表示欄Ｒ１、注釈情報表示欄Ｒ２、設計図表示欄Ｒ３、ニュース表示欄Ｒ４を含む。
　画像情報表示欄Ｒ１は、第１撮影地点アイコンに対応づけられた第１画像を表示する。
　注釈情報表示欄Ｒ２は、第１撮影地点アイコンに対応づけられた注釈情報を表示する。ここでは、画像情報表示欄Ｒ１に表示された第１画像に対して複数のユーザが入力した注釈メッセージＣ１が一覧表示されている。注釈情報表示欄Ｒ２において、左側には自分以外のユーザが入力した注釈メッセージＣ１が表示され、右側には自分が入力した注釈メッセージＣ１が表示される。
　アプリケーションの起動直後のデフォルトの表示画面Ｇ１においては、ユーザにより撮影地点アイコンが選択されていない。そのため、デフォルトの表示画面Ｇ１においては、画像情報表示欄Ｒ１及び注釈情報表示欄Ｒ２は空欄である。
　設計図表示欄Ｒ３は、建築現場の設計図を表示する。設計図表示欄Ｒ３が表示する設計図には、選択アイコン２０１、撮影地点アイコン２０２、及び軌跡２０３が重畳表示されている。
　選択アイコン２０１は、ドラッグアンドドロップ操作によって移動可能に構成されている。この例では、選択アイコン２０１は人を模擬した画像で構成されている。
　撮影地点アイコン２０２は撮影地点を示すアイコンであり撮影地点で撮影された画像が対応づけられている。この例では、撮影地点アイコン２０２は円形の画像で構成されている。軌跡２０３は画像を撮影したユーザの軌跡を示す。この例では、軌跡２０３は隣接する撮影地点アイコン２０２同士をつなぐ線で構成されている。軌跡２０３の先端に位置する撮影地点アイコン２０２と、軌跡２０３の後端に位置する撮影地点アイコン２０２とは、他の撮影地点アイコンよりも大きなサイズで表示されている。軌跡２０３の先端（例えば右端）に位置する撮影地点アイコン２０２は撮影開始位置を示し、軌跡２０３の後端（例えば左端）に位置する撮影地点アイコン２０２は撮影終了位置を示す。
　画像情報表示欄Ｒ１に表示された画像を選択する操作（例えば、タップまたはクリック）が入力されると、設計図表示欄Ｒ３は、画像情報表示欄Ｒ１に表示された画像を設計図表示欄Ｒ３に表示する。
　ニュース表示欄Ｒ４は、この建築現場に関連する種々のメッセージであってユーザにより入力されたメッセージを表示する。
　例えば、選択アイコン２０１がいずれかの撮影地点アイコン２０２の所定領域内でドロップされた場合、当該撮影地点アイコン２０２が第１撮影地点アイコンとして決定され、当該第１撮影地点アイコンに対応する画像が第１画像として検知される。そして、第１画像は、画像情報表示欄Ｒ１に表示される。この場合、第１撮影地点アイコンに注釈情報が対応付けられていれば、第１撮影地点アイコンに対応する注釈情報が注釈情報表示欄Ｒ２に表示される。
　例えば、選択アイコン２０１がいずれの撮影地点アイコン２０２においても所定領域内でドロップされなかったとする。この場合、ドロップ位置との距離が最短の撮影地点アイコンであって注釈情報が対応付けられた撮影地点アイコンが第１撮影地点アイコンとして決定され、第１撮影地点アイコンに対応する画像が第１画像として検知される。そして、第１画像は画像情報表示欄Ｒ１に表示され、この第１画像に対応する注釈情報は注釈情報表示欄Ｒ２に表示される。
　図３は、撮影日時を選択するメニュー画面３００の一例を示す図である。メニュー画面３００は、表示画面Ｇ１において、メニュー画面３００を表示するための所定の操作が行われた場合に表示される。メニュー画面３００には、ある１つの建築現場において撮影された複数の撮影日時をリスト表示する。メニュー画面３００に含まれる１つの撮影日時は１つの撮影動作の撮影日時の代表値を示す。
　ユーザによりメニュー画面３００の中から１の撮影日時を選択する指示が入力された場合、表示制御部１１１は、その指示を端末装置３０から取得する。そして、表示制御部１１１は、取得した指示が示す撮影日時に対応する軌跡２０３を設計図表示欄Ｒ３に重畳表示する表示指示を端末装置３０に送信する。これにより、ユーザは、選択した撮影日時に対応する軌跡２０３を設計図表示欄Ｒ３上に表示することができる。なお、アプリケーションの起動後に最初に表示される表示画面Ｇ１においては、設計図表示欄Ｒ３には最新の撮影日時に対応する軌跡２０３が表示される。図３では、説明の便宜上、撮影地点アイコン２０２を省略しているが、実際には図２に示すように撮影地点アイコン２０２も表示されている。
　図４は、ディスプレイに表示される第１画像Ｇ３１の一例を示す図である。図４において左側は第１画像Ｇ３１を示し、右側は第２画像Ｇ３２を示している。第１画像Ｇ３１における四角形の枠体は第１注釈領域３０１を示す。第１画像Ｇ３１及び第２画像Ｇ３２において円形の領域は第２注釈領域３０２を示す。第１画像Ｇ３１には、自身に設定された第１注釈領域３０１に加えて、第２画像Ｇ３２に設定された第２注釈領域３０２が表示されている。第１画像Ｇ３１に表示される第２注釈領域３０２は第２画像Ｇ３２に含まれる第２注釈領域３０２の第１画像Ｇ３１上における対応領域に表示されている。そのため、ユーザは、第１画像Ｇ３１の閲覧中に第２画像Ｇ３２を表示する操作を入力しなくても、第１画像Ｇ３１上で第２注釈領域３０２を確認できる。図４の例では、第１注釈領域及び第２注釈領域は同一の被写体に対して設定されているので、第１注釈領域及び第２表示領域は重なって表示されている。なお、第１画像Ｇ３１、第２画像Ｇ３２は全方位画像であるので、図４の例では、ディスプレイに表示される第１画像Ｇ３１は第１画像の全域の一部の領域である。
　図５は、ディスプレイに表示される第１画像Ｇ３１の別の一例を示す図である。図５の例では、第１画像Ｇ３１、第２画像Ｇ３２として、全方位画像の全域を展開することで得られる展開画像が採用されている。そのため、図５の例では、第１画像Ｇ３１及び第２画像Ｇ３２は歪んでいるが、第１画像Ｇ３１、第２画像Ｇ３２の全域がディスプレイに表示される。図５の例においても、図４の場合と同様、第１画像Ｇ３１には、自身に設定された第１注釈領域３０１に加えて第２画像Ｇ３２に設定された第２注釈領域３０２が表示されている。表示制御部１１１は、正距方位図法又は魚眼図法などを用いて第１画像Ｇ３１及び第２画像Ｇ３２の展開画像を生成する。
　図６は、設計図表示欄Ｒ３の詳細な構成を示した図である。図６の例では、注釈情報が対応付けられた撮影地点アイコン２０２には注釈アイコン２０４が対応付けて表示されている。注釈アイコン２０４は対応する撮影地点アイコン２０２を起点とする吹き出しマークが採用されている。注釈アイコン２０４は、注釈情報が対応付けられていることを示すのみであり、注釈メッセージまでは表示していない。図６の例では矢印で示す撮影地点アイコン２０２が第１撮影地点アイコン２０２＿１として決定されている。したがって、第１撮影地点アイコン２０２＿１の左に隣接する撮影地点アイコン２０２と右に隣接する撮影地点アイコン２０２との２つが第２撮影地点アイコン２０２＿２となる。２つの第２撮影地点アイコン２０２＿２のうち左側の第２撮影地点アイコン２０２＿２には注釈情報が対応付けられている。そのため、第１撮影地点アイコン２０２＿１に対応する第１画像は、左側の第２撮影地点アイコン２０２＿２に対応する第２注釈領域が重畳されて表示される。また、第１撮影地点アイコン２０２＿１にも注釈情報が対応付けられている。そのため、第１画像には、第１撮影地点アイコン２０２＿１に対応する第１注釈領域も重畳して表示される。
　図７は、図１に示す情報処理装置１０の処理の一例を示すフローチャートである。表示制御部１１１は、設計図を選択するユーザからの指示を取得する（ステップＳ１）。この場合、端末装置３０のディスプレイには設計図を選択するためのメニュー画面が表示され、そのメニュー画面の中から１の設計図を選択する指示が入力される。入力された指示はネットワークを介して情報処理装置１０に送信され、通信部１３により受信される。表示制御部１１１は通信部１３を介して指示を取得する。この指示には設計図ＩＤが含まれているので、表示制御部１１１はメモリ１２に記憶された設計図情報の中から指示された設計図を示す設計図情報を取得できる。
　次に、表示制御部１１１は、表示画面Ｇ１の表示指示を通信部１３を介して端末装置３０に送信することで、表示画面Ｇ１を端末装置３０のディスプレイに表示する（ステップＳ２）。デフォルトで表示される表示画面Ｇ１の表示指示には、ステップＳ１で選択された設計図を示す設計図情報と、最新の撮影日時に対応する撮影情報とが含まれている。したがって、デフォルトで表示される表示画面Ｇ１には、図２に示すように設計図に選択アイコン２０１と最新の撮影日時に対応する撮影地点アイコン２０２及び軌跡２０３とが含まれる。この時点では、第１撮影地点アイコンが決定されていないので、画像情報表示欄Ｒ１及び注釈情報表示欄Ｒ２は空欄である。なお、後述するステップＳ３において撮影日時を選択する指示が入力された場合は、表示制御部１１１は、選択された撮影日時に対応する撮影地点アイコン２０２及び軌跡２０３が重畳表示された設計図を含む表示画面Ｇ１をディスプレイに表示する。
　次に、表示制御部１１１は、撮影日時を選択するユーザからの指示を取得したか否かを判定する（ステップＳ３）。この場合、端末装置３０のディスプレイには撮影日時を選択するためのメニュー画面３００が表示される。ユーザは、そのメニュー画面３００から１の撮影日時を選択する指示を入力する。メニュー画面３００に表示される撮影日時はメモリ１２に記憶された撮影情報に含まれる撮影日時の代表値である。撮影日時を選択するとその撮影日時に対応する１つの撮影動作が選択されることになる。入力された指示はネットワークを介して情報処理装置１０に送信され、通信部１３により受信される。表示制御部１１１は通信部１３を介して指示を取得する。この指示には撮影日時の代表値が含まれているので、表示制御部１１１はメモリ１２に記憶された１つの撮影情報を特定できる。撮影日時を選択する指示が入力された場合（ステップＳ３でＹＥＳ）、処理はステップＳ４に進む。撮影日時を選択する指示が入力されない場合（ステップＳ３でＮＯ）、処理はステップＳ２に戻る。
　次に、表示処理が実行される（ステップＳ４）。表示処理の詳細は図８で後述する。表示処理は、画像情報表示欄Ｒ１に第１画像を表示する処理である。
　次に、表示制御部１１１は、注釈入力の指示を取得したか否かを判定する（ステップＳ５）。注釈入力の指示とはユーザが画像情報表示欄Ｒ１に表示された画像に対して注釈を入力する意思がある場合に入力される指示である。この指示は、例えば表示画面Ｇ１に表示された注釈入力指示ボタン（図略）を選択する操作を行うことで入力される。入力された指示はネットワークを介して情報処理装置１０に送信され、通信部１３により受信される。表示制御部１１１は通信部１３を介して指示を取得する。
　次に、注釈入力の指示が取得された場合（ステップＳ５でＹＥＳ）、表示制御部１１１は注釈領域の位置を取得する（ステップＳ６）。注釈領域の位置は、画像情報表示欄Ｒ１において例えば矩形状の枠体を移動及び変形させる操作を行うことで入力される。注釈領域の位置は、例えば枠体のキーポイント（頂点）の座標である。入力された注釈領域の位置はネットワークを介して情報処理装置１０に送信され、通信部１３により受信される。表示制御部１１１は通信部１３を介して注釈領域の位置を取得する。表示制御部１１１は、取得した注釈領域の位置を含む注釈情報を生成し、生成した注釈情報を撮影ＩＤと対応付けてメモリ１２に記憶する。これにより、図３に示すように注釈領域Ｄ１が設定される。
　次に、注釈入力の指示が取得されていない場合（ステップＳ５でＮＯ）、処理はステップＳ８に進む。
　次に、表示制御部１１１は、注釈メッセージを取得する（ステップＳ７）。注釈メッセージは、図３に示すように、注釈情報表示欄Ｒ２に入力される。入力された注釈メッセージはネットワークを介して情報処理装置１０に送信され、通信部１３により受信される。表示制御部１１１は通信部１３を介して注釈メッセージを取得する。表示制御部１１１は取得した注釈メッセージをステップＳ６で生成した注釈情報に含ませてメモリ１２に記憶する。
　次に、表示制御部１１１は、終了指示を取得したか否かを判定する（ステップＳ８）。終了指示とは、ステップＳ３で表示された表示画面Ｇ１を閉じる指示である。この指示は表示画面Ｇ１に表示された終了ボタン（図略）を押す操作を行うことで入力される。終了指示が取得された場合（ステップＳ８でＹＥＳ）、処理は終了する。終了指示が取得されていない場合（ステップＳ８でＮＯ）、処理はステップＳ３に戻る。この場合、表示画面Ｇ１の表示が維持される。終了指示は、ネットワークを介して情報処理装置１０に送信され、通信部１３により受信される。表示制御部１１１は通信部１３を介して終了指示を取得する。
　図８は、図７に示す表示処理の詳細を示すフローチャートである。表示制御部１１１は、第１画像を選択する指示を取得する（ステップＳ２１）。この指示は、図２に示すように、選択アイコン２０１を設計図上でドラッグアンドドロップする操作を行うことで行われる。表示制御部１１１は、上述したように、選択アイコン２０１のドロップ位置と、撮影地点アイコン２０２の位置とに基づいてユーザが選択した１の撮影地点アイコンを第１撮影地点アイコンとして決定し、第１撮影地点アイコンに対応する画像を第１画像として検知する。
　次に、表示制御部１１１は、第２撮影地点アイコンに注釈情報が対応付けられているか否かを判定する（ステップＳ２２）。第２撮影地点アイコンに注釈情報が対応付けられている場合（ステップＳ２２でＹＥＳ）、表示制御部１１１は、第２画像に設定された第２注釈領域の対応領域を第１画像から上述のパターンマッチングにより検出する（ステップＳ２３）。第２撮影地点アイコンに注釈情報が対応付けられていない場合（ステップＳ２２でＮＯ）、処理はステップＳ２５に進む。
　次に、ステップＳ２４において、表示制御部１１１は、対応領域に第２注釈領域を重畳する（ステップＳ２４）。
　次に、表示制御部１１１は、第１撮影地点アイコンに注釈情報が対応付けられているか否かを判定する（ステップＳ２５）。第１撮影地点アイコンに注釈情報が対応付けられている場合（ステップＳ２５でＹＥＳ）、表示制御部１１１は、第１画像に第１注釈領域を重畳する（ステップＳ２６）。一方、第１撮影地点アイコンに注釈情報が対応づけられていない場合（ステップＳ２５でＮＯ）、処理はステップＳ２７に進む。
　次に、表示制御部１１１は、第１注釈領域と第２注釈領域とが重畳された第１画像を端末装置３０のディスプレイに表示する（ステップＳ２７）。なお、ステップＳ２５でＮＯの場合、第１画像には第２注釈領域が重畳され、第１注釈領域は重畳されない。
　図９は、ディスプレイに表示される第１画像Ｇ３１のさらに別の一例を示す図である。図９の例では、第１画像Ｇ３１として全方位画像の全域を展開した展開画像が採用されている。図９の例では、第１注釈領域３０１と第２注釈領域３０２とは異なる被写体に対して設定されている。そのため、図９の例では、図５の例とは異なり、第１注釈領域３０１と第２注釈領域３０２とは分離して表示されている。
　このように、本実施の形態によれば、第１画像に対応する第１撮影地点アイコンに対して所定範囲内にある第２撮影地点アイコンに注釈情報が対応付けられている場合、第１画像はこの注釈情報と対応付けて表示される。そのため、第１画像の閲覧中に別途、第１画像を閉じて第２画像を表示する操作を入力しなくても、第２画像に設定された注釈情報を確認できる。また、このような操作を介さずに注釈情報が確認できるので、このような操作のために費やされるコンピュータの処理ステップ数が削減される。
　本開示は以下の変形例が採用できる。
　（１）図６において、第１撮影地点アイコン２０２＿１の右側の第２撮影地点アイコン２０２＿２にも注釈情報が設定されている場合、表示制御部１１１は、この注釈情報をさらに第１画像に表示してもよい。この場合、第１画像には、左側の第２撮影地点アイコン２０２＿２に対応する第２画像に設定された第２注釈領域に加えて、右側の第２撮影地点アイコン２０２＿２に対応する第２画像に設定された第２注釈領域も第１画像に重畳して表示される。第１画像の表示領域内に２つの第２注釈領域が収まらない場合、表示制御部１１１は、２つ注釈領域が同時に表示領域内に収まるように第１画像を縮小してもよい。或いは、表示制御部１１１は、第１画像の全域を表示するために第１画像の展開画像を表示してもよい。
　（２）第１画像の表示領域内に第１注釈領域と第２注釈領域とを収まらなかった場合、表示制御部１１１は、第１注釈領域と第２注釈領域とが第１画像の表示領域内に収まるように第１画像を縮小してもよい。或いは、表示制御部１１１は、第１画像の全域を表示するために第１画像の展開画像を表示してもよい。
　（３）第２画像に複数の注釈領域が設定されている場合、表示制御部１１１は、第２画像に設定された複数の注釈領域のそれぞれの対応領域をパターンマッチングにより第１画像から検知し、検知した複数の対応領域に第２画像に設定された複数の注釈領域が重畳された第１画像を表示すればよい。
　（４）表示制御部１１１は、第２注釈領域を第１画像に重畳しなくてもよい。例えば、表示制御部１１１は、第２画像に注釈情報が設定されている旨のメッセージを第１画像と合わせて表示してもよい。この場合、表示制御部１１１は、第１画像の外枠に吹き出しマークを付した注釈アイコンを表示してもよい。この態様が採用される場合、ユーザは第２画像に第２注釈領域を設定しなくてもよい。
　（５）表示制御部１１１は、第１注釈領域を第１画像に重畳しなくてもよい。例えば、表示制御部１１１は、第１画像に注釈情報が設定される旨のメッセージを第１画像と合わせて表示してもよい。この場合、表示制御部１１１は、第１画像に外枠に吹き出しマークを付した注釈アイコンを表示すればよい。さらに、この態様が採用される場合、ユーザは第１画像に第１注釈領域を設定しなくてもよい。
　（６）注釈情報表示欄Ｒ２に第１画像に対応する注釈メッセージが表示されている場合において、第２注釈領域を選択する指示（例えば、タップまたはクリック）が入力された場合、表示制御部１１１は第２注釈領域に対応する注釈メッセージを注釈情報表示欄Ｒ２に表示してもよい。また、この状態で、第１注釈領域を選択する指示が入力された場合、表示制御部１１１は第１注釈領域に対応する注釈メッセージを注釈情報表示欄Ｒ２に表示してもよい。
　（７）上記実施の形態では現場として建築現場を例示したが、本開示はこれに限定されず、製造現場、物流現場、流通現場、農地、土木現場、小売現場、オフィス、病院、商業施設、介護施設などが現場として採用されてもよい。
　（８）図４の第１画像Ｇ３１の例では、第１画像Ｇ３１に第２注釈領域３０２が重畳表示されたが、本開示はこれに限定されない。例えば、表示制御部１１１は、第１画像Ｇ３１に第２注釈領域３０２を表示することに代えて、図１０に示すように、第２画像Ｇ３２に注釈コメントが付されていることを示す注釈アイコン３０３を第１画像Ｇ３１に表示してもよい。図１０は、第１画像Ｇ３１の表示態様の他の一例を示す図である。図１０において、左側は第１画像Ｇ３１を示し、右側は第２画像Ｇ３２を示している。第１画像Ｇ３１に隣接する第２画像Ｇ３２には第２注釈領域３０２が設定されている。さらに、第２注釈領域３０２は注釈メッセージが付されている。
　この場合、第１画像Ｇ３１は、第２画像Ｇ３２に注釈メッセージが付されていることを示す注釈アイコン３０３を第１注釈領域３０１と対応付けて表示する。これにより、第１画像Ｇ３１を閲覧したユーザは、隣接する画像に注釈メッセージが設定されていることを一目で確認できる。
　（９）第１画像Ｇ３１において、第２注釈領域３０２を重畳する場合、第２注釈領域３０２に注釈アイコン３０４を対応付けて表示してもよい。図１１は、第２注釈領域３０２に注釈アイコン３０３が対応付けて表示された第１画像Ｇ３１を示す図である。なお、図１１において、第１注釈領域３０１の図示は省略されている。表示制御部１１１は、図１１の左側に示すように注釈アイコン３０３を選択する操作（例えば、クリック又はタップ）を検知すると、図１１の右側に示すように注釈メッセージ表示欄３０５を第１画像Ｇ３１に重畳表示する。注釈メッセージ表示欄３０５は、第２注釈領域３０２に対して付された注釈メッセージを一覧表示する。すなわち、注釈メッセージ表示欄３０５は、図２に示す注釈情報表示欄Ｒ２に一覧表示された第２注釈領域３０２の注釈メッセージを一覧表示する。これにより、ユーザは第２画像Ｇ３２を表示させなくても、第１画像Ｇ３１において、注釈アイコン３０４を選択する操作を入力するだけで、第２注釈領域３０２に付された注釈メッセージを確認できる。
　本開示は建築現場の状況を遠隔から確認できるので、建築現場を管理するうえで有用である。

Claims (9)

  1. 　コンピュータにおける情報処理方法であって、
    　端末装置のディスプレイに、撮影地点を示す複数の撮影地点アイコンが重畳された俯瞰画像を表示し、
    　前記複数の撮影地点アイコンのうち１の撮影地点アイコンである第１撮影地点アイコンの選択を検知した場合、前記第１撮影地点アイコンに対応する第１画像を前記ディスプレイに表示し、
    　前記第１画像の前記ディスプレイへの表示は、
    　　前記第１撮影地点アイコンに対して所定範囲内にある第２撮影地点アイコンに注釈情報が対応付けられているか否かを判定することと、
    　　前記第２撮影地点アイコンに前記注釈情報が対応付けられていると判定した場合、前記第１画像と前記注釈情報とを前記ディスプレイに表示することと、を含む、
    　情報処理方法。
  2. 　前記注釈情報は、前記第２撮影地点アイコンに対応する第２画像において注釈が設定された注釈領域の位置を含み、
    　前記第１画像の前記ディスプレイへの表示は、
    　　前記第２画像に基づいて、前記注釈領域に対応する対応領域を前記第１画像から検知することと、
    　　前記対応領域に前記注釈領域が重畳された前記第１画像を前記ディスプレイに表示することと、を含む、
    　請求項１記載の情報処理方法。
  3. 　前記第１画像の前記ディスプレイへの表示は、
    　　前記第１撮影地点アイコンに前記注釈情報が対応付けられている場合、前記第１撮影地点アイコンに対応付けられた前記注釈情報と前記第２撮影地点アイコンに対応付けられた前記注釈情報とをさらに前記ディスプレイに表示することを含む、
    　請求項１記載の情報処理方法。
  4. 　前記注釈情報は、前記第１画像において注釈が設定された領域を示す第１注釈領域の位置と、前記第２撮影地点アイコンに対応する第２画像において注釈が設定された領域を示す第２注釈領域の位置とを含み、
    　前記第１画像の前記ディスプレイへの表示は、
    　　前記第２画像に基づいて、前記第２注釈領域に対応する対応領域を前記第１画像から検知することと、
    　　前記第１画像に前記第１注釈領域が設定されている場合、前記第１注釈領域が重畳されるとともに、前記対応領域に前記第２注釈領域が重畳された前記第１画像を前記ディスプレイに表示することと、を含む、
    　請求項１記載の情報処理方法。
  5. 　前記第１画像の前記ディスプレイへの表示は、
    　　前記第１撮影地点アイコンに対応付けられた前記注釈情報と前記第２撮影地点アイコンに対応付けられた前記注釈情報とを異なる表示オブジェクトを用いて表示すること、含む、
    　請求項３または４記載の情報処理方法。
  6. 　さらに、前記俯瞰画像に、移動可能に構成された選択アイコンを表示し、
    　前記第１撮影地点アイコンは、前記選択アイコンの移動完了位置と前記複数の撮影地点アイコンのそれぞれとの距離に基づいて決定される、
    　請求項１記載の情報処理方法。
  7. 　さらに、前記ディスプレイに表示された前記注釈情報の選択が検知された場合、前記注釈情報が示す注釈メッセージを前記ディスプレイに表示する、
    　請求項１記載の情報処理方法。
  8. 　プロセッサを備える情報処理装置であって、
    　前記プロセッサは、
    　端末装置のディスプレイに、撮影地点を示す複数の撮影地点アイコンが重畳された俯瞰画像を表示し、
    　前記複数の撮影地点アイコンのうち１の撮影地点アイコンである第１撮影地点アイコンの選択を検知した場合、前記第１撮影地点アイコンに対応する第１画像を前記ディスプレイに表示する、処理を実行し、
    　前記第１画像の前記ディスプレイへの表示は、
    　　前記第１撮影地点アイコンに対して所定範囲内にある第２撮影地点アイコンに注釈情報が設定されているか否かを判定することと、
    　　前記第２撮影地点アイコンに前記注釈情報が対応付けられていると判定した場合、前記第１画像と前記注釈情報とを前記ディスプレイに表示することと、を含む、
    　情報処理装置。
  9. 　請求項１または２記載の情報処理方法をコンピュータに実行させる情報処理プログラム。
PCT/JP2023/018260 2022-05-17 2023-05-16 情報処理方法、情報処理装置、及び情報処理プログラム WO2023224036A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263342805P 2022-05-17 2022-05-17
US63/342,805 2022-05-17
JP2023071104 2023-04-24
JP2023-071104 2023-04-24

Publications (1)

Publication Number Publication Date
WO2023224036A1 true WO2023224036A1 (ja) 2023-11-23

Family

ID=88835609

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/018260 WO2023224036A1 (ja) 2022-05-17 2023-05-16 情報処理方法、情報処理装置、及び情報処理プログラム

Country Status (1)

Country Link
WO (1) WO2023224036A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011053103A (ja) * 2009-09-02 2011-03-17 Denso Corp 地図および動画を送信するデータサーバおよび動画・地図連動表示システム
JP2012119971A (ja) * 2010-12-01 2012-06-21 Mitsubishi Electric Corp 監視映像表示装置
JP6998480B1 (ja) * 2021-03-18 2022-01-18 ヤフー株式会社 コンテンツ提供装置、コンテンツ提供方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011053103A (ja) * 2009-09-02 2011-03-17 Denso Corp 地図および動画を送信するデータサーバおよび動画・地図連動表示システム
JP2012119971A (ja) * 2010-12-01 2012-06-21 Mitsubishi Electric Corp 監視映像表示装置
JP6998480B1 (ja) * 2021-03-18 2022-01-18 ヤフー株式会社 コンテンツ提供装置、コンテンツ提供方法、およびプログラム

Similar Documents

Publication Publication Date Title
US20180286098A1 (en) Annotation Transfer for Panoramic Image
US11776185B2 (en) Server, user terminal, and service providing method, and control method thereof for displaying photo images within a map
JP6226539B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP6226538B2 (ja) 表示制御装置、表示制御方法、およびプログラム
JP2008217590A (ja) 情報共有支援システム、情報処理装置及び制御プログラム
JP2009088903A (ja) 移動通信装置
US20180181220A1 (en) Image processing device and image processing method
US11395102B2 (en) Field cooperation system and management device
JP6132811B2 (ja) プログラム及び情報処理装置
JP2018045356A (ja) 施工管理システム、施工管理方法、携帯端末及びプログラム
JP2014053795A (ja) 情報処理装置及び情報処理システム
JP2022155553A (ja) 業務管理支援装置、業務管理支援システム、業務管理支援方法および業務管理支援プログラム
JP5152281B2 (ja) 画像処理装置、方法及びプログラム
JP6886670B2 (ja) 建設現場端末、建設現場システム、及びプログラム
JP2014222410A (ja) 携帯表示装置及び表示プログラム並びに操作案内システム
JP2012019374A (ja) 電子アルバム作成サーバー、情報処理装置、電子アルバム作成システム、及び、電子アルバム作成サーバーの制御方法
WO2023224036A1 (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
WO2023224031A1 (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
JP6699709B2 (ja) 情報処理装置及びプログラム
WO2023224030A1 (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
JP2018045355A (ja) 施工管理システム、施工管理方法、携帯端末及びプログラム
WO2023224033A1 (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
JP6504703B2 (ja) 撮像装置及び撮像方法
JP2020009008A (ja) 情報処理システム及び情報処理システム用プログラム
CN114979616A (zh) 显示方法、信息处理装置以及记录介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23807638

Country of ref document: EP

Kind code of ref document: A1