WO2023224030A1 - 情報処理方法、情報処理装置、及び情報処理プログラム - Google Patents

情報処理方法、情報処理装置、及び情報処理プログラム Download PDF

Info

Publication number
WO2023224030A1
WO2023224030A1 PCT/JP2023/018245 JP2023018245W WO2023224030A1 WO 2023224030 A1 WO2023224030 A1 WO 2023224030A1 JP 2023018245 W JP2023018245 W JP 2023018245W WO 2023224030 A1 WO2023224030 A1 WO 2023224030A1
Authority
WO
WIPO (PCT)
Prior art keywords
icon
photographing
information processing
information
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/018245
Other languages
English (en)
French (fr)
Inventor
理佐子 谷川
和紀 小塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to CN202380038125.0A priority Critical patent/CN119053982A/zh
Priority to JP2024521940A priority patent/JPWO2023224030A1/ja
Publication of WO2023224030A1 publication Critical patent/WO2023224030A1/ja
Priority to US18/948,120 priority patent/US20250068296A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional [3D], e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/60—Creating or editing images; Combining images with text
    • G06T11/65—Creating or editing images; Combining images with text on geographic maps
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Definitions

  • the present disclosure relates to a technique for selecting images.
  • Patent Document 1 discloses that an image (e.g., a contour line) indicating a designated area specified by a worker is displayed on a bird's-eye view image of a work site, and an input is made by the worker in a display field provided next to the bird's-eye view image. Displaying chats related to a designated area that has been created is disclosed.
  • an image e.g., a contour line
  • An object of the present disclosure is to provide a technology that allows detailed confirmation of the state of the site shown in a bird's-eye view from a distance.
  • An information processing method is an information processing method in a computer, in which a bird's eye view is displayed on a display of a terminal device, and a plurality of shooting point icons indicating shooting points are displayed on the bird's eye view, and an arbitrary number of shooting point icons in the bird's eye view are displayed on the display of a terminal device.
  • a selection icon for selecting a position the selection icon is configured to be movable on the bird's-eye view
  • the plurality of shooting point icons correspond to image information indicating images shot at the shooting point. detect the movement completed position of the selected icon, determine one shooting point icon based on the movement completed position and the position of each shooting point icon, and create an image associated with the first shooting point icon. Outputting information to the display.
  • the state of the site shown in the bird's-eye view can be confirmed in detail from a distance.
  • FIG. 1 is a block diagram illustrating an example of the configuration of an information processing system in an embodiment of the present disclosure. It is a figure showing an example of a display screen displayed on a display of a terminal device.
  • FIG. 3 is an enlarged view of the image information display field and annotation information display field shown in FIG. 2; It is a figure which shows the design drawing display column when a selection icon is moved.
  • 2 is a flowchart showing an example of processing of the information processing apparatus shown in FIG. 1.
  • FIG. 6 is a flowchart showing details of the display processing shown in FIG. 5.
  • FIG. 1 is a block diagram illustrating an example of the configuration of an information processing system in an embodiment of the present disclosure. It is a figure showing an example of a display screen displayed on a display of a terminal device.
  • FIG. 3 is an enlarged view of the image information display field and annotation information display field shown in FIG. 2; It is a figure which shows the design drawing display column when a selection icon is moved.
  • 2 is a flowchar
  • Issues at construction sites include communication issues such as not being able to convey specific instructions to workers, the time it takes to explain those instructions, the need for manpower to go around the entire construction site, and the time it takes to travel to the construction site. There are challenges in confirming construction sites, such as this.
  • An information processing method in an aspect of the present disclosure is an information processing method in a computer, which displays a bird's eye view on a display of a terminal device, and displays a plurality of shooting point icons indicating shooting points on the bird's eye view; a selection icon for selecting an arbitrary position on the bird's-eye view; the selection icon is configured to be movable on the bird's-eye view; and the plurality of shooting point icons include images indicating images shot at the shooting points.
  • the information is associated with each other, the movement completion position of the selected icon is detected, one shooting point icon is determined based on the movement completion position and the position of each shooting point icon, and the one shooting point icon is associated with the one shooting point icon.
  • the obtained image information is output to the display.
  • a plurality of shooting point icons and selection icons are displayed on the bird's eye view.
  • one photographing point icon is determined based on the movement completed position and the position of each photographing point icon.
  • Image information associated with the determined one shooting point icon is displayed. This image information indicates an image photographed at the photographing point. This allows the user to remotely check the situation at the shooting location. Therefore, the user viewing the image information can remotely check the situation at the site shown in the bird's-eye view in detail. Furthermore, since image information can be displayed through such a simple operation, the number of computer processing steps required for the operation can be reduced.
  • the plurality of photographing point icons include a first photographing point icon associated with annotation information, and in the determination, the movement completion position is one of the plurality of photographing point icons. If the point icon is located outside a predetermined area from the position of each point icon, the first shooting point icon closest to the movement completion position is determined as the first shooting point icon, and in the output, the selected first shooting point Image information and annotation information associated with the icon may be output to the display.
  • the user can move the first shooting point icon. You can choose. Therefore, the user can select the first photographing point icon without performing detailed operations such as moving the selection icon within a predetermined range from the first photographing point icon.
  • the user can easily view annotation information and image information related to the annotation information with simple operations. Note that when a bird's-eye view is shared by multiple users, it is considered that there are many cases in which each user desires to preferentially view annotation information added to a shooting point by another user. Therefore, this configuration is useful for meeting such needs.
  • the photographing point icon is It may be determined as one shooting point icon.
  • the user by moving the selection icon from the position of any of the shooting point icons into the predetermined area, the user can view the image information associated with the shooting point icon.
  • the current position of the selected icon that is moving is further detected, and a predetermined number of photographing points are selected in order of distance from the current position. Icons may be determined and the predetermined number of photographing point icons may be highlighted.
  • the highlighting may include displaying each of the predetermined number of shooting point icons enlarged to a size that represents a predetermined area. May include.
  • the selected point icon is enlarged to the size representing the predetermined area, so the user can recognize the size of the predetermined area, and the user can The selection becomes easier.
  • the plurality of photographing point icons include a first photographing point icon associated with annotation information, and the first photographing point icon is associated with an annotation icon.
  • the highlighting may include enlarging and displaying an annotation icon associated with the first photographing point icon. May include.
  • the annotation icon is enlarged, so that the shooting point icon near the selection icon is This allows the user to more reliably recognize that the icon is a photographing point icon that has been taken.
  • the bird's-eye view is a design drawing
  • the image information is acquired by an omnidirectional camera at a construction site represented by the design drawing. A photographed image may also be shown.
  • the selection icon may be moved by dragging, and the movement completion position may be a drop position of the selection icon.
  • the user can select the shooting location icon by dragging and dropping the selection icon.
  • the image information includes an object region indicating an object included in the image indicated by the image information
  • the annotation Information may indicate annotations associated with the object
  • the user can confirm the annotation related to the object included in the image indicated by the image information.
  • An information processing device is an information processing device including a processor, the processor displaying a bird's eye view on a display of a terminal device, and displaying a plurality of photographic points on the bird's eye view. and a selection icon for selecting an arbitrary position in the bird's-eye view, the selection icon is configured to be movable in the bird's-eye view, and the plurality of shooting point icons include a plurality of shooting point icons, and a selection icon for selecting an arbitrary position on the bird's-eye view.
  • the selected icon is associated with the image information
  • the movement completed position of the selected icon is detected
  • one shooting point icon is determined based on the movement completed position and the position of each shooting point icon
  • the one shooting point icon is A process of outputting image information associated with the image information to the display is executed.
  • An information processing program causes a computer to execute the information processing method described in any one of (1) to (9) above.
  • the present disclosure can also be realized as an information processing system operated by such an information processing program. Further, it goes without saying that such a computer program can be distributed via a computer-readable non-transitory recording medium such as a CD-ROM or a communication network such as the Internet.
  • a computer-readable non-transitory recording medium such as a CD-ROM or a communication network such as the Internet.
  • FIG. 1 is a block diagram illustrating an example of the configuration of an information processing system 1 in an embodiment of the present disclosure.
  • the information processing system 1 includes an information processing device 10, a photographing device 20, and a terminal device 30.
  • the information processing device 10, the photographing device 20, and the terminal device 30 are communicably connected via a network.
  • An example of a network is the Internet.
  • the information processing device 10 is, for example, a cloud server configured of one or more computers. However, this is just an example, and the information processing device 10 may be configured as an edge server or may be implemented in the terminal device 30.
  • the photographing device 20 is composed of, for example, an omnidirectional camera, and photographs images at a predetermined frame rate.
  • the photographing device 20 is, for example, a portable photographing device carried by a user.
  • the users are, for example, construction site workers and site supervisors. The user moves within the construction site while photographing the construction site with the photographing device 20.
  • the photographing device 20 transmits image information indicating the photographed image to the information processing device 10 via the network.
  • the image information is associated with the location of the shooting point indicating the shooting point and the date and time of the shooting.
  • the position of the photographing point is acquired by a position sensor such as a magnetic sensor or a GPS sensor included in the photographing device 20, and is expressed in latitude and longitude.
  • the photographing date and time is acquired, for example, by a clock included in the photographing device 20.
  • the information processing device 10 can obtain image information at a plurality of photographing points at the construction site.
  • the photographing device 20 photographs images at a predetermined frame rate, the photographing point is defined in units of frame cycles. However, this is just an example, and the shooting points may be defined for each predetermined time (for example, 1 second, 1 minute, etc.).
  • the photographing device 20 includes an image sensor, an operating device, a communication circuit, a signal processing circuit, and the like.
  • the photographing device 20 may be configured with a portable computer such as a smartphone or a doublet computer.
  • the terminal device 30 is owned by a user.
  • the terminal device 30 may be configured with a portable computer such as a smartphone or a tablet computer, or may be configured with a stationary computer.
  • the terminal device 30 displays screen information on a display under the control of the information processing device 10.
  • a plurality of terminal devices may be connected to the information processing device 10 via a network.
  • the terminal device 30 includes a central processing unit (CPU), a memory, a display, operation devices such as a touch panel and a keyboard, and a communication circuit.
  • the information processing device 10 includes a processor 11, a memory 12, and a communication unit 13.
  • the processor 11 is composed of, for example, a central processing unit (CPU).
  • the processor 11 includes an acquisition section 111, a determination section 112, and an output section 113.
  • the acquisition unit 111 to the output unit 113 may be realized by the processor 11 executing an information processing program, or may be configured with a dedicated hardware circuit such as an ASIC.
  • the acquisition unit 111 acquires an instruction from the user to select a blueprint from the terminal device 30, reads the blueprint information indicated by the instruction from the memory 12, and displays the read blueprint information on the display of the terminal device 30.
  • the blueprint information is information indicating a blueprint of a construction site.
  • the blueprint information is an example of a bird's eye view.
  • the acquisition unit 111 displays on the terminal device 30 a plurality of photographing point icons indicating photographing points on the blueprint and a selection icon for selecting an arbitrary position on the blueprint. These displays are realized by the acquisition unit 111 transmitting display instructions to the terminal device 30 using the communication unit 13.
  • the selection icon is configured to be movable on the blueprint.
  • the acquisition unit 111 displays a photographing point icon at a position on the blueprint corresponding to the photographing point.
  • latitude and longitude are associated with key points in advance. Key points are, for example, the four corners of the blueprint.
  • the determining unit 112 acquires from the terminal device 30 the current position of the selected icon that is moved on the blueprint by the user's operation. This current position is the coordinate on the blueprint.
  • the determining unit 112 detects the position at which the selected icon has been moved.
  • the selection icon is configured to be movable by drag-and-drop operation.
  • the movement completion position will be referred to as the drop position.
  • the determining unit 112 may detect the current position of the selected icon as the drop position when the operation information indicating a drop operation is acquired from the terminal device 30 via the communication unit 13.
  • the determining unit 112 determines one photographing point icon based on the detected drop position and the position of each photographing point icon.
  • the plurality of shooting point icons include a first shooting point icon that is associated with image information and annotation information.
  • the annotation information indicates an annotation input using the terminal device 30 by the user who viewed the image information.
  • the user uses the terminal device 30 to input an object area indicating an object included in the image indicated by the image information.
  • Annotations are attached to this object.
  • the annotation may be a message indicating what should be noted during work regarding this object.
  • An annotation icon indicating that there is an annotation is displayed in association with the first photographing point icon.
  • the determining unit 112 determines the first photographing point icon closest to the drop position as the one photographing point icon.
  • the determining unit 112 determines the shooting point icon as one selected point icon.
  • the determining unit 112 determines a predetermined number of photographing point icons in order of proximity to the current position of the selected icon acquired from the terminal device 30 via the communication unit 13, and highlights the predetermined number of photographing point icons.
  • a predetermined number an appropriate value such as 1, 2, 3, etc. can be adopted.
  • the highlighting includes displaying each of the predetermined number of shooting point icons enlarged to a size that represents a predetermined area.
  • the highlighting includes, when the first photographing point is included in the predetermined number of photographing point icons, enlarging and displaying the annotation icon associated with the first photographing point icon.
  • the output unit 113 reads the image information associated with the one shooting point icon determined by the determining unit 112 from the memory 12 and displays the read image information on the display of the terminal device 30. If the first selected icon is the first shooting point icon, the output unit 113 reads the image information and annotation information associated with the first shooting point icon from the memory 12, and outputs the obtained image information and annotation information to the terminal. It may be displayed on the display of the device 30. On the other hand, if the first selected icon is not the first shooting location icon, the output unit 113 reads the image information associated with the first shooting location icon from the memory 12 and displays the obtained image information on the display of the terminal device 30. It should be displayed in . Here, the output unit 113 may display the image information and annotation information on the display of the terminal device 30 by transmitting the image information and annotation information read from the memory 12 to the terminal device 30 using the communication unit 13. .
  • the memory 12 is composed of a nonvolatile rewritable storage device such as a hard disk drive or solid state drive.
  • the memory 12 stores blueprint information, photographing information, annotation information, and image information.
  • the blueprint information is image information showing the blueprint.
  • the blueprint information is associated with a blueprint ID that identifies the blueprint. As described above, the latitude and longitude of the actual construction site are set at key points in the blueprint.
  • the photographing information indicates information regarding one photographing operation using the photographing device 20. Photographing information is generated every time one photographing operation is performed.
  • One photographing operation refers to a series of operations from when a worker holding the photographing device 20 starts photographing at a construction site to when the worker finishes photographing.
  • a plurality of images are photographed by one photographing operation.
  • the photographing information includes a blueprint ID, a photographing ID, a photographing date and time, a representative value of the photographing date and time, a position of a photographing point, and a position of a photographing point icon.
  • the blueprint ID is an identifier of the photographed blueprint of the construction site.
  • the photographing ID is an identifier for identifying each photograph included in one photographing operation.
  • the photographing date and time is the photographing date and time of the photographing indicated by the photographing ID.
  • the representative value of the photographing date and time is the photographing date and time when photographing was started.
  • the photographing point indicates the position (latitude and longitude) where the photographing indicated by the photographing ID was taken.
  • the position of the photographing point icon indicates the display position (coordinates) of the photographing point icon corresponding to the photographing ID on the design drawing.
  • the location of the photographing point icon is based on the photographing position (latitude and longitude) at the key point of the blueprint indicated by the blueprint information and the photographing point (latitude and longitude) corresponding to the photographing ID. Calculated by mapping.
  • Annotation information is information indicating an annotation.
  • One piece of annotation information corresponds to one annotation.
  • the annotation information is associated with a shooting ID and an object area ID.
  • the object region ID is an identifier of an object region set in the image information corresponding to the photographing ID and to which an annotation has been added.
  • the image information indicates one image photographed by each photograph included in one photographing operation.
  • the image information is associated with a shooting ID and an object area ID.
  • the image information includes the plurality of object region IDs.
  • the object area information stores the position (coordinates) of the key point of the object area set in the image information corresponding to the shooting ID. Key points are vertices on the contour of the object region.
  • a shooting ID and an object area ID are associated with each other.
  • the image information corresponding to the photographing point icon is specified using the photographing ID as a key. Since the annotation information and the object area information are associated with the object area ID, the annotation information corresponding to the object area information is specified using the object area ID as a key. Since the object area information and the image information are associated with the photographing ID, the image information corresponding to the object area information is specified using the photographing ID as a key. The photographing point icon corresponding to the photographing ID associated with the annotation information becomes the first photographing point icon.
  • the communication unit 13 is a communication circuit that connects the information processing device 10 to a network.
  • FIG. 2 is a diagram showing an example of the display screen G1 displayed on the display of the terminal device 30.
  • the display screen G1 is a basic screen of an application provided by the information processing device 10.
  • the display screen G1 includes an image information display field R1, an annotation information display field R2, a blueprint display field R3, and a news display field R4.
  • the image information display column R1 displays image information associated with one shooting point icon determined by the determination unit 112.
  • the annotation information display field R2 displays annotation information associated with the one determined shooting location icon.
  • a list of annotations C1 input by a plurality of users with respect to the image information displayed in the image information display field R1 is displayed.
  • the annotation C1 input by a user other than the user is displayed on the left side, and the annotation C1 input by the user himself is displayed on the right side.
  • the blueprint display field R3 displays blueprints of the construction site.
  • a selection icon 201, a photographing point icon 202, and a trajectory 203 are displayed in a superimposed manner on the blueprint displayed in the blueprint display field R3.
  • the selection icon 201 is configured to be movable by a drag-and-drop operation.
  • the selection icon 201 is composed of an image simulating a person.
  • the photographing point icon 202 is an icon indicating a photographing point, and is associated with image information.
  • the shooting location icon 202 is composed of a circular image.
  • a trajectory 203 indicates the trajectory of the user who captured the image information.
  • the trajectory 203 is composed of lines connecting adjacent shooting point icons 202.
  • the shooting point icon 202 located at the tip of the trajectory 203 and the shooting point icon 202 located at the trailing end of the trajectory 203 are displayed in a larger size than other shooting point icons.
  • a photographing point icon 202 located at the leading end (for example, the right end) of the trajectory 203 indicates the photographing start position
  • a photographing point icon 202 located at the trailing end (for example, the left end) of the trajectory 203 indicates the photographing end position.
  • the news display column R4 displays various messages related to this construction site and input by the user.
  • FIG. 3 is an enlarged view of the image information display field R1 and annotation information display field R2 shown in FIG. 2.
  • An object region D1 is set in the image information.
  • the object region D1 indicates the region of the object of interest input by the user in response to the image information displayed in the image information display field R1.
  • the terminal device 30 displays a frame (not shown) for selecting the object region D1 in the image information display field R1. Display.
  • This frame is, for example, rectangular.
  • the user operates the terminal device 30 to move and deform the frame so that it is superimposed on a certain object displayed in the image information display field R1. This sets the object area D1.
  • an object area D1 is set on the ground in front of a building under construction.
  • Object area information indicating the set object area D1 is stored in the memory 12 in association with the object area ID and image ID.
  • the object region information includes coordinates indicating key points of the object region D1.
  • the key point is, for example, the vertex of the object region D1.
  • Annotation C1 is an annotation input by the user for object region D1.
  • the annotation information indicating this annotation C1 is stored in the memory 12 in association with the object area ID of the object area D1.
  • Object area information indicating each of a plurality of object areas is individually assigned an object area ID and stored in the memory 12.
  • FIG. 4 is a diagram showing the blueprint display field R3 when the selection icon 201 is moved.
  • the selection icon 201 has been dragged in the direction indicated by the arrow.
  • the determining unit 112 calculates the distances between the position (coordinates) of the selection icon 201 and the positions (coordinates) of the plurality of shooting point icons 202 on the trajectory 203.
  • the top three shooting point icons 202 (an example of a predetermined number) in descending order of distance are shooting point icons 202(1), 202(2), and 202(3). Therefore, the photographing point icons 202(1), 202(2), and 202(3) are displayed enlarged to a size indicating the predetermined area D2. This allows the user to recognize the shooting point icon 202 that is close to the selection icon 201, and also allows the user to recognize the size of the predetermined area D2.
  • the shooting point icon 202(2) is the shooting point icon 202 associated with the annotation icon 204, that is, the first shooting point icon. Therefore, this annotation icon 204 is also displayed in an enlarged manner.
  • the annotation icon 204 is an icon indicating that there is an annotation, and in the example of FIG. 4, a speech bubble mark is adopted.
  • the shooting point icon 202(4) is also the shooting point icon 202 associated with the annotation icon 204, that is, the first shooting point icon. Since the photographing point icon 202(4) is not in the top three in terms of distance to the selection icon 201, the annotation icon 204 is not displayed in an enlarged manner.
  • the selection icon 201 is dropped at drop position P1 shown in FIG.
  • the drop position P1 is located outside the predetermined area D2 for any of the shooting point icons 202. Therefore, among the shooting point icons 202(2) and 202(4) with which the annotation icon 204 is associated, the shooting point icon 202(2) with the shortest distance to the drop position P1 is determined as the first shooting point icon 202. be done.
  • the user can select the first photographing point icon without performing detailed operations such as moving the selection icon 201 from the first photographing point icon to within the predetermined area D2.
  • the user can easily view annotation information and image information related to the annotation information with simple operations.
  • the selection icon 201 is dropped within the predetermined area D2 of the shooting location icon 202(1).
  • the photographing point icon 202(1) is determined as one photographing point icon.
  • the shooting location icon 202 corresponding to the dropped predetermined area D2 is set to 1. Determined as a point icon. Thereby, by moving the selection icon 201 from the position of the shooting point icon into the predetermined area D2, the user can view the image information associated with the shooting point icon.
  • FIG. 5 is a flowchart showing an example of the processing of the information processing device 10 shown in FIG. 1.
  • the acquisition unit 111 acquires an instruction from a user to select a design drawing (step S1). In this case, a menu screen for selecting a design drawing is displayed on the display of the terminal device 30, and an instruction to select one design drawing from the menu screen is input.
  • the input instruction is transmitted to the information processing device 10 via the network and received by the communication unit 13.
  • the acquisition unit 111 acquires instructions via the communication unit 13. Since this instruction includes the blueprint ID, the acquisition unit 111 can acquire blueprint information indicating the instructed blueprint from among the blueprint information stored in the memory 12.
  • the acquisition unit 111 displays the display screen G1 on the display of the terminal device 30 by transmitting a display instruction for the display screen G1 to the terminal device 30 via the communication unit 13 (step S2).
  • the display instructions on the display screen G1 displayed by default include blueprint information indicating the blueprint selected in step S1 and photographing information corresponding to the latest photographing date and time. Therefore, as shown in FIG. 2, the display screen G1 displayed by default includes a blueprint selection icon 201, and a photographing point icon 202 and a trajectory 203 corresponding to the latest photographing date and time. At this point, one shooting point icon has not been determined, so the image information display field R1 and the annotation information display field R2 are blank.
  • the acquisition unit 111 displays a display including a blueprint on which a photographing point icon 202 and a trajectory 203 corresponding to the selected photographing date and time are superimposed. Display screen G1 on the display.
  • the acquisition unit 111 determines whether an instruction from the user to select a shooting date and time has been acquired (step S3).
  • a menu screen for selecting the shooting date and time is displayed on the display of the terminal device 30.
  • the user inputs an instruction to select one shooting date and time from the menu screen.
  • the photographing date and time displayed on the menu screen is a representative value of the photographing date and time included in the photographing information stored in the memory 12.
  • the input instruction is transmitted to the information processing device 10 via the network and received by the communication unit 13.
  • the acquisition unit 111 acquires instructions via the communication unit 13.
  • step S3 If an instruction to select a shooting date and time is input (YES in step S3), the process proceeds to step S4. If the instruction to select the shooting date and time is not input (NO in step S3), the process returns to step S2.
  • the display process is a process of determining one shooting point icon by dragging and dropping the selection icon 201 on the blueprint, and displaying image information associated with the determined one shooting point icon in the image information display field R1. It is.
  • the acquisition unit 111 determines whether an instruction to input an annotation has been acquired (step S5).
  • the annotation input instruction is an instruction input when the user intends to input an annotation to the image information displayed in the image information display field R1. This instruction is input, for example, by selecting an annotation input instruction button (not shown) displayed on the display screen G1.
  • the input instruction is transmitted to the information processing device 10 via the network and received by the communication unit 13.
  • the acquisition unit 111 acquires instructions via the communication unit 13.
  • the acquisition unit 111 acquires object area information (step S6).
  • the object area information is input by performing an operation of moving and deforming the frame (not shown) in the image information display field R1 as described above.
  • the input object area information is transmitted to the information processing device 10 via the network and received by the communication unit 13.
  • the acquisition unit 111 acquires object area information via the communication unit 13.
  • the acquisition unit 111 adds an object area ID to the acquired object area information and stores it in the memory 12 in association with the imaging ID. Thereby, the object area D1 is set as shown in FIG. 3.
  • step S5 if an annotation input instruction has not been acquired (NO in step S5), the process proceeds to step S8.
  • the acquisition unit 111 acquires annotation information (step S7).
  • the annotation information is input by inputting the annotation C1 into the annotation information display field R2 and pressing a send button (not shown).
  • the input annotation information is transmitted to the information processing device 10 via the network and received by the communication unit 13.
  • the acquisition unit 111 acquires annotation information via the communication unit 13.
  • the acquisition unit 111 stores the acquired annotation information in the memory 12 in association with the photographing ID and the object area ID.
  • the acquisition unit 111 determines whether a termination instruction has been acquired (step S8).
  • the termination instruction is an instruction to close the display screen G1 displayed in step S3. This instruction is input by pressing an end button (not shown) displayed on the display screen G1. If the termination instruction is obtained (YES in step S8), the process ends. If the termination instruction has not been obtained (NO in step S8), the process returns to step S3. In this case, the display on the display screen G1 is maintained.
  • the termination instruction is transmitted to the information processing device 10 via the network and received by the communication unit 13.
  • the acquisition unit 111 acquires the termination instruction via the communication unit 13.
  • FIG. 6 is a flowchart showing details of the display processing shown in FIG. 5.
  • the acquisition unit 111 acquires an operation of dragging and dropping the selection icon 201 (step S21). This operation is performed by inputting an operation of dragging and dropping the selection icon 201 superimposed on the design drawing, as shown in FIG. Operation information indicating this operation is periodically transmitted from the terminal device 30 to the information processing device 10. This operation information includes the current position of the selection icon 201. Therefore, the determining unit 112 can obtain the current position of the selection icon 201 via the communication unit 13 and calculate the distance between the selection icon 201 and each shooting point icon 202.
  • the determining unit 112 specifies up to a predetermined number (top 3) of photographing point icons 202 in descending order of distance from the selection icon 201, and sends a display instruction to the communication unit 13 to enlarge and display the specified photographing point icons 202.
  • the information is transmitted to the terminal device 30 via the host computer. Further, when operation information indicating that the selection icon 201 is dropped is transmitted from the terminal device 30, the determining unit 112 detects the current position of the selection icon 201 at that time as the drop position.
  • the determining unit 112 determines whether the drop position is within the predetermined area D2 of the shooting point icon 202 (step S22).
  • the determining unit 112 determines the photography spot icon corresponding to the predetermined area D2 as one photography spot icon (step S23). ).
  • the photography location icon 202(1) is determined as the first photography location icon.
  • the determining unit 112 selects the first photographing point icon closest to the drop position as the first photographing point icon. (Step S24). In the example of FIG. 4, when the selection icon 201 is dropped at the drop position P1, the photographing point icon 202(2) is determined as the first photographing point icon.
  • the output unit 113 displays the image information on the display screen G1 by transmitting the image information corresponding to the one shooting point icon determined in step S23 or S24 to the terminal device 30 via the communication unit 13. do.
  • an image indicating image information corresponding to one shooting point icon is displayed in the image information display column R1.
  • annotation information is transmitted to the terminal device 30 via the communication unit 13 in addition to the image information.
  • the annotation C1 indicated by the annotation information corresponding to the image information displayed in the image information display field R1 is displayed in the annotation information display field R2.
  • the annotation information display column R2 becomes blank.
  • one photographing point icon is determined based on the drop position of the selection icon 201 and the position of each photographing point icon 202.
  • Image information corresponding to the one determined shooting point icon is displayed. This image information indicates an image photographed at the photographing point. This allows the user to remotely check the status of the construction site at the shooting point. Therefore, a user viewing the image information can remotely check the status of the construction site indicated by the blueprint in detail.
  • the bird's eye view may be a floor plan showing the floor plan of the house.
  • the present disclosure can be applied to remodeling the interior of a house.
  • the bird's eye view may be a layout diagram that simply shows the floor plan of the house.
  • annotation information is associated with the object region D1, if the object region D1 is not set, it may be associated with the image information.
  • one shooting point icon is determined by dragging and dropping the selection icon 201, but this is just an example.
  • a shooting point icon may be determined. For example, if the click position of the mouse pointer is within the predetermined area D2 with respect to any of the photographing point icons 202, the photographing point icon 202 corresponding to the clicked predetermined area D2 is determined as one photographing point icon. For example, if the click position of the mouse pointer is outside the predetermined area D2 for any of the photographing point icons 202, the photographing point icon 202 closest to the click position is determined as the one photographing point icon.
  • a construction site is exemplified as a site, but the present disclosure is not limited to this, and includes a manufacturing site, a logistics site, a distribution site, farmland, a civil engineering site, a retail site, an office, a hospital, a commercial facility, A nursing home or the like may also be employed as a site.
  • the present disclosure is useful for managing construction sites because the status of the construction site can be checked remotely.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

情報処理装置は、端末装置のディスプレイに、鳥瞰図を表示し、鳥瞰図に、撮影地点を示す複数の撮影地点アイコンと、鳥瞰図の任意の位置を選択するための選択アイコンと、を表示し、選択アイコンは鳥瞰図上を移動可能に構成され、複数の撮影地点アイコンには撮影地点で撮影された画像を示す画像情報が対応づけられ、選択アイコンの移動完了位置を検知し、移動完了位置と各撮影地点アイコンの位置とに基づいて１の撮影地点アイコンを決定し、１の撮影地点アイコンに対応づけられた画像情報を前記ディスプレイに出力する。

Description

情報処理方法、情報処理装置、及び情報処理プログラム
　本開示は、画像を選択する技術に関するものである。
　特許文献１には、作業現場の鳥瞰撮影画像上に作業員が指定した指定エリアを示す画像（例えば輪郭線）を表示すること、鳥瞰撮影画像の横に設けられた表示欄に作業員により入力された指定エリアに関連するチャットを表示すること、が開示されている。
　しかしながら、特許文献１に示す従来技術では、鳥瞰撮影画像には、作業現場の複数の撮影地点のそれぞれで撮影された画像情報が対応づけられていないので、作業現場の状態を遠隔から詳細に確認できないという課題がある。
特開２０２１－８６２２４号公報
　本開示は、鳥瞰図が示す現場の状態を遠隔から詳細に確認できる技術を提供することを目的とする。
　本開示の一態様における情報処理方法は、コンピュータにおける情報処理方法であって、端末装置のディスプレイに、鳥瞰図を表示し、前記鳥瞰図に、撮影地点を示す複数の撮影地点アイコンと、前記鳥瞰図の任意の位置を選択するための選択アイコンと、を表示し、前記選択アイコンは前記鳥瞰図上を移動可能に構成され、前記複数の撮影地点アイコンには撮影地点で撮影された画像を示す画像情報が対応づけられ、前記選択アイコンの移動完了位置を検知し、前記移動完了位置と各撮影地点アイコンの位置とに基づいて１の撮影地点アイコンを決定し、前記１の撮影地点アイコンに対応づけられた画像情報を前記ディスプレイに出力する。
　この構成によれば、鳥瞰図が示す現場の状態を遠隔から詳細に確認できる。
本開示の実施の形態における情報処理システムの構成の一例を示すブロック図である。 端末装置のディスプレイに表示される表示画面の一例を示す図である。 図２に示す画像情報表示欄及び注釈情報表示欄を拡大表示した図である。 選択アイコンが移動される際の設計図表示欄を示す図である。 図１に示す情報処理装置の処理の一例を示すフローチャートである。 図５に示す表示処理の詳細を示すフローチャートである。
　（本開示の一態様に至る経緯）
　建築現場の課題として、具体的な指示が作業員に伝わらない、その指示の説明に時間がかかるといったコミュニケーション上の課題や建築現場全体を回るのに人手が必要、建築現場への移動に時間がかかるといった建築現場の確認上の課題などがある。
　このような課題を解決するには、例えば建築現場に多数のカメラを設置し、多数のカメラから得られた画像を参照しながら遠隔にいる現場監督が作業員に指示を出すことも考えられる。しかしながら、建築現場では建築が進むにつれて設置したセンサを取り外したり、取り外したセンサを別の場所に設置したりといった作業が発生する。このような作業は手間がかかるので、建築現場でセンサを設置するのは実用的ではない。そこで、本発明者は、センサを設置せずに建築現場の状況を遠隔から詳細に確認できる技術を検討した。
　すると、ディスプレイに表示された建築現場の設計図においてある位置を選択する操作を入力すると、その位置で事前に撮影された建築現場の画像やその画像に対して作業員が入力した注釈を表示するユーザインターフェースがあれば、建築現場の状況を遠隔から詳細に確認できることが知見された。
　本開示はこのような知見に基づいてなされたものである。
　（１）本開示の一態様における情報処理方法は、コンピュータにおける情報処理方法であって、端末装置のディスプレイに、鳥瞰図を表示し、前記鳥瞰図に、撮影地点を示す複数の撮影地点アイコンと、前記鳥瞰図の任意の位置を選択するための選択アイコンと、を表示し、前記選択アイコンは前記鳥瞰図上を移動可能に構成され、前記複数の撮影地点アイコンには撮影地点で撮影された画像を示す画像情報が対応づけられ、前記選択アイコンの移動完了位置を検知し、前記移動完了位置と各撮影地点アイコンの位置とに基づいて１の撮影地点アイコンを決定し、前記１の撮影地点アイコンに対応づけられた画像情報を前記ディスプレイに出力する。
　鳥瞰図上には複数の撮影地点アイコンと選択アイコンとが表示されている。選択アイコンの鳥瞰図上での移動完了位置が検知されると、その移動完了位置と各撮影地点アイコンの位置とに基づいて、１の撮影地点アイコンが決定される。決定された１の撮影地点アイコンに対応づけられた画像情報が表示される。この画像情報は撮影地点で撮影された画像を示す。これにより、ユーザは遠隔から撮影地点における現場の状況を確認できる。そのため、画像情報を閲覧したユーザは遠隔から鳥瞰図が示す現場の状況を詳細に確認できる。また、このような簡便な操作によって画像情報が表示できるので、操作のために費やされるコンピュータの処理ステップ数が削減できる。
　（２）上記（１）記載の情報処理方法において、前記複数の撮影地点アイコンは、注釈情報が対応づけられた第１撮影地点アイコンを含み、前記決定において、前記移動完了位置が前記複数の撮影地点アイコンのそれぞれの位置から所定の領域外に位置する場合、前記移動完了位置に最も近い第１撮影地点アイコンを前記１の撮影地点アイコンとして決定し、前記出力において、選択された第１撮影地点アイコンに対応づけられた画像情報及び注釈情報を前記ディスプレイに出力してもよい。
　この構成によれば、ユーザは、第１撮影地点アイコンの所定範囲内に選択アイコンを移動させなくても、第１撮影地点アイコンの近くに選択アイコンを移動させれば、第１撮影地点アイコンを選択できる。そのため、ユーザは、第１撮影地点アイコンから所定範囲内まで選択アイコンを移動させるといった細かな操作を行わずに第１撮影地点アイコンを選択できる。その結果、ユーザは注釈情報とその注釈情報に関連する画像情報とを簡便な操作で容易に閲覧できる。なお、複数ユーザで鳥瞰図を共有する場合、各ユーザは他のユーザが撮影地点に対して付した注釈情報を優先的に閲覧することを希望するケースが多いと考えられる。そのため、本構成はこのようなニーズに対して有用である。
　（３）上記（１）又は（２）記載の情報処理方法において、前記決定において、前記移動完了位置がいずれかの撮影地点アイコンの位置から所定領域内に位置する場合、当該撮影地点アイコンを前記１の撮影地点アイコンとして決定してもよい。
　この構成によれば、ユーザは、いずれかの撮影地点アイコンの位置から所定領域内に選択アイコンを移動することで、当該撮影地点アイコンに対応づけられた画像情報を閲覧できる。
　（４）上記（１）～（３）のいずれか１つに記載の情報処理方法において、さらに、移動中の前記選択アイコンの現在位置を検知し、前記現在位置から近い順に所定数の撮影地点アイコンを決定し、前記所定数の撮影地点アイコンを強調表示してもよい。
　この構成によれば、選択アイコンの移動中においては、選択アイコンの現在位置から近い順に所定数の撮影地点アイコンが強調表示される。そのため、選択アイコンに近い撮影地点アイコンをユーザに認識させることができる。
　（５）上記（１）～（４）のいずれか１つに記載の情報処理方法において、前記強調表示は、前記所定数の撮影地点アイコンのそれぞれを、所定領域を示すサイズに拡大表示することを含んでもよい。
　この構成によれば、撮影地点アイコンに選択アイコンを近づけると、所定領域を示すサイズに選択地点アイコンが拡大表示されるので、ユーザに所定領域のサイズを認識させることができ、ユーザは撮影地点アイコンの選択が容易になる。
　（６）上記（４）記載の情報処理方法において、前記複数の撮影地点アイコンは、注釈情報が対応づけられた第１撮影地点アイコンを含み、前記第１撮影地点アイコンは、注釈アイコンが対応づけて表示され、前記強調表示は、前記所定数の撮影地点アイコンの中に前記第１撮影地点アイコンが含まれている場合、当該第１撮影地点アイコンに対応づけられた注釈アイコンを拡大表示することを含んでもよい。
　この構成によれば、注釈情報が対応づけられた第１撮影地点アイコンに選択アイコンを近づけると、注釈アイコンが拡大表示されるので、選択アイコンのそばにある撮影地点アイコンが、注釈情報が対応づけられた撮影地点アイコンであることをユーザにより確実に認識させることができる。
　（７）上記（１）～（６）のいずれか１つに記載の情報処理方法において、前記鳥瞰図は、設計図であり、前記画像情報は、前記設計図が表す施工現場で全方位カメラにより撮影された画像を示してもよい。
　この構成によれば、ユーザは設計図上に表示されたある撮影地点アイコンを選択すると、当該撮影地点アイコンに対応づけられた画像情報が表示され、しかもこの画像情報は全方位カメラで撮影された画像を示す。よって、ユーザは、設計図を参照しながら、より詳細に現場の状況を確認できる。
　（８）上記（１）～（７）のいずれか１つに記載の情報処理方法において、前記選択アイコンの移動はドラッグであり、前記移動完了位置は前記選択アイコンのドロップ位置であってもよい。
　この構成によれば、ユーザは、選択アイコンをドラッグアンドドロップ操作することで撮影地点アイコンを選択できる。
　（９）上記（１）～（８）のいずれか１つに記載の情報処理方法において、前記画像情報には、前記画像情報が示す画像に含まれる物体を示す物体領域が設定され、前記注釈情報は、前記物体に関連する注釈を示してもよい。
　この構成によれば、画像情報が示す画像に含まれる物体に関連する注釈をユーザに確認させることができる。
　（１０）本開示の別の一態様における情報処理装置は、プロセッサを含む情報処理装置であって、前記プロセッサは、端末装置のディスプレイに、鳥瞰図を表示し、前記鳥瞰図に、撮影地点を示す複数の撮影地点アイコンと、前記鳥瞰図の任意の位置を選択するための選択アイコンと、を表示し、前記選択アイコンは前記鳥瞰図を移動可能に構成され、前記複数の撮影地点アイコンには撮影地点で撮影された画像情報が対応づけられ、前記選択アイコンの移動完了位置を検知し、前記移動完了位置と各撮影地点アイコンの位置とに基づいて１の撮影地点アイコンを決定し、前記１の撮影地点アイコンに対応づけられた画像情報を前記ディスプレイに出力する、処理を実行する。
　この構成によれば、遠隔から鳥瞰図が示す現場の状況を詳細に確認できる情報処理装置を提供できる。
　（１１）本開示の別の一態様における情報処理プログラムは、上記（１）～（９）のいずれか１つに記載の情報処理方法をコンピュータに実行させるものである。
　この構成によれば、遠隔から鳥瞰図が示す現場の状況を詳細に確認できる情報処理プログラムを提供できる。
　本開示は、このような情報処理プログラムによって動作する情報処理システムとして実現することもできる。また、このようなコンピュータプログラムを、ＣＤ－ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
　なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。
　（実施の形態）
　図１は、本開示の実施の形態における情報処理システム１の構成の一例を示すブロック図である。情報処理システム１は、情報処理装置１０、撮影装置２０、及び端末装置３０を含む。情報処理装置１０、撮影装置２０、及び端末装置３０は、ネットワークを介して通信可能に接続されている。ネットワークの一例はインターネットである。情報処理装置１０は、例えば１又は複数のコンピュータで構成されたクラウドサーバである。但し、これは一例であり、情報処理装置１０は、エッジサーバで構成されもよいし、端末装置３０に実装されてもよい。
　撮影装置２０は、例えば全方位カメラで構成され、所定のフレームレートで画像を撮影する。撮影装置２０は、例えば、ユーザにより所持される携帯型の撮影装置である。ユーザは、例えば建築現場の作業員及び現場監督である。ユーザは、撮影装置２０で建築現場を撮影しながら、建築現場内を移動する。撮影装置２０は、撮影した画像を示す画像情報をネットワークを介して情報処理装置１０に送信する。画像情報には、撮影地点を示す撮影地点の位置と撮影日時とが対応づけられている。撮影地点の位置は例えば撮影装置２０が備える磁気センサ又はＧＰＳセンサなどの位置センサによって取得され、緯度及び経度で表される。撮影日時は、例えば撮影装置２０が備える時計により取得される。これにより、情報処理装置１０は、建築現場の複数の撮影地点における画像情報を得ることができる。ここでは、撮影装置２０は、所定のフレームレートで画像を撮影するので、撮影地点は、フレーム周期単位で規定される。但し、これは一例であり、撮影地点は所定時間（例えば、１秒、１分など）ごとに規定されてもよい。撮影装置２０は、画像センサ、操作装置、通信回路、信号処理回路などを含む。撮影装置２０は、スマートフォン又はダブレット型コンピュータなどの携帯型のコンピュータで構成されてもよい。
　端末装置３０は、ユーザによって所持される。端末装置３０は、例えばスマートフォン又はタブレット型コンピュータなどの携帯型のコンピュータで構成されてもよいし、据え置き型のコンピュータで構成されてもよい。端末装置３０は、情報処理装置１０による制御にしたがって画面情報をディスプレイに表示する。図１の例では１台の端末装置３０が図示されているが、情報処理装置１０には複数の端末装置がネットワークを介して接続されていてもよい。端末装置３０は、中央演算処理装置（ＣＰＵ）、メモリ、ディスプレイ、タッチパネル及びキーボードなどの操作装置、並びに通信回路を含む。
　情報処理装置１０は、プロセッサ１１、メモリ１２、及び通信部１３を含む。プロセッサ１１は、例えば中央演算処理装置（ＣＰＵ）で構成される。プロセッサ１１は、取得部１１１、決定部１１２、及び出力部１１３を含む。取得部１１１～出力部１１３は、プロセッサ１１が情報処理プログラムを実行することで実現されてもよいし、ＡＳＩＣなどの専用のハードウェア回路で構成されてもよい。
　取得部１１１は、ユーザから設計図を選択する指示を端末装置３０から取得し、指示が示す設計図情報をメモリ１２から読み出し、読み出した設計図情報を端末装置３０のディスプレイに表示する。設計図情報は、建築現場の設計図を示す情報である。設計図情報は、鳥瞰図の一例である。取得部１１１は、設計図に撮影地点を示す複数の撮影地点アイコンと、設計図の任意の位置を選択するための選択アイコンとを端末装置３０に表示する。これらの表示は、取得部１１１が表示指示を通信部１３を用いて端末装置３０に送信することで実現される。選択アイコンは設計図上を移動可能に構成される。取得部１１１は、撮影地点に対応する設計図上の位置に撮影地点アイコンを表示させる。設計図にはキーポイントとなる位置に予め緯度及び経度が対応づけられている。キーポイントとなる位置は、例えば設計図の４隅の位置である。
　決定部１１２は、ユーザの操作によって設計図上で移動される選択アイコンの現在位置を端末装置３０から取得する。この現在位置は設計図上における座標である。
　決定部１１２は、選択アイコンの移動完了位置を検知する。選択アイコンはドラッグアンドドロップ操作によって移動可能に構成されている。以下、移動完了位置をドロップ位置と記載する。決定部１１２は、端末装置３０からドロップ操作を示す操作情報を通信部１３を介して取得したときの選択アイコンの現在位置をドロップ位置として検出すればよい。
　決定部１１２は、検知したドロップ位置と各撮影地点アイコンの位置とに基づいて１の撮影地点アイコンを決定する。
　複数の撮影地点アイコンは、画像情報及び注釈情報が対応づけられた第１撮影地点アイコンを含む。注釈情報は、画像情報を閲覧したユーザが端末装置３０を用いて入力した注釈を示す。ユーザは画像情報が示す画像に含まれる物体を示す物体領域を端末装置３０を用いて入力する。注釈はこの物体に対して付される。例えば、注釈はこの物体に関して作業上注意すべき内容を示すメッセージなどである。第１撮影地点アイコンには注釈があることを示す注釈アイコンが対応付けて表示されている。
　決定部１１２は、ドロップ位置が複数の撮影地点アイコンのそれぞれの位置から所定の領域外に位置する場合、ドロップ位置に最も近い第１撮影地点アイコンを１の撮影地点アイコンとして決定する。
　決定部１１２は、ドロップ位置がある撮影地点アイコンの位置から所定領域内に位置する場合、当該撮影地点アイコンを１の選択地点アイコンとして決定する。
　決定部１１２は、端末装置３０から通信部１３を介して取得した選択アイコンの現在位置から近い順に所定数の撮影地点アイコンを決定し、所定数の撮影地点アイコンを強調表示する。所定数は例えば１個、２個、３個、などの適宜の値が採用できる。
　強調表示は、所定数の撮影地点アイコンのそれぞれを、所定領域を示すサイズに拡大表示することを含む。強調表示は、所定数の撮影地点アイコンの中に第１撮影地点が含まれている場合、当該第１撮影地点アイコンに対応づけられた注釈アイコンを拡大表示することを含む。
　出力部１１３は、決定部１１２により決定された１の撮影地点アイコンに対応づけられた画像情報をメモリ１２から読み出し、読み出した画像情報を端末装置３０のディスプレイに表示する。１の選択アイコンが第１撮影地点アイコンであれば、出力部１１３は、１の撮影地点アイコンに対応づけられた画像情報及び注釈情報をメモリ１２から読み出し、得られた画像情報及び注釈情報を端末装置３０のディスプレイに表示すればよい。一方、１の選択アイコンが第１撮影地点アイコンでなければ、出力部１１３は、１の撮影地点アイコンに対応づけられた画像情報をメモリ１２から読み出し、得られた画像情報を端末装置３０のディスプレイに表示すればよい。ここで、出力部１１３は、メモリ１２から読み出した画像情報及び注釈情報を通信部１３を用いて端末装置３０に送信することで、画像情報及び注釈情報を端末装置３０のディスプレイに表示すればよい。
　メモリ１２は、ハードディスクドライブ、ソリッドステートドライブなどの不揮発性の書き換え可能な記憶装置で構成される。メモリ１２は、設計図情報、撮影情報、注釈情報、及び画像情報を記憶する。設計図情報は、設計図を示す画像情報である。設計図情報には、設計図を識別する設計図ＩＤが対応づけられている。設計図には、上述したようにキーポイントに実際の建築現場の緯度及び経度が設定されている。
　撮影情報は撮影装置２０を用いた１回の撮影動作に関する情報を示す。撮影情報は１回の撮影動作が行われるたびに生成される。１回の撮影動作とは撮影装置２０を持った作業員が建築現場において撮影を開始してからから撮影を終了するまでの一連の動作を指す。１回の撮影動作により複数の画像が撮影される。撮影情報は、設計図ＩＤ、撮影ＩＤ、撮影日時、撮影日時の代表値、撮影地点の位置、及び撮影地点アイコンの位置を含む。設計図ＩＤは、撮影された建築現場の設計図の識別子である。撮影ＩＤは１回の撮影動作に含まれる各撮影を識別するための識別子である。撮影日時は撮影ＩＤが示す撮影の撮影日時である。撮影日時の代表値は撮影が開始されたときの撮影日時である。撮影地点は撮影ＩＤが示す撮影が行われた位置（緯度及び経度）を示す。撮影地点アイコンの位置は撮影ＩＤに対応する撮影地点アイコンの設計図上での表示位置（座標）を示す。撮影地点アイコンの位置は、設計図情報が示す設計図のキーポイントにおける撮影位置（緯度及び経度）と、撮影ＩＤに対応する撮影地点（緯度及び経度）とに基づいて、設計図に撮影位置をマッピングすることで算出される。
　注釈情報は注釈を示す情報である。１つの注釈情報は１つの注釈に対応している。注釈情報は、撮影ＩＤ、物体領域ＩＤが対応づけられている。物体領域ＩＤは撮影ＩＤに対応する画像情報に設定された物体領域であって注釈が付与された物体領域の識別子である。
　画像情報は１回の撮影動作に含まれる各撮影により撮影された１枚の画像を示す。画像情報には撮影ＩＤ及び物体領域ＩＤが対応づけられている。撮影ＩＤに対応する画像情報に複数の物体領域が設定された場合、画像情報には複数の物体領域ＩＤが含まれる。
　物体領域情報は撮影ＩＤに対応する画像情報に設定された物体領域のキーポイントの位置（座標）を記憶する。キーポイントは物体領域の輪郭上の頂点である。物体領域情報は、撮影ＩＤ及び物体領域ＩＤが対応づけられている。
　このように、撮影情報及び画像情報には撮影ＩＤが対応づけられているので、撮影ＩＤをキーにして撮影地点アイコンに対応する画像情報が特定される。注釈情報及び物体領域情報には物体領域ＩＤが対応づけられているので、物体領域ＩＤをキーにして物体領域情報に対応する注釈情報が特定される。物体領域情報及び画像情報には撮影ＩＤが対応付けられているので、撮影ＩＤをキーにして物体領域情報に対応する画像情報が特定される。注釈情報が対応付けられた撮影ＩＤに対応する撮影地点アイコンは第１撮影地点アイコンとなる。
　通信部１３は、情報処理装置１０をネットワークに接続する通信回路である。
　図２は、端末装置３０のディスプレイに表示される表示画面Ｇ１の一例を示す図である。表示画面Ｇ１は、情報処理装置１０が提供するアプリケーションの基本画面である。表示画面Ｇ１は、画像情報表示欄Ｒ１、注釈情報表示欄Ｒ２、設計図表示欄Ｒ３、ニュース表示欄Ｒ４を含む。
　画像情報表示欄Ｒ１は、決定部１１２により決定された１の撮影地点アイコンに対応づけられた画像情報を表示する。
　注釈情報表示欄Ｒ２は、決定された１の撮影地点アイコンに対応づけられた注釈情報を表示する。ここでは、画像情報表示欄Ｒ１に表示された画像情報に対して複数のユーザが入力した注釈Ｃ１が一覧表示されている。注釈情報表示欄Ｒ２において、左側には自分以外のユーザが入力した注釈Ｃ１が表示され、右側には自分が入力した注釈Ｃ１が表示される。
　アプリケーションの起動直後のデフォルトの表示画面Ｇ１においては、ユーザにより撮影地点アイコンが選択されていない。そのため、デフォルトの表示画面Ｇ１においては、画像情報表示欄Ｒ１及び注釈情報表示欄Ｒ２は空欄である。
　設計図表示欄Ｒ３は、建築現場の設計図を表示する。設計図表示欄Ｒ３が表示する設計図には、選択アイコン２０１、撮影地点アイコン２０２、及び軌跡２０３が重畳表示されている。
　選択アイコン２０１は、ドラッグアンドドロップ操作によって移動可能に構成されている。この例では、選択アイコン２０１は人を模擬した画像で構成されている。
　撮影地点アイコン２０２は撮影地点を示すアイコンであり画像情報が対応づけられている。この例では、撮影地点アイコン２０２は円形の画像で構成されている。軌跡２０３は画像情報を撮影したユーザの軌跡を示す。この例では、軌跡２０３は隣接する撮影地点アイコン２０２同士をつなぐ線で構成されている。軌跡２０３の先端に位置する撮影地点アイコン２０２と、軌跡２０３の後端に位置する撮影地点アイコン２０２とは、他の撮影地点アイコンよりも大きなサイズで表示されている。軌跡２０３の先端（例えば右端）に位置する撮影地点アイコン２０２は撮影開始位置を示し、軌跡２０３の後端（例えば左端）に位置する撮影地点アイコン２０２は撮影終了位置を示す。
　ニュース表示欄Ｒ４は、この建築現場に関連する種々のメッセージであってユーザにより入力されたメッセージを表示する。
　図３は、図２に示す画像情報表示欄Ｒ１及び注釈情報表示欄Ｒ２を拡大表示した図である。画像情報には、物体領域Ｄ１が設定されている。物体領域Ｄ１は、画像情報表示欄Ｒ１に表示された画像情報に対してユーザによって入力された注目するべき物体の領域示す。画像情報表示欄Ｒ１において、ユーザが物体領域Ｄ１の選択指示を端末装置３０を用いて入力すると、端末装置３０は、画像情報表示欄Ｒ１に物体領域Ｄ１を選択するための枠体（図略）を表示する。この枠体は例えば四角形である。ユーザはこの枠体を端末装置３０を操作して移動及び変形させて画像情報表示欄Ｒ１表示されたある物体に重ね合わせる。これにより物体領域Ｄ１が設定される。
　図３の例では、建築中の建物の手前にある地面に物体領域Ｄ１が設定されている。設定された物体領域Ｄ１を示す物体領域情報は物体領域ＩＤ及び画像ＩＤと対応付けてメモリ１２に記憶される。物体領域情報は、物体領域Ｄ１のキーポイントを示す座標を含む。キーポイントは、例えば物体領域Ｄ１の頂点である。注釈Ｃ１は、物体領域Ｄ１に対してユーザが入力した注釈である。この注釈Ｃ１を示す注釈情報は、物体領域Ｄ１の物体領域ＩＤと対応付けてメモリ１２に記憶される。これにより、画像情報に設定された物体領域Ｄ１と、その物体領域Ｄ１に対して入力された注釈Ｃ１を示す注釈情報とが対応付けて管理されることになる。
　図３の例では、物体領域Ｄ１は１つであるが、ユーザは複数の物体領域を設定可能である。この場合、ユーザは、枠体を移動及び変形させる操作を複数回行えばよい。複数の物体領域のそれぞれを示す物体領域情報には個別に物体領域ＩＤが付与されてメモリ１２に記憶される。
　図４は、選択アイコン２０１が移動される際の設計図表示欄Ｒ３を示す図である。選択アイコン２０１は矢印で示す方向にドラッグされている。選択アイコン２０１のドラッグ中において、決定部１１２は、選択アイコン２０１の位置（座標）と軌跡２０３上にある複数の撮影地点アイコン２０２の位置（座標）とのそれぞれの距離を算出する。この場合、距離が小さい順に上位３位（所定数の一例）の撮影地点アイコン２０２は、撮影地点アイコン２０２（１）、２０２（２）、２０２（３）であった。そのため、撮影地点アイコン２０２（１）、２０２（２）、２０２（３）は所定領域Ｄ２を示すサイズに拡大表示されている。これにより、選択アイコン２０１に近い撮影地点アイコン２０２をユーザに認識させ、且つ所定領域Ｄ２のサイズをユーザに認識させることができる。
　撮影地点アイコン２０２（２）は注釈アイコン２０４が対応づけられた撮影地点アイコン２０２、すなわち、第１撮影地点アイコンである。そのため、この注釈アイコン２０４も拡大表示されている。注釈アイコン２０４は注釈があることを示すアイコンであり、図４の例では吹き出しマークが採用されている。一方、撮影地点アイコン２０２（４）も注釈アイコン２０４が対応づけられた撮影地点アイコン２０２、すなわち、第１撮影地点アイコンである。撮影地点アイコン２０２（４）は選択アイコン２０１との距離が上位３位に入っていないので、注釈アイコン２０４は拡大表示されていない。
　例えば、選択アイコン２０１が図４に示すドロップ位置Ｐ１でドロップされたとする。ドロップ位置Ｐ１はいずれの撮影地点アイコン２０２に対しても所定領域Ｄ２の外に位置する。そのため、注釈アイコン２０４が対応付けられた撮影地点アイコン２０２（２）、２０２（４）の中からドロップ位置Ｐ１までの距離が最短の撮影地点アイコン２０２（２）が１の撮影地点アイコン２０２として決定される。これにより、ユーザは、第１撮影地点アイコンから所定領域Ｄ２内まで選択アイコン２０１を移動させるといった細かな操作を行わずに第１撮影地点アイコンを選択できる。その結果、ユーザは注釈情報とその注釈情報に関連する画像情報とを簡便な操作で容易に閲覧できる。
　例えば、選択アイコン２０１が撮影地点アイコン２０２（１）の所定領域Ｄ２内でドロップされたとする。この場合、撮影地点アイコン２０２（１）が１の撮影地点アイコンとして決定される。このように、選択アイコン２０１が所定領域Ｄ２内でドロップされた場合、注釈アイコン２０４が対応づけられているか否かに関わらず、ドロップされた所定領域Ｄ２に対応する撮影地点アイコン２０２が１の撮影地点アイコンとして決定される。これにより、ユーザは、撮影地点アイコンの位置から所定領域Ｄ２内に選択アイコン２０１を移動することで、当該撮影地点アイコンに対応づけられた画像情報を閲覧できる。
　図５は、図１に示す情報処理装置１０の処理の一例を示すフローチャートである。取得部１１１は、設計図を選択するユーザからの指示を取得する（ステップＳ１）。この場合、端末装置３０のディスプレイには設計図を選択するためのメニュー画面が表示され、そのメニュー画面の中から１の設計図を選択する指示が入力される。入力された指示はネットワークを介して情報処理装置１０に送信され、通信部１３により受信される。取得部１１１は通信部１３を介して指示を取得する。この指示には設計図ＩＤが含まれているので、取得部１１１はメモリ１２に記憶された設計図情報の中から指示された設計図を示す設計図情報を取得できる。
　次に、取得部１１１は、表示画面Ｇ１の表示指示を通信部１３を介して端末装置３０に送信することで、表示画面Ｇ１を端末装置３０のディスプレイに表示する（ステップＳ２）。デフォルトで表示される表示画面Ｇ１の表示指示には、ステップＳ１で選択された設計図を示す設計図情報と、最新の撮影日時に対応する撮影情報とが含まれている。したがって、デフォルトに表示される表示画面Ｇ１には、図２に示すように設計図に選択アイコン２０１と、最新の撮影日時に対応する撮影地点アイコン２０２及び軌跡２０３とが含まれる。この時点では、１の撮影地点アイコンが決定されていないので、画像情報表示欄Ｒ１及び注釈情報表示欄Ｒ２は空欄である。なお、後述するステップＳ３において撮影日時を選択する指示が入力された場合は、取得部１１１は、選択された撮影日時に対応する撮影地点アイコン２０２及び軌跡２０３が重畳表示された設計図を含む表示画面Ｇ１をディスプレイに表示する。
　次に、取得部１１１は、撮影日時を選択するユーザからの指示を取得したか否かを判定する（ステップＳ３）。この場合、端末装置３０のディスプレイには撮影日時を選択するためのメニュー画面が表示される。ユーザは、そのメニュー画面から１の撮影日時を選択する指示を入力する。メニュー画面に表示される撮影日時はメモリ１２に記憶された撮影情報に含まれる撮影日時の代表値である。撮影日時を選択するとその撮影日時に対応する１つの撮影動作が選択されることになる。入力された指示はネットワークを介して情報処理装置１０に送信され、通信部１３により受信される。取得部１１１は通信部１３を介して指示を取得する。この指示には撮影日時の代表値が含まれているので、取得部１１１はメモリ１２に記憶された１つの撮影情報を特定できる。撮影日時を選択する指示が入力された場合（ステップＳ３でＹＥＳ）、処理はステップＳ４に進む。撮影日時を選択する指示が入力されない場合（ステップＳ３でＮＯ）、処理はステップＳ２に戻る。
　次に、表示処理が実行される（ステップＳ４）。表示処理の詳細は図６で後述する。表示処理は、設計図上で選択アイコン２０１をドラッグアンドドロップして１の撮影地点アイコンを決定し、決定した１の撮影地点アイコンに対応づけられた画像情報を画像情報表示欄Ｒ１に表示する処理である。
　次に、取得部１１１は、注釈入力の指示を取得したか否かを判定する（ステップＳ５）。注釈入力の指示とはユーザが画像情報表示欄Ｒ１に表示された画像情報に対して注釈を入力する意思がある場合に入力される指示である。この指示は、例えば表示画面Ｇ１に表示された注釈入力指示ボタン（図略）を選択する操作を行うことで入力される。入力された指示はネットワークを介して情報処理装置１０に送信され、通信部１３により受信される。取得部１１１は通信部１３を介して指示を取得する。
　次に、注釈入力の指示が取得された場合（ステップＳ５でＹＥＳ）、取得部１１１は物体領域情報を取得する（ステップＳ６）。物体領域情報は、画像情報表示欄Ｒ１において上述したように枠体（図略）を移動及び変形させる操作を行うことで入力される。入力された物体領域情報はネットワークを介して情報処理装置１０に送信され、通信部１３により受信される。取得部１１１は通信部１３を介して物体領域情報を取得する。取得部１１１は、取得した物体領域情報に物体領域ＩＤを付与し、撮影ＩＤと対応付けてメモリ１２に記憶する。これにより、図３に示すように物体領域Ｄ１が設定される。
　次に、注釈入力の指示が取得されていない場合（ステップＳ５でＮＯ）、処理はステップＳ８に進む。
　次に、取得部１１１は、注釈情報を取得する（ステップＳ７）。注釈情報は、図３に示すように、注釈情報表示欄Ｒ２に注釈Ｃ１を入力し、図略の送信ボタンを押すことで入力される。入力された注釈情報はネットワークを介して情報処理装置１０に送信され、通信部１３により受信される。取得部１１１は通信部１３を介して注釈情報を取得する。取得部１１１は取得した注釈情報に撮影ＩＤ、物体領域ＩＤを対応付けてメモリ１２に記憶する。
　次に、取得部１１１は、終了指示を取得したか否かを判定する（ステップＳ８）。終了指示とは、ステップＳ３で表示された表示画面Ｇ１を閉じる指示である。この指示は表示画面Ｇ１に表示された終了ボタン（図略）を押す操作を行うことで入力される。終了指示が取得された場合（ステップＳ８でＹＥＳ）、処理は終了する。終了指示が取得されていない場合（ステップＳ８でＮＯ）、処理はステップＳ３に戻る。この場合、表示画面Ｇ１の表示が維持される。終了指示は、ネットワークを介して情報処理装置１０に送信され、通信部１３により受信される。取得部１１１は通信部１３を介して終了指示を取得する。
　図６は、図５に示す表示処理の詳細を示すフローチャートである。取得部１１１は、選択アイコン２０１をドラッグアンドドロップする操作を取得する（ステップＳ２１）。この操作は、図４に示すように、設計図に重畳された選択アイコン２０１をドラッグアンドドロップする操作を入力することで行われる。この操作を示す操作情報は周期的に端末装置３０から情報処理装置１０に送信される。この操作情報は、選択アイコン２０１の現在位置を含む。そのため、決定部１１２は、選択アイコン２０１の現在位置を通信部１３を介して取得し、選択アイコン２０１と各撮影地点アイコン２０２との距離を算出できる。そして、決定部１１２は、選択アイコン２０１との距離が短い順に所定数（上位３位）までの撮影地点アイコン２０２を特定し、特定した撮影地点アイコン２０２を拡大表示する表示指示を通信部１３を介して端末装置３０に送信する。また、選択アイコン２０１がドロップされた操作情報が端末装置３０から送信された場合、決定部１１２は、その時点における選択アイコン２０１の現在位置をドロップ位置として検出する。
　次に、決定部１１２は、ドロップ位置が撮影地点アイコン２０２の所定領域Ｄ２内であるか否かを判定する（ステップＳ２２）。
　次に、ドロップ位置が撮影地点アイコン２０２の所定領域Ｄ２内の場合（ステップＳ２２でＹＥＳ）、決定部１１２は、所定領域Ｄ２に対応する撮影地点アイコンを１の撮影地点アイコンとして決定する（ステップＳ２３）。図４の例において、ドロップ位置が撮影地点アイコン２０２（１）の所定領域Ｄ２内であれば、撮影地点アイコン２０２（１）が１の撮影地点アイコンとして決定される。
　次に、ドロップ位置がいずれの撮影地点アイコン２０２についても所定領域Ｄ２外に位置する場合（ステップＳ２２でＮＯ）、決定部１１２は、ドロップ位置に最も近い第１撮影地点アイコンを１の撮影地点アイコンとして決定する（ステップＳ２４）。図４の例において、ドロップ位置Ｐ１に選択アイコン２０１がドロップされた場合、撮影地点アイコン２０２（２）が１の撮影地点アイコンとして決定される。
　次に、出力部１１３は、ステップＳ２３又はＳ２４で決定された１の撮影地点アイコンに対応する画像情報を通信部１３を介して端末装置３０に送信することで、画像情報を表示画面Ｇ１に表示する。これにより、画像情報表示欄Ｒ１に１の撮影地点アイコンに対応する画像情報を示す画像が表示される。なお、１の撮影地点アイコンが第１撮影地点アイコンの場合、画像情報に加えて注釈情報が通信部１３を介して端末装置３０に送信される。これにより、注釈情報表示欄Ｒ２に、画像情報表示欄Ｒ１に表示された画像情報に対応する注釈情報が示す注釈Ｃ１が表示される。一方、１の撮影地点アイコンが第１撮影地点アイコンでない場合、注釈情報は送信されないので、注釈情報表示欄Ｒ２は空欄になる。
　このように、上記実施の形態によれば、選択アイコン２０１のドロップ位置と各撮影地点アイコン２０２の位置とに基づいて、１の撮影地点アイコンが決定される。決定された１の撮影地点アイコンに対応する画像情報が表示される。この画像情報は撮影地点で撮影された画像を示す。これにより、ユーザは遠隔から撮影地点における建築現場の状況を確認できる。そのため、画像情報を閲覧したユーザは遠隔から設計図が示す建築現場の状況を詳細に確認できる。
　本開示は以下の変形例が採用できる。
　（１）鳥瞰図は家屋内の間取りを示す間取り図であってもよい。この場合、本開示は家屋の内装のリフォームに適用できる。また、鳥瞰図は家屋内の間取りを簡便に示すレイアウト図であってもよい。
　（２）注釈情報は物体領域Ｄ１に対応づけられているが、物体領域Ｄ１が設定されていない場合、画像情報に対応付けられればよい。
　（３）上記実施の形態では、選択アイコン２０１をドラッグアンドドロップすることで１の撮影地点アイコンが決定されたがこれは一例であり、マウスポインタを所望の位置に位置決めしてクリックする操作により１の撮影地点アイコンが決定されてもよい。例えば、マウスポインタのクリック位置がいずれかの撮影地点アイコン２０２に対して所定領域Ｄ２内であれば、クリックされた所定領域Ｄ２に対応する撮影地点アイコン２０２が１の撮影地点アイコンとして決定される。例えば、マウスポインタのクリック位置がいずれの撮影地点アイコン２０２についても所定領域Ｄ２外である場合、クリック位置に最も近い撮影地点アイコン２０２が１の撮影地点アイコンとして決定される。
　（４）上記実施の形態では現場として建築現場を例示したが、本開示はこれに限定されず、製造現場、物流現場、流通現場、農地、土木現場、小売現場、オフィス、病院、商業施設、介護施設などが現場として採用されてもよい。
　本開示は建築現場の状況を遠隔から確認できるので、建築現場を管理するうえで有用である。

Claims (11)

  1. 　コンピュータにおける情報処理方法であって、
    　端末装置のディスプレイに、鳥瞰図を表示し、
    　前記鳥瞰図に、撮影地点を示す複数の撮影地点アイコンと、前記鳥瞰図の任意の位置を選択するための選択アイコンと、を表示し、
    　前記選択アイコンは前記鳥瞰図上を移動可能に構成され、
    　前記複数の撮影地点アイコンには撮影地点で撮影された画像を示す画像情報が対応づけられ、
    　前記選択アイコンの移動完了位置を検知し、前記移動完了位置と各撮影地点アイコンの位置とに基づいて１の撮影地点アイコンを決定し、
    　前記１の撮影地点アイコンに対応づけられた画像情報を前記ディスプレイに出力する、
    　情報処理方法。
  2. 　前記複数の撮影地点アイコンは、注釈情報が対応づけられた第１撮影地点アイコンを含み、
    　前記決定において、前記移動完了位置が前記複数の撮影地点アイコンのそれぞれの位置から所定の領域外に位置する場合、前記移動完了位置に最も近い第１撮影地点アイコンを前記１の撮影地点アイコンとして決定し、
    　前記出力において、選択された第１撮影地点アイコンに対応づけられた画像情報及び注釈情報を前記ディスプレイに出力する、
    　請求項１記載の情報処理方法。
  3. 　前記決定において、前記移動完了位置がいずれかの撮影地点アイコンの位置から所定領域内に位置する場合、当該撮影地点アイコンを前記１の撮影地点アイコンとして決定する、
    　請求項１記載の情報処理方法。
  4. 　さらに、移動中の前記選択アイコンの現在位置を検知し、前記現在位置から近い順に所定数の撮影地点アイコンを決定し、前記所定数の撮影地点アイコンを強調表示する、
    　請求項１記載の情報処理方法。
  5. 　前記強調表示は、前記所定数の撮影地点アイコンのそれぞれを、所定領域を示すサイズに拡大表示することを含む、
    　請求項４記載の情報処理方法。
  6. 　前記複数の撮影地点アイコンは、注釈情報が対応づけられた第１撮影地点アイコンを含み、前記第１撮影地点アイコンは、注釈アイコンが対応づけて表示され、
    　前記強調表示は、前記所定数の撮影地点アイコンの中に前記第１撮影地点アイコンが含まれている場合、当該第１撮影地点アイコンに対応づけられた注釈アイコンを拡大表示することを含む、
    　請求項４記載の情報処理方法。
  7. 　前記鳥瞰図は、設計図であり、
    　前記画像情報は、前記設計図が表す施工現場で全方位カメラにより撮影された画像を示す、
    　請求項１又は２記載の情報処理方法。
  8. 　前記選択アイコンの移動はドラッグであり、
    　前記移動完了位置は前記選択アイコンのドロップ位置である、
    　請求項１又は２記載の情報処理方法。
  9. 　前記画像情報には、前記画像情報が示す画像に含まれる物体を示す物体領域が設定され、
    　前記注釈情報は、前記物体に関連する注釈を示す、
    　請求項２記載の情報処理方法。
  10. 　プロセッサを含む情報処理装置であって、
    　前記プロセッサは、
    　端末装置のディスプレイに、鳥瞰図を表示し、
    　前記鳥瞰図に、撮影地点を示す複数の撮影地点アイコンと、前記鳥瞰図の任意の位置を選択するための選択アイコンと、を表示し、
    　前記選択アイコンは前記鳥瞰図を移動可能に構成され、
    　前記複数の撮影地点アイコンには撮影地点で撮影された画像情報が対応づけられ、
    　前記選択アイコンの移動完了位置を検知し、前記移動完了位置と各撮影地点アイコンの位置とに基づいて１の撮影地点アイコンを決定し、
    　前記１の撮影地点アイコンに対応づけられた画像情報を前記ディスプレイに出力する、処理を実行する、
    　情報処理装置。
  11. 　請求項１又は２記載の情報処理方法をコンピュータに実行させるための情報処理プログラム。
PCT/JP2023/018245 2022-05-17 2023-05-16 情報処理方法、情報処理装置、及び情報処理プログラム Ceased WO2023224030A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202380038125.0A CN119053982A (zh) 2022-05-17 2023-05-16 信息处理方法、信息处理装置以及信息处理程序
JP2024521940A JPWO2023224030A1 (ja) 2022-05-17 2023-05-16
US18/948,120 US20250068296A1 (en) 2022-05-17 2024-11-14 Information processing method, information processing device, and non-transitory computer readable recording medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263342785P 2022-05-17 2022-05-17
US63/342,785 2022-05-17
JP2023056542 2023-03-30
JP2023-056542 2023-03-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/948,120 Continuation US20250068296A1 (en) 2022-05-17 2024-11-14 Information processing method, information processing device, and non-transitory computer readable recording medium

Publications (1)

Publication Number Publication Date
WO2023224030A1 true WO2023224030A1 (ja) 2023-11-23

Family

ID=88835572

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/018245 Ceased WO2023224030A1 (ja) 2022-05-17 2023-05-16 情報処理方法、情報処理装置、及び情報処理プログラム

Country Status (4)

Country Link
US (1) US20250068296A1 (ja)
JP (1) JPWO2023224030A1 (ja)
CN (1) CN119053982A (ja)
WO (1) WO2023224030A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1131063A (ja) * 1997-07-10 1999-02-02 Hitachi Ltd アイコン自動拡大方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1131063A (ja) * 1997-07-10 1999-02-02 Hitachi Ltd アイコン自動拡大方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"BYOD introduction guide Thorough use of smartphones and tablets", 22 November 2013, NIKKEI BP, ISBN: 978-4-8222-1094-6, article "Streamline construction work with iPad apps. Do not apply MDM to privately owned devices", pages: 54 - 55, XP009550451 *
"Mediax MOOK940 Revised edition A book that perfectly understands Google services", 30 July 2023, MEDIAX CO., LTD., ISBN: 978-4-86674-300-4, article "Basic screen of Google Maps", pages: 54 - 59, XP009550452 *

Also Published As

Publication number Publication date
CN119053982A (zh) 2024-11-29
JPWO2023224030A1 (ja) 2023-11-23
US20250068296A1 (en) 2025-02-27

Similar Documents

Publication Publication Date Title
JPWO2014021004A1 (ja) 画像処理システム、画像処理方法、及びプログラム
US9239892B2 (en) X-ray vision for buildings
US11048345B2 (en) Image processing device and image processing method
JP2021018710A (ja) 現場連携システムおよび管理装置
JP6132811B2 (ja) プログラム及び情報処理装置
JP5525497B2 (ja) プラント作業支援装置およびプラント作業支援方法
WO2023224030A1 (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
WO2023224031A1 (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
US20250069285A1 (en) Information processing method, information processing device, and non-transitory computer readable recording medium
US12596511B2 (en) Information processing method, information processing device, and non-transitory computer readable recording medium
US20230125097A1 (en) Photography support device and method, and computer-readable storage medium
CN107102794B (zh) 操作处理方法及装置
CN114964251B (zh) 一种导航方法、装置及其相关设备和存储介质
JP7836439B1 (ja) 大規模屋外施設用の点検支援方法およびプログラム
KR102816246B1 (ko) 실사 지도를 이용한 부동산 정보 표시 방법 및 장치
WO2025094964A1 (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
US12051218B2 (en) Remote support system, terminal device, and remote device
WO2025094911A1 (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
US20230128950A1 (en) Photography position management device and method, and computer-readable storage medium
JP2015069445A (ja) 映像出力装置、映像出力方法、及びプログラム
JP5493581B2 (ja) 情報処理システム、情報処理装置、情報管理装置及びプログラム
WO2025094793A1 (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
JP6670918B2 (ja) 生成装置、生成方法及び生成プログラム
WO2025095022A1 (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
WO2025094932A1 (ja) 情報処理方法、情報処理装置、及び情報処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23807632

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202380038125.0

Country of ref document: CN

Ref document number: 2024521940

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23807632

Country of ref document: EP

Kind code of ref document: A1