WO2022004153A1 - 画像情報生成装置、方法およびプログラム - Google Patents

画像情報生成装置、方法およびプログラム Download PDF

Info

Publication number
WO2022004153A1
WO2022004153A1 PCT/JP2021/018534 JP2021018534W WO2022004153A1 WO 2022004153 A1 WO2022004153 A1 WO 2022004153A1 JP 2021018534 W JP2021018534 W JP 2021018534W WO 2022004153 A1 WO2022004153 A1 WO 2022004153A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
omnidirectional
shooting
omnidirectional image
position coordinates
Prior art date
Application number
PCT/JP2021/018534
Other languages
English (en)
French (fr)
Inventor
ケン キム
Original Assignee
エヌ・ティ・ティ・コミュニケーションズ株式会社
スリーアイ インコーポレイティド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エヌ・ティ・ティ・コミュニケーションズ株式会社, スリーアイ インコーポレイティド filed Critical エヌ・ティ・ティ・コミュニケーションズ株式会社
Priority to KR1020237002290A priority Critical patent/KR20230033016A/ko
Publication of WO2022004153A1 publication Critical patent/WO2022004153A1/ja
Priority to US18/145,888 priority patent/US20230131239A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028—Multiple view windows (top-side-front-sagittal-orthogonal)

Definitions

  • An embodiment of the present invention relates to an image information generation device, a method, and a program used in a system that manages the facility by using an image of a three-dimensional space such as a facility.
  • Patent Document 1 omnidirectional images (360 °) are photographed at a plurality of different positions in a three-dimensional space in a building, the photographed images are recorded on a storage medium, and the recorded omnidirectional images are connected.
  • a technique for generating a three-dimensional (3D) image showing the inside of the facility is described.
  • a facility manager or user can remotely grasp the state of a facility by using a 3D image without going to the site.
  • the interior of a construction site or living space changes with the passage of time, and it is required to be able to manage the state of this change using images.
  • images in the same space corresponding to a plurality of designated date and time are simply selected from storage media and displayed side by side. Therefore, for example, if the shooting conditions of the images taken at the plurality of dates and times, for example, the shooting position, the shooting direction, the magnification, etc., are different, even if these images are simply displayed side by side, the administrator or the user changes the space. It becomes difficult to accurately grasp the situation of.
  • the present invention was made by paying attention to the above circumstances, and on one aspect, it is intended to provide a technique for generating image information that can appropriately express the state of change in three-dimensional space.
  • one aspect of the image information generation device or the image information generation method according to the present invention is to capture an omnidirectional image obtained by capturing a three-dimensional space at a plurality of imaging positions at a plurality of imaging opportunities. Use the storage device stored in association with the coordinates indicating. Then, among the plurality of shooting opportunities, the comparison between the first omnidirectional image and the second omnidirectional image in the three-dimensional space taken at the first shooting opportunity and the second shooting opportunity is requested. When the information is input, the shooting position coordinates are obtained from all the second omnidirectional images taken at the second shooting opportunity among the omnidirectional images stored in the storage device. The second omnidirectional image closest to the shooting position coordinates of the first omnidirectional image is selected.
  • the display range and display direction of the selected second omnidirectional image are adjusted so as to correspond to the display range and shooting direction of the first omnidirectional image, and the second omnidirectional image is adjusted.
  • a composite image in which the image and the first omnidirectional image are arranged in a comparable manner is generated and output.
  • the image to be compared whose shooting position is closest to the shooting position of the image to be compared is selected. Further, after adjusting the angle of the selected comparison target image so as to correspond to the comparison reference image, display image information for comparing both images is generated. Therefore, it is possible to generate image information that can appropriately express the state of change in the three-dimensional space.
  • FIG. 1 is a schematic configuration diagram of a system including a server device that operates as an image information generation device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the server device in the system shown in FIG.
  • FIG. 3 is a block diagram showing an example of the software configuration of the server device in the system shown in FIG.
  • FIG. 4 is a flowchart showing an example of the procedure and processing contents of the image information generation processing by the server device shown in FIG.
  • FIG. 5 is a diagram showing an example of a shooting position of an omnidirectional image as a comparison reference.
  • FIG. 6 is a diagram showing an example of a shooting position of an omnidirectional image to be compared.
  • FIG. 7 is a diagram showing an example of display image information.
  • FIG. 1 is a schematic configuration diagram of a system including an image information generator according to an embodiment of the present invention.
  • This system includes a server device SV that operates as an image information generation device. Then, data communication is possible between the server device SV and the user terminals MT, UT1 to UTn used by the user via the network NW.
  • the user terminals MT, UT1 to UTn include a user terminal MT used by a user who registers an omnidirectional image and a user terminal UT1 to UTn used by a user who browses the registered image, both of which are, for example, smartphones. It is composed of mobile information terminals such as doublet type terminals.
  • a notebook type personal computer or a desktop type personal computer may be used, and the connection interface to the network NW may be wired as well as wireless.
  • the user terminal MT can transmit data to and from the camera CM via, for example, a signal cable or a low power wireless data communication interface such as Bluetooth (registered trademark).
  • the camera CM is composed of a camera capable of shooting in all directions, and is fixed to, for example, a tripod capable of holding a constant height position.
  • the camera CM transmits the captured omnidirectional image data to the user terminal MT via the low power wireless data communication interface.
  • the user terminal MT has a function of measuring the current position by using a signal transmitted from, for example, GPS (Global Positioning System) or wireless LAN (Local Area Network). Further, the user terminal MT has a function of manually inputting the position coordinates serving as a reference point in case the position measurement function cannot be used, for example, in a building.
  • GPS Global Positioning System
  • wireless LAN Local Area Network
  • the user terminal MT Each time the user terminal MT receives omnidirectional image data taken at one position from the camera CM, the user terminal MT sets the position coordinates representing the shooting position to the position coordinates of the reference point and a built-in motion sensor (for example, acceleration). It is calculated based on the movement distance and the movement direction measured by the sensor and the gyro sensor). Then, the received omnidirectional image data is transmitted to the server device SV via the network NW together with the calculated shooting position coordinates and shooting date / time information. These processes are performed by a pre-installed dedicated application.
  • a built-in motion sensor for example, acceleration
  • User terminals UT1 to UTn have, for example, a browser. Then, it has a function of accessing the server device SV by the above browser, downloading an image of a desired place on a desired facility and floor at a desired date and time according to a user's input operation, and displaying it on a display. There is.
  • the network NW is composed of an IP network including the Internet and an access net network for accessing this IP network.
  • the access network for example, a public wired network, a mobile phone network, a wired LAN (Local Area Network), a wireless LAN, a CATV (Cable Television), or the like is used.
  • Server device SV 2 and 3 are block diagrams showing a hardware configuration and a software configuration of the server device SV, respectively.
  • the server device SV comprises a server computer installed on the cloud or the Web, and includes a control unit 1 having a hardware processor such as a central processing unit (CPU).
  • the storage unit 2 and the communication interface (communication I / F) 3 are connected to the control unit 1 via the bus 4.
  • the communication I / F3 transmits / receives data to / from the user terminals MT, UT1 to UTn via the network NW under the control of the control unit 1, and an interface for a wired network is used, for example.
  • the storage unit 2 uses, for example, a non-volatile memory such as an HDD (Hard Disk Drive) or SSD (Solid State Drive) that can be written and read at any time as the main storage medium.
  • a non-volatile memory such as an HDD (Hard Disk Drive) or SSD (Solid State Drive) that can be written and read at any time as the main storage medium.
  • a ROM ReadOnlyMemory
  • RAM RandomAccessMemory
  • the storage area of the storage unit 2 is provided with a program storage area and a data storage area.
  • a program storage area in addition to middleware such as an OS (Operating System), a program necessary for executing various control processes according to an embodiment of the present invention is stored.
  • middleware such as an OS (Operating System)
  • the data storage area is provided with an omnidirectional image storage unit 21, a plan view data storage unit 22, an adjusted image storage unit 23, and a control unit 1 as storage units necessary for implementing one embodiment.
  • a storage unit for work required for various processes is provided.
  • the omnidirectional image storage unit 21 is used to store the omnidirectional image group for each floor of the target facility acquired from the user terminal MT.
  • the floor plan data storage unit 22 is used to store the floor plan data of each floor of the target facility.
  • the adjusted image storage unit 23 is used to store the image adjusted by the comparative image adjustment process by the control unit 1.
  • the control unit 1 has, as a control processing function according to an embodiment of the present invention, an omnidirectional image acquisition unit 11, an image viewing control unit 12, a comparison target image selection unit 13, an image angle adjustment unit 14, and a comparison display.
  • the image generation output unit 15 is provided. All of these processing units 11 to 15 are realized by causing a hardware processor to execute a program stored in the program storage area in the storage unit 2.
  • the omnidirectional image acquisition unit 11 receives the omnidirectional image data via the communication I / F3 every time the omnidirectional image data taken at each of a plurality of positions in the building is sent from the user terminal MT, for example. do. Then, the omnidirectional image storage unit 21 stores the received omnidirectional image data in association with the shooting position coordinates received together with the image data and the information indicating the shooting date and time.
  • the image browsing control unit 12 When the image browsing control unit 12 receives the image browsing request transmitted from the user terminals UT1 to UTn via the communication I / F3, the image browsing control unit 12 obtains the corresponding omnidirectional image according to the request content from the user terminal UT1 to the requesting source. Performs the process of downloading to UTn. Further, when the image viewing control unit 12 receives the image comparison request from the user terminals UT1 to UTn, the image viewing control unit 12 performs a process of passing the image comparison request to the comparison target image selection unit 13.
  • the image comparison request may include both the information that specifies the comparison standard and the information that specifies the comparison target, or may include only the information that specifies the comparison target.
  • the former is used when the user wants to view the comparison image from the beginning, and the latter is used when the user is already viewing the image as the comparison reference and only the comparison target is specified.
  • the comparison target image selection unit 13 includes the shooting date and time included in the information for designating the comparison target from all the omnidirectional images related to the designated facility name and the target area stored in the omnidirectional image storage unit.
  • the omnidirectional image corresponding to is first selected, and from each of the selected omnidirectional images, the shooting position coordinates are included in the shooting position coordinates of the image of the comparison reference being viewed or the information for designating the above comparison standard. Performs the process of selecting the omnidirectional image closest to the shooting position coordinates.
  • the image angle adjusting unit 14 compares the image specified by the information specifying the comparison standard with the omnidirectional image selected by the comparison target image selection unit 13, and the angle of the omnidirectional image to be compared (for example,). Adjust the display range and shooting direction) so that they are the same as or closer to the angle of the image as the comparison reference. Then, a process of temporarily storing the adjusted image to be compared together with the image of the comparison reference in the adjusted image storage unit 23 is performed.
  • the comparison display image generation output unit 15 reads the adjusted image to be compared and the image of the comparison reference stored in the adjusted image storage unit 23, and combines the two images to arrange the display image data side by side. To generate. Then, the generated display image data is transmitted to the requesting user terminals UT1 to UTn via the communication I / F3.
  • FIG. 4 is a flowchart showing an example of the processing procedure and the processing content.
  • (1) Acquisition of omnidirectional image For example, when attempting to capture and record an omnidirectional image of multiple points on a desired floor of a desired building, the user first uses the plan view data of the building to be registered and its floor. , The position where the shooting of the floor is to be started is determined as a reference point, and the position coordinates of this reference point are obtained from the coordinate system of the plan view data and input to the user terminal MT. As a result, the position coordinates of the reference point of the target floor are set in the user terminal MT. The floor plan data of the building and the floor to be registered are stored in advance in the plan view data storage unit 22 of the server device SV, and the user terminal MT stores the plan view data of the desired building and floor from the server device SV. You can get it by downloading.
  • the user operates the camera CM to shoot in all directions at the above reference point.
  • the shooting operation of the camera CM may be performed remotely by the user terminal MT.
  • the omnidirectional image data of the reference point shot by the camera CM is transmitted to the user terminal MT, and the omnidirectional image data is transmitted from the user terminal MT to the server device SV.
  • the user terminal MT adds the position coordinates of the reference point and the information indicating the shooting date and time to the omnidirectional image data and transmits the information.
  • the user moves to the next shooting position (shooting point) and similarly performs omnidirectional shooting with the camera CM.
  • the user terminal MT receives the omnidirectional image data taken at the new shooting point from the camera CM, the user terminal MT transmits the omnidirectional image data to the server device SV together with the shooting position coordinates and the information indicating the shooting date and time.
  • the shooting position coordinates are the position coordinates set at the reference point and the moving distance from the reference point to the new shooting point measured by the distance sensor (for example, the acceleration sensor and the gyro sensor) of the user terminal MT. And the direction of movement.
  • the user terminal MT similarly captures the omnidirectional image data transmitted from the camera CM and the measured value of the motion sensor each time the user moves to a new shooting point and performs omnidirectional shooting by the camera CM. It is transmitted to the server device SV together with the shooting position coordinates calculated in the above and the information indicating the shooting date and time.
  • the server device SV monitors the start of image shooting in step S10 under the control of the omnidirectional image acquisition unit 11. Then, when the notification of the start of image shooting is received from the user terminal MT, the process proceeds to step S11 and the reception / storage process of the omnidirectional image data is executed as follows.
  • the omnidirectional image acquisition unit 11 receives the omnidirectional image data transmitted from the user terminal MT via the communication I / F3, and the received omnidirectional image data is the shooting position coordinates received together with the data.
  • the image is stored in the omnidirectional image storage unit 21 in a state of being associated with the information indicating the shooting date and time.
  • the omnidirectional image acquisition unit 11 plots the shooting position coordinates on the floor plan data of the corresponding floor stored in the floor plan data storage unit 22.
  • the omnidirectional image acquisition unit 11 repeatedly executes the reception / storage process of the omnidirectional image data in the above step S11 every time the omnidirectional image data is transmitted from the user terminal MT.
  • the reception / storage process of the omnidirectional image data ends when the omnidirectional image acquisition unit 11 detects in step S12 that the shooting end notification has been sent from the user terminal MT.
  • the above-mentioned image shooting includes a case where a plurality of people take pictures on the same date and time and a case where the same person or a different person takes pictures on different dates and times, and the images obtained by any of the image shootings are also taken. It is stored in the server device SV. Further, each time the image shooting is performed, the plan view data in which the shooting points are plotted is generated and stored in the plan view data storage unit 22. The shooting points may not be plotted for all shooting points, and at least one shooting point may be plotted.
  • FIG. 5 shows an example of the plan view data downloaded at this time.
  • the floor plan, the shooting position (shooting point), and the shooting order are indicated by circled numbers.
  • the omnidirectional image at the shooting point is downloaded from the server device SV to the user terminal UT1.
  • the display target range of the omnidirectional image changes over 360 ° in response to this operation.
  • the shooting points are sequentially moved by operating the mouse, the omnidirectional images at each shooting point are sequentially downloaded and displayed.
  • step S14 the shooting position coordinates of the image displayed by the three-dimensional browsing tour are obtained. It is specified from the omnidirectional image storage unit 21. Subsequently, in step S15, by searching the omnidirectional image storage unit 21, the shooting position coordinates are compared among all the omnidirectional images on the same floor at another shooting date and time specified by the image comparison request. Select the omnidirectional image that is closest to the shooting position coordinates of the reference image.
  • the comparison target image selection unit 13 of the server device SV has the shortest distance from all the shooting points shown in FIG. 6 to the shooting point P1 being viewed shown in FIG. Select P2.
  • the server device SV then, under the control of the image angle adjustment unit 14, stores the omnidirectional image corresponding to the selected shooting point P2 in the omnidirectional image storage unit 21 in step S16.
  • the omnidirectional image of the comparison target read out from is compared with the display image of the above comparison reference.
  • the display range and display direction of the comparison target image are adjusted so that the angle Q2 of the comparison target image is close to the angle Q1 of the comparison reference image.
  • this adjustment process for example, while shifting the control position between the displayed comparison reference image and the comparison target image on a pixel-by-pixel basis, the difference value between the corresponding pixels between the comparison reference image and the comparison target image is increased. This is done by searching for the minimum shift position.
  • the image angle adjustment unit 14 associates the adjusted comparison target image with the comparison reference image and temporarily stores the adjusted image storage unit 23.
  • the server device SV subsequently reads out the comparison reference image and the comparison target image from the adjusted image storage unit 23 in step S17 under the control of the comparison display image generation output unit 15. , These images are combined in a horizontally arranged state to generate comparative display image data.
  • the comparison display image generation / output unit 15 superimposes and synthesizes the floor plan data on the comparison reference image of the comparison display image data. In this plan view data, the shooting point P1 of the image being viewed and its angle Q1 are displayed.
  • the comparison display image generation output unit 15 transmits the generated comparison display image data from the communication I / F3 to the requesting user terminal UT1 in step S18.
  • FIG. 7 shows a display example of this comparison display image, in which the right side of the screen shows the comparison reference image and the left side shows the comparison target image.
  • RD is a plan view of the floor displayed on the comparison reference image.
  • the omnidirectional image storage unit 21 stores omnidirectional images taken at a plurality of positions in the three-dimensional space for each floor of the facility. Then, when comparing and displaying two images on the same floor with different shooting dates and times, all of the omnidirectional images to be compared whose shooting position coordinates are closest to the shooting position coordinates of the image as the comparison reference. An azimuth image was selected, the angle of the selected omnidirectional image to be compared was adjusted to correspond to the angle of the image to be compared, and the adjusted image to be compared and the image to be compared were arranged side by side. The comparative display image data is generated and transmitted to the user terminal UT1.
  • the comparison target image whose shooting position is closest to the shooting position of the comparison reference image is selected and further selected.
  • display image information for comparing both images is generated. Therefore, the user can generate image information that can appropriately express the state of change in the three-dimensional space.
  • the floor plan data is superimposed on the comparative display image data, and the shooting point and shooting angle are displayed in this plan view data, so that the user can use the shooting position of the image he / she is currently viewing.
  • the shooting direction can be confirmed at a glance from the plan view.
  • the comparison target image selection unit 13 selects the comparison target image having the closest shooting position coordinates
  • the distance between the comparison target image and the shooting position coordinates is set in advance. Determine if it is more than or equal to the value.
  • the omnidirectional image at this time is not selected as the comparison target image, and the comparison display image generation output unit 15 is notified to that effect. Notice.
  • the comparison display image generation output unit 15 generates a message to the effect that the corresponding comparison target image does not exist, and transmits this message to the user terminal UT1 for display. By doing so, it is possible to prevent a problem that an inappropriate image is displayed as a comparison target.
  • the function of the image information generation device is provided in the server device SV has been described as an example, but it may be provided in an inter-network connection device such as an edge router or a user terminal. Further, the control unit and the storage unit may be distributed in separate server devices or terminal devices, and these may be connected via a communication line or a network.
  • the configuration of the image information generation device, the procedure and processing content of the image generation processing, the type of the three-dimensional space, and the like can be variously modified and implemented without departing from the gist of the present invention.
  • the present invention is not limited to the above embodiment as it is, and at the implementation stage, the components can be modified and embodied within a range that does not deviate from the gist thereof.
  • various inventions can be formed by an appropriate combination of the plurality of components disclosed in the above-described embodiment. For example, some components may be removed from all the components shown in the embodiments. In addition, components from different embodiments may be combined as appropriate.
  • SV ... Server device MT, UT1 to UTn ... User terminal NW ... Network CM ... Camera 1 ... Control unit 2 ... Storage unit 3 ... Communication I / F 4 ... Bus 11 ... Omnidirectional image acquisition unit 12 ... Image viewing control unit 13 ... Comparison target image selection unit 14 ... Image angle adjustment unit 15 ... Comparison display image generation output unit 21 ... Omnidirectional image storage unit 22 ... Plan view data storage Part 23 ... Adjusted image storage part

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Geometry (AREA)
  • Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)

Abstract

三次元空間の変化の様子を適切に表現可能な画像情報を生成する。この発明の一実施形態は、サーバ装置（ＳＶ）が、施設のフロアごとにその三次元空間を複数の位置でそれぞれ撮影された全方位画像を全方位画像記憶部（２１）に記憶しておく。そして、撮影日時の異なる同一フロアの２つの画像を比較表示する際に、比較対象となるすべての全方位画像の中から、その撮影位置座標が比較基準となる画像の撮影位置座標に最も近い全方位画像を選択し、選択された比較対象の全方位画像のアングルを比較基準となる画像のアングルと対応するように調整し、調整後の比較対象の画像と比較基準の画像とを並べて配置した比較表示画像データを生成し、ユーザ端末（ＵＴ１）へ送信する。

Description

画像情報生成装置、方法およびプログラム
　この発明の実施形態は、例えば施設等の三次元空間を撮影した画像を用いて上記施設を管理するシステムで使用される画像情報生成装置、方法およびプログラムに関する。
　近年、事業所やオフィス、住居等の施設を撮影された画像を用いて管理する技術が提案されている。例えば、特許文献１には、建物内の三次元空間を異なる複数の位置でそれぞれ全方位（３６０°）を撮影してその撮影画像を記憶媒体に記録し、記録された各全方位画像を接続することにより上記施設内を示す三次元（３Ｄ）画像を生成する技術が記載されている。この技術を用いると、例えば施設の管理者または利用者は、現場に出向かなくても施設の状態を３Ｄ画像により遠隔的に把握することが可能となる。
米国特許出願公開２０１８／００７５６５２号明細書
　ところで、建築現場や居住空間のインテリア等は時間の経過により変化するが、この変化の様子を画像を用いて管理できるようにすることが求められている。しかしながら、従来では一般に、指定された複数の日時に対応する同一空間の画像を単に記憶媒体から選択して並べて表示するものとなっている。このため、例えば上記複数の日時に撮影された各画像の撮影条件、例えば撮影位置や撮影方向、倍率等が異なると、これらの画像を単に並べて表示しても管理者または利用者は空間の変化の様子を的確に把握することが困難となる。
　この発明は上記事情に着目してなされたもので、一側面では、三次元空間の変化の様子を適切に表現可能な画像情報を生成する技術を提供しようとするものである。
　上記課題を解決するためにこの発明に係る画像情報生成装置または画像情報生成方法の一態様は、複数の撮影機会において三次元空間を複数の撮影位置でそれぞれ撮影した全方位画像を、前記撮影位置を示す座標と関連付けて記憶した記憶装置を利用する。そして、前記複数の撮影機会のうち、第１の撮影機会および第２の撮影機会にそれぞれ撮影された前記三次元空間における第１の全方位画像と第２の全方位画像との比較を要求する情報が入力された場合に、前記記憶装置に記憶された前記全方位画像のうち、前記第２の撮影機会に撮影されたすべての前記第２の全方位画像の中から、その撮影位置座標が前記第１の全方位画像の撮影位置座標に対し最も近い第２の全方位画像を選択する。そして、選択された前記第２の全方位画像の表示範囲および表示向きを、前記第１の全方位画像の表示範囲および撮影方向に対応するように調整し、調整された前記第２の全方位画像と前記第１の全方位画像とを比較可能に配置した合成画像を生成し出力するようにしたものである。
　この発明に係る一態様によれば、比較の基準となる画像と比較対象の画像の撮影位置が異なる場合でも、撮影位置が比較基準となる画像の撮影位置に最も近い比較対象の画像が選択され、さらに選択された比較対象画像のアングルが比較基準の画像に対応するように調整された上で、両画像を対比する表示画像情報が生成される。このため、三次元空間の変化の様子を適切に表現可能な画像情報を生成することができる。
図１は、この発明の一実施形態に係る画像情報生成装置として動作するサーバ装置を含むシステムの概略構成図である。 図２は、図１に示したシステムにおけるサーバ装置のハードウェア構成の一例を示すブロック図である。 図３は、図１に示したシステムにおけるサーバ装置のソフトウェア構成の一例を示すブロック図である。 図４は、図３に示したサーバ装置による画像情報生成処理の手順と処理内容の一例を示すフローチャートである。 図５は、比較基準となる全方位画像の撮影位置の一例を示す図である。 図６は、比較対象となる全方位画像の撮影位置の一例を示す図である。 図７は、表示画像情報の一例を示す図である。
　以下、図面を参照してこの発明に係わる実施形態を説明する。
　［一実施形態］
　（構成例）
　（１）システム
　図１は、この発明の一実施形態に係る画像情報生成装置を含むシステムの概略構成図である。　
　このシステムは、画像情報生成装置として動作するサーバ装置ＳＶを備えている。そして、このサーバ装置ＳＶと、ユーザが使用するユーザ端末ＭＴ，ＵＴ１～ＵＴｎとの間で、ネットワークＮＷを介してデータ通信が可能に構成されている。
　ユーザ端末ＭＴ，ＵＴ１～ＵＴｎには、全方位画像の登録を行うユーザが使用するユーザ端末ＭＴと、登録された画像を閲覧するユーザが使用するユーザ端末ＵＴ１～ＵＴｎとがあり、いずれも例えばスマートフォンやダブレット型端末等の携帯情報端末により構成される。なお、ユーザ端末としてはノート型のパーソナルコンピュータやデスクトップ型のパーソナルコンピュータを用いてもよく、またネットワークＮＷへの接続インタフェースについても無線に限らず有線を使用してもよい。
　ユーザ端末ＭＴは、カメラＣＭとの間で例えば信号ケーブルまたはBluetooth（登録商標）等の小電力無線データ通信インタフェースを介してデータ伝送が可能となっている。カメラＣＭは、全方位を撮影可能なカメラからなり、例えば高さ位置を一定に保持することが可能な三脚に固定されている。カメラＣＭは、撮影された全方位画像データを、上記小電力無線データ通信インタフェースを介してユーザ端末ＭＴへ送信する。
　またユーザ端末ＭＴは、例えばＧＰＳ（Global Positioning System）または無線ＬＡＮ（Local Area Network）から送信される信号を利用して現在位置を測定する機能を有する。またユーザ端末ＭＴは、例えば建物内のように上記位置測定機能を使用できない場合に備え、ユーザが基準点となる位置座標を手動入力する機能を有している。
　ユーザ端末ＭＴは、上記カメラＣＭから一つの位置で撮影された全方位画像データを受信するごとに、当該撮影位置を表す位置座標を、上記基準点の位置座標と、内蔵する動きセンサ（例えば加速度センサとジャイロセンサ）により計測された移動距離および移動方向とをもとに算出する。そして、受信された上記全方位画像データを、計算された上記撮影位置座標と撮影日時を表す情報と共に、ネットワークＮＷを介してサーバ装置ＳＶへ送信する。これらの処理は、事前にインストールされた専用のアプリケーションにより実行される。
　ユーザ端末ＵＴ１～ＵＴｎは、例えばブラウザを有する。そして、上記ブラウザによりサーバ装置ＳＶにアクセスし、ユーザの入力操作に応じて、所望の施設およびフロアの、所望の日時における所望の場所の画像をダウンロードして、ディスプレイに表示する機能を有している。
　なお、ネットワークＮＷは、インターネットを含むＩＰ網と、このＩＰ網にアクセスするためのアクセスネット網とから構成される。アクセス網としては、例えば公衆有線網や携帯電話網、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、ＣＡＴＶ（Cable Television）等が用いられる。
　（２）サーバ装置ＳＶ
　図２および図３は、それぞれサーバ装置ＳＶのハードウェア構成およびソフトウェア構成を示すブロック図である。　
　サーバ装置ＳＶは、クラウド上またはＷｅｂ上に設置されたサーバコンピュータからなり、中央処理ユニット（Central Processing Unit：ＣＰＵ）等のハードウェアプロセッサを有する制御部１を備える。そして、この制御部１に対しバス４を介して記憶部２および通信インタフェース（通信Ｉ／Ｆ）３を接続したものとなっている。
　通信Ｉ／Ｆ３は、制御部１の制御の下、ネットワークＮＷを介して上記ユーザ端末ＭＴ，ＵＴ１～ＵＴｎとの間でデータの送受信を行うもので、例えば有線ネットワーク用のインタフェースが用いられる。
　記憶部２は、例えば、主記憶媒体としてＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリを使用する。なお、記憶媒体としては、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を組み合わせて使用してもよい。
　記憶部２の記憶領域には、プログラム記憶領域とデータ記憶領域が設けられている。プログラム記憶領域には、ＯＳ（Operating System）等のミドルウェアに加えて、この発明の一実施形態に係る各種制御処理を実行するために必要なプログラムが格納される。
　データ記憶領域には、一実施形態を実施する上で必要な記憶部として、全方位画像記憶部２１と、平面図データ記憶部２２と、調整済み画像記憶部２３が設けられ、さらに制御部１による各種処理に必要な作業用の記憶部が設けられている。
　全方位画像記憶部２１は、ユーザ端末ＭＴから取得された対象施設のフロアごとの全方位画像群を記憶するために使用される。平面図データ記憶部２２は、上記対象施設の各フロアの平面図データを記憶するために用いられる。調整済み画像記憶部２３は、制御部１による比較画像調整処理により調整された画像を記憶するために使用される。
　制御部１は、この発明の一実施形態に係る制御処理機能として、全方位画像取得部１１と、画像閲覧制御部１２と、比較対象画像選択部１３と、画像アングル調整部１４と、比較表示画像生成出力部１５を備えている。これらの処理部１１～１５は、何れも記憶部２内のプログラム記憶領域に格納されたプログラムをハードウェアプロセッサに実行させることにより実現される。
　全方位画像取得部１１は、ユーザ端末ＭＴから、例えば建物内の複数の位置の各々で撮影された全方位画像データが送られるごとに、この全方位画像データを通信Ｉ／Ｆ３を介して受信する。そして、受信された上記全方位画像データを、当該画像データと共に受信された撮影位置座標と撮影日時を表す情報と関連付けて全方位画像記憶部２１に記憶させる処理を行う。
　画像閲覧制御部１２は、ユーザ端末ＵＴ１～ＵＴｎから送信される画像閲覧要求を通信Ｉ／Ｆ３を介して受信した場合に、要求内容に応じて該当する全方位画像を要求元のユーザ端末ＵＴ１～ＵＴｎへダウンロードする処理を行う。また画像閲覧制御部１２は、ユーザ端末ＵＴ１～ＵＴｎから画像比較要求を受信した場合には、比較対象画像選択部１３に当該画像比較要求を渡す処理を行う。
　画像比較要求には、比較基準を指定する情報および比較対象を指定する情報の両方が含まれる場合と、比較対象を指定する情報のみが含まれる場合がある。前者は、ユーザが最初から比較画像の閲覧を希望する場合に用いられ、後者はユーザが既に比較基準となる画像を閲覧中で、比較対象のみを指定する場合に用いられる。
　比較対象画像選択部１３は、全方位画像記憶部に記憶された、上記指定された施設名および対象エリアに係るすべての全方位画像の中から、上記比較対象を指定する情報に含まれる撮影日時に対応する全方位画像を先ず選択し、選択された各全方位画像の中から、撮影位置座標が、閲覧中の比較基準の画像の撮影位置座標、または上記比較基準を指定する情報に含まれる撮影位置座標に対し最も近い全方位画像を選択する処理を行う。
　画像アングル調整部１４は、上記比較基準を指定する情報により指定された画像と、上記比較対象画像選択部１３により選択された全方位画像とを比較し、比較対象の全方位画像のアングル（例えば表示範囲と撮影方向）を、比較基準となる画像のアングルと同一となるように、或いは近づけるように調整する。そして、調整後の比較対象の画像を比較基準の画像と共に調整済み画像記憶部２３に一時保存する処理を行う。
　比較表示画像生成出力部１５は、上記調整済み画像記憶部２３に保存された調整後の比較対象の画像と比較基準の画像を読み込み、両画像を合成することで左右に並べて配置した表示画像データを生成する。そして、生成された上記表示画像データを通信Ｉ／Ｆ３を介して、要求元のユーザ端末ＵＴ１～ＵＴｎへ送信する処理を行う。
　（動作例）
　次に、以上のように構成されたサーバ装置ＳＶの動作例を説明する。図４はその処理手順と処理内容の一例を示すフローチャートである。
　（１）全方位画像の取得
　例えば、所望の建物の所望のフロアにおける多地点の全方位画像を撮影し記録しようとする場合、ユーザは先ず登録対象の建物とそのフロアの平面図データを用いて、フロアの撮影を開始しようとする位置を基準点として定め、この基準点の位置座標を上記平面図データの座標系から求めてユーザ端末ＭＴに入力する。この結果ユーザ端末ＭＴには、上記対象フロアの基準点の位置座標が設定される。なお、登録対象の建物とフロアの平面図データは、サーバ装置ＳＶの平面図データ記憶部２２に事前に記憶されており、ユーザ端末ＭＴはサーバ装置ＳＶから所望の建物およびフロアの平面図データをダウンロードすることで取得できる。
　そして、ユーザはカメラＣＭを操作して上記基準点において全方位を撮影する。なお、カメラＣＭの撮影操作は、ユーザ端末ＭＴにより遠隔的に行ってもよい。上記撮影操作が行われると、カメラＣＭにより撮影された上記基準点の全方位画像データがユーザ端末ＭＴに送信され、当該全方位画像データはユーザ端末ＭＴからサーバ装置ＳＶへ送信される。このときユーザ端末ＭＴは、上記基準点の位置座標と撮影日時を表す情報を、上記全方位画像データに付加して送信する。
　上記基準点における撮影を終了すると、ユーザは次の撮影位置（撮影ポイント）に移動して同様にカメラＣＭにより全方位撮影を行う。ユーザ端末ＭＴは、上記カメラＣＭから上記新たな撮影ポイントで撮影された全方位画像データを受信すると、当該全方位画像データを撮影位置座標と撮影日時を表す情報と共にサーバ装置ＳＶへ送信する。このとき、撮影位置座標は、上記基準点において設定された位置座標と、ユーザ端末ＭＴの距離センサ（例えば加速度センサとジャイロセンサ）により計測された、基準点から上記新たな撮影ポイントまでの移動距離および移動方向とにより算出される。
　以後同様にユーザ端末ＭＴは、ユーザが新たな撮影ポイントに移動してカメラＣＭにより全方位撮影を行うごとに、カメラＣＭから送信される全方位画像データを、その都度動きセンサの計測値をもとに算出される撮影位置座標と、撮影日時を表す情報と共に、サーバ装置ＳＶへ送信する。
　これに対し、サーバ装置ＳＶは、全方位画像取得部１１の制御の下、ステップＳ１０で画像撮影の開始を監視している。そして、ユーザ端末ＭＴから画像撮影の開始通知を受信すると、ステップＳ１１に移行して全方位画像データの受信・記憶処理を以下のように実行する。
　すなわち、全方位画像取得部１１は、ユーザ端末ＭＴから送信される全方位画像データを通信Ｉ／Ｆ３を介して受信し、受信された全方位画像データを、当該データと共に受信された撮影位置座標および撮影日時を表す情報と関連付けた状態で、全方位画像記憶部２１に記憶させる。またそれと共に全方位画像取得部１１は、上記撮影位置座標を、平面図データ記憶部２２に記憶されている該当するフロアの平面図データにプロットする。
　以後同様に全方位画像取得部１１は、ユーザ端末ＭＴから全方位画像データが送信されるごとに、上記ステップＳ１１により全方位画像データの受信・記憶処理を繰り返し実行する。なお、この全方位画像データの受信・記憶処理は、全方位画像取得部１１がユーザ端末ＭＴから撮影終了通知が送られたことをステップＳ１２で検出した時点で終了する。
　なお、以上述べた画像撮影は、同一日時に複数の人がそれぞれ行う場合と、異なる日時に同一の人または異なる人がそれぞれ行う場合を含んでおり、いずれの画像撮影で得られた画像もそれぞれサーバ装置ＳＶに記憶される。また、上記画像撮影が行われるごとに、その撮影ポイントがプロットされた平面図データが生成され、平面図データ記憶部２２に記憶される。なお、上記撮影ポイントは、すべての撮影ポイントについてプロットされなくてもよく、少なくとも１つの撮影ポイントがプロットされるようにしてもよい。
　（２）全方位画像による三次元閲覧ツアー
　サーバ装置ＳＶに記憶された全方位画像を閲覧する場合、ユーザは自身のユーザ端末ＵＴ１においてブラウザを起動し、サーバ装置ＳＶに対しアクセスする。そうすると、サーバ装置ＳＶは画像閲覧制御部１２の制御の下、先ずホーム画面を送信する。この状態で、ユーザが閲覧を希望する施設名とそのフロア番号を指定すると、サーバ装置ＳＶは画像閲覧制御部１２により該当するフロアの平面図データを送信し、ユーザ端末ＵＴ１に表示させる。
　図５は、このときダウンロードされる平面図データの一例を示すものである。図５に示すように平面図データには、フロアの間取りと撮影位置（撮影ポイント）および撮影順序が丸数字で表示されている。この状態でユーザが、例えば任意の撮影ポイントを指定すると、当該撮影ポイントにおける全方位画像がサーバ装置ＳＶからユーザ端末ＵＴ１にダウンロードされる。そして、ユーザが例えばマウス操作により画像の表示方向を変化させると、この操作に応動して上記全方位画像の表示対象範囲が３６０°に渡って変化する。また、マウス操作により順次撮影ポイントを移動させると、各撮影ポイントにおける全方位画像が順次ダウンロードされて表示される。かくして、上記フロアの各部屋について全方位画像を用いた三次元閲覧ツアーが可能となる。
　（３）比較対象画像の選択
　上記三次元閲覧ツアーの最中に、ユーザが例えばいま表示中の任意の部屋の画像（比較基準の画像）と、過去の別の日時に撮影された同じ部屋の画像（比較対象の画像）とを比較するために、ユーザ端末ＵＴ１において上記別の撮影日時を入力したとする。そうするとユーザ端末ＵＴ１からサーバ装置ＳＶに対し上記別の撮影日時を指定する画像比較要求が送信される。
　これに対しサーバ装置ＳＶは、ステップＳ１３により上記画像比較要求を受信すると、比較対象画像選択部１３の制御の下、先ずステップＳ１４において、上記三次元閲覧ツアーにより表示中の画像の撮影位置座標を全方位画像記憶部２１から特定する。続いてステップＳ１５において、全方位画像記憶部２１を検索することで、上記画像比較要求により指定された別の撮影日時における同一フロアのすべての全方位画像の中から、その撮影位置座標が上記比較基準画像の撮影位置座標に対し最も近い全方位画像を選択する。
　例えば、いまユーザが図５の“１０”の撮影ポイントＰ１において撮影された全方位画像を図中Ｑ１に示すアングル（表示範囲と方向）で閲覧中だったとする。また、ユーザが比較対象として指定した別の撮影日時における同一フロアの撮影ポイントが、図６に示すものだったとする。この場合、サーバ装置ＳＶの比較対象画像選択部１３は、上記図６に示したすべての撮影ポイントの中から、図５に示した閲覧中の撮影ポイントＰ１との間の距離が最も短い撮影ポイントＰ２を選択する。
　（４）比較対象画像のアングル調整
　サーバ装置ＳＶは、次に画像アングル調整部１４の制御の下、ステップＳ１６において、選択された上記撮影ポイントＰ２に対応する全方位画像を全方位画像記憶部２１から読み出し、この読み出された比較対象の全方位画像を上記比較基準の表示画像と比較する。そして、比較対象画像のアングルＱ２を比較基準画像のアングルＱ１に近づけるように、比較対象画像の表示範囲および表示方向を調整する。この調整処理は、例えば、表示されている比較基準画像と比較対象画像との対照位置を画素単位でシフトさせながら、比較基準画像と比較対象画像との間の対応する各画素間の差分値が最小となるシフト位置を探索することにより行われる。
　画像アングル調整部１４は、上記比較対象画像に対する表示範囲および表示方向の調整処理が終了すると、調整された比較対象画像を上記比較基準画像と対応付けて一旦調整済み画像記憶部２３に保存させる。
　（５）比較表示画像の生成と送信
　サーバ装置ＳＶは、続いて比較表示画像生成出力部１５の制御の下、ステップＳ１７において、上記調整済み画像記憶部２３から比較基準画像と比較対象画像を読み出し、これらの画像を横方向に並べた状態で合成し、比較表示画像データを生成する。またそれと共に比較表示画像生成出力部１５は、上記比較表示画像データの比較基準画像上に、フロアの平面図データを重ねて合成する。この平面図データには閲覧中の画像の撮影ポイントＰ１とそのアングルＱ１が表示される。
　比較表示画像生成出力部１５は、生成された比較表示画像データを、ステップＳ１８により通信Ｉ／Ｆ３から要求元のユーザ端末ＵＴ１に向け送信する。
　ユーザ端末ＵＴ１は、サーバ装置ＳＶから送信された上記比較表示画像データを受信すると、当該比較表示画像をそれまで表示されていた比較基準画像に代わってディスプレイに表示する。図７は、この比較表示画像の表示例を示すもので、画面右側が比較基準画像を、左側が比較対象画像をそれぞれ示している。図中ＲＤは比較基準画像上に表示されたフロアの平面図である。
　（作用・効果）
　以上述べたように一実施形態では、施設のフロアごとにその三次元空間を複数の位置でそれぞれ撮影された全方位画像を全方位画像記憶部２１に記憶しておく。そして、撮影日時の異なる同一フロアの２つの画像を比較表示する際に、比較対象となるすべての全方位画像の中から、その撮影位置座標が比較基準となる画像の撮影位置座標に最も近い全方位画像を選択し、選択された比較対象の全方位画像のアングルを比較基準となる画像のアングルと対応するように調整し、調整後の比較対象の画像と比較基準の画像とを並べて配置した比較表示画像データを生成し、ユーザ端末ＵＴ１へ送信するようにしている。
　従って一実施形態によれば、比較基準となる画像と比較対象の画像の撮影位置が異なる場合でも、撮影位置が比較基準の画像の撮影位置に最も近い比較対象の画像が選択され、さらに選択された比較対象の画像のアングルが比較基準の画像のアングルに対応するように調整されたのち、両画像を比較する表示画像情報が生成される。このため、ユーザは三次元空間の変化の様子を適切に表現可能な画像情報を生成することができる。
　また、比較表示画像データにはフロアの平面図データが重ねて表示され、この平面図データには撮影ポイントと撮影アングルが表示されるので、ユーザは自身がいま閲覧している画像の撮影位置と撮影方向を平面図により一目で確認することができる。
　［他の実施形態］
　（１）比較対象の全方位画像の中に、比較基準の画像の撮影位置に対応する画像が存在しない場合には、比較基準の画像と比較対象の画像とを比較する画像データを生成することは困難である。
　そこで、このような場合には、比較対象画像選択部１３により撮影位置座標が最も近い比較対象画像を選択する際に、比較基準画像の撮影位置座標との間の距離が予め設定されたしきい値以上離れているか否かを判定する。そして、撮影位置座標間の距離がしきい値以上離れていると判定された場合には、このときの全方位画像を比較対象画像として選択せず、比較表示画像生成出力部１５にその旨を通知する。比較表示画像生成出力部１５は、対応する比較対象画像が存在しない旨のメッセージを生成し、このメッセージをユーザ端末ＵＴ１へ送信して表示させる。このようにすると、比較対象として不適切な画像が表示される不具合を防止することができる。
　（２）前記一実施形態では、同一場所における異なる２つの日時の全方位画像を並べて表示する比較表示画像データを生成する場合を例にとって説明したが、異なる３以上の日時の画像を並べて表示する比較表示画像データを生成するようにしてもよい。
　（３）前記一実施形態では、異なる２つの日時に撮影された画像を比較表示する比較表示画像データを生成する場合を例にとって説明したが、同一のフロアについて同日に異なる２人のユーザがそれぞれ撮影した全方位画像を比較表示するデータを生成するようにしてもよい。
　（４）前記一実施形態は、画像情報生成装置の機能をサーバ装置ＳＶに設けた場合を例にとって説明したが、エッジルータ等のネットワーク間接続装置やユーザ端末に設けてもよい。また、制御部と記憶部とを別々のサーバ装置または端末装置に分散して設け、これらを通信回線またはネットワークを介して接続するようにしてもよい。
　（５）その他、画像情報生成装置の構成や画像生成処理の手順および処理内容、三次元空間の種類等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
　要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
　ＳＶ…サーバ装置
　ＭＴ，ＵＴ１～ＵＴｎ…ユーザ端末
　ＮＷ…ネットワーク
　ＣＭ…カメラ
　１…制御部
　２…記憶部
　３…通信Ｉ／Ｆ
　４…バス
　１１…全方位画像取得部
　１２…画像閲覧制御部
　１３…比較対象画像選択部
　１４…画像アングル調整部
　１５…比較表示画像生成出力部
　２１…全方位画像記憶部
　２２…平面図データ記憶部
　２３…調整済み画像記憶部

Claims (7)

  1. 　複数の撮影機会において三次元空間を複数の撮影位置でそれぞれ撮影した全方位画像を、前記撮影位置を示す座標と関連付けて記憶した記憶装置に対し、接続可能な画像情報生成装置であって、
    　前記複数の撮影機会のうち、第１の撮影機会および第２の撮影機会にそれぞれ撮影された前記三次元空間における第１の全方位画像と第２の全方位画像との比較を要求する情報が入力された場合に、前記記憶装置に記憶された前記全方位画像のうち、前記第２の撮影機会に撮影されたすべての前記第２の全方位画像の中から、その撮影位置座標が前記第１の全方位画像の撮影位置座標に対し最も近い第２の全方位画像を選択する選択部と、
    　選択された前記第２の全方位画像の表示範囲および表示向きを、前記第１の全方位画像の表示範囲および撮影方向に対応するように調整する調整部と、
    　前記表示範囲および表示向きが調整された前記第２の全方位画像と前記第１の全方位画像とを比較可能に配置した合成画像を生成し出力する画像生成部と
    　を具備する画像情報生成装置。
  2. 　前記選択部は、第１の日時および第２の日時にそれぞれ撮影された前記三次元空間における前記第１の全方位画像と前記第２の全方位画像との比較を要求する情報が入力された場合に、前記記憶装置に記憶された前記全方位画像のうち、前記第２の日時に撮影されたすべての前記第２の全方位画像の中から、その撮影位置座標が前記第１の全方位画像の撮影位置座標に対し最も近い第２の全方位画像を選択する、請求項１に記載の画像情報生成装置。
  3. 　前記選択部は、前記第２の撮影機会に撮影されたすべての前記第２の全方位画像の中から選択された前記第２の全方位画像の撮影位置座標が、前記第１の全方位画像の撮影位置座標から予め設定された距離以上離れている場合に、選択された前記第２の全方位画像を前記合成画像の生成対象から除外する、請求項１に記載の画像情報生成装置。
  4. 　前記画像生成部は、前記選択された前記第２の全方位画像が前記合成画像の生成対象から除外された場合に、比較対象の前記第２の全方位画像が存在しない旨のメッセージを生成し出力する、請求項３に記載の画像情報生成装置。
  5. 　前記画像生成部は、前記第１の全方位画像と前記第２の全方位画像とを比較可能に配置した前記合成画像に、前記三次元空間の平面図に前記第１の全方位画像と前記第２の全方位画像のうちの少なくとも一方の撮影位置座標をプロットした画像をさらに重ねた画像を生成する、請求項１に記載の画像情報生成装置。
  6. 　複数の撮影機会において三次元空間を複数の撮影位置でそれぞれ撮影した全方位画像を、前記撮影位置を示す座標と関連付けて記憶した記憶装置に対し、接続可能な装置が実行する画像情報生成方法であって、
    　前記複数の撮影機会のうち、第１の撮影機会および第２の撮影機会にそれぞれ撮影された前記三次元空間における第１の全方位画像と第２の全方位画像との比較を要求する情報が入力された場合に、前記記憶装置に記憶された前記全方位画像のうち、前記第２の撮影機会に撮影されたすべての前記第２の全方位画像の中から、その撮影位置座標が前記第１の全方位画像の撮影位置座標に対し最も近い第２の全方位画像を選択する過程と、
    　選択された前記第２の全方位画像の表示範囲および表示向きを、前記第１の全方位画像の表示範囲および撮影方向に対応するように調整する過程と、
    　前記表示範囲および表示向きが調整された前記第２の全方位画像と前記第１の全方位画像とを比較可能に配置した合成画像を生成し出力する過程と
    　を具備する画像情報生成方法。
  7. 　請求項１乃至５のいずれかに記載の画像情報生成装置が具備する前記各部の処理を、前記画像情報生成装置が備えるプロセッサに実行させるプログラム。
PCT/JP2021/018534 2020-07-01 2021-05-17 画像情報生成装置、方法およびプログラム WO2022004153A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020237002290A KR20230033016A (ko) 2020-07-01 2021-05-17 화상 정보 생성 장치, 방법 및 프로그램
US18/145,888 US20230131239A1 (en) 2020-07-01 2022-12-23 Image information generating apparatus and method, and computer-readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020114270A JP7467262B2 (ja) 2020-07-01 2020-07-01 画像情報生成装置、方法およびプログラム
JP2020-114270 2020-07-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/145,888 Continuation US20230131239A1 (en) 2020-07-01 2022-12-23 Image information generating apparatus and method, and computer-readable storage medium

Publications (1)

Publication Number Publication Date
WO2022004153A1 true WO2022004153A1 (ja) 2022-01-06

Family

ID=79315870

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/018534 WO2022004153A1 (ja) 2020-07-01 2021-05-17 画像情報生成装置、方法およびプログラム

Country Status (4)

Country Link
US (1) US20230131239A1 (ja)
JP (1) JP7467262B2 (ja)
KR (1) KR20230033016A (ja)
WO (1) WO2022004153A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023162613A1 (ja) * 2022-02-25 2023-08-31 パナソニックＩｐマネジメント株式会社 画像管理システム、画像管理方法、及びプログラム
WO2023224033A1 (ja) * 2022-05-17 2023-11-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、情報処理装置、及び情報処理プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018082298A (ja) * 2016-11-16 2018-05-24 株式会社リコー 画像表示システム、通信システム、画像表示方法、及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017119244A1 (ja) 2016-01-05 2017-07-13 富士フイルム株式会社 処理液、基板の洗浄方法、および、半導体デバイスの製造方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018082298A (ja) * 2016-11-16 2018-05-24 株式会社リコー 画像表示システム、通信システム、画像表示方法、及びプログラム

Also Published As

Publication number Publication date
JP2022012444A (ja) 2022-01-17
US20230131239A1 (en) 2023-04-27
JP7467262B2 (ja) 2024-04-15
KR20230033016A (ko) 2023-03-07

Similar Documents

Publication Publication Date Title
US9338311B2 (en) Image-related handling support system, information processing apparatus, and image-related handling support method
JP6167703B2 (ja) 表示制御装置、プログラム及び記録媒体
WO2022004153A1 (ja) 画像情報生成装置、方法およびプログラム
JP6721004B2 (ja) 画像管理システム、及び画像管理方法
US20230308762A1 (en) Display terminal, information processing system, communication system, displaying method, information processing method, communication method, and recording medium
JP2013021399A (ja) 撮影依頼装置、撮影依頼装置の制御方法、およびプログラム
JP6617547B2 (ja) 画像管理システム、画像管理方法、プログラム
US20230269482A1 (en) Information processing system, communication system, and image sharing method
JP2016194784A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
KR20190110013A (ko) 카메라 시스템
JP6297739B1 (ja) 物件情報提供サーバ
WO2022004154A1 (ja) 撮影支援装置、方法およびプログラム
JP5664285B2 (ja) 情報処理装置、およびカメラ
WO2022004156A1 (ja) 情報設定制御装置、方法およびプログラム
WO2022004155A1 (ja) 撮影位置管理装置、方法およびプログラム
US20230308622A1 (en) Display terminal, displaying method, and recording medium
US20230269481A1 (en) Information processing system, communication system, and image transmission method
JP2017182843A (ja) プログラム、表示制御装置及び表示制御方法
US20230308764A1 (en) Display terminal, communication system, method for displaying, method for communicating, and recording medium
EP4294019A1 (en) Display terminal, communication system, display method, and communication method
US20230368399A1 (en) Display terminal, communication system, and non-transitory recording medium
JP2011081724A (ja) 地図・写真表示装置およびプログラム
JP2002281496A (ja) 画像表示システム、端末装置、コンピュータプログラム及び記録媒体
JP2017182548A (ja) 画像管理システム、画像管理方法、画像通信システム及びプログラム
JP5979205B2 (ja) 情報処理装置、およびカメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21833866

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20237002290

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21833866

Country of ref document: EP

Kind code of ref document: A1