WO2017057467A1 - 関連情報表示装置 - Google Patents

関連情報表示装置 Download PDF

Info

Publication number
WO2017057467A1
WO2017057467A1 PCT/JP2016/078638 JP2016078638W WO2017057467A1 WO 2017057467 A1 WO2017057467 A1 WO 2017057467A1 JP 2016078638 W JP2016078638 W JP 2016078638W WO 2017057467 A1 WO2017057467 A1 WO 2017057467A1
Authority
WO
WIPO (PCT)
Prior art keywords
marker
image
area
related information
captured image
Prior art date
Application number
PCT/JP2016/078638
Other languages
English (en)
French (fr)
Inventor
雅之 久田
潤 橋本
大谷　謙仁
Original Assignee
株式会社会津ラボ
国立研究開発法人産業技術総合研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社会津ラボ, 国立研究開発法人産業技術総合研究所 filed Critical 株式会社会津ラボ
Publication of WO2017057467A1 publication Critical patent/WO2017057467A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Definitions

  • the present invention relates to an apparatus for displaying related information related to a target subject on a captured image including an image of the target subject that is a subject for which related information is displayed.
  • Patent Document 1 Conventionally, as this type of device, for example, the one shown in Patent Document 1 is known.
  • the apparatus marks arranged in the imaging range of the captured image input means and a plurality of feature points are extracted from the captured image.
  • information indicating the position and direction of the mark and information indicating the positions of a plurality of feature points are recorded in advance in the mark, and image input is performed using these information obtained from the image of the mark in the captured image.
  • the position and orientation of the means are specified.
  • an object of the present invention is to provide a related information display device that can easily realize imaging of the area.
  • a target object is displayed on a captured image including an image of a target object that is a target object for displaying related information.
  • a related information display device for displaying related information A marker configured in advance so as to be interposed between an area where the target object is disposed and the imaging apparatus, and configured to have an image feature;
  • the image of the marker is recognized from the captured image obtained by imaging the area and the marker by the imaging device, and the spatial relationship between the imaging device and the marker is determined based on the arrangement state of the marker image in the captured image.
  • An arrangement relation specifying means for specifying the arrangement relation;
  • the target in the captured image is based on the spatial positional relationship between the imaging device and the marker specified by the positional relationship specifying means and the preset spatial positional relationship between the target object and the marker.
  • Image position specifying means for specifying the position of the image of the object; In accordance with the position of the image of the target object specified by the image position specifying means, a position where related information related to the target object is to be displayed on the captured image is determined, and the target is determined at the determined position.
  • the marker is a marker formed in a frame shape, or a marker composed of a pair or a plurality of pairs of element members arranged at intervals in the vertical direction, the horizontal direction, or the diagonal direction, and the imaging device
  • an image of at least one target object in the area is in an inner area of the marker image. It is arrange
  • the “inner area of the marker image” refers to an in-frame area of the frame-shaped marker image when the marker is a frame-shaped marker. Means. Further, when the marker is composed of a pair or a plurality of pairs of element members, the “inner region of the marker image” means an in-interval region between each pair of element members.
  • spatial arrangement relationship between an arbitrary object A (for example, an imaging device) and an object B (for example, a marker) means a relative relationship between the spatial position and orientation of the object A and the object B. .
  • a user who takes an image of the area with the imaging device takes an image of the area and the marker with the marker interposed between the imaging device and the area. This realizes a state in which an image of at least one target subject appears in the inner area of the marker image.
  • the arrangement relationship specifying unit causes the marker image arrangement state in the captured image (the position, size, shape, etc. of the marker image in the entire captured image). Based on the above, the spatial arrangement relationship between the imaging device and the marker is specified.
  • the arrangement relationship specifying unit can recognize the marker image in the captured image separately from the background image of the marker with high reliability. Therefore, the spatial arrangement relationship between the imaging device and the marker can be accurately identified based on the arrangement state of the marker image in the captured image.
  • the position of the image of the target object in the captured image is specified by the image position specifying means.
  • the image position specifying unit is based on the spatial arrangement relationship between the imaging device and the marker specified by the arrangement relationship specifying unit and the preset spatial arrangement relationship between the target object and the marker.
  • the display control means determines a position where the relevant information of the target object is to be displayed on the captured image, and the related information related to the target object is displayed at the determined position.
  • the target subject is determined by determining the position where the related information related to the target subject is to be displayed on the captured image.
  • the relevant information can be displayed at an appropriate position corresponding to the actual image.
  • the imaging device when the area and the marker are imaged by the imaging device in a state where the marker is interposed between the imaging device and the area, at least one target subject in the area A state in which the image of the object is reflected in the inner area of the image of the marker is realized.
  • the user arranges an image of a region that is visible behind the marker through a gap inside the marker near the center of the captured image without intentionally considering the position of the target object in the area.
  • an image of at least one target subject in the area can be copied to the inner area of the marker image simply by imaging the area and the marker.
  • the user can easily realize a state in which the image of the target subject is appropriately captured in the captured image.
  • a user who wants to capture an area in which the subject for which the related information is to be displayed is displayed so that the relevant information on the subject is appropriately displayed on the captured image. It is possible to easily perform imaging. As a result, the related information regarding the target object can be easily displayed in the captured image.
  • the marker and the area are arranged such that the image of the marker is positioned at the peripheral edge of the captured image with the marker interposed between the imaging device and the area. It is preferable that the images of all target subjects in the area are arranged so as to appear in the inner area of the marker image when the image is taken (second invention).
  • the user only captures the marker and the area so that the marker image is located at the peripheral edge of the captured image, and the images of all target objects in the area are captured in the captured image. be able to. As a result, it is possible to easily acquire related information related to all target objects. Further, in this case, the area occupied by the inner area of the marker image in the entire captured image becomes large, so that the display of the image of each target object and related information can be easily seen.
  • the display control means only relates to related information related to a target object shown in an inner area of the marker image among the target objects shown in the captured image. Is preferably displayed on the captured image (third invention).
  • related information is not displayed for the target object that appears outside the image of the marker. For this reason, the user can easily recognize that the target object for which the related information is to be displayed should be copied to the inner area of the marker image. As a result, it is possible to more easily realize that the user captures the area so that the relevant information of the target object is appropriately displayed in the captured image.
  • the user consciously performs imaging of the marker and the area so that the marker image is positioned as close as possible to the periphery of the captured image. For this reason, especially when the third invention is combined with the second invention, it is possible to easily realize that the user takes an image so that all the subject objects are captured in the taken image.
  • the display control means may include information related to the area in the entire inner area of the marker in a state where the area is reflected in the inner area of the marker image in the captured image. (4th invention) may be comprised so that it may further be included.
  • information related to the area can be displayed on the entire inner area of the marker image in the captured image.
  • a second aspect of the present invention is a related information display device that displays related information related to a target object on a captured image including an image of the target object that is a target object for displaying related information.
  • a marker configured in advance so as to be interposed between an area where the target object is disposed and the imaging apparatus, and configured to have an image feature;
  • the image of the marker is recognized from the captured image obtained by imaging the area and the marker by the imaging device, and the spatial relationship between the imaging device and the marker is determined based on the arrangement state of the marker image in the captured image.
  • An arrangement relation specifying means for specifying the arrangement relation;
  • the target in the captured image is based on the spatial positional relationship between the imaging device and the marker specified by the positional relationship specifying means and the preset spatial positional relationship between the target object and the marker.
  • Image position specifying means for specifying the position of the image of the object; In accordance with the position of the image of the target object specified by the image position specifying means, a position at which the relevant information of the target object is to be displayed on the captured image is determined, and the target object is determined at the determined position.
  • Display control means for displaying related information related to the object,
  • the marker is a marker constituted by a long member arranged to extend in the vertical direction or the horizontal direction, and the marker is interposed between the imaging device and the area.
  • the images of all target subjects in the area are the images of the marker It is arrange
  • the “side area of the marker image” is a marker constituted by a long member arranged so as to extend in the vertical direction. Means an area on the left or right side of the marker image, and when the marker is a marker composed of elongated members arranged to extend in the lateral direction, the upper side of the marker image Or it means the lower area.
  • the “spatial arrangement relationship” between an arbitrary object A (for example, an imaging device) and an object B (for example, a marker) is the space between the object A and the object B. Relative position and orientation.
  • a user who takes an image of the area with the imaging device takes an image of the area and the marker with the marker interposed between the imaging device and the area.
  • the user becomes an image extending in the vertical direction or the horizontal direction at the peripheral portion of the captured image so that the image of the marker constituted by the long member is positioned at the peripheral portion of the captured image.
  • the area and the marker are imaged. This realizes a state in which an image of at least one target subject appears in the inner area of the marker image.
  • the user does not consciously consider the position of the target object in the area, so that the marker image is positioned at the peripheral edge of the captured image.
  • images of all target objects in the area can be copied to the side area of the marker image.
  • a user who wants to image an area in which the subject for which the related information is to be displayed is displayed so that the relevant information on the subject is appropriately displayed on the captured image. It is possible to easily perform imaging. As a result, the related information regarding the target object can be easily displayed in the captured image.
  • the figure which shows the area and marker which the target to-be-photographed object in one Embodiment of this invention is arrange
  • the figure which shows the captured image of the area and marker shown in FIG. The figure which shows an example of a terminal provided with an imaging device.
  • the block diagram which shows the arithmetic processing unit and server of the terminal of FIG. 5A, 5B, and 5C are diagrams each showing an example of a captured image of a marker according to another embodiment.
  • 6A and 6B are diagrams showing examples of captured images of markers in other embodiments, respectively.
  • AR is an area in which a target subject that is a subject for which related information is displayed is arranged.
  • the area AR includes a plurality of target subjects.
  • the area AR is an outdoor area of a renewable energy research facility, for example.
  • the area AR includes, for example, a solar power generation panel 1 and a wind power generator 2 as target subjects.
  • the subject objects 1 and 2 when it is not necessary to distinguish between the solar power generation panel 1 and the wind power generator 2, they are simply referred to as the subject objects 1 and 2.
  • the related information display device of the present embodiment is a device that superimposes and displays information related to the target objects 1 and 2 on the captured image of the area AR.
  • the related information display device includes one or a plurality of, for example, two markers 10a and 10b.
  • the markers 10a and 10b are both installed at a place where the area AR can be visually recognized.
  • the marker 10a is incorporated in the window glass 3 of a building (not shown) on the near side of the area AR
  • the marker 10b is installed on the roof of the building 4 on the side of the area AR.
  • the markers 10a and 10b have the same configuration.
  • the marker 10a will be described as a representative.
  • the marker 10a is a marker formed in a rectangular frame shape as shown in FIG.
  • the marker 10a is installed so that the inner void area (the void area surrounded by the marker 10a) faces the area AR. For this reason, it is possible to visually recognize the area AR through the void area inside the marker 10a.
  • the arrangement relationship (relative relationship between position and orientation) between the marker 10a and each of the target subjects 1 and 2 in the area AR is constant.
  • the area on the near side of the marker 10a is an area where a user of the related information display device of this embodiment, such as a facility visitor, can take an image of the area AR with the imaging device 21 described later. It has become.
  • the area AR and the marker 10a in a state where the marker 10a is interposed between the imaging device 21 and the area AR (when viewed from the imaging device 21, the marker 10a is on the near side and the area AR is on the back side), the area AR and the marker 10a. It is possible to perform imaging.
  • the image pickup device 21 is placed on the marker 10a so that the entire image of the marker 10a is positioned at the peripheral edge of the picked-up image of the image pickup device 21 (the picked-up image displayed on the display 22).
  • the marker 10a is arranged in the inner area (in-frame area) of the image of the marker 10a so that the images of all the subject objects 1 and 2 in the area AR can be copied.
  • the marker 10a is configured to have an image feature that can be recognized by distinguishing the image of the marker 10a from the background image of the marker 10a when the area AR is imaged together with the marker 10a.
  • a pattern, pattern, color, etc. characteristic of the marker 10a are preliminarily attached to the front surface portion of the marker 10a.
  • the marker 10a has a black and white lattice pattern.
  • the features such as the pattern attached to the surface portion of the marker 10a may be any as long as the image of the marker 10a can be recognized separately from the background image.
  • each of the markers 10a and 10b is generically referred to as a marker 10.
  • the marker provided in the related information display device may be only one of the markers 10a and 10b, or may include more markers.
  • the image features of the markers 10a and 10b may be different from each other.
  • the imaging device 21 is mounted on a portable terminal 20 such as a smartphone or a tablet terminal in the present embodiment.
  • the terminal 20 includes a display 22 capable of displaying an image captured by the imaging device 21 and an arithmetic processing device 23 configured by an electronic circuit including a CPU, RAM, ROM, interface circuit, and the like.
  • An application related to the related information display device of the present embodiment (hereinafter referred to as a related information display application) is installed in advance in the arithmetic processing unit 23 of the terminal 20, and the related information display application can A function as a component of the related information display device of the embodiment is attached to the terminal 20.
  • the arithmetic processing unit 23 has a spatial arrangement between the marker 10 and the imaging device 21 from the captured images of the marker 10 and the area AR as a function realized by the installed related information display application.
  • Displayed on the display 22 is an arrangement relationship specifying unit 31 that specifies the relationship (relative relationship between position and orientation), an image position specifying unit 32 that specifies the position of the image of the target objects 1 and 2 in the captured image, and A display control unit 33 that superimposes and displays related information of the subject objects 1 and 2 on the captured image.
  • the arithmetic processing unit 23 stores in advance a server 40 that stores and holds three-dimensional data representing a spatial arrangement relationship between the marker 10 and the target objects 1 and 2 and related information of the target objects 1 and 2. It is possible to communicate with.
  • the server 40 has a function of transmitting the three-dimensional data and related information to the terminal 20 in response to a request from the terminal 20.
  • the arrangement relationship specifying unit 31, the image position specifying unit 32, and the display control unit 33 correspond to the arrangement relationship specifying unit, the image position specifying unit, and the display control unit in the present invention, respectively.
  • the user When the user wants to see the related information of the target objects 1 and 2, the user first activates a related information display application installed in advance in his terminal 20. Then, the user sets the marker 10 and the area AR by the imaging device 21 of the terminal 20 in a state where the marker 10 is interposed between the terminal 20 that has started the related information display application and the area AR. The captured image is displayed on the display 22 of the terminal 20.
  • the user adjusts the distance and direction of the imaging device 21 with respect to the marker 10 so that the image of the marker 10 (10a) is positioned at the peripheral edge of the entire captured image as shown in FIG.
  • the captured images displayed on the display 22 of the terminal 20 all the images of the subject objects 1 and 2 are captured in the area inside the image of the marker 10.
  • the user while viewing the image of the marker 10 in the captured image displayed on the display device 22, the user passes from the front side of the marker 10 through the void area inside the marker 10 to the back side of the marker 10.
  • An appropriate arrangement relationship between the marker 10 and the imaging device 21 can be easily realized simply by adjusting the position and orientation (the direction of the optical axis) of the imaging device 21 with respect to the marker 10 so as to capture the area AR.
  • a wide area near the center of the entire captured image becomes an inner area of the image of the marker 10, and the target object of the area AR is in the wide area. 1 and 2 can be copied.
  • the user adjusts the position or orientation of the imaging device 21 with respect to the marker 10, so that only one of the images of the target objects 1 and 2 is present in the inner area (inner frame area) of the image of the marker 10. It is also possible to make it appear.
  • the arithmetic processing unit 23 of the terminal 20 specifies the relative arrangement relationship between the marker 10 and the imaging device 21 by executing the process of the arrangement relationship specifying unit 31.
  • the arrangement relationship specifying unit 31 recognizes the image of the marker 10 from the captured image of the imaging device 21 by image recognition processing such as edge extraction and pattern recognition. In this case, since the image feature is attached to the marker 10, the arrangement relationship specifying unit 31 can correctly recognize the image of the marker 10 with high reliability.
  • the arrangement relationship specifying unit 31 determines the marker 10 and the position of the marker 10 based on the position of the image of the marker 10 in the entire captured image, the shape and size of the image of the marker 10, the preset focal length of the imaging device 21, and the like.
  • a spatial arrangement relationship with the imaging device 21 is specified.
  • the arrangement relationship is configured by the azimuth of the marker 10 with respect to the imaging device 21, the distance between the imaging device 21 and the marker 10, or data defining these azimuth and distance.
  • the arithmetic processing unit 23 of the terminal 20 executes the processing of the image position specifying unit 32 to specify the position of the image of the target objects 1 and 2 in the captured image.
  • the image position specifying unit 32 receives data indicating a predetermined spatial arrangement relationship between the marker 10 represented by the three-dimensional data and each of the target objects 1 and 2 through communication with the server 40. Obtain from the server 40.
  • the image position specifying unit 32 is based on the data acquired from the server 40 and the spatial arrangement relationship between the marker 10 and the imaging device 21 specified by the processing of the arrangement relationship specifying unit 31.
  • the positions of the images of the target objects 1 and 2 in the captured image displayed on the display 22 are specified.
  • the image position specifying unit 32 uses the data acquired from the server 40 and the spatial arrangement relationship between the marker 10 and the imaging device 21 to determine the relationship between the imaging device 21 and each of the target subjects 1 and 2. Identify spatial relationships. Then, the image position specifying unit 32 determines the image position of each of the target subjects 1 and 2 in the captured image from the spatial arrangement relationship between the imaging device 21 and each of the target subjects 1 and 2 and the focal length of the imaging device 21. Identify.
  • the arithmetic processing unit 23 of the terminal 20 causes the display control unit 33 to display the related information of the target objects 1 and 2 on the display 22 in a state of being superimposed on the captured image.
  • the display control unit 33 acquires related information of the target objects 1 and 2 from the server 40 through communication with the server 40.
  • each relevant information of the solar power generation panel 1 and the wind power generator 2 as a target subject is, for example, each type, current power output, rated power output, and the like.
  • the related information can be arbitrarily selected from various information as long as it is information related to the target objects 1 and 2.
  • the display control unit 33 displays, on the display 22, related information about each target subject that is reflected in the inner area (intraframe area) of the image of the marker 10 among the target subjects 1 and 2.
  • the image is displayed at a position corresponding to the image of the target object in the captured image (for example, a position on the image of the target object or a position near the image of the target object).
  • the photovoltaic power generation panel 1 performs photovoltaic power generation on the image of the photovoltaic power generation panel 1, and the photovoltaic power generation panel 1.
  • the related information 1a indicating the current power generation output is displayed.
  • related information 2a indicating that the wind power generator 2 performs wind power generation and the current power output of the wind power generator 2 is displayed.
  • the display control unit 33 omits the display of the related information of the target object for the target object that is not shown in the inner area (in-frame area) of the image of the marker 10. Therefore, when only the image of one target subject among the target subjects 1 and 2 is shown in the inner area (inside frame region) of the image of the marker 10, only the relevant information of the one target subject is displayed. Is displayed on the display 22, and the related information on the other target subject is not displayed on the display 22.
  • the display of the related information of each of the target objects 1 and 2 is performed as described above.
  • a user who wants to view related information of the target objects 1 and 2 arranged in the area AR has the marker 10 on the periphery of the captured image displayed on the display 22 of the terminal 20.
  • the images of the subject objects 1 and 2 can be easily copied to a suitable position that is easy to view in the entire captured image.
  • the related information of the target subjects 1 and 2 can be displayed at appropriate positions corresponding to the images of the target subjects 1 and 2.
  • the user can easily adjust the position and orientation of the imaging device 21 to a state suitable for displaying the relevant information of the target objects 1 and 2 in the captured image. As a result, the user can efficiently and smoothly acquire the related information of the target objects 1 and 2.
  • related information is displayed only for the target subject in the inner area of the image of the marker 10 among the target subjects 1 and 2. Therefore, the position and orientation of the imaging device 21 are adjusted to a suitable state in which the images of the target objects 1 and 2 are captured in the inner area (inner frame area) of the image of the marker 10 (the image of the marker 10 Can be urged to be positioned at the periphery of the captured image).
  • the markers are not limited to those shown in FIGS. 1 and 2, and various markers can be used.
  • the marker may be configured by an oval or elliptical frame.
  • a marker may be configured.
  • FIG. 5A illustrates a marker 11 composed of a pair of element members 11a and 11b arranged with a gap in the horizontal direction
  • FIG. 5B shows a pair of elements arranged with a gap in the vertical direction
  • the marker 12 configured by the members 12a and 12b is illustrated
  • FIG. 5C illustrates the marker 13 configured by the pair of element members 13a and 13b arranged at an interval in the oblique direction.
  • the pair of element members 11a and 11b are formed as long members extending in the vertical direction.
  • a space between the pair of element members 11a and 11b is a gap having no shield with respect to the area AR.
  • the images of the element members 11a and 11b of the marker 11 are positioned on the left and right peripheral portions as shown in FIG. 5A.
  • the imaging device 21 By adjusting the position and orientation of the imaging device 21, it is possible to copy all the target objects 1 and 2 in the area AR in the inner area of the element members 11a and 11b (the area between the element members 11a and 11b). Element members 11a and 11b are disposed on the surface.
  • the element members 11a and 11b having a gap in the lateral direction may be members that are not long (for example, circular members). Further, a plurality of pairs of element members 11a and 11b having the same horizontal spacing may be arranged in the vertical direction.
  • the pair of element members 12a and 12b are formed as long members extending in the lateral direction.
  • a space between the pair of element members 12a and 12b is a gap having no shielding with respect to the area AR.
  • the images of the element members 12a and 12b of the marker 12 are positioned at the upper and lower peripheral portions as shown in FIG. 5B.
  • the imaging device 21 By adjusting the position and orientation of the imaging device 21, all the target objects 1 and 2 in the area AR can be copied to the inner area of the element members 12 a and 12 b (area between the element members 12 a and 12 b).
  • the element members 12a and 12b are arranged.
  • the element members 12a and 12b having an interval in the vertical direction may be members that are not long (for example, circular members). Further, a plurality of pairs of element members 12a and 12b having the same vertical spacing may be arranged in the horizontal direction.
  • the pair of element members 13a and 13b are formed as non-long members, for example, circular members.
  • a space between the pair of element members 13a and 13b is a gap having no shield with respect to the area AR.
  • the images of the element members 13a and 13b of the marker 13 are displayed on the left upper edge and the lower right edge (corner) as shown in FIG. 5C.
  • the position and orientation of the imaging device 21 so as to be positioned on the inner part of the element member 13a, 13b (area between the element members 13a, 13b)
  • all target objects 1, 1 in the area AR are adjusted.
  • Element members 13a and 13b are arranged so that 2 can be copied.
  • the element members 13a and 13b may be formed in a shape other than a circular shape (for example, a square shape). Further, instead of the element members 13a and 13b, or in addition to the element members 13a and 13b, a pair of element members having an interval in an oblique direction connecting the upper right corner and the lower left corner of the captured image is a marker. It may be provided as a component.
  • FIGS. 5A, 5B and 5C is the same as the embodiment described with reference to FIGS. 1 to 4 except for the configuration of the markers 11 to 13.
  • the user can change the position and orientation of the imaging device 21 to each target subject. It is possible to easily adjust the related information of the objects 1 and 2 to a state suitable for displaying them in the captured image. As a result, the user can efficiently and smoothly acquire the related information of the target objects 1 and 2.
  • the marker may be configured as exemplified in FIG. 6A or FIG. 6B, for example.
  • description of patterns and the like for giving image characteristics to the markers 14 and 15 is omitted.
  • the marker 14 illustrated in FIG. 6A is formed as a single long member extending in the vertical direction.
  • the image of the marker 14 is displayed on either the left side or the right side edge (in the illustrated example, the left edge) as shown in FIG. 6A.
  • an area is formed in the side region of the marker 14 in the direction orthogonal to the extending direction of the marker 14 (in the illustrated example, the right region of the marker 14).
  • a marker 14 is arranged so that all the target objects 1 and 2 of the AR can be copied.
  • the marker 15 illustrated in FIG. 6B is formed as a single long member extending in the lateral direction.
  • the image of the marker 14 is displayed on either the upper or lower peripheral edge (in the illustrated example, the lower side) as shown in FIG. 6B.
  • the lateral region of the marker 15 in the direction orthogonal to the extending direction of the marker 15 in the illustrated example, the upper region of the marker 15
  • a marker 15 is arranged so that all the target objects 1 and 2 in the area AR can be copied.
  • the display control unit 33 displays related information about each target object shown in the captured image in the captured image. However, only when all the target objects 1 and 2 arranged in the area AR are shown, or only when the markers 14 and 15 are shown in the peripheral portion of the captured image, The related information may be displayed in the captured image.
  • the user can change the position and orientation of the imaging device 21 to each target subject. It is possible to easily adjust the related information of the objects 1 and 2 to a state suitable for displaying them in the captured image. As a result, the user can efficiently and smoothly acquire the related information of the target objects 1 and 2.
  • the function of the arrangement relationship specifying unit 31, the image position specifying unit 32, and the display control unit 33 is provided to the arithmetic processing unit 23 of the terminal 20, but the arrangement relationship specifying unit 31, the server 40 may have some of the functions of the image position specifying unit 32 and the display control unit 33.
  • the server 40 can execute the processing of the image position specifying unit 32.
  • the arrangement relationship specifying unit 31, the image position, and the related information display application are downloaded together with the related information display application by storing the three-dimensional data stored and held in the server 40. You may make it perform the process of the specific
  • FIG. 1 the arrangement relationship specifying unit 31, the image position, and the related information display application are downloaded together with the related information display application by storing the three-dimensional data stored and held in the server 40.
  • the related information is displayed only for the target object shown in the inner area of the image of the markers 10 to 13.
  • the related information displayed for each target object may be different depending on whether the target object is shown in the inner area of the image of the markers 10 to 13 or in the outer area. Good.
  • the related information about each target subject is more detailed when the target subject is shown in the inner region than when the target subject is shown in the outer region of the image of the markers 10 to 13. You may do it.
  • the display control unit 33 is, for example, a captured image displayed on the display 22 of the terminal 20.
  • the terminal 20 arranged so that the area AR appears in the inner area of the images of the markers 10 to 13, in response to a predetermined operation of the terminal 20 or immediately after the start of imaging of the area AR It may be configured to further include a function of displaying information related to the area AR over the entire inner area of the image of the markers 10 to 13 in a predetermined period.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

被写体物１，２が配置されたエリアＡＲと撮像装置２１との間に介在させ得るように設置され、画像特徴を有するように構成されたマーカ１０を備える。マーカ１０は、エリアＡＲとマーカ１０とを撮像したとき、マーカ１０の画像の内側領域に被写体物１，２が写るように配設される。マーカ１０及び被写体物１，２が写った撮像画像での被写体物１，２の位置が特定され、特定された位置に応じて被写体物１，２の関連情報が撮像画像中に表示される。

Description

関連情報表示装置
　本発明は、関連情報の表示対象の被写体物である対象被写体物の画像を含む撮像画像上に、該対象被写体物に係る関連情報を表示させる装置に関する。
　従来、この種の装置としては、例えば特許文献１に見られるものが知られている。その装置では、撮像画像入力手段の撮像範囲内に配置されたマークと、複数の特徴点とが撮像画像から抽出される。この場合、マークの位置及び方向を示す情報と、複数の特徴点の位置を示す情報とがマークにあらかじめ記録されており、撮像画像中のマークの画像から得られるこれらの情報を用いて画像入力手段の位置及び姿勢が特定される。
　そして、画像入力手段の位置及び姿勢を用いて、撮像画像内の対象物に対応する位置に該対象物に関連する情報が表示される。
特許４２４２５２９号
　特許文献１に見られる技術では、撮像画像内の対象物に対応する位置に該対象物に関連する情報を標示させることは可能であるものの、マークと複数の特徴点とが撮像画像内に写り、且つ、マーク及び特徴点を撮像画像から認識し得ることが前提となる。
　しかしながら、対象物が屋外にある場合、あるいは、対象物の周辺に種々様々な物体が配置されているような場合には、特徴点を撮像画像から正しく認識することができない状況も生じやすい。そして、このような場合には、対象物の関連情報を撮像画像内の適切な位置に表示することができないものとなりやすい。
　また、撮像画像を見る一般の利用者は、特徴点がどの箇所に存在するものであるかを知らない場合も多い。そして、このような場合には、利用者は、対象物の関連情報を撮像画像に表示させるために、どのような視線方向で撮像を行ったら良いのかが判らず、所望の関連情報を表示させるのに手間取ってしまうという状況が発生しやすい。
　本発明はかかる背景に鑑みてなされたものであり、関連情報の表示対象の被写体物が存在するエリアを撮像しようとする利用者が、該被写体物の関連情報が撮像画像に適切に表示されるように該エリアの撮像を行うことを容易に実現できる関連情報表示装置を提供することを目的とする。
　本発明の関連情報表示装置の第１の態様は、上記の目的を達成するために、関連情報の表示対象の被写体物である対象被写体物の画像を含む撮像画像上に、該対象被写体物に係る関連情報を表示させる関連情報表示装置であって、
　前記対象被写体物が配置されたエリアと撮像装置との間に介在させ得るようにあらかじめ設置され、画像特徴を有するように構成されたマーカと、
　前記撮像装置により前記エリア及びマーカを撮像して得られた撮像画像から、前記マーカの画像を認識し、該撮像画像におけるマーカの画像の配置状態に基づいて前記撮像装置とマーカとの空間的な配置関係を特定する配置関係特定手段と、
　該配置関係特定手段により特定された前記撮像装置とマーカとの空間的な配置関係と、前記対象被写体物とマーカとのあらかじめ設定された空間的な配置関係とに基づいて、前記撮像画像における対象被写体物の画像の位置を特定する画像位置特定手段と、
　該画像位置特定手段により特定された前記対象被写体物の画像の位置に応じて、該対象被写体物に係る関連情報を前記撮像画像上で表示させるべき位置を決定し、当該決定した位置に該対象被写体物に係る関連情報を表示させる表示制御手段とを備えており、
　前記マーカは、枠状に形成されたマーカ、又は、上下方向もしくは横方向もしくは斜め方向に間隔を存して配置された一対もしくは複数対の要素部材により構成されたマーカであり、前記撮像装置と前記エリアとの間に該マーカを介在させた状態で該エリア及びマーカを前記撮像装置により撮像したとき、該エリア内の少なくとも１つ以上の対象被写体物の画像が該マーカの画像の内側領域に写るように配設されていることを特徴とする（第１発明）。
　なお、本発明の第１の態様において、「マーカの画像の内側領域」というのは、該マーカが枠状に形成されたマーカである場合には、当該枠状のマーカの画像の枠内領域を意味する。また、マーカが一対もしくは複数対の要素部材により構成されたものである場合には、「マーカの画像の内側領域」というのは、各対の要素部材の間の間隔内領域を意味する。
　また、任意の物体Ａ（例えば撮像装置）と物体Ｂ（例えばマーカ）との「空間的な配置関係」というのは、物体Ａと物体Ｂとの空間的な位置及び姿勢の相対関係を意味する。
　上記第１発明によれば、前記撮像装置により前記エリアの撮像を行う利用者は、撮像装置と該エリアとの間に前記マーカを介在させた状態で該エリア及びマーカの撮像を行う。これにより、マーカの画像の内側領域に少なくとも１つ以上の対象被写体物の画像が写る状態が実現される。
　そして、このように前記エリア及びマーカの撮像を行うと、前記配置関係特定手段によって、撮像画像におけるマーカの画像の配置状態（撮像画像の全体におけるマーカの画像の位置、サイズ、形状等の状態）に基づいて、撮像装置とマーカとの空間的な配置関係が特定される。
　この場合、マーカは画像特徴を有するので、配置関係特定手段は、撮像画像中のマーカの画像を、該マーカの背景画像と区別して認識することを高い信頼性で行うことができる。このため、撮像画像におけるマーカの画像の配置状態に基づいて、撮像装置とマーカとの空間的な配置関係を精度よく特定できる。
　さらに、前記画像位置特定手段によって、前記撮像画像における対象被写体物の画像の位置が特定される。この場合、撮像装置とマーカとの空間的な配置関係と、対象被写体物とマーカとの空間的な配置関係とに応じて、撮像画像中のどの位置に、対象被写体物の画像が写るのかが規定される。従って、画像位置特定手段は、前記配置関係特定手段により特定された撮像装置とマーカとの空間的な配置関係と、対象被写体物とマーカとのあらかじめ設定された空間的な配置関係とに基づいて、前記撮像画像における対象被写体物の画像の位置を正しく特定できることとなる。
　そして、前記表示制御手段によって、対象被写体物の関連情報を前記撮像画像上で表示させるべき位置が決定され、当該決定した位置に該対象被写体物に係る関連情報が表示される。この場合、前記画像位置特定手段により特定された対象被写体物の画像の位置に応じて、該対象被写体物に係る関連情報を前記撮像画像上で表示させるべき位置を決定することで、対象被写体物の実際の画像に対応する適切な位置に、当該関連情報を表示させることができる。
　ここで、第１発明によれば、前記撮像装置とエリアとの間にマーカを介在させた状態で該エリア及びマーカを前記撮像装置により撮像したとき、該エリア内の少なくとも１つ以上の対象被写体物の画像が該マーカの画像の内側領域に写る状態が実現される。
　このため、利用者は、前記エリアにおける対象被写体物の位置を意識的に考慮せずとも、前記マーカの内側の空隙を通して該マーカの奥側に見える領域の画像を撮像画像の中心付近に配置するようにして、前記エリア及びマーカの撮像を行うだけで、マーカの画像の内側領域に、該エリア内の少なくとも１つ以上の対象被写体物の画像を写すことができる。
　従って、利用者は、容易に、対象被写体物の画像を撮像画像中に適切に写す状態を実現できる。
　よって、第１発明によれば、関連情報の表示対象の被写体物が存在するエリアを撮像しようとする利用者が、該被写体物の関連情報が撮像画像に適切に表示されるように該エリアの撮像を行うことを容易に実現できる。ひいては、該対象被写体物に係る関連情報を、容易に撮像画像中に表示させることができる。
　上記第１発明では、前記マーカは、前記撮像装置と前記エリアとの間に該マーカを介在させた状態で、該マーカの画像が撮像画像の周縁部に位置するように該マーカ及び前記エリアを撮像したとき、前記エリア内の全ての対象被写体物の画像が該マーカの画像の内側領域に写るように配設されていることが好ましい（第２発明）。
　これによれば、利用者は、マーカの画像が撮像画像の周縁部に位置するように該マーカ及び前記エリアを撮像するだけで、前記エリアの全ての対象被写体物の画像を撮像画像中に写すことができる。ひいては、全ての対象被写体物に係る関連情報を容易に取得することができる。また、この場合、マーカの画像の内側領域が撮像画像の全体のうちに占める面積が大きくなるため、各対象被写体物の画像及び関連情報の表示を見易くできる。
　上記第１発明又は第２発明では、前記表示制御手段は、前記撮像画像に写っている前記対象被写体物のうち、前記マーカの画像の内側領域内に写っている対象被写体物に係る関連情報だけを前記撮像画像上に表示するように構成されていることが好ましい（第３発明）。
　これによれば、前記マーカの画像の外側に写る対象被写体物については、関連情報が表示されないこととなる。このため、利用者は、関連情報を表示させたい対象被写体物を、マーカの画像の内側領域に写すべきことを容易に認識することができる。ひいては、利用者が、対象被写体物の関連情報が撮像画像に適切に表示されるように該エリアの撮像を行うことをより一層、容易に実現できる。
　さらに、利用者は、マーカの画像をできるだけ撮像画像の周縁部に位置させるように該マーカ及びエリアの撮像を行うことを意識的に行うようになる。このため、特に第３発明を前記第２発明と組み合わせた場合には、利用者が、全ての対象被写体物を撮像画像に写すように撮像を行うことを容易に実現できる。
　上記第１～第３発明では、前記表示制御手段は、前記撮像画像のうちの前記マーカの画像の内側領域に前記エリアが写る状態で、該マーカの内側領域の全体に該エリアに関連する情報を表示する機能をさらに含むように構成され得る（第４発明）。
　これによれば、撮像画像のうちのマーカの画像の内側領域の全体に、前記エリアに関連する情報を表示させることもできる。
　次に、本発明の第２の態様は、関連情報の表示対象の被写体物である対象被写体物の画像を含む撮像画像上に、該対象被写体物に係る関連情報を表示させる関連情報表示装置であって、
　前記対象被写体物が配置されたエリアと撮像装置との間に介在させ得るようにあらかじめ設置され、画像特徴を有するように構成されたマーカと、
　前記撮像装置により前記エリア及びマーカを撮像して得られた撮像画像から、前記マーカの画像を認識し、該撮像画像におけるマーカの画像の配置状態に基づいて前記撮像装置とマーカとの空間的な配置関係を特定する配置関係特定手段と、
　該配置関係特定手段により特定された前記撮像装置とマーカとの空間的な配置関係と、前記対象被写体物とマーカとのあらかじめ設定された空間的な配置関係とに基づいて、前記撮像画像における対象被写体物の画像の位置を特定する画像位置特定手段と、
　該画像位置特定手段により特定された前記対象被写体物の画像の位置に応じて、該対象被写体物の関連情報を前記撮像画像上で表示させるべき位置を決定し、当該決定した位置に該対象被写体物に係る関連情報を表示させる表示制御手段とを備えており、
　前記マーカは、上下方向又は横方向に延在するように配置された長尺部材により構成されたマーカであり、前記撮像装置と前記エリアとの間に該マーカを介在させた状態で、該マーカの画像が撮像画像の周縁部で上下方向又は横方向に延在するように該エリア及びマーカを前記撮像装置により撮像したとき、該エリア内の全ての対象被写体物の画像が該マーカの画像の側方領域に写るように配設されていることを特徴とする（第５発明）。
　なお、本発明の第２の態様において、「マーカの画像の側方領域」というのは、該マーカが上下方向に延在するように配置された長尺部材により構成されたマーカである場合には、該マーカの画像の左側又は右側の領域を意味し、該マーカが横方向に延在するように配置された長尺部材により構成されたマーカである場合には、該マーカの画像の上側又は下側の領域を意味する。
　また、前記第１の態様の場合と同様に、任意の物体Ａ（例えば撮像装置）と物体Ｂ（例えばマーカ）との「空間的な配置関係」というのは、物体Ａと物体Ｂとの空間的な位置及び姿勢の相対関係を意味する。
　上記第５発明によれば、前記撮像装置により前記エリアの撮像を行う利用者は、撮像装置と該エリアとの間に前記マーカを介在せた状態で該エリア及びマーカの撮像を行う。この場合、利用者は、長尺部材により構成されたマーカの画像が、撮像画像の周縁部に位置するように（すなわち、撮像画像の周縁部で上下方向又は横方向に延在する画像となるように）、前記エリア及びマーカの撮像を行う。これにより、マーカの画像の内側領域に少なくとも１つ以上の対象被写体物の画像が写る状態が実現される。
　そして、このように前記エリア及びマーカの撮像を行うと、前記配置関係特定手段、画像位置特定手段、及び表示制御手段の処理が前記第１の態様の発明と同様に行われ、撮像画像中の対象被写体物の画像に対応する適切な位置に該対象被写体物に係る関連情報が表示される。
　かかる第５発明においては、利用者は、前記エリアにおける対象被写体物の位置を意識的に考慮せずとも、前記マーカの画像が、撮像画像の周縁部に位置するように、前記エリア及びマーカの撮像を行うだけで、マーカの画像の側方領域に、該エリア内の全ての対象被写体物の画像を写すことができる。
　よって、第５発明によれば、関連情報の表示対象の被写体物が存在するエリアを撮像しようとする利用者が、該被写体物の関連情報が撮像画像に適切に表示されるように該エリアの撮像を行うことを容易に実現できる。ひいては、該対象被写体物に係る関連情報を、容易に撮像画像中に表示させることができる。
本発明の一実施形態における対象被写体物が配置されたエリアとマーカとを示す図。 図１に示すエリアとマーカとの撮像画像を示す図。 撮像装置を備える端末機の一例を示す図。 図３の端末機の演算処理装置とサーバとを示すブロック図。 図５Ａ、図５Ｂ及び図５Ｃはそれぞれ他の実施形態におけるマーカの撮像画像の例を示す図。 図６Ａ及び図６Ｂはそれぞれ他の実施形態おけるマーカの撮像画像の例を示す図。
　本発明の一実施形態を図１～図４を参照して以下に説明する。
　図１を参照して、ＡＲは、関連情報の表示対象の被写体物である対象被写体物が配置されたエリアである。該エリアＡＲは、複数の対象被写体物を含む。本実施形態の一例では、エリアＡＲは、例えば再生可能エネルギーの研究施設の屋外エリアである。そして、エリアＡＲは、対象被写体物として、例えば太陽光発電パネル１と風力発電機２とを含む。以降の説明では、太陽光発電パネル１及び風力発電機２を区別する必要が無いときは、それらを単に対象被写体物１，２と称する。
　本実施形態の関連情報表示装置は、かかるエリアＡＲの撮像画像に、対象被写体物１，２に関連する情報を重畳表示する装置である。この関連情報表示装置は、１つ又は複数の、例えば２つのマーカ１０ａ，１０ｂを備える。マーカ１０ａ，１０ｂは、いずれもエリアＡＲを視認し得る場所に設置されている。例えば、マーカ１０ａは、エリアＡＲの手前側の建造物（図示省略）の窓ガラス３に組み込まれ、マーカ１０ｂは、エリアＡＲの側方の建造物４の屋上に設置されている。
　マーカ１０ａ，１０ｂは、いずれも同一構成のものである。以下、マーカ１０ａを代表的に説明する。マーカ１０ａは、本実施形態では、図１に示すように方形枠状に形成されたマーカである。該マーカ１０ａは、その内側の空隙領域（マーカ１０ａにより囲まれた空隙領域）をエリアＡＲに臨ませるようにして設置されている。このため、マーカ１０ａの内側の空隙領域を通してエリアＡＲを視認することが可能となっている。マーカ１０ａと、エリアＡＲの各対象被写体物１，２との間の配置関係（位置及び姿勢の相対関係）は一定である。
　マーカ１０ａの手前側（エリアＡＲと反対側）の領域は、施設の見学者等、本実施形態の関連情報表示装置の利用者が、後述の撮像装置２１によりエリアＡＲの撮像を行い得る領域となっている。
　この場合、撮像装置２１とエリアＡＲとの間にマーカ１０ａを介在させた状態（撮像装置２１から見て、マーカ１０ａが手前側、エリアＡＲが奥側となる状態）で該エリアＡＲ及びマーカ１０ａの撮像を行うことが可能となっている。 
　さらにこの場合、マーカ１０ａ全体の画像が、図２に示すように、撮像装置２１の撮像画像（表示器２２に表示される撮像画像）の周縁部に位置するように撮像装置２１をマーカ１０ａに対向させて配置した場合、マーカ１０ａの画像の内側領域（枠内領域）に、エリアＡＲの全ての対象被写体物１，２の画像を写し得るようにマーカ１０ａが配設されている。
　また、マーカ１０ａは、該マーカ１０ａと共にエリアＡＲを撮像したときに、該マーカ１０ａの画像をマーカ１０ａの背景画像と区別して認識可能な画像特徴を有するように構成されている。
　具体的には、マーカ１０ａの手前側の表面部には、該マーカ１０ａに特徴的な模様、パターン、色彩等があらかじめ付されている。例えば、図２に示す例では、マーカ１０ａには白黒の格子模様が付されている。なお、マーカ１０ａの表面部に付される模様等の特徴は、マーカ１０ａの画像を、背景画像と区別して認識し得るものであればどのようなものであってもよい。また、マーカ１０ａの形状（外周形状等）に特徴を持たせるようにしてもよい。
　以上説明したマーカ１０ａに関する構成は、マーカ１０ｂについても同様である。以降の説明では、マーカ１０ａ，１０ｂを区別する必要がないときは、マーカ１０ａ，１０ｂのそれぞれを総称的にマーカ１０と称する。
　なお、関連情報表示装置に備えるマーカは、マーカ１０ａ，１０ｂのいずれか一方だけであってもよく、あるいは、さらに多くのマーカを備えていてもよい。また、マーカ１０ａ，１０ｂのそれぞれの画像特徴は互いに異なる特徴であってもよい。
　図３及び図４に示すように、撮像装置２１は、本実施形態では、スマートフォン、タブレット端末等の携帯型の端末機２０に搭載されたものである。該端末機２０は、撮像装置２１による撮像画像を表示可能な表示器２２と、ＣＰＵ、ＲＡＭ、ＲＯＭ、インターフェース回路等を含む電子回路により構成された演算処理装置２３とを含む。
　そして、端末機２０の演算処理装置２３には、本実施形態の関連情報表示装置に係るアプリケーション（以降、関連情報表示用アプリケーションという）があらかじめインストールされており、この関連情報表示用アプリケーションによって、本実施形態の関連情報表示装置の構成要素としての機能が端末機２０に付されている。
　具体的には、演算処理装置２３は、インストールされた関連情報表示用アプリケーションにより実現される機能として、マーカ１０及びエリアＡＲの撮像画像から、マーカ１０と撮像装置２１との間の空間的な配置関係（位置及び姿勢の相対関係）を特定する配置関係特定部３１と、該撮像画像における対象被写体物１，２の画像の位置を特定する画像位置特定部３２と、表示器２２に表示された撮像画像に対象被写体物１，２の関連情報を重畳して表示させる表示制御部３３とを含む。
　また、演算処理装置２３は、マーカ１０と各対象被写体物１，２との空間的な配置関係を表す３次元データと、各対象被写体物１，２の関連情報とをあらかじめ記憶保持したサーバ４０と通信することが可能となっている。サーバ４０は、端末機２０からの要求に応じて、上記３次元データや関連情報を端末機２０に送信する機能を有する。
　なお、配置関係特定部３１、画像位置特定部３２、及び表示制御部３３は、それぞれ本発明における配置関係特定手段、画像位置特定手段、表示制御手段に相当する。
　次に、本実施形態の関連情報表示装置による関連情報の表示作動について説明する。
　利用者が対象被写体物１，２の関連情報を見ようとするとき、利用者は、まず、自身の端末機２０にあらかじめインストールした関連情報表示用アプリケーションを起動する。そして、利用者は、関連情報表示用アプリケーションを起動した自身の端末機２０と、エリアＡＲとの間にマーカ１０を介在させた状態で、端末機２０の撮像装置２１によりマーカ１０及びエリアＡＲを撮像し、その撮像画像を端末機２０の表示器２２に表示させる。
　このとき、利用者は、図２に示したようにマーカ１０（１０ａ）の画像を撮像画像全体の周縁部に位置させるように、マーカ１０に対する撮像装置２１の距離及び方向を調整する。これにより、端末機２０の表示器２２に表示されている撮像画像のうち、マーカ１０の画像の内側領域に全ての対象被写体物１，２の画像が写るようになる。
　この場合、利用者は、表示器２２に表示された撮像画像におけるマーカ１０の画像を見ながら、該マーカ１０の正面側から、該マーカ１０の内側の空隙領域を通して、該マーカ１０の奥側のエリアＡＲを撮像するようにマーカ１０に対する撮像装置２１の位置及び姿勢（光軸の向き）を調整するだけで、容易に、マーカ１０と撮像装置２１との適切な配置関係を実現できる。
　また、マーカ１０の画像を撮像画像全体の周縁部に位置させることで、撮像画像全体のうちの中央寄りの広い領域がマーカ１０の画像の内側領域となり、当該広い領域にエリアＡＲの対象被写体物１，２を写すことができる。
　なお、利用者は、マーカ１０に対する撮像装置２１の位置又は姿勢を調整することで、マーカ１０の画像の内側領域（枠内領域）に、対象被写体物１，２のいずれか一方の画像だけが写るようにすることも可能である。
　一方、端末機２０の演算処理装置２３は、配置関係特定部３１の処理を実行することで、マーカ１０と撮像装置２１との相対的な配置関係を特定する。具体的には、配置関係特定部３１は、撮像装置２１の撮像画像から、エッジ抽出及びパターン認識等の画像認識処理により、マーカ１０の画像を認識する。この場合、マーカ１０には画像特徴が付されているため、配置関係特定部３１は、マーカ１０の画像を高い信頼性で正しく認識することができる。
　そして、配置関係特定部３１は、撮像画像の全体におけるマーカ１０の画像の位置、該マーカ１０の画像の形状、及びサイズ、並びに、撮像装置２１のあらかじめ設定された焦点距離等から、マーカ１０と撮像装置２１との空間的な配置関係を特定する。該配置関係は、撮像装置２１に対するマーカ１０の方位、及び、撮像装置２１とマーカ１０との間の距離、あるいは、これらの方位及び距離を規定するデータ等により構成される。
　次に、端末機２０の演算処理装置２３は、画像位置特定部３２の処理を実行することで、撮像画像における対象被写体物１，２の画像の位置を特定する。具体的には、画像位置特定部３２は、サーバ４０との通信によって、前記３次元データにより表されるマーカ１０と各対象被写体物１，２との既定の空間的な配置関係を示すデータをサーバ４０から取得する。
　そして、画像位置特定部３２は、サーバ４０から取得した当該データと、配置関係特定部３１の処理により特定されたマーカ１０と撮像装置２１との空間的な配置関係とに基づいて、端末機２０の表示器２２に表示されている撮像画像における各対象被写体物１，２の画像の位置を特定する。
　さらに詳細には、画像位置特定部３２は、サーバ４０から取得した当該データと、マーカ１０と撮像装置２１との空間的な配置関係とから、撮像装置２１と各対象被写体物１，２との空間的な配置関係を特定する。そして、画像位置特定部３２は撮像装置２１と各対象被写体物１，２との空間的な配置関係と、撮像装置２１の焦点距離とから撮像画像における各対象被写体物１，２の画像位置を特定する。
　次に、端末機２０の演算処理装置２３は、表示制御部３３の処理により、各対象被写体物１，２の関連情報を撮像画像に重畳した状態で表示器２２に表示させる。具体的には、表示制御部３３は、サーバ４０との通信によって、各対象被写体物１，２の関連情報をサーバ４０から取得する。本実施形態では、対象被写体物としての太陽光発電パネル１及び風力発電機２のそれぞれの関連情報は、例えば、それぞれの種別、現在の発電出力、定格発電出力等である。なお、関連情報は、各対象被写体物１，２に関連する情報であれば、任意に種々様々な情報を採用し得る。
　そして、表示制御部３３は、対象被写体物１，２のうち、マーカ１０の画像の内側領域（枠内領域）に写っている各対象被写体物についての関連情報を、表示器２２に表示されている撮像画像のうちの該対象被写体物の画像に対応する位置（例えば該対象被写体物の画像上の位置、又は該対象被写体物の画像の近傍位置等）に表示する。
　本実施形態の一例では、例えば、図２に示すように、太陽光発電パネル１の画像上に、該太陽光発電パネル１が太陽光発電を行うものであることと、該太陽光発電パネル１の現在の発電出力とを示す関連情報１ａが表示される。また、風力発電機２の画像の横に、該風力発電機２が風力発電を行うものであることと、該風力発電機２の現在の発電出力とを示す関連情報２ａが表示される。
　これにより利用者は、各対象被写体物についての関連情報を取得することができる。
　なお、本実施形態では、表示制御部３３は、マーカ１０の画像の内側領域（枠内領域）に写っていない対象被写体物については、該対象被写体物の関連情報の表示を省略する。従って、マーカ１０の画像の内側領域（枠内領域）に対象被写体物１，２のうちの一方の対象被写体物の画像だけが写っている場合には、当該一方の対象被写体物の関連情報だけが表示器２２に表示され、他方の対象被写体物の関連情報は表示器２２に表示されない。
　本実施形態では、対象被写体物１，２のそれぞれの関連情報の表示は、上記の如く行われる。
　かかる本実施形態では、エリアＡＲに配置されている対象被写体物１，２の関連情報を見ようとする利用者は、端末機２０の表示器２２に表示される撮像画像の周縁部にマーカ１０の画像を位置させるように撮像装置２１の位置及び姿勢を調整するだけで、対象被写体物１，２の画像を、容易に、撮像画像全体のうちの視認し易い好適な位置に写すことができる。そして、この状態で、各対象被写体物１，２の関連情報を各対象被写体物１，２の画像に対応する適切な位置に表示させることができる。
　従って、利用者は、撮像装置２１の位置及び姿勢を、各対象被写体物１，２の関連情報を撮像画像中に表示させる上で好適な状態に調整することを容易に行うことができる。ひいては、利用者は、各対象被写体物１，２の関連情報を効率よく円滑に取得できる。
　また、本実施形態では、各対象被写体物１，２のうち、マーカ１０の画像の内側領域に写っている対象被写体物についてだけ、関連情報が表示される。このため、撮像装置２１を位置及び姿勢を、マーカ１０の画像の内側領域（枠内領域）に対象被写体物１，２の画像が写ることとなる好適な状態に調整すること（マーカ１０の画像を撮像画像の周縁部にに位置させるようにすること）を利用者に促すことができる。
　次に、他の実施形態をいくつか説明する。マーカは、図１及び図２に示したものに限らず、種々様々な形態のものを採用できる。例えば、マーカは、長円形状もしくは楕円形状の枠体により構成されていてもよい。
　また、例えば、図５Ａ、図５Ｂ、又は図５Ｃに示すように、マーカが構成されていてもよい。
　図５Ａは、横方向に間隔を存して配置された一対の要素部材１１ａ，１１ｂにより構成されるマーカ１１を例示し、図５Ｂは、上下方向に間隔を存して配置された一対の要素部材１２ａ，１２ｂにより構成されるマーカ１２を例示し、図５Ｃは、斜め方向に間隔を存して配置された一対の要素部材１３ａ，１３ｂにより構成されるマーカ１３を例示している。
　なお、図５Ａ～図５Ｃでは、マーカ１１，１２，１３に画像特徴を持たせるための模様等の記載を省略している。
　図５Ａに例示するマーカ１１では、一対の要素部材１１ａ，１１ｂは、上下方向に延在する長尺部材として形成されている。そして、該一対の要素部材１１ａ，１１ｂの間の空間は、エリアＡＲに対して遮蔽物が無い空隙となっている。
　この場合、端末機２０の表示器２２の表示される撮像画像において、マーカ１１の要素部材１１ａ，１１ｂの画像を、図５Ａに示すように、左側及び右側のそれぞれの周縁部に位置させるように撮像装置２１の位置及び姿勢を調整することで、要素部材１１ａ，１１ｂの内側領域（要素部材１１ａ，１１ｂの間の領域）にエリアＡＲの全ての対象被写体物１，２を写すことができるように要素部材１１ａ，１１ｂが配設されている。
　なお、横方向に間隔を有する要素部材１１ａ，１１ｂは、長尺なものではない部材（例えば円形状の部材等）であってもよい。また、横方向の間隔が互いに同一となる複数対の要素部材１１ａ，１１ｂが上下方向に並ぶように配設されていてもよい。
　図５Ｂに例示するマーカ１２では、一対の要素部材１２ａ，１２ｂは、横方向に延在する長尺部材として形成されている。そして、該一対の要素部材１２ａ，１２ｂの間の空間は、エリアＡＲに対して遮蔽物が無い空隙となっている。
　この場合、端末機２０の表示器２２の表示される撮像画像において、マーカ１２の要素部材１２ａ，１２ｂの画像を、図５Ｂに示すように、上側及び下側のそれぞれの周縁部に位置させるように撮像装置２１の位置及び姿勢を調整することで、要素部材１２ａ，１２ｂの内側領域（要素部材１２ａ，１２ｂの間の領域）にエリアＡＲの全ての対象被写体物１，２を写すことができるように要素部材１２ａ，１２ｂが配設されている。
　なお、上下方向に間隔を有する要素部材１２ａ，１２ｂは、長尺なものではない部材（例えば円形状の部材等）であってもよい。また、上下方向の間隔が互いに同一となる複数対の要素部材１２ａ，１２ｂが横方向に並ぶように配設されていてもよい。
　図５Ｃに例示するマーカ１３では、一対の要素部材１３ａ，１３ｂは、長尺でない部材、例えば円形状の部材として形成されている。そして、該一対の要素部材１３ａ，１３ｂの間の空間は、エリアＡＲに対して遮蔽物が無い空隙となっている。
　この場合、端末機２０の表示器２２に表示される撮像画像において、マーカ１３の要素部材１３ａ，１３ｂの画像を、図５Ｃに示すように、左上側及び右下側のそれぞれの周縁部（角部）に位置させるように撮像装置２１の位置及び姿勢を調整することで、要素部材１３ａ，１３ｂの内側領域（要素部材１３ａ，１３ｂの間の領域）にエリアＡＲの全ての対象被写体物１，２を写すことができるように要素部材１３ａ，１３ｂが配設されている。
　なお、要素部材１３ａ，１３ｂは、円形状以外の形状（例えば、正方形状等）に形成されていてもよい。また、要素部材１３ａ，１３ｂの代わりに、又は要素部材１３ａ，１３ｂに加えて、撮像画像の右上側の角部と左下側の角部とを結ぶ斜め方向に間隔を存する一対の要素部材がマーカの構成要素として備えられていてもよい。
　図５Ａ、図５Ｂ及び図５Ｃに示す実施形態は、マーカ１１～１３の構成以外は、図１～図４を参照して説明した実施形態と同じである。
　以上の如くマーカ１１～１３を構成した場合であっても、前記した方形枠状のマーカ１０を備える実施形態の場合と同様に、利用者は、撮像装置２１の位置及び姿勢を、各対象被写体物１，２の関連情報を撮像画像中に表示させる上で好適な状態に調整することを容易に行うことができる。ひいては、利用者は、各対象被写体物１，２の関連情報を効率よく円滑に取得できる。
　また、マーカは、例えば図６Ａ又は図６Ｂに例示する如く構成されていてもよい。なお、図６Ａ及び図６Ｂでは、マーカ１４，１５に画像特徴を持たせるための模様等の記載を省略している。
　図６Ａに例示するマーカ１４は、上下方向に延在する単一の長尺部材として形成されている。この場合、端末機２０の表示器２２の表示される撮像画像において、マーカ１４の画像を、図６Ａに示すように、左側及び右側のいずれか一方側の周縁部（図示例では左側の周縁部）に位置させるように撮像装置２１の位置及び姿勢を調整することで、マーカ１４の延在方向に直交する方向でのマーカ１４の側方領域（図示例では、マーカ１４の右側領域）にエリアＡＲの全ての対象被写体物１，２を写すことができるようにマーカ１４が配設されている。
　また、図６Ｂに例示するマーカ１５は、横方向に延在する単一の長尺部材として形成されている。この場合、端末機２０の表示器２２の表示される撮像画像において、マーカ１４の画像を、図６Ｂに示すように、上側及び下側のいずれか一方側の周縁部（図示例では下側の周縁部）に位置させるように撮像装置２１の位置及び姿勢を調整することで、マーカ１５の延在方向に直交する方向でのマーカ１５の側方領域（図示例では、マーカ１５の上側領域）にエリアＡＲの全ての対象被写体物１，２を写すことができるようにマーカ１５が配設されている。
　なお、図６Ａ及び図６Ｂに示す実施形態では、表示制御部３３は、撮像画像中に写っている各対象被写体物についての関連情報を撮像画像中に表示する。ただし、エリアＡＲに配置された全ての対象被写体物１，２が写っている場合にだけ、あるいは、マーカ１４，１５が撮像画像の周縁部に写っている場合にだけ、各対象被写体物についての関連情報を撮像画像中に表示するようにしてもよい。
　以上の如くマーカ１４，１５を構成した場合であっても、前記した方形枠状のマーカ１０を備える実施形態の場合と同様に、利用者は、撮像装置２１の位置及び姿勢を、各対象被写体物１，２の関連情報を撮像画像中に表示させる上で好適な状態に調整することを容易に行うことができる。ひいては、利用者は、各対象被写体物１，２の関連情報を効率よく円滑に取得できる。
　なお、以上説明した各実施形態では、配置関係特定部３１、画像位置特定部３２、及び表示制御部３３しての機能を端末機２０の演算処理装置２３に持たせたが、配置関係特定部３１、画像位置特定部３２、及び表示制御部３３の機能の一部をサーバ４０に持たせることも可能である。例えば、画像位置特定部３２の処理をサーバ４０で実行させることも可能である。
　また、例えば、サーバ４０に記憶保持した３次元データと各対象被写体物の関連情報とを、前記関連情報表示用アプリケーションと共に端末機２０にダウンロードさせるようにして、前記配置関係特定部３１、画像位置特定部３２及び表示制御部３３の処理を、サーバ４０との通信を行うことなく、端末機２０の演算処理装置２３で実行するようにしてもよい。
　また、図１～図４に示した実施形態、あるいは、図５Ａ～図５Ｃに示した実施形態では、マーカ１０～１３の画像の内側領域に写っている対象被写体物についてだけ、関連情報の表示を行うようにしたが、マーカ１０～１３の画像の外側領域に写っている対象被写体物についても、関連情報の表示を行うようにすることも可能である。この場合、各対象被写体物について表示する関連情報を、該対象被写体物がマーカ１０～１３の画像の内側領域に写っている場合と、外側領域に写っている場合とで異ならせるようにしてもよい。
　例えば、各対象被写体物についての関連情報を、該対象被写体物がマーカ１０～１３の画像の外側領域に写っている場合よりも、内側領域に写っている場合の方がより詳細な情報になるようにしてもよい。
　また、図１～図４に示した実施形態、あるいは、図５Ａ～図５Ｃに示した実施形態において、前記表示制御部３３は、例えば、端末機２０の表示器２２に表示される撮像画像のうちのマーカ１０～１３の画像の内側領域にエリアＡＲが写るように端末機２０を配置した状態で、該端末機２０の所定の操作等に応じて、あるいは、該エリアＡＲの撮像開始直後の所定期間等において、該エリアＡＲに関連する情報を、マーカ１０～１３の画像の内側領域の全体に表示させる機能をさらに備えるように構成されていてもよい。
　１，２…対象被写体物、１０（１０ａ，１０ｂ），１１，１２，１３，１４，１５…マーカ、２１…撮像装置、２２…表示器、３１…配置関係特定部（配置関係特定手段）、３２…画像位置特定部（画像位置特定手段）、３３…表示制御部（表示制御手段）、１１ａ，１１ｂ，１２ａ，１２ｂ，１３ａ，１３ｂ…要素部材。
 

Claims (5)

  1. 　関連情報の表示対象の被写体物である対象被写体物の画像を含む撮像画像上に、該対象被写体物に係る関連情報を表示させる関連情報表示装置であって、
    　前記対象被写体物が配置されたエリアと撮像装置との間に介在させ得るようにあらかじめ設置され、画像特徴を有するように構成されたマーカと、
    　前記撮像装置により前記エリア及びマーカを撮像して得られた撮像画像から、前記マーカの画像を認識し、該撮像画像におけるマーカの画像の配置状態に基づいて前記撮像装置とマーカとの空間的な配置関係を特定する配置関係特定手段と、
    　該配置関係特定手段により特定された前記撮像装置とマーカとの空間的な配置関係と、前記対象被写体物とマーカとのあらかじめ設定された空間的な配置関係とに基づいて、前記撮像画像における対象被写体物の画像の位置を特定する画像位置特定手段と、
    　該画像位置特定手段により特定された前記対象被写体物の画像の位置に応じて、該対象被写体物に係る関連情報を前記撮像画像上で表示させるべき位置を決定し、当該決定した位置に該対象被写体物に係る関連情報を表示させる表示制御手段とを備えており、
    　前記マーカは、枠状に形成されたマーカ、又は、上下方向もしくは横方向もしくは斜め方向に間隔を存して配置された一対もしくは複数対の要素部材により構成されたマーカであり、前記撮像装置と前記エリアとの間に該マーカを介在させた状態で該エリア及びマーカを前記撮像装置により撮像したとき、該エリア内の少なくとも１つ以上の対象被写体物の画像が該マーカの画像の内側領域に写るように配設されていることを特徴とする関連情報表示装置。
  2. 　請求項１記載の関連情報表示装置において、
    　前記マーカは、前記撮像装置と前記エリアとの間に該マーカを介在させた状態で、該マーカの画像が撮像画像の周縁部に位置するように該マーカ及び前記エリアを撮像したとき、前記エリア内の全ての対象被写体物の画像が該マーカの画像の内側領域に写るように配設されていることを特徴とする関連情報表示装置。
  3. 　請求項１記載の関連情報表示装置において、
    　前記表示制御手段は、前記撮像画像に写っている前記対象被写体物のうち、前記マーカの画像の内側領域内に写っている対象被写体物に係る関連情報だけを前記撮像画像上に表示するように構成されていることを特徴とする関連情報表示装置。
  4. 　請求項１記載の関連情報表示装置において、
    　前記表示制御手段は、前記撮像画像のうちの前記マーカの画像の内側領域に前記エリアが写る状態で、該マーカの内側領域の全体に該エリアに関連する情報を表示する機能をさらに含むように構成されていることを特徴とする関連情報表示装置。
  5. 　関連情報の表示対象の被写体物である対象被写体物の画像を含む撮像画像上に、該対象被写体物に係る関連情報を表示させる関連情報表示装置であって、
    　前記対象被写体物が配置されたエリアと撮像装置との間に介在させ得るようにあらかじめ設置され、画像特徴を有するように構成されたマーカと、
    　前記撮像装置により前記エリア及びマーカを撮像して得られた撮像画像から、前記マーカの画像を認識し、該撮像画像におけるマーカの画像の配置状態に基づいて前記撮像装置とマーカとの空間的な配置関係を特定する配置関係特定手段と、
    　該配置関係特定手段により特定された前記撮像装置とマーカとの空間的な配置関係と、前記対象被写体物とマーカとのあらかじめ設定された空間的な配置関係とに基づいて、前記撮像画像における対象被写体物の画像の位置を特定する画像位置特定手段と、
    　該画像位置特定手段により特定された前記対象被写体物の画像の位置に応じて、該対象被写体物の関連情報を前記撮像画像上で表示させるべき位置を決定し、当該決定した位置 
    に該対象被写体物に係る関連情報を表示させる表示制御手段とを備えており、
    　前記マーカは、上下方向又は横方向に延在するように配置された長尺部材により構成されたマーカであり、前記撮像装置と前記エリアとの間に該マーカを介在させた状態で、該マーカの画像が撮像画像の周縁部で上下方向又は横方向に延在するように該エリア及びマーカを前記撮像装置により撮像したとき、該エリア内の全ての対象被写体物の画像が該マーカの画像の側方領域に写るように配設されていることを特徴とする関連情報表示装置。
     
PCT/JP2016/078638 2015-09-29 2016-09-28 関連情報表示装置 WO2017057467A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-191978 2015-09-29
JP2015191978A JP2018189999A (ja) 2015-09-29 2015-09-29 関連情報表示装置

Publications (1)

Publication Number Publication Date
WO2017057467A1 true WO2017057467A1 (ja) 2017-04-06

Family

ID=58423962

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/078638 WO2017057467A1 (ja) 2015-09-29 2016-09-28 関連情報表示装置

Country Status (2)

Country Link
JP (1) JP2018189999A (ja)
WO (1) WO2017057467A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009020614A (ja) * 2007-07-10 2009-01-29 Ritsumeikan 複合現実感システムに用いるマーカユニット、複合現実感システム、マーカユニット作成支援システム、及び、マーカユニット作成支援プログラム
JP2010257123A (ja) * 2009-04-23 2010-11-11 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009020614A (ja) * 2007-07-10 2009-01-29 Ritsumeikan 複合現実感システムに用いるマーカユニット、複合現実感システム、マーカユニット作成支援システム、及び、マーカユニット作成支援プログラム
JP2010257123A (ja) * 2009-04-23 2010-11-11 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム

Also Published As

Publication number Publication date
JP2018189999A (ja) 2018-11-29

Similar Documents

Publication Publication Date Title
CN107113415B (zh) 用于多技术深度图获取和融合的方法和设备
US9544574B2 (en) Selecting camera pairs for stereoscopic imaging
US7349020B2 (en) System and method for displaying an image composition template
CN108154058B (zh) 图形码展示、位置区域确定方法及装置
JP6590792B2 (ja) ３ｄ映像を補正する方法、装置及び表示システム
US20110025830A1 (en) Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
CN106233722B (zh) 多相机系统中的图像传感器的自动对准
CN104254869A (zh) 用于投影红外线辐射的可见表示的方法和系统
CN106096540B (zh) 一种信息处理方法和电子设备
JP6126501B2 (ja) カメラ設置シミュレータ及びそのコンピュータプログラム
US20200343972A1 (en) Optical communication method
CN104205827A (zh) 图像处理装置及方法、以及摄像装置
CN105635568A (zh) 一种移动终端中的图像处理方法和移动终端
JP2007243509A (ja) 画像処理装置
CN115063455A (zh) 一种双光相机成像校准的方法、装置和双光相机
CN105791793A (zh) 图像处理方法及其电子装置
US10606149B2 (en) Information processing device, information processing method, and program
CN110244469B (zh) 一种定向散射器位置和扩散角度的确定方法及系统
TWI603225B (zh) 液晶顯示器顯示視角的調整方法和裝置
JP2016220171A (ja) 拡張現実対象認識装置
WO2017057467A1 (ja) 関連情報表示装置
CN108377327B (zh) 全景相机以及深度信息获取方法
JP2017055182A (ja) 撮影装置、撮影方法及び撮影プログラム
JPWO2018167971A1 (ja) 画像処理装置、制御方法及び制御プログラム
JP7111416B2 (ja) 携帯端末、情報処理システム、制御方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16851638

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16851638

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP