WO2012046373A1 - 画像表示装置および画像表示方法 - Google Patents

画像表示装置および画像表示方法 Download PDF

Info

Publication number
WO2012046373A1
WO2012046373A1 PCT/JP2011/004327 JP2011004327W WO2012046373A1 WO 2012046373 A1 WO2012046373 A1 WO 2012046373A1 JP 2011004327 W JP2011004327 W JP 2011004327W WO 2012046373 A1 WO2012046373 A1 WO 2012046373A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
target image
panoramic
dimensional
target
Prior art date
Application number
PCT/JP2011/004327
Other languages
English (en)
French (fr)
Inventor
京子 古村
平田　真一
山岸　建
Original Assignee
株式会社ソニー・コンピュータエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・コンピュータエンタテインメント filed Critical 株式会社ソニー・コンピュータエンタテインメント
Priority to EP11830312.2A priority Critical patent/EP2627072B1/en
Priority to CN201180047976.9A priority patent/CN103141078B/zh
Publication of WO2012046373A1 publication Critical patent/WO2012046373A1/ja
Priority to US13/804,186 priority patent/US9262996B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/02—Stereoscopic photography by sequential recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45455—Input to filtering algorithms, e.g. filtering a region of the image applied to a region of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Definitions

  • the present invention relates to an apparatus and a method for displaying an image.
  • Digital still cameras and digital video cameras have become widespread, and there are more opportunities to save and view captured still images and movies on a computer, display them on the screen of game consoles and television (TV) systems. Yes. In addition, it is also popular to upload a captured video to an Internet posting site and share the video with other users.
  • Some digital cameras can shoot panoramic images, and it has become easy to shoot panoramic images with a wide viewing angle.
  • a software tool that generates a panoramic image by combining a plurality of images taken by a digital camera while changing the shooting direction is also often used.
  • panoramic images are taken from all directions from the shooting location, when you take a panoramic image outdoors, the ceiling of the panoramic image reveals a wide sky above the photographer's head. Often only. If image processing that gives some visual effect to the sky area that occupies most of the panoramic image, it can be expected to give the panoramic image a fresh taste or bring diversity. In addition, if you draw and draw another object in the panorama image that was shot, you can generate a panorama image that contains a virtually non-existent object, which brings unexpectedness and enjoyment Can also be expected.
  • the present invention has been made in view of these problems, and an object thereof is to provide a technique capable of processing and displaying an image.
  • an image display device includes a storage unit that stores a target image associated with information related to a shooting direction and a celestial sphere image associated with information related to the direction, A mask region extracting unit for extracting a region to be masked, a mask processing unit for generating a target image masking the region to be masked in the target image, and a direction of the celestial sphere image as a shooting direction of the target image
  • An alignment unit for alignment, a mapping processing unit that maps the target image subjected to mask processing and the celestial sphere image as a texture to a three-dimensional target space after alignment by the alignment unit, and a shooting position of the target image as a viewpoint position
  • a three-dimensional image generation unit that generates a three-dimensional target image when the three-dimensional target space is viewed in a specified line-of-sight direction;
  • the serial three-dimensional object image and a display control unit for displaying on the screen.
  • the apparatus includes a storage unit that holds a target image associated with information related to a shooting direction and a virtual image associated with information related to the direction, a mask region extraction unit that extracts a region to be masked in the target image, A mask processing unit that generates a target image in which the region to be masked in the target image is masked, a registration unit that aligns the direction of the virtual image with the shooting direction of the target image, and after registration by the registration unit A display control unit that displays an augmented reality image in which the virtual image is superimposed on the masked target image on a screen.
  • Another aspect of the present invention is an image display method.
  • the processor reads the target image and the celestial image to be displayed from the storage device in which the target image associated with the information related to the shooting direction and the celestial sphere image associated with the information related to the direction are stored; A step of designating a region to be masked with respect to the target image; a step of adjusting a direction of the celestial sphere image to a shooting direction of the target image; and after alignment, the processor sets a region to be masked of the target image. And superimposing and drawing the celestial sphere image.
  • an image can be processed and displayed effectively.
  • FIGS. 3A to 3D are diagrams for explaining the mechanism and shooting direction of the omnidirectional shooting system used for shooting a panoramic image.
  • 4A illustrates the azimuth angle ⁇ of the camera
  • FIG. 4B illustrates the elevation angle ⁇ of the camera.
  • FIGS. 5A to 5C are diagrams for explaining a panoramic image captured when the initial position of the camera is in the direction of the azimuth angle ⁇ .
  • FIGS. 6A to 6C are views for explaining panoramic images taken when the elevation angle ⁇ of the camera is 60 °.
  • An area in which the sky in the panorama image is captured is extracted, and a mask process is performed to make the sky area of the panorama image transparent.
  • a celestial sphere is assumed outside a three-dimensional panoramic space such as a panoramic sphere to which a panoramic image is mapped, and an empty image or the like is prepared as a celestial sphere image and mapped to the three-dimensional panoramic space to which the panoramic image is mapped.
  • a three-dimensional panoramic image is generated in which the celestial sphere image is pasted in the sky region cut out of the panoramic image in a transparent manner.
  • the object can be inserted into the generated three-dimensional panoramic image.
  • a plurality of celestial spheres may be provided and a plurality of celestial sphere images may be mapped to the three-dimensional panoramic space.
  • a cloud celestial sphere and a sky celestial sphere may be provided, and an image of a cloud may be prepared for the cloud celestial sphere, and an image of a celestial body such as the sun, moon, or star may be prepared for the sky celestial sphere.
  • FIG. 1 is a configuration diagram of a panoramic image display apparatus 100 according to an embodiment.
  • the functional configuration of the panoramic image display device 100 illustrated in FIG. 1 can be implemented by hardware, software, or a combination thereof in a personal computer, a game machine, a portable device, a portable terminal, or the like as an example.
  • a part of these functional configurations may be mounted on a server and a part may be mounted on a client, and the panoramic image display apparatus 100 may be realized as a server-client system via a network.
  • the panoramic image / additional data storage unit 24 holds a panoramic image in which information on the shooting location and information on the shooting direction are associated. Additional data such as information on the shooting location and shooting direction may be added directly to the panoramic image data file, and the additional data may be managed as a separate file from the panoramic image.
  • the information on the shooting location includes, for example, latitude / longitude information given by GPS (Global Positioning System).
  • the information on the shooting direction includes, for example, information on the azimuth angle of the center point of the panoramic image obtained from the direction sensor, and may include information on the elevation angle and roll angle of the camera at the time of shooting.
  • the azimuth of an arbitrary point of the panoramic image can be obtained by calculation based on the angle of panning the camera in the left-right direction. Put the coordinate values of the pixels in the true north, true south, true east, and true west directions of the panoramic image calculated based on the azimuth angle and pan angle of the center point of the panoramic image as information on the shooting direction. May be.
  • the panorama image acquisition unit 10 acquires a panorama image to be displayed from the panorama image / additional data storage unit 24.
  • the panorama image to be displayed is specified, for example, by the user specifying the shooting location on a map or the like.
  • the mask area extraction unit 11 extracts an area to be masked in the panorama image to be displayed.
  • the area to be masked is, for example, an empty area shown in the panoramic image.
  • the empty area can be determined based on the color information of the panoramic image.
  • the sky region is often detected as a region having a continuous spread at a large elevation angle of the camera.
  • the mask area extraction unit 11 determines the position of the horizon of the panoramic image based on the information on the elevation angle of the camera, and from the horizon of the panoramic image. Alternatively, an empty area may be extracted in the upper area. Alternatively, since the region where the elevation angle of the camera is larger than the predetermined threshold is surely the region above the horizon, an empty region may be extracted within that region. Thereby, even if there is an area of a color similar to the sky in the area below the horizon, it is possible to avoid an error that is extracted by being confused with the sky area.
  • the mask processing unit 12 generates a panoramic image in which the region to be masked extracted by the mask region extracting unit 11 is masked.
  • the panorama image is masked using the extracted sky area as a mask to generate a panorama image with the sky area masked.
  • the panorama image mask process is performed, for example, by making an area specified by the mask transparent from the original panorama image or by generating an image obtained by clipping the area.
  • the mask process is not limited to the binary mask that clears the pixel values in the mask area, and a multi-value mask that alpha blends the pixel values in the mask area may be used.
  • the mask processing unit 12 stores the panoramic image after the mask processing in the panoramic image / additional data storage unit 24.
  • the celestial sphere image data storage unit 26 holds celestial sphere image data to be overlaid on the panorama image after the mask processing.
  • the celestial sphere is outside the three-dimensional panoramic space to which the panoramic image is mapped, and the sky image set on the surface of the celestial sphere is the celestial sphere image.
  • the celestial sphere images viewed from various points are stored in the celestial sphere image data storage unit 26 in association with the latitude and longitude of the viewpoint.
  • the celestial sphere image includes, for example, celestial bodies and clouds such as the sun, moon, and stars, and the celestial bodies and clouds may move based on the celestial operation model and the weather model.
  • the celestial sphere image may be generated based on a real photograph or may be generated using computer graphics.
  • Alignment unit 20 aligns the direction of the celestial sphere image with the shooting direction of the panoramic image after the mask processing. Specifically, the alignment unit 20 aligns the center of the celestial sphere centered on the latitude and longitude of the panoramic image shooting location with the center of the three-dimensional panoramic space to which the panoramic image is mapped, for example, using the direction of the North Star as a reference Then, the celestial sphere image is rotated by calculating the rotation angle of the celestial sphere image so as to match the shooting direction determined by the pan angle and tilt angle of the panoramic image.
  • the object data storage unit 28 holds three-dimensional data of an object to be inserted into the panoramic image. There are dynamic objects that move in a three-dimensional space based on a motion model in addition to static objects that are at a predetermined latitude, longitude, and high stillness.
  • the object insertion unit 22 arranges an object to be inserted into the panoramic image at a designated spatial position in the celestial sphere.
  • the object may be arranged between the three-dimensional panoramic space to which the celestial sphere and the panoramic image are mapped, that is, outside the three-dimensional panoramic space, or inside the three-dimensional panoramic space. Insertion of an object by the object insertion unit 22 is optional.
  • the mapping processing unit 14 After the alignment of the panoramic image and the celestial sphere image by the alignment unit 20, the mapping processing unit 14 performs a process of mapping the panoramic image and the celestial sphere image after the mask processing to the three-dimensional panoramic space as a texture.
  • a sphere is assumed as a three-dimensional panoramic space, and the panoramic image is texture-mapped to a spherical surface by spherical mapping.
  • a cube may be assumed as the three-dimensional panorama space, and the panorama image may be texture-mapped on the cube surface by cube mapping.
  • the panorama image is an image that does not have a component in the tilt direction and spreads only in the pan direction
  • a cylinder may be assumed as the three-dimensional panorama space, and the panorama image may be texture-mapped on the cylinder surface. The same applies to a case where the panoramic image has no pan direction component and spreads only in the tilt direction.
  • the mapping processing unit 14 maps the celestial sphere image in the three-dimensional panorama space, and then maps the panorama image after the mask processing on the three-dimensional panorama space. Thereby, an image in which a part of the celestial sphere image is pasted on the mask area in the panoramic image is generated in the three-dimensional panoramic space.
  • the mapping processing unit 14 maps the placed object to the 3D panorama space.
  • the mapping processing unit 14 maps the object on the 3D panorama space, and then maps the panorama image after the mask processing on the 3D panorama space.
  • the mapping processing unit 14 maps the panorama image after the mask processing to the three-dimensional panorama space, and then superimposes and maps the object on the three-dimensional panorama space.
  • the mapping processing unit 14 maps the panorama image after the mask processing to the three-dimensional panorama space, and then superimposes and maps the object on the three-dimensional panorama space.
  • the three-dimensional image generation unit 16 generates a three-dimensional panoramic image when the mapping processing unit 14 views the three-dimensional panoramic space in which the panoramic image, the celestial sphere image, and the object are mapped in the designated line-of-sight direction.
  • the viewpoint is placed at the center of the sphere.
  • the viewpoint is placed at the center inside the cube.
  • the viewpoint is placed on the center axis of the cylinder.
  • the viewpoint is a place where a panoramic image to be displayed is photographed, and the line-of-sight direction is a direction of looking around from the photographing place, and is specified by an azimuth angle and an elevation angle.
  • the three-dimensional image generation unit 16 generates a three-dimensional image when the three-dimensional panoramic space is viewed in the viewing direction specified by the azimuth angle and the elevation angle.
  • the display control unit 18 displays the generated three-dimensional panoramic image on the screen of the display device.
  • the user interface unit 40 is a graphical user interface that allows the user to operate the graphics displayed on the display screen using an input device.
  • the user interface unit 40 receives a user instruction from an input device such as a game console controller, a mouse, or a keyboard for a map or a three-dimensional panoramic image displayed on the screen.
  • FIG. 2 shows a controller 102 as an example of an input device, and details of the configuration will be described later.
  • the user interface unit 40 instructs the panorama image acquisition unit 10 to acquire the designated panorama image from the panorama image / additional data storage unit 24.
  • the user can input an instruction to change the line-of-sight direction for viewing the three-dimensional panorama space, for example, by operating the analog stick 118 or the direction key group 116 of the controller 102.
  • the line-of-sight direction setting unit 32 of the user interface unit 40 gives the line-of-sight direction indicated by the user to the three-dimensional image generation unit 16.
  • the three-dimensional image generation unit 16 generates an image when the three-dimensional panoramic space is viewed from the designated line-of-sight direction.
  • the angle-of-view setting unit 31 sets the angle of view when the user performs a zoom operation on the displayed panoramic image, and the information on the angle of view set in the panoramic image acquisition unit 10 and the three-dimensional image generation unit 16 is set. give.
  • the panoramic image acquisition unit 10 reads a panoramic image having the angle of view closest to the set angle of view, and displays a panoramic image to be displayed.
  • the three-dimensional image generation unit 16 realizes a zoom-in / zoom-out visual effect by enlarging / reducing the three-dimensional panoramic image according to the set angle of view.
  • the panorama image is also provided with information about the shooting altitude, and the panorama image / additional data storage unit 24 may hold panorama images shot at different altitudes for the same shooting position.
  • the user can input an instruction to change the altitude by operating the L1 / L2 buttons 161 and 162 on the left side of the front surface of the housing of the controller 102. By pressing the L1 button 161, an instruction to raise the altitude can be given, and by pushing the L2 button 162, an instruction to lower the altitude can be given.
  • the display control unit 18 may notify the user that there are panoramic images taken at different altitudes at the same shooting location by displaying small arrows at the top and bottom of the screen. Good. If there is an upward arrow at the top of the screen, it indicates that there is an image with a higher shooting altitude than the current level, and if there is an downward arrow at the bottom of the screen, it indicates that there is an image with a lower shooting altitude than the current level.
  • the altitude setting unit 34 of the user interface unit 40 receives an instruction to change the altitude from the user, the altitude setting unit 34 acquires a panoramic image corresponding to the designated altitude from the panoramic image / additional data storage unit 24 at the same shooting position. In this way, the panorama image acquisition unit 10 is instructed.
  • the panorama image acquisition unit 10 acquires a panorama image having a higher shooting altitude than the currently displayed panorama image, and when the L2 button 162 is pressed, the panorama image acquisition unit 10 acquires the shooting altitude. Get a lower panoramic image.
  • the display control unit 18 may apply a special effect to the image, for example, in order to give the user a feeling as if the user is moving up and down by an elevator when switching and displaying panoramic images with different shooting altitudes. For example, when switching to a higher-level panoramic image, the user scrolls down the currently displayed panoramic image so that the higher-level panoramic image descends from the top, so that the user can move up and down. You can feel as if you went to.
  • the panorama image is also provided with information regarding the shooting date and time, and the panorama image / additional data storage unit 24 may hold panorama images with different shooting dates and times at the same shooting position.
  • the user can input an instruction to change the shooting date and time by operating the R1 / R2 buttons 151 and 152 on the right side of the front surface of the housing of the controller 102.
  • An instruction to shift to a later date and time can be given by pressing the R1 button 151, and an instruction to shift to an earlier date and time can be given by pressing the R2 button 152.
  • the display control unit 18 may notify the user that there are panoramic images taken at different dates and times for the currently displayed panoramic image, for example, by displaying a clock or calendar icon in the corner of the screen.
  • a clock icon is displayed when there are panoramic images with different time zones such as morning, noon, and night
  • a calendar icon is displayed when there are panoramic images with different seasons such as spring, summer, autumn, and winter.
  • the date / time setting unit 36 of the user interface unit 40 obtains a panorama image corresponding to the designated date / time from the panorama image / additional data storage unit 24 at the same shooting position.
  • the panorama image acquisition unit 10 is instructed to do so.
  • the panorama image acquisition unit 10 acquires a panorama image whose shooting date and time is later than that of the currently displayed panorama image, and when the R2 button 152 is pressed, the panorama image acquisition unit 10 acquires the shooting date and time. Get a faster panoramic image.
  • a panoramic image taken in the morning time zone is switched to a panoramic image in the night time zone, or a panoramic image taken in the autumn from the panoramic image taken in the spring It is possible to switch to a panoramic image with a different time zone or season.
  • the display control unit 18 may apply an effect such as fade-in / fade-out to the image.
  • the viewpoint position setting unit 30 sets the panoramic image shooting location as the viewpoint position, and notifies the three-dimensional image generation unit 16 of the viewpoint position.
  • the line-of-sight direction setting unit 32 gives the specified line-of-sight direction to the three-dimensional image generation unit 16.
  • FIG. 2 is a configuration diagram of the controller 102 which is an example of an input device connected to the panoramic image display apparatus 100 of FIG.
  • the panorama image display device 100 may be a game machine as an example.
  • the controller 102 has a plurality of buttons and keys for performing operation input to the panoramic image display apparatus 100.
  • the operation input is transmitted to the panoramic image display apparatus 100 by wireless or wired.
  • a direction key group 116, an analog stick 118, and an operation button group 120 are provided on the upper surface 122 of the housing of the controller 102.
  • the direction key group 116 includes “up”, “down”, “left”, and “right” direction instruction keys.
  • the operation button group 120 includes a circle button 124, a x button 126, a square button 128, and a ⁇ button 130.
  • the user grips the left grip 134b with the left hand, grips the right grip 134a with the right hand, and operates the direction key group 116, the analog stick 118, and the operation button group 120 on the housing upper surface 122.
  • a right operation unit 150 and a left operation unit 160 are provided on the front surface of the housing of the controller 102.
  • the right operation unit 150 includes an R1 button 151 and an R2 button 152
  • the left operation unit 160 includes an L1 button 161 and an L2 button 162.
  • the user can move the pointer displayed on the screen in the up, down, left, and right directions by operating the direction key group 116.
  • the direction key group 116 can be operated to move between the plurality of markers on the screen.
  • the user can select the marker by pressing the ⁇ button 124.
  • each button of the operation button group 120 has a function for specifying menu display
  • the X button 126 has a function for specifying cancellation of a selected item
  • the ⁇ button 124 has a function for specifying determination of a selected item
  • the ⁇ button. 128 is assigned a function for designating display / non-display of the table of contents.
  • the analog stick 118 includes means for outputting an analog value when it is tilted by the user.
  • the controller 102 sends an analog output signal corresponding to the direction and amount when the analog stick 118 is tilted to the panoramic image display device 100.
  • the user can move the viewpoint in a desired direction in the three-dimensional panoramic image displayed on the display by tilting the analog stick 118 in a desired direction.
  • the housing upper surface 122 is further provided with an LED button 136, a select button 140, and a start button 138.
  • the button 136 with LED is used as a button for displaying a menu screen on a display, for example.
  • the start button 138 is a button for the user to instruct the start of the panorama image display application, the start of playback of the panorama image, the pause, and the like.
  • the select button 140 is a button for the user to instruct selection of a menu display displayed on the display.
  • 3A to 3D are diagrams for explaining the mechanism and shooting direction of the omnidirectional shooting system 230 used for shooting a panoramic image.
  • the camera 200 is fixed to the operation panel 210, and the pan angle of the camera is changed by rotating the operation panel 210 around the Z axis, so that the X axis
  • the tilt angle of the camera can be changed by rotating around, and the roll angle of the camera can be changed by rotating around the Y axis.
  • the Z axis is a vertical axis (gravity direction axis).
  • FIG. 3A is a top view of the camera 200 installed on the operation panel 210.
  • the initial position (Y-axis direction) of the operation panel is set to a pan angle of 0 °, and ⁇ 180 ° to + 180 ° around the Z axis.
  • the pan angle can be changed within the range.
  • FIG. 3B is a front view of the camera 200 installed on the operation panel 210.
  • a state in which the operation panel 210 is placed horizontally is defined as a roll angle of 0 °, and ⁇ 180 ° to + 180 ° around the Y axis.
  • the roll angle can be changed within the range.
  • FIG. 3C is a side view of the camera 200 installed on the operation panel 210.
  • a state in which the operation panel 210 is placed horizontally is defined as a tilt angle of 0 °, and ⁇ 90 ° to + 90 ° around the X axis. The tilt angle can be changed within the range.
  • the omnidirectional imaging system 230 includes an azimuth sensor for measuring the azimuth and an acceleration sensor for measuring the tilt angle. Furthermore, a GPS sensor or the like is provided for measuring the shooting position and shooting time.
  • FIG. 4A illustrates the azimuth angle ⁇ of the camera 200
  • FIG. 4B illustrates the elevation angle ⁇ of the camera 200
  • FIG. 4A is a top view of the camera 200.
  • the camera 200 faces a direction 220 that is shifted from true north to east by an azimuth angle ⁇ at the initial shooting position, and this direction corresponds to a pan angle of 0 °.
  • the azimuth angle of the pan angle reference direction 220 is ⁇ .
  • the subject is panorama shot while changing the pan angle in a range of ⁇ 180 ° to + 180 ° with respect to the reference direction 220 of the azimuth angle ⁇ .
  • FIG. 4B is a side view of the camera 200, and the elevation angle ⁇ is defined as positive when the camera 200 is rotated about the X axis, ie, the upward direction with respect to the 0 ° tilt direction, that is, the Y axis direction. It is an angle to do.
  • the elevation angle ⁇ 0 °.
  • 5 (a) to 5 (c) are diagrams for explaining panoramic images taken when the initial position of the camera 200 is in the direction of the azimuth angle ⁇ .
  • FIG. 5C shows a panoramic image 300 shot in this way.
  • the center of the panorama image 300 has a pan angle of 0 °
  • the left half of the panorama image 300 is an image taken by changing the pan angle from 0 ° to ⁇ 180 °
  • the right half has a pan angle of 0 ° to 180 °. It is an image that was taken by changing up to.
  • the center position of pan angle 0 ° of panorama image 300 is shifted east from true north by azimuth angle ⁇ , the positions of north (N), south (S), east (E), and west (W) are dotted lines. It becomes the part shown by.
  • the pixel positions of north (N), south (S), east (E), and west (W) are In consideration of the deviation of the azimuth angle ⁇ , it can be obtained by calculation.
  • the coordinate values of the pixel positions of north (N), south (S), east (E), and west (W) may be already used as information regarding the shooting direction.
  • the camera 200 In order to obtain a panoramic image of the whole celestial sphere, it is necessary to shoot by changing the elevation angle of the camera 200. For example, assuming that the angle of view of the camera 200 is 60 °, in principle, the camera 200 is tilted ⁇ 60 ° up and down, and the same shooting is performed while changing the pan angle in the range of ⁇ 180 ° to 180 °. The panoramic image of the whole celestial sphere can be obtained.
  • 6 (a) to 6 (c) are diagrams for explaining panoramic images taken when the elevation angle ⁇ of the camera 200 is 60 °.
  • a panoramic image 302 is taken.
  • a method of photographing the vicinity of the boundary is often employed.
  • the omnidirectional panoramic image obtained in this way is provided with azimuth and elevation information, and the azimuth and elevation can be specified for any pixel of the panoramic image based on the information.
  • latitude / longitude information measured by GPS is given to the panoramic image as position information of the shooting location.
  • the additional information to be added to the panorama image may be recorded in accordance with an image file standard called Exif (Exchangeable Image File Format) as an example.
  • the place name of the shooting location can be recorded in a part of the file name, and the shooting date and time, the latitude / longitude of the shooting location, the altitude, the azimuth angle, etc. can be recorded as Exif format data.
  • the elevation angle is not defined in the Exif format, but is recorded as extended data.
  • FIGS. 7A and 7B are diagrams illustrating a method of creating a panoramic image by connecting a plurality of images.
  • FIG. 7B a plurality of cylindrical images shown in FIG. 7A are obtained in the pan (or tilt) direction by panning (or tilting) the camera 200 and photographing.
  • an omnidirectional panoramic image 360 is finally obtained.
  • FIG. 8 is a flowchart for explaining a panorama image generation procedure by the panorama image display apparatus 100. Each step of the panoramic image generation procedure of FIG. 8 will be described with reference to FIGS. 9A to 9E, FIG. 10, FIG. 11A, and FIG. 11B. In the flowchart shown in FIG. 8, the processing procedure of each part is displayed by a combination of S (acronym for Step) meaning a step and a number.
  • S acronym for Step
  • the panoramic image acquisition unit 10 acquires the captured panoramic image 400 and information about the shooting location and shooting direction added thereto from the panoramic image / additional data storage unit 24 (S10).
  • FIG. 9A is a diagram illustrating an example of a panoramic image 400 taken.
  • a building is shown in the center of the panoramic image, and the ground is shown below the panoramic image.
  • the sky 410 is reflected on the upper side of the panoramic image, and the sun 430 is reflected in the sky 410 in addition to the clouds.
  • the mask area extraction unit 11 extracts the sky area of the panoramic image 400 as an area to be masked (S12).
  • the mask area extracting unit 11 segments the panoramic image and divides it into meaningful areas by using a method called segmentation as an example. Segmentation is one of the methods often used in image recognition, and is to detect an area corresponding to an object in an image and divide the image. By segmentation, an image is divided into regions for each object such as sky, building, ground, and person.
  • a clustering method is generally used for segmentation. Since the pixels corresponding to the object captured in the image have similar characteristics in color, brightness, and the like, the image can be segmented into regions corresponding to the object by clustering the pixels. Supervised clustering that provides a correct pixel clustering answer as teacher data may be used. In the present embodiment, the user provides teacher data by designating some pixels belonging to the sky area in the panoramic image.
  • FIG. 9B is a diagram showing a panoramic image 402 divided into regions by segmentation. It can be seen from the segmentation that the panoramic image is segmented into an empty area, a building area, a ground area, and the like.
  • the sky region 410 of the panoramic image 400 is divided into five regions indicated mainly by reference numerals 411 to 415 by segmentation as shown in FIG. 9B. Since the sun 430 was reflected in the original panoramic image 400, it was detected as five areas that gradually change from blue to white in the order of reference numerals 411 to 415, and the sky area is detected as one area. Is not done. Also, in the area indicated by reference numeral 411, an area corresponding to a cloud is extracted as another segment, and the sky segmentation is not perfect.
  • the mask area extraction unit 11 may detect a sky area by performing a filtering process called a bilateral filter as another method instead of segmentation.
  • FIG. 9C is a diagram illustrating the panoramic image 404 that has been subjected to the filtering process.
  • a bidirectional filter that flattens pixel values and emphasizes edges to the panoramic image 400 of FIG. 9A
  • an empty region 410 of the original panoramic image 400 is displayed as an empty gradation or The cloud disappears and is detected as one area as indicated by reference numeral 421.
  • a region in which the sun 430 is reflected is extracted as another region having gradation as indicated by reference numerals 422 and 423.
  • the mask area extraction unit 11 determines that the pixel is empty when the absolute difference between the pixel color and the sky color of the panoramic image 404 after the filtering process is equal to or less than a predetermined threshold, thereby determining the panorama image 404. Extract the sky region from.
  • the sky color may be specified by the user or automatically set by the system according to the weather or season at the time of shooting.
  • the mask area extraction unit 11 detects the position of the horizon of the panoramic image using information on the elevation angle of the camera when the panoramic image is captured, and is close to the designated sky color below the horizon. Even if there is a pixel, it is not detected as an empty area. In other words, the sky area is detected only in the area where the elevation angle of the camera is equal to or greater than a certain threshold.
  • the mask area extraction unit 11 extracts the areas indicated by reference numerals 421, 422, and 423 including the areas 422 and 423 corresponding to the sun 430 as sky areas from the panoramic image 404 after the filtering process. .
  • FIG. 9D is a diagram showing a mask 440 for designating an empty area in the panoramic image 404.
  • the mask area extraction unit 11 sets a sky area extracted from the panoramic image 404 after the filtering process as a mask 440 and supplies the mask process unit 12 with the sky area.
  • the mask processing unit 12 performs mask processing on the panoramic image 400 using the mask 440 set by the mask region extraction unit 11, and cuts out an empty region (S14).
  • FIG. 9E is a diagram showing a panoramic image 408 in which the sky region is masked. This is an image in which the empty area 410 is cut out from the original panoramic image 400.
  • the alignment unit 20 aligns the shooting direction of the panoramic image mapped in the three-dimensional panoramic space with the direction of the celestial sphere image mapped in the same three-dimensional panoramic space (S16).
  • the object insertion unit 22 arranges an object to be inserted into the panoramic image outside or inside the three-dimensional panoramic space as necessary (S18).
  • FIG. 10 is a diagram for explaining the relationship between the three-dimensional panoramic space to which the panoramic image 408 after the mask processing is mapped and the celestial sphere.
  • a panoramic image 510 in which the sky region 512 is made transparent by mask processing is mapped to a panoramic sphere 500 that is an example of a three-dimensional panoramic space.
  • the center of the panoramic sphere 500 is a panoramic image shooting place, that is, a viewpoint position.
  • a celestial sphere 540 is provided outside the panoramic sphere 500 around the viewpoint position.
  • a celestial sphere image including clouds 532 and 534 and the sun is set on the surface of the celestial sphere 540.
  • the celestial sphere image can be selected from the celestial sphere image data storage unit 26, and a starry celestial sphere image on which a star or the moon is drawn may be used.
  • the panorama sphere to which the panorama image 510 is mapped is rotated and adjusted so that the panorama image 510 mapped to the panorama sphere 500 and the celestial sphere image on the celestial sphere 540 coincide with the orientation 550 of the north star. If you do not care about the direction, you do not need to perform the alignment process, but if you do not align, the sun, moon, and stars drawn on the celestial sphere appear in a different direction from the panoramic image shooting direction. Become natural.
  • the airship 520 and the airplane 530 are examples of objects to be inserted into the panoramic image.
  • the airplane 530 is arranged between the celestial sphere 540 and the panoramic sphere 500, in other words, outside the panoramic sphere 500, and the airship 520 is arranged inside the panoramic sphere 500.
  • the object is disposed outside the panoramic sphere 500.
  • the object is disposed inside the panoramic sphere 500.
  • the airship 520 and the airplane 530 move in the celestial sphere 540 according to their motion models.
  • the mapping processing unit 14 maps the panoramic image 510 after the mask process and the celestial sphere image drawn on the celestial sphere 540 to the panoramic sphere 500.
  • the mapping processing unit 14 also maps objects such as the airship 520 and the airplane 530 to the panoramic sphere 500 (S20).
  • the sky region 512 of the panoramic image 510 is cut out transparently, so that a celestial sphere image drawn on the surface of the celestial sphere 540 can be seen in the sky region 512.
  • the airplane 530 outside the panoramic sphere 500 appears far away through the sky region 512, but is not visible when blocked by a building shown in the panoramic image.
  • the airship 520 inside the panoramic sphere 500 appears close, and in some cases, it may appear in front of the building.
  • the mapping processing unit 14 maps and overlays images on the panorama sphere 500 in order from the viewpoint in order to reproduce the image viewed from the center of the panorama sphere 500.
  • the celestial sphere image drawn on the celestial sphere 540 is mapped onto the panoramic sphere 500, and the airplane 530 disposed outside the panoramic sphere 500 is mapped onto the panoramic sphere 500.
  • the panorama image 510 after the mask processing is mapped to the panorama sphere 500, and finally, the airship 520 arranged inside the panorama sphere 500 is mapped to the panorama sphere 500.
  • the celestial sphere image is pasted on the transparent sky region 512 of the panoramic image 510 so that the airplane 530 outside the panoramic sphere 500 is pasted in the distant view, and the airship 520 inside the panoramic sphere 500 is pasted in the near view. It is done.
  • FIG. 11A is a diagram showing an example in which a celestial sphere image is pasted on the sky area of the panoramic image 408 after the mask processing in FIG. 9E.
  • a celestial sphere image including clouds 532 and 534 is pasted, and an airplane 530 is inserted in the distant view and an airship 520 is inserted between the buildings in the near view.
  • FIG. 11B is a diagram showing an example in which a starry sky is pasted on the sky area of the panoramic image 408 after the mask processing in FIG. 9E as another example of the celestial sphere image.
  • a celestial sphere image including the moon and stars is pasted.
  • the night sky with reality can be shown in the sky area of the panorama image by adjusting the direction in which the moon is drawn or the star is drawn on the celestial sphere 540 according to the month and day displaying the panorama image.
  • the celestial sphere image drawn on the celestial sphere 540 is changed independently of the panoramic image and synthesized with the panoramic image. be able to.
  • the user may control the operation of the constellation drawn on the celestial sphere by operating the R1 / R2 buttons 151 and 152 of the controller 102, for example.
  • the R1 button 151 the date and time can be postponed
  • the R2 button 152 the date and time can be reversed to display constellations of different seasons in the sky region.
  • the three-dimensional image generation unit 16 specifies the gaze direction in which the panoramic image 510 after mask processing, the image of the celestial sphere 540, and the three-dimensional panoramic sphere to which objects such as the airship 520 and the airplane 530 are mapped
  • the three-dimensional panoramic image is generated when viewed in the above, and the display control unit 18 displays the generated three-dimensional panoramic image (S22).
  • the sky area of the panoramic image can be cut out and replaced with another celestial sphere image.
  • another celestial sphere image For example, even in the case of a panoramic image taken in a rainy pattern, you can cut out the sky area and replace it with a clear blue sky, or change the sky from the rising sun to the sunset, Diversity can be given to panoramic images.
  • entertainment can be given to the captured panoramic image by inserting it as a virtual object such as an airship or an artificial satellite.
  • This embodiment can be used in a so-called AR (Augmented Reality) technical field in which virtual world information and real world information are superimposed. That is, it is possible to create a virtual reality world in which the real environment is expanded with virtual information by naturally superimposing panoramic images such as a starry sky created based on a panoramic image that is the real world.
  • AR Augmented Reality
  • the masked panorama image and the celestial sphere image are mapped to a three-dimensional panorama space such as a spherical surface, and the three-dimensional panorama image when the three-dimensional panorama space is viewed from the specified viewing direction is displayed on the screen.
  • the image obtained by superimposing the virtual image on the mask area of the panoramic image may be simply displayed two-dimensionally. In this case, the configuration of the mapping processing unit 14 and the three-dimensional image generation unit 16 is unnecessary, and the panoramic image display device 100 can be simplified.
  • an augmented reality image in which the mask area of the panoramic image is replaced with a virtual image in real time is displayed on a display device such as a transmissive display that can be worn in front of the user's eyes. May be.
  • the sky area of the panoramic image taken outdoors is extracted as an area to be masked.
  • the dome shape is used.
  • the roof area may be extracted as an area to be masked.
  • an area photographed at a predetermined elevation angle of the camera or an area above a predetermined altitude may be extracted as an area to be masked.
  • a region having a predetermined area with little color change may be extracted as a region to be masked.
  • a window glass area of a building may be masked, the window area may be cut out, and another image may be pasted.
  • a building where there is no one you can make it look like there is a virtual person, or change the scenery outside the window.
  • an area such as the sea, a pond, and a desert may be extracted as an area to be masked. You can replace Tokyo Bay with South Pacific images and deserts with green spaces.
  • the panoramic image is not limited to the one taken with the omnidirectional photographing system as shown in FIG. 3, but is composed of an image photographed using a fisheye lens or a plurality of images photographed with a normal digital camera while changing the photographing direction. It may be an image.
  • the images are mapped and drawn on the three-dimensional panoramic sphere in order from the viewpoint. That is, after mapping the celestial sphere image to the three-dimensional panoramic sphere, the panoramic image obtained by clipping the mask area in a transparent manner is superimposed on the three-dimensional panoramic sphere and mapped.
  • an area corresponding to the mask may be cut out from the celestial sphere image, and the celestial sphere image corresponding to the mask may be pasted on the mask area of the panoramic image mapped to the three-dimensional panoramic sphere.
  • the boundary portion of the mask area causes discontinuity of the image due to the synthesis of the panoramic image and the celestial sphere image, and gives an unnatural impression.
  • the boundary may be blurred by applying a Gaussian filter to the image in the mask area, or by alpha blending the panoramic image and the celestial sphere image near the boundary of the mask area.
  • a configuration related to mask processing of a panoramic image and processing of superimposing a celestial sphere image or a virtual image on a mask area of the panoramic image is mounted on a server, and mainly a celestial sphere image or a virtual image
  • the panorama image display device 100 can also be realized as a server-client system via a network by mounting a configuration related to processing for viewing panoramic images on which is superimposed on the client.
  • the server extracts the mask area of the panoramic image, performs the mask process, performs a process of superimposing the celestial sphere image or the virtual image on the mask area, and browses the panoramic image on which the celestial sphere image or the virtual image is superimposed on the client.
  • An interface may be provided.
  • An interface may be provided in which the user designates a specific area of the panoramic image as an area to be masked on the display screen of the client.
  • the client may receive panorama image and celestial sphere image data from the server, and on the client side, appropriately adjust the alignment of the celestial sphere image and the panoramic image, and perform processing for superimposing the celestial sphere image on the panoramic image. . Accordingly, the user can freely rotate the celestial sphere image and superimpose it on the panoramic image.
  • panoramic image as used in this specification is not limited to a “panoramic” image in a narrow sense, that is, a horizontally long or vertically long image or a 360-degree panoramic image. It is an image to be. Further, in the embodiment, an example in which a celestial sphere image is superimposed with a panoramic image as a target image has been described. Can be applied.
  • the target image may be an image in which a plurality of images having different resolutions are hierarchized. Such a hierarchized image may be configured such that when a partial area of the image is enlarged, the enlarged area is replaced with an image with higher resolution.
  • the “celestial sphere image” is not necessarily limited to an image that assumes a “spherical surface”, but is an image that is simply intended for the sky or the like.
  • the present invention relates to an apparatus and a method for displaying an image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

　マスク領域抽出部１１は、パノラマ画像内のマスクすべき領域を抽出する。マスク処理部１２は、パノラマ画像内のマスクすべき領域をマスクしたパノラマ画像を生成する。位置合わせ部２０は、前記天球画像の方向を前記パノラマ画像の撮影方向に合わせる。マッピング処理部１４は、マスク処理後のパノラマ画像および天球画像をテクスチャとして３次元パノラマ空間にマッピングする。３次元画像生成部１６は、パノラマ画像の撮影場所を視点位置として、３次元パノラマ空間を指定された視線方向に見たときの３次元パノラマ画像を生成する。

Description

画像表示装置および画像表示方法
　この発明は、画像を表示する装置および方法に関する。
　デジタルスチルカメラやデジタルビデオカメラが普及しており、撮影した静止画や動画をコンピュータに保存して閲覧、加工したり、ゲーム機やテレビジョン（ＴＶ）システムの画面に表示する機会が多くなっている。また、撮影した動画をインターネットの投稿サイトにアップロードし、他のユーザと動画を共有することも盛んである。
　デジタルカメラの中には、パノラマ画像の撮影が可能なものもあり、手軽に視野角の広いパノラマ画像を撮影することができるようになってきた。また、撮影方向を変えながら、デジタルカメラの撮影した複数の画像を貼り合わせることでパノラマ画像を生成するソフトウエアツールもよく利用されている。
　ユーザが撮影したこのようなパノラマ画像の投稿を受け付け、インターネットで公開する３６０ｃｉｔｉｅｓというサイト（http;//www.360cities.net）もあり、世界中のユーザが投稿したパノラマ画像を閲覧することができる。
　パノラマ画像は撮影場所から全方位を見た画像を撮影するものであるから、野外でパノラマ画像を撮影すると、パノラマ画像の天井部分には、撮影者の頭上に広々と広がる空が写し出させているだけであることが多い。パノラマ画像の大部分を占める空の領域に何らかの視覚効果を与える画像処理を施せば、パノラマ画像に新鮮味を与えたり、多様性をもたらすことが期待できる。また、撮影されたパノラマ画像に別のオブジェクトを挿入して描画すれば、仮想的に実在していない物体が写り込んだパノラマ画像を生成することができ、意外性がもたらされたり、楽しさが加わることも期待できる。
　本発明はこうした課題に鑑みてなされたものであり、その目的は、画像を加工して表示することのできる技術を提供することにある。
　上記課題を解決するために、本発明のある態様の画像表示装置は、撮影方向に関する情報が関連付けられた対象画像および方向に関する情報が関連付けられた天球画像を保持する記憶部と、前記対象画像内のマスクすべき領域を抽出するマスク領域抽出部と、前記対象画像内の前記マスクすべき領域をマスクした対象画像を生成するマスク処理部と、前記天球画像の方向を前記対象画像の撮影方向に合わせる位置合わせ部と、前記位置合わせ部による位置合わせの後、マスク処理された対象画像および前記天球画像をテクスチャとして３次元対象空間にマッピングするマッピング処理部と、前記対象画像の撮影場所を視点位置として、前記３次元対象空間を指定された視線方向に見たときの３次元対象画像を生成する３次元画像生成部と、前記３次元対象画像を画面に表示させる表示制御部とを含む。
　本発明の別の態様も、画像表示装置である。この装置は、撮影方向に関する情報が関連付けられた対象画像および方向に関する情報が関連付けられた仮想画像を保持する記憶部と、前記対象画像内のマスクすべき領域を抽出するマスク領域抽出部と、前記対象画像内の前記マスクすべき領域をマスクした対象画像を生成するマスク処理部と、前記仮想画像の方向を前記対象画像の撮影方向に合わせる位置合わせ部と、前記位置合わせ部による位置合わせの後、マスク処理された対象画像に前記仮想画像を重ね合わせた拡張現実画像を画面に表示させる表示制御部とを含む。
　本発明の別の態様は、画像表示方法である。この方法は、撮影方向に関する情報が関連付けられた対象画像および方向に関する情報が関連付けられた天球画像が保持された記憶デバイスから、プロセッサが表示対象の対象画像と天球画像を読み出すステップと、プロセッサが前記対象画像に対してマスクすべき領域を指定するステップと、プロセッサが前記天球画像の方向を前記対象画像の撮影方向に合わせるステップと、位置合わせの後、プロセッサが前記対象画像のマスクすべき領域に前記天球画像を重ね合わせて描画するステップとを含む。
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、画像を効果的に加工して表示することができる。
実施の形態に係るパノラマ画像表示装置の構成図である。 図１のパノラマ画像表示装置に接続される入力デバイスの一例であるコントローラの構成図である。 図３（ａ）～（ｄ）は、パノラマ画像を撮影するために用いられる全方位撮影システムの機構と撮影方向を説明する図である。 図４（ａ）はカメラの方位角θ、図４（ｂ）はカメラの仰角φを説明する図である。 図５（ａ）～（ｃ）は、カメラの初期位置が方位角θの方向にある場合に撮影されるパノラマ画像を説明する図である。 図６（ａ）～（ｃ）は、カメラの仰角φ＝６０°の場合に撮影されるパノラマ画像を説明する図である。 複数の画像をつなぎ合わせてパノラマ画像を作成する方法を説明する図である。 複数の画像をつなぎ合わせてパノラマ画像を作成する方法を説明する図である。 図１のパノラマ画像表示装置によるパノラマ画像生成手順を説明するフローチャートである。 撮影されたパノラマ画像の例を示す図である。 セグメンテーションにより、領域分割されたパノラマ画像を示す図である。 フィルタリング処理されたパノラマ画像を示す図である。 パノラマ画像内の空領域を指定するマスクを示す図である。 空領域がマスク処理されたパノラマ画像を示す図である。 パノラマ画像がマッピングされる３次元パノラマ空間と天球の関係を説明する図である。 図９Ｅのマスク処理後のパノラマ画像の空領域に天球画像が貼り付けられた例を示す図である。 図９Ｅのマスク処理後のパノラマ画像の空領域に星空が貼り付けられ例を示す図である。
　本発明の実施の形態の概要を説明する。パノラマ画像内の空が写された領域を抽出し、パノラマ画像の空領域を透明するマスク処理を施す。パノラマ画像がマッピングされるパノラマ球などの３次元パノラマ空間の外側に天球を想定し、空の画像などを天球画像として用意しておき、パノラマ画像がマッピングされる３次元パノラマ空間にマッピングする。これにより、パノラマ画像の透明に切り抜かれた空領域に天球画像が貼り付けられた３次元パノラマ画像が生成される。天球内にパノラマ画像には撮影されていない別のオブジェクトを配置し、オブジェクトも合わせて３次元パノラマ空間にマッピングすれば、生成される３次元パノラマ画像にオブジェクトを挿入することもできる。なお、天球を複数設けて複数の天球画像を３次元パノラマ空間にマッピングしてもよい。たとえば、雲の天球と空の天球を設け、雲の天球には雲の画像を、空の天球には太陽、月、星などの天体の画像を用意してもよい。
　図１は、実施の形態に係るパノラマ画像表示装置１００の構成図である。図１に示すパノラマ画像表示装置１００の機能構成は、一例として、パーソナルコンピュータ、ゲーム機、携帯機器、携帯端末などにハードウェア、ソフトウェアまたはその組み合わせによって実装することができる。これらの機能構成の一部がサーバに実装され、一部がクライアントに実装され、パノラマ画像表示装置１００は、ネットワークを介してサーバ－クライアントシステムとして実現されてもよい。
　パノラマ画像・付加データ記憶部２４は、撮影場所に関する情報と撮影方位に関する情報が関連付けられたパノラマ画像を保持する。撮影場所や撮影方位に関する情報などの付加データはパノラマ画像のデータファイルに直接付加されてもよく、付加データはパノラマ画像とは別のファイルとして管理されてもよい。
　撮影場所に関する情報は、たとえば、ＧＰＳ（Global Positioning System）により与えられる緯度・経度情報を含む。撮影方位に関する情報は、たとえば、方位センサなどから得られるパノラマ画像の中心点の方位角の情報を含み、それ以外に撮影時のカメラの仰角やロール角の情報を含んでもよい。
　撮影方位に関する情報としてパノラマ画像の中心点の方位角が与えられれば、カメラを左右方向にパンした角度にもとづいて、パノラマ画像の任意の点の方位を計算上、求めることができる。パノラマ画像の中心点の方位角とパン角にもとづいて計算された、パノラマ画像の真北、真南、真東、真西の方位にあるピクセルの座標値を撮影方位に関する情報としてパノラマ画像にもたせてもよい。
　パノラマ画像取得部１０は、表示対象のパノラマ画像をパノラマ画像・付加データ記憶部２４から取得する。表示対象のパノラマ画像は、たとえば、ユーザが地図などで撮影場所を指定することで特定される。
　マスク領域抽出部１１は、表示対象のパノラマ画像内のマスクすべき領域を抽出する。マスクすべき領域は、たとえば、パノラマ画像に写された空の領域である。空の領域は、パノラマ画像の色情報をもとに判定することができる。パノラマ画像では撮影者の頭上は空が広がっていることが多いため、空領域は、カメラの仰角の大きいところで連続した広がりのある領域として検出されることが多い。
　パノラマ画像には撮影時のカメラの仰角の情報が付されているので、マスク領域抽出部１１は、カメラの仰角の情報をもとにパノラマ画像の地平線の位置を判定し、パノラマ画像の地平線よりも上側の領域内で空の領域を抽出してもよい。あるいは、カメラの仰角が所定の閾値よりも大きい領域は、確実に地平線よりも上側の領域であるから、その領域内で空の領域を抽出してもよい。これにより、地平線よりも下側の領域で空に似た色の領域があっても、空領域と混同して抽出するエラーを回避することができる。
　マスク処理部１２は、マスク領域抽出部１１により抽出されたマスクすべき領域をマスクしたパノラマ画像を生成する。マスク領域抽出部１１が空領域をマスクすべき領域として抽出した場合は、抽出された空領域をマスクとしてパノラマ画像にマスク処理を施して、空領域をマスクしたパノラマ画像を生成する。パノラマ画像のマスク処理は、たとえば、元のパノラマ画像からマスクで指定される領域を透明にするか、その領域をクリッピングした画像を生成することによってなされる。マスク処理には、マスク領域の画素値をクリアする２値マスクに限らず、マスク領域の画素値をアルファブレンドする多値マスクを利用してもよい。マスク処理部１２は、マスク処理後のパノラマ画像をパノラマ画像・付加データ記憶部２４に保存する。
　天球画像データ記憶部２６には、マスク処理後のパノラマ画像に重ね合わせる天球の画像データが保持されている。天球は、パノラマ画像がマッピングされる３次元パノラマ空間よりも外側にあり、天球の表面に設定された天空の画像が天球画像である。さまざまな地点から見た天球画像が視点の緯度経度に対応づけて天球画像データ記憶部２６に記憶されている。天球画像には、たとえば、太陽、月、星などの天体や雲などが含まれ、天体の運行モデルや気象モデルにもとづいて天体や雲が移動してもよい。また、天球画像は、実写にもとづいて生成されたものであってもよく、コンピュータグラフィックスを用いて生成されたものであってもよい。
　位置合わせ部２０は、天球画像の方向をマスク処理後のパノラマ画像の撮影方向に合わせる。具体的には、位置合わせ部２０は、パノラマ画像の撮影場所の緯度経度を中心とする天球の中心を、パノラマ画像がマッピングされる３次元パノラマ空間の中心に合わせ、たとえば北極星の方角を基準として、パノラマ画像のパン角およびチルト角で決まる撮影方向に合うように天球画像の回転角を計算して天球画像を回転させる。
　オブジェクトデータ記憶部２８には、パノラマ画像に挿入すべきオブジェクトの３次元データが保持されている。所定の緯度、経度、高度に静止している静的オブジェクトの他、動きモデルにもとづいて３次元空間を移動する動的オブジェクトがある。
　オブジェクト挿入部２２は、パノラマ画像に挿入すべきオブジェクトを天球内の指定された空間位置に配置する。オブジェクトは、天球とパノラマ画像がマッピングされる３次元パノラマ空間の間、すなわち３次元パノラマ空間の外側に配置してもよく、３次元パノラマ空間の内部に配置してもよい。オブジェクト挿入部２２によるオブジェクトの挿入はオプションである。
　位置合わせ部２０によるパノラマ画像と天球画像の位置合わせの後、マッピング処理部１４は、マスク処理後のパノラマ画像および天球画像をテクスチャとして３次元パノラマ空間にマッピングする処理を行う。
　全天球パノラマ画像の場合は、３次元パノラマ空間として球を想定し、球面マッピングにより、パノラマ画像を球面にテクスチャマッピングする。あるいは、３次元パノラマ空間として立方体を想定し、キューブマッピングにより、パノラマ画像を立方体表面にテクスチャマッピングしてもよい。また、パノラマ画像がチルト方向の成分をもたず、パン方向にのみ広がる画像である場合、３次元パノラマ空間として円柱を想定し、パノラマ画像を円柱面にテクスチャマッピングしてもよい。パノラマ画像がパン方向の成分をもたず、チルト方向にのみ広がる画像である場合も同様である。
　マッピング処理部１４は、天球画像を３次元パノラマ空間にマッピングした後に、マスク処理後のパノラマ画像を３次元パノラマ空間に重ねてマッピングする。これにより、パノラマ画像内のマスク領域に天球画像の一部を貼り付けた画像が３次元パノラマ空間上に生成される。
　オブジェクト挿入部２２によりオブジェクトが３次元パノラマ空間の内側または外側に配置されている場合は、マッピング処理部１４は、配置されたオブジェクトも３次元パノラマ空間にマッピングする。
　マッピング処理部１４は、オブジェクトが３次元パノラマ空間の外側に配置されている場合は、オブジェクトを３次元パノラマ空間にマッピングした後に、マスク処理後のパノラマ画像を３次元パノラマ空間に重ねてマッピングする。これにより、オブジェクトがパノラマ画像の空領域に貼り付けられ、オブジェクトがパノラマ画像に写された建物などと重なる場合は、建物で隠れるように描画される。
　マッピング処理部１４は、オブジェクトが３次元パノラマ空間の内側に配置されている場合は、マスク処理後のパノラマ画像を３次元パノラマ空間にマッピングした後に、オブジェクトを３次元パノラマ空間に重ねてマッピングする。これにより、オブジェクトがパノラマ画像に重ね合わされ、オブジェクトがパノラマ画像に写された建物などと重なる場合は、建物の手前にオブジェクトが描画される。
　３次元画像生成部１６は、マッピング処理部１４によりパノラマ画像、天球画像およびオブジェクトがマッピングされた３次元パノラマ空間内を指定された視線方向に見たときの３次元パノラマ画像を生成する。３次元パノラマ空間が球の場合、視点は球の中心に置かれ、立方体の場合、視点は立方体内部の中心に置かれ、円柱の場合、視点は円柱の中心軸上に置かれる。視点は表示対象のパノラマ画像を撮影した場所であり、視線方向は、その撮影場所から周囲を見る方向であり、方位角と仰角で特定される。３次元画像生成部１６は、方位角と仰角で特定される視線方向で３次元パノラマ空間を見たときの３次元画像を生成する。
　表示制御部１８は、生成された３次元パノラマ画像をディスプレイ装置の画面に表示させる。
　ユーザインタフェース部４０は、ディスプレイの画面に表示されるグラフィックスに対して、ユーザが入力デバイスを用いて操作することを可能にするグラフィカルユーザインタフェースである。ユーザインタフェース部４０は、画面に表示された地図や３次元パノラマ画像に対するゲーム機のコントローラ、マウス、キーボードなどの入力デバイスからユーザの指示を受け付ける。図２は、入力デバイスの一例であるコントローラ１０２を示し、その構成の詳細については後述する。
　ユーザインタフェース部４０は、指定されたパノラマ画像をパノラマ画像・付加データ記憶部２４から取得するように、パノラマ画像取得部１０に指示する。
　ユーザは、たとえば、コントローラ１０２のアナログスティック１１８または方向キー群１１６などを操作することにより、３次元パノラマ空間を見る視線方向を変更する指示を入力することができる。ユーザインタフェース部４０の視線方向設定部３２は、ユーザが指示する視線方向を３次元画像生成部１６に与える。３次元画像生成部１６は、３次元パノラマ空間を指定された視線方向から見た場合の画像を生成する。
　画角設定部３１は、ユーザが表示されたパノラマ画像に対してズーム操作をしたときの画角を設定し、パノラマ画像取得部１０と３次元画像生成部１６に設定された画角の情報を与える。画角の異なるパノラマ画像がパノラマ画像・付加データ記憶部２４に記憶されている場合、パノラマ画像取得部１０は、設定された画角にもっとも近い画角のパノラマ画像を読み出し、表示対象のパノラマ画像を切り替える。３次元画像生成部１６は、設定された画角に応じて３次元パノラマ画像を拡大・縮小することで、ズームイン・ズームアウトの視覚効果を実現する。
　パノラマ画像には、撮影高度に関する情報も付与されており、パノラマ画像・付加データ記憶部２４は、同一の撮影位置に対して異なる高度で撮影されたパノラマ画像を保持してもよい。その場合、ユーザは、たとえば、コントローラ１０２の筐体前面の左側にあるＬ１／Ｌ２ボタン１６１、１６２を操作することにより、高度を変更する指示を入力することができる。Ｌ１ボタン１６１を押すことにより、高度を上げる指示を、Ｌ２ボタン１６２を押すことにより、高度を下げる指示を与えることができる。
　表示制御部１８は、現在表示されているパノラマ画像について、同一撮影場所で異なる高度で撮影したパノラマ画像があることを、たとえば、画面の上部、下部に小さな矢印を示すことでユーザに知らせてもよい。画面の上部に上向きの矢印があれば、現在よりも撮影高度の高い画像があることを示し、画面の下部に下向きの矢印があれば、現在よりも撮影高度の低い画像があることを示す。
　ユーザインタフェース部４０の高度設定部３４は、ユーザから高度を変更する指示を受け取ると、同一撮影位置であるが、指定された高度に対応するパノラマ画像をパノラマ画像・付加データ記憶部２４から取得するように、パノラマ画像取得部１０に指示する。パノラマ画像取得部１０は、Ｌ１ボタン１６１が押された場合は、現在表示されているパノラマ画像よりも撮影高度のより高いパノラマ画像を取得し、Ｌ２ボタン１６２が押された場合は、撮影高度のより低いパノラマ画像を取得する。
　表示制御部１８は、撮影高度の異なるパノラマ画像に切り替えて表示する際、たとえば、ユーザがエレベータで上下しているかのような感覚を与えるために、特別なエフェクトを画像に施してもよい。たとえば、より高度の高いパノラマ画像に切り替える場合、現在表示されているパノラマ画像を下にスクロールさせて、より高度の高いパノラマ画像が上から降りてくるように表示させることで、ユーザはあたかも階上に行ったかのような感覚をもつことができる。
　パノラマ画像には、撮影日時に関する情報も付与されており、パノラマ画像・付加データ記憶部２４は、同一の撮影位置に対して撮影日時の異なるパノラマ画像を保持してもよい。その場合、ユーザは、たとえば、コントローラ１０２の筐体前面の右側にあるＲ１／Ｒ２ボタン１５１、１５２を操作することにより、撮影日時を変更する指示を入力することができる。Ｒ１ボタン１５１を押すことにより、遅い日時にシフトする指示を、Ｒ２ボタン１５２を押すことにより、早い日時にシフトする指示を与えることができる。
　表示制御部１８は、現在表示されているパノラマ画像について、異なる日時に撮影したパノラマ画像があることを、たとえば、時計やカレンダーのアイコンを画面の隅に示すことでユーザに知らせてもよい。朝、昼、夜など時間帯の異なるパノラマ画像が存在するときは時計のアイコンを、春、夏、秋、冬など季節の異なるパノラマ画像が存在するときはカレンダーのアイコンを表示する。
　ユーザインタフェース部４０の日時設定部３６は、ユーザから日時を変更する指示を受け取った場合、同一撮影位置であるが、指定された日時に対応するパノラマ画像をパノラマ画像・付加データ記憶部２４から取得するように、パノラマ画像取得部１０に指示する。パノラマ画像取得部１０は、Ｒ１ボタン１５１が押された場合は、現在表示されているパノラマ画像よりも撮影日時のより遅いパノラマ画像を取得し、Ｒ２ボタン１５２が押された場合は、撮影日時のより早いパノラマ画像を取得する。
　これにより、たとえば、同一撮影場所であっても、朝の時間帯に撮影されたパノラマ画像から夜の時間帯にパノラマ画像に切り替えたり、春に撮影されたパノラマ画像から秋に撮影されたパノラマ画像に切り替えるなど、時間帯や季節などが異なるパノラマ画像に切り替えることができる。表示制御部１８は、パノラマ画像を切り替えるとき、フェイドイン・フェイドアウトなどのエフェクトを画像に施してもよい。
　視点位置設定部３０は、パノラマ画像の撮影場所を視点位置に設定し、視点位置を３次元画像生成部１６に通知する。視線方向設定部３２は、指定された視線方向を３次元画像生成部１６に与える。
　図２は、図１のパノラマ画像表示装置１００に接続される入力デバイスの一例であるコントローラ１０２の構成図である。パノラマ画像表示装置１００は、一例としてゲーム機であってもよい。
　コントローラ１０２は、パノラマ画像表示装置１００に対する操作入力を行うための複数のボタンやキーを有する。ユーザがコントローラ１０２のボタンやキーを操作すると、その操作入力が無線または有線によりパノラマ画像表示装置１００に送信される。
　コントローラ１０２の筐体上面１２２には、方向キー群１１６、アナログスティック１１８、操作ボタン群１２０が設けられている。方向キー群１１６は、「上」、「下」、「左」、「右」方向指示キーを含む。操作ボタン群１２０は、○ボタン１２４、×ボタン１２６、□ボタン１２８、および△ボタン１３０を含む。
　ユーザは左手で左側把持部１３４ｂを把持し、右手で右側把持部１３４ａを把持して、筐体上面１２２上の方向キー群１１６、アナログスティック１１８、および操作ボタン群１２０を操作する。
　さらに、コントローラ１０２の筐体前面には、右側操作部１５０と左側操作部１６０が設けられている。右側操作部１５０はＲ１ボタン１５１とＲ２ボタン１５２を含み、左側操作部１６０はＬ１ボタン１６１とＬ２ボタン１６２を含む。
　ユーザは、方向キー群１１６を操作することにより、画面上の表示されたポインタを上下左右の各方向に移動させることができる。たとえば、パノラマ画像内に表示された複数のマーカーのいずれかを選択する際、方向キー群１１６を操作して画面上で複数のマーカー間を移動することができる。ユーザは所望のマーカー上にポインタが来たときに、○ボタン１２４を押すことでそのマーカーを選択することができる。
　操作ボタン群１２０の各ボタンには、パノラマ画像表示アプリケーションプログラムによりそれぞれ異なる機能が割り付けられてもよい。たとえば、△ボタン１３０にはメニューの表示を指定する機能、×ボタン１２６には、選択した項目の取り消し等を指定する機能、○ボタン１２４には選択した項目の決定等を指定する機能、□ボタン１２８には、目次等の表示／非表示を指定する機能がそれぞれ割り付けられる。
　アナログスティック１１８は、ユーザによって傾倒操作されたとき、アナログ値を出力する手段を備える。コントローラ１０２は、アナログスティック１１８を傾倒したときの方向と量に応じたアナログ出力信号をパノラマ画像表示装置１００に送る。たとえば、ユーザは、アナログスティック１１８を所望の方向に傾倒することで、ディスプレイに表示された３次元パノラマ画像内で視点を所望の方向に移動させることができる。
　筐体上面１２２には、さらにＬＥＤ付きボタン１３６、セレクトボタン１４０、スタートボタン１３８が設けられる。ＬＥＤ付きボタン１３６は、たとえば、ディスプレイにメニュー画面を表示させるためのボタンとして利用される。スタートボタン１３８は、パノラマ画像表示アプリケーションの起動、パノラマ画像の再生開始、一時停止などをユーザが指示するためのボタンである。セレクトボタン１４０は、ディスプレイに表示されたメニュー表示の選択等をユーザが指示するためのボタンである。
　図３（ａ）～（ｄ）は、パノラマ画像を撮影するために用いられる全方位撮影システム２３０の機構と撮影方向を説明する図である。
　図３（ｄ）に示すように、全方位撮影システム２３０において、カメラ２００は操作盤２１０に固定されており、操作盤２１０をＺ軸周りに回転させることでカメラのパン角を変え、Ｘ軸周りに回転させることでカメラのチルト角を変え、Ｙ軸周りに回転させることでカメラのロール角を変えることができる。ここでＺ軸は鉛直軸（重力方向軸）である。
　図３（ａ）は、操作盤２１０に設置されたカメラ２００の上面図であり、操作盤の初期位置（Ｙ軸方向）をパン角０°とし、Ｚ軸の周りに－１８０°～＋１８０°の範囲でパン角を変えることができる。
　図３（ｂ）は、操作盤２１０に設置されたカメラ２００の正面図であり、操作盤２１０が水平に置かれた状態をロール角０°とし、Ｙ軸の周りに－１８０°～＋１８０°の範囲でロール角を変えることができる。
　図３（ｃ）は、操作盤２１０に設置されたカメラ２００の側面図であり、操作盤２１０が水平に置かれた状態をチルト角０°とし、Ｘ軸の周りに－９０°～＋９０°の範囲でチルト角を変えることができる。
　図３（ｄ）の全方位撮影システム２３０により撮影されるパノラマ画像に撮影方位に関する情報を付与するためには、カメラ２００が撮影時にどの方位に向いていたかを記録しておく必要がある。そのために、全方位撮影システム２３０は、方位を測定するための方位センサや傾斜角を測定するための加速度センサなどを備える。さらに、撮影位置や撮影時間を測定するためにＧＰＳセンサなども備える。
　図４（ａ）はカメラ２００の方位角θ、図４（ｂ）はカメラ２００の仰角φを説明する図である。図４（ａ）はカメラ２００の上面図であり、カメラ２００は撮影の初期位置において、真北から東へ方位角θだけずれた方向２２０を向いており、この方向がパン角０°に相当する。すなわちパン角の基準方向２２０の方位角はθである。パノラマ画像を撮影するとき、この方位角θの基準方向２２０に対して－１８０°～＋１８０°の範囲でパン角を変えながら、被写体をパノラマ撮影する。
　図４（ｂ）はカメラ２００の側面図であり、仰角φは、Ｘ軸周りにカメラ２００を回転させた場合に、チルト０°の方向、すなわちＹ軸方向に対して上方向を正と定義する角度である。通常、カメラ２００を水平ポジションに設定して撮影するので仰角φ＝０°であるが、全天球のパノラマ画像を撮影するには、カメラをチルトさせて仰角φを変えて被写体を撮影する必要がある。
　図５（ａ）～（ｃ）は、カメラ２００の初期位置が方位角θの方向にある場合に撮影されるパノラマ画像を説明する図である。
　図５（ａ）の上面図に示すように、初期位置においてカメラ２００は方位角θの方向２２０を向いており、図５（ｂ）の側面図に示すように、カメラ２００の仰角φ＝０°である。仰角φ＝０°に保ちながら、基準方向２２０に対してカメラ２００のパン角を－１８０°から＋１８０°の範囲で変化させながら、仰角φ＝０°における全方位のパノラマ画像を撮影する。図５（ｃ）は、このようにして撮影されたパノラマ画像３００を示す。パノラマ画像３００の中心はパン角０°であり、パノラマ画像３００の左半分はパン角を０°から－１８０°まで変えて撮影された画像であり、右半分はパン角を０°から１８０°まで変えて撮影された画像である。
　パノラマ画像３００のパン角０°の中心位置は、真北から方位角θだけ東にずれているから、北（Ｎ）、南（Ｓ）、東（Ｅ）、西（Ｗ）の位置は点線で示す箇所になる。パノラマ画像３００は、撮影方位に関する情報として、パン角０°の中心位置の方位角θをもってさえいれば、北（Ｎ）、南（Ｓ）、東（Ｅ）、西（Ｗ）のピクセル位置は、方位角θのずれを考慮して計算で求めることができる。あるいは、方位角θの代わりに、北（Ｎ）、南（Ｓ）、東（Ｅ）、西（Ｗ）のピクセル位置の座標値を撮影方位に関する情報としてもうようにしてもよい。
　全天球のパノラマ画像を得るためには、カメラ２００の仰角を変えて撮影する必要がある。たとえば、カメラ２００の画角が６０°であるとすると、原理的にはカメラ２００を上下に±６０°チルトさせた上で、パン角を－１８０°～１８０°の範囲で変えながら同様の撮影を行えば、全天球のパノラマ画像を得ることができる。
　図６（ａ）～（ｃ）は、カメラ２００の仰角φ＝６０°の場合に撮影されるパノラマ画像を説明する図である。図６（ａ）の上面図に示すように、初期位置においてカメラ２００は方位角θの方向２２０を向いており、図６（ｂ）の側面図に示すように、カメラ２００の仰角φ＝６０°である。仰角φ＝６０°に保ちながら、基準方向２２０に対してカメラ２００のパン角を－１８０°から＋１８０°の範囲で変化させながら、図６（ｃ）に示すような、仰角φ＝６０°におけるパノラマ画像３０２を撮影する。
　同様にして、カメラ２００の仰角をφ＝－６０°に保ちながら、パン角を－１８０°から＋１８０°の範囲で変化させながら、仰角φ＝－６０°におけるパノラマ画像を撮影する。仰角φ＝０°、６０°、－６０°のパノラマ画像を組み合わせれば、全天球パノラマ画像が得られる。もっとも、実装上は、画角の境界部分で画像を貼り合わせる際にレンズの歪みから生じる不整合を補正するために、境界付近をだぶらせて撮影する方法を採ることが多い。
　このようにして得られた全天球パノラマ画像には、方位角および仰角の情報が付与されており、その情報にもとづいてパノラマ画像の任意のピクセルについて方位と仰角を特定可能である。また、パノラマ画像には撮影場所の位置情報としてＧＰＳにより測定された緯度・経度情報も付与される。パノラマ画像に付与すべき付加情報は、一例として、Ｅｘｉｆ（Exchangeable Image File Format）と呼ばれる画像ファイルの規格にしたがって記録してもよい。撮影場所の地名はファイル名の一部に記録し、撮影日時、撮影場所の緯度・経度、高度、方位角などをＥｘｉｆ形式のデータとして記録することができる。仰角はＥｘｉｆ形式では定義されていないが、拡張データとして記録する。
　図７Ａおよび図７Ｂは、複数の画像をつなぎ合わせてパノラマ画像を作成する方法を説明する図である。
　図７Ａの例では、カメラ２００をチルト（またはパン）させながら撮影された７枚の画像３４１～３４７を円筒にマッピングした後、つなぎ合わせて円筒状の画像３４０を作成する。画像をつなぎ合わせるとき、画像の境界付近をオーバーラップさせる。
　図７Ｂに示すように、カメラ２００をパン（またはチルト）させて撮影することで、図７Ａで示した円筒状の画像がパン（またはチルト）方向に複数得られる。これらの円筒状の画像３４０ａ～３４０ｆを画像の境界付近をオーバーラップさせて合成することで、全方位のパノラマ画像３６０が最終的に得られる。
　図８は、パノラマ画像表示装置１００によるパノラマ画像生成手順を説明するフローチャートである。図９Ａ～図９Ｅ、図１０、図１１Ａおよび図１１Ｂを参照しながら、図８のパノラマ画像生成手順の各ステップを説明する。図８に示すフローチャートにおいては、各部の処理手順を、ステップを意味するＳ（Ｓｔｅｐの頭文字）と数字との組み合わせによって表示する。
　パノラマ画像取得部１０は、撮影されたパノラマ画像４００とそれに付加された撮影場所および撮影方位に関する情報をパノラマ画像・付加データ記憶部２４から取得する（Ｓ１０）。
　図９Ａは、撮影されたパノラマ画像４００の例を示す図である。パノラマ画像の中央には建物が写っており、パノラマ画像の下側には地面が写っている。パノラマ画像の上側には空４１０が写っており、空４１０には雲の他、太陽４３０が写っている。
　マスク領域抽出部１１は、パノラマ画像４００の空領域をマスクすべき領域として抽出する（Ｓ１２）。パノラマ画像から空領域を抽出するために、マスク領域抽出部１１は、一例として、セグメンテーションと呼ばれる手法を用いて、パノラマ画像をセグメント化し、意味のある領域に分割する。セグメンテーションとは、画像認識でしばしば用いられる手法の一つであり、画像中の対象物に対応する領域を検出して、画像を分割することである。セグメンテーションにより、画像は、空、建物、地面、人といった対象物毎の領域に分割される。
　セグメンテーションには、一般にクラスタリング手法が用いられる。画像に写された対象物に対応する画素は色や輝度などにおいて類似する特徴を有することから、画素をクラスタリングすることで、対象物に対応する領域に画像をセグメント化することができる。画素のクラスタリングの正解を教師データとして与える教師ありクラスタリングを用いてもよい。本実施の形態では、ユーザがパノラマ画像において空領域に属する画素をいくつか指定することで教師データを与える。
　図９Ｂは、セグメンテーションにより、領域分割されたパノラマ画像４０２を示す図である。セグメンテーションによって、パノラマ画像は、空の領域、建物の領域、地面の領域などにセグメント化されていることがわかる。
　図９Ａのパノラマ画像４００の空領域４１０について見れば、セグメンテーションにより、図９Ｂに示すように、主に符号４１１～４１５で示す５つの領域に分割されている。元のパノラマ画像４００には太陽４３０が写り込んでいたため、符号４１１～４１５の順に青から白に段階的に変化する５つの領域として検出されており、空領域を一つの領域として検出することはできていない。また、符号４１１で示す領域の中には、雲に相当する領域が別のセグメントとして抽出されており、空のセグメント化は完全ではない。
　しかしながら、このような不完全なセグメンテーション結果に対してでも、空の色を指定し、各領域の画素の色と指定された空の色の絶対差分が所定の閾値未満であれば、空領域であると判定することで、５つの領域の内、たとえば、符号４１１、４１２、４１３の３領域をまとめて一つの空領域として検出することができる。また、手作業によって、符号４１１で示す領域内の雲に相当する領域を消すこともできる。
　一般に、セグメンテーションは、時間のかかる処理であるため、記録装置に保存されたパノラマ画像に対してアイドル時間を利用して処理を実行できる場合には適用できるが、撮影されたパノラマ画像に対してリアルタイムで処理を実行しなければならない場合にはあまり適していない。そこで、マスク領域抽出部１１は、セグメンテーションに代わる別の方法として、双方向フィルタ（bilateral filter）と呼ばれるフィルタリング処理を施して、空領域を検出してもよい。
　図９Ｃは、フィルタリング処理されたパノラマ画像４０４を示す図である。図９Ａのパノラマ画像４００に対して、画素値を平坦化し、エッジを強調する双方向フィルタをかけることで、元のパノラマ画像４００の空領域４１０は、図９Ｃに示すように、空のグラデーションや雲が消え、符号４２１で示すような一つの領域として検出される。太陽４３０が写り込んだ領域は符号４２２、４２３のようにグラデーションをもつ別の領域として抽出されている。
　マスク領域抽出部１１は、フィルタリング処理後のパノラマ画像４０４の画素の色と空の色の絶対差分が所定の閾値以下である場合に、その画素を空であると判定することで、パノラマ画像４０４から空領域を抽出する。空の色は、ユーザが指定したり、撮影時の天候や季節などに応じてシステムが自動的に設定してもよい。
　しかし、この判定では、空に近い色であれば、空以外の対象物の画素も空領域として選択されるおそれがある。そこで、マスク領域抽出部１１は、パノラマ画像を撮影したときのカメラの仰角の情報を用いて、パノラマ画像の地平線の位置を検出し、地平線よりも下側で、指定された空の色に近い画素があっても、空領域として検出しないようにする。言い換えれば、カメラの仰角がある閾値以上の領域内でのみ、空領域の検出を行うようにする。これにより、たとえば、パノラマ画像に海や池、プールなどが写り込んでいたとしても、地平線よりも下にあるため、誤って空と判定するエラーを回避することができる。
　また、パノラマ画像では撮影者の頭上に広々とした空が撮影されることが多く、空領域は一定の広さをもった連続した領域になるのが普通である。したがって、パノラマ画像の空領域は連続しているという知識を用いれば、空と誤判定される領域を少なくすることができる。
　図９Ｃの例では、マスク領域抽出部１１は、フィルタリング処理後のパノラマ画像４０４から、太陽４３０に対応する領域４２２、４２３も含めて、符号４２１、４２２、４２３で示す領域を空領域として抽出する。
　図９Ｄは、パノラマ画像４０４内の空領域を指定するマスク４４０を示す図である。マスク領域抽出部１１は、フィルタリング処理後のパノラマ画像４０４から抽出された空領域をマスク４４０として設定し、マスク処理部１２に与える。
　図８のフローチャートに戻り、マスク処理部１２は、マスク領域抽出部１１により設定されたマスク４４０を用いてパノラマ画像４００にマスク処理を施して、空領域を切り抜く（Ｓ１４）。
　図９Ｅは、空領域がマスク処理されたパノラマ画像４０８を示す図である。これは、元のパノラマ画像４００から空領域４１０が切り抜かれた画像である。
　次に、位置合わせ部２０は、３次元パノラマ空間にマッピングされるパノラマ画像の撮影方向と、同じく３次元パノラマ空間にマッピングされる天球画像の方向を合わせる（Ｓ１６）。オブジェクト挿入部２２は、必要に応じて、パノラマ画像に挿入すべきオブジェクトを３次元パノラマ空間の外側または内側に配置する（Ｓ１８）。
　図１０は、マスク処理後のパノラマ画像４０８がマッピングされる３次元パノラマ空間と天球の関係を説明する図である。
　マスク処理によって空領域５１２が透明にされたパノラマ画像５１０が３次元パノラマ空間の一例であるパノラマ球５００にマッピングされている。パノラマ球５００の中心はパノラマ画像の撮影場所、すなわち視点位置である。その視点位置を中心として、パノラマ球５００の外側に天球５４０が設けられる。天球５４０の表面には、雲５３２、５３４や太陽などを含む天球画像が設定されている。天球画像は、天球画像データ記憶部２６から選択することができ、星や月が描かれた星空の天球画像を用いてもよい。
　パノラマ球５００にマッピングされるパノラマ画像５１０と、天球５４０上の天球画像とは北極星の方位５５０が一致するように、パノラマ画像５１０がマッピングされるパノラマ球を回転させて調整する。もっとも方向を気にしない場合は、位置合わせの処理は不要であるが、位置合わせをしない場合は、天球に描かれた太陽や月、星がパノラマ画像の撮影方向とは異なる方向に表れ、不自然になる。
　飛行船５２０と飛行機５３０はパノラマ画像に挿入するオブジェクトの例である。飛行機５３０は、天球５４０とパノラマ球５００の間、言い換えればパノラマ球５００の外部に配置されており、飛行船５２０は、パノラマ球５００の内部に配置されている。パノラマ画像の遠景にオブジェクトを挿入したい場合は、パノラマ球５００の外側に配置し、近景にオブジェクトを挿入したい場合は、パノラマ球５００の内側に配置する。飛行船５２０と飛行機５３０は、それぞれの動きモデルにしたがって、天球５４０内を移動する。
　図８のフローチャートに戻り、マッピング処理部１４は、マスク処理後のパノラマ画像５１０と天球５４０に描かれた天球画像とをパノラマ球５００にマッピングする。また、マッピング処理部１４は、飛行船５２０、飛行機５３０などのオブジェクトもパノラマ球５００にマッピングする（Ｓ２０）。
　パノラマ球５００の中心、すなわち視点位置から見ると、パノラマ画像５１０の空領域５１２は透明に切り抜かれているため、空領域５１２には天球５４０の表面に描かれた天球画像が見える。パノラマ球５００の外側にある飛行機５３０は空領域５１２を通して遠くに見えるが、パノラマ画像に写った建物に遮られるときは見えない。一方、パノラマ球５００の内側にある飛行船５２０は近くに見え、場合によっては建物よりも手前に見えることもある。
　マッピング処理部１４は、パノラマ球５００の中心から見た画像を再現するべく、視点から遠い順にパノラマ球５００に画像をマッピングして重ね描きする。まず、天球５４０に描かれた天球画像をパノラマ球５００にマッピングし、その上に、パノラマ球５００の外部に配置された飛行機５３０をパノラマ球５００にマッピングする。次に、マスク処理後のパノラマ画像５１０をパノラマ球５００にマッピングし、最後に、パノラマ球５００の内部に配置された飛行船５２０をパノラマ球５００にマッピングする。これにより、パノラマ画像５１０の透明の空領域５１２には天球画像が覗き見えるように貼り付けられ、パノラマ球５００の外側の飛行機５３０は遠景に、パノラマ球５００の内側の飛行船５２０は近景に貼り付けられる。
　図１１Ａは、図９Ｅのマスク処理後のパノラマ画像４０８の空領域に天球画像が貼り付けられた例を示す図である。図１１Ａのパノラマ画像４５０の空領域には、雲５３２、５３４を含む天球画像が貼り付けられており、遠景には飛行機５３０が、近景には建物の手間に飛行船５２０が挿入されている。
　図１１Ｂは、別の天球画像の例として、図９Ｅのマスク処理後のパノラマ画像４０８の空領域に星空が貼り付けられた例を示す図である。図１１Ｂのパノラマ画像４５２の空領域には、月や星を含む天球画像が貼り付けられている。パノラマ画像を表示する月日にしたがって天球５４０に描画される月の満ち欠けや星の見える方角を調整することで、リアリティのある夜空をパノラマ画像の空領域に見せることができる。
　本実施の形態では、パノラマ画像がマッピングされるパノラマ球５００の外側に天球５４０を設けているため、天球５４０に描画される天球画像をパノラマ画像とは独立に変更して、パノラマ画像に合成することができる。
　ユーザは、たとえば、コントローラ１０２のＲ１／Ｒ２ボタン１５１、１５２を操作することにより、天球に描画される星座の運行を制御してもよい。たとえば、Ｒ１ボタン１５１を押すことにより、日時を先送りし、Ｒ２ボタン１５２を押すことにより、日時を逆戻りさせることで、異なる季節の星座を空領域に表示させることができる。
　図８のフローチャートに戻り、３次元画像生成部１６は、マスク処理後のパノラマ画像５１０、天球５４０の画像、飛行船５２０や飛行機５３０などのオブジェクトがマッピングされた３次元パノラマ球を指定された視線方向に見たときの３次元パノラマ画像を生成し、表示制御部１８は生成された３次元パノラマ画像を表示する（Ｓ２２）。
　以上述べたように、本実施の形態のパノラマ画像表示装置によれば、パノラマ画像の空領域を切り抜いて別の天球画像に置き換えることができる。たとえば、雨模様のときに撮られたパノラマ画像であっても、空領域を切り抜いて、晴れた青空に置き換えたり、朝日の昇る空から夕日が沈む空に変えたりすることができ、撮影後のパノラマ画像に多様性を与えることができる。また、飛行船や人工衛星などの仮想的なオブジェクトとして挿入することで、撮影されたパノラマ画像に娯楽性を与えることもできる。本実施の形態は、仮想世界の情報と現実世界の情報を重ね合わせる、いわゆるＡＲ（拡張現実；Augmented Reality）の技術分野で利用することができる。すなわち、現実世界であるパノラマ画像を基準として、仮想的に作られた星空などのパノラマ画像を自然に重ね合わせて、現実環境を仮想情報で拡張した仮想現実世界を作り出すことができる。
　以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　上記の説明では、マスク処理されたパノラマ画像と天球画像を球面などの３次元パノラマ空間にマッピングし、指定された視線方向から３次元パノラマ空間を見た場合の３次元パノラマ画像を画面に表示したが、パノラマ画像のマスク領域に仮想画像を重ね合わせた画像を単に２次元表示するだけでもよい。この場合、マッピング処理部１４および３次元画像生成部１６の構成は不要であり、パノラマ画像表示装置１００を簡素化できる。また、オフラインでパノラマ画像に仮想画像を合成するだけでなく、リアルタイムでパノラマ画像のマスク領域を仮想画像で置き換えた拡張現実画像をユーザの眼前に装着できる透過型のディスプレイなどの表示デバイスに表示してもよい。
　上記の実施の形態では、野外で撮影されたパノラマ画像の空領域をマスクすべき領域として抽出したが、たとえば、ドーム型屋根のスタジアムにおいて野球などのスポーツを撮影したパノラマ画像であれば、ドーム型屋根の領域をマスクすべき領域として抽出してもよい。ドーム型屋根の領域を切り抜いて天球画像を貼り付けることで、あたかも野外でなされた試合であるように見せることができる。ドーム型屋根の領域を切り抜くには、たとえば、カメラの所定の仰角以上で撮影された領域や所定の高度以上の領域をマスクすべき領域として抽出すればよい。また、色の変化が少ない、所定の面積をもつ領域をマスクすべき領域として抽出してもよい。たとえば、ビルの窓ガラスの領域をマスクして、窓の領域を切り抜いて、別の画像を貼り付けてもよい。誰もいないビルでも仮想的に人がいるように見せたり、窓から見える外の景色を変えたりすることができる。また、海や池、砂漠などの領域をマスクすべき領域として抽出してもよい。東京湾を南太平洋の画像に置き換えたり、砂漠を緑地の画像に置き換えることができる。
　パノラマ画像は図３のような全方位撮影システムで撮影されたものに限らず、魚眼レンズを用いて撮影された画像や、撮影方向を変えながら通常のデジタルカメラで撮影された複数の画像を合成した画像であってもよい。
　上記の実施の形態では、マスク処理後のパノラマ画像と天球画像を重ね合わせて表示する際、視点から遠い順に画像を３次元パノラマ球にマッピングして描画した。すなわち、３次元パノラマ球に天球画像をマッピングした後、マスク領域を透明に切り抜いたパノラマ画像を３次元パノラマ球に重ねてマッピングした。別のマッピング方法として、天球画像からマスクに対応する領域を切り出し、３次元パノラマ球にマッピングされたパノラマ画像のマスク領域の上に、マスクに対応する領域の天球画像を貼り付けてもよい。
　一般に、マスク領域の境界部分は、パノラマ画像と天球画像の合成により、画像の不連続性が生じ、不自然な印象を与える。そこで、マスク領域の画像に対してガウシアンフィルタを施して平滑化したり、マスク領域の境界付近では、パノラマ画像と天球画像をアルファブレンドすることで境界をぼやかしてもよい。
　パノラマ画像表示装置１００の機能構成の内、主にパノラマ画像のマスク処理、パノラマ画像のマスク領域に天球画像や仮想画像を重ね合わせる処理に係る構成をサーバに実装し、主に天球画像や仮想画像が重ね合わされたパノラマ画像を閲覧する処理に係る構成をクライアントに実装することで、パノラマ画像表示装置１００を、ネットワークを介したサーバ－クライアントシステムとして実現することもできる。サーバが、パノラマ画像のマスク領域を抽出してマスク処理を施し、マスク領域に天球画像や仮想画像を重ね合わせる処理を行い、クライアントには、天球画像や仮想画像が重ね合わされたパノラマ画像を閲覧するインタフェースが提供されてもよい。クライアントの表示画面においてユーザがパノラマ画像の特定の領域をマスクすべき領域として指定するインタフェースが設けられてもよい。また、クライアントが、パノラマ画像と天球画像のデータをサーバから受信し、クライアント側で、天球画像とパノラマ画像の位置合わせを適宜調整して、天球画像をパノラマ画像に重ね合わせる処理を行ってもよい。これにより、ユーザ側で自由に天球画像を回転させてパノラマ画像に重ね合わせることができる。
　なお、本明細書でいう「パノラマ画像」とは、狭義の意味での「パノラマ」画像、すなわち横長または縦長の画像や３６０度の全景画像などに限られるものではなく、単に広い範囲を対象とする画像である。また、実施の形態では、パノラマ画像を対象画像として天球画像を重ね合わせる例を説明したが、対象画像はいわゆるパノラマ画像である必要はなく、任意のサイズの通常の画像を対象としても本発明を適用することができる。あるいは、対象画像は、複数の異なる解像度の画像が階層化された画像であってもよい。そのような階層化された画像は、画像の一部の領域を拡大すると拡大された領域がより解像度の高い画像に置き換わるように構成されてもよい。また、「天球画像」とは、必ずしも「球面」を想定したものに限られるものではなく、単に空などを対象とする画像である。
　１０　パノラマ画像取得部、　１１　マスク領域抽出部、　１２　マスク処理部、　１４　マッピング処理部、　１６　３次元画像生成部、　１８　表示制御部、　２０　位置合わせ部、　２２　オブジェクト挿入部、　２４　パノラマ画像・付加データ記憶部、　２６　天球画像データ記憶部、　２８　オブジェクトデータ記憶部、　３０　視点位置設定部、　３２　視線方向設定部、　３４　高度設定部、　３６　日時設定部、　４０　ユーザインタフェース部、　１００　パノラマ画像表示装置、　２００　カメラ。
　画像を表示する装置および方法に関する。

Claims (13)

  1. 　撮影方向に関する情報が関連付けられた対象画像および方向に関する情報が関連付けられた天球画像を保持する記憶部と、
    　前記対象画像内のマスクすべき領域を抽出するマスク領域抽出部と、
    　前記対象画像内の前記マスクすべき領域をマスクした対象画像を生成するマスク処理部と、
    　前記天球画像の方向を前記対象画像の撮影方向に合わせる位置合わせ部と、
    　前記位置合わせ部による位置合わせの後、マスク処理された対象画像および前記天球画像をテクスチャとして３次元対象空間にマッピングするマッピング処理部と、
    　前記対象画像の撮影場所を視点位置として、前記３次元対象空間を指定された視線方向に見たときの３次元対象画像を生成する３次元画像生成部と、
    　前記３次元対象画像を画面に表示させる表示制御部とを含むことを特徴とする画像表示装置。
  2. 　前記マスク領域抽出部は、前記マスクすべき領域として前記対象画像内の空に相当する領域を抽出し、
    　前記マスク処理部は、前記対象画像内の前記空に相当する領域をマスクした対象画像を生成することを特徴とする請求項１に記載の画像表示装置。
  3. 　前記マスク領域抽出部は、前記対象画像の撮影時のカメラの仰角の情報をもとに対象画像の地平線の位置を判定し、地平線よりも上側の領域内で前記空に相当する領域を抽出することを特徴とする請求項２に記載の画像表示装置。
  4. 　前記マッピング処理部は、前記天球画像がマッピングされた前記３次元対象空間に、マスク処理された前記対象画像を重ねてマッピングすることにより、前記対象画像内の前記マスクすべき領域に前記天球画像の一部が貼り付けられた画像を前記３次元対象空間上に生成することを特徴とする請求項１から３のいずれかに記載の画像表示装置。
  5. 　前記３次元対象画像に仮想的に挿入すべきオブジェクトを前記３次元対象空間の内側または外側に配置するオブジェクト挿入部をさらに含み、
    　前記マッピング処理部は、前記オブジェクトを前記３次元対象空間にマッピングすることを特徴とする請求項１から４のいずれかに記載の画像表示装置。
  6. 　前記マッピング処理部は、前記オブジェクトが前記３次元対象空間の外側に配置されている場合は、前記オブジェクトがマッピングされた前記３次元対象空間に、マスク処理された前記対象画像を重ねてマッピングすることにより、前記対象画像に前記オブジェクトが合成された画像を前記３次元対象空間上に生成することを特徴とする請求項５に記載の画像表示装置。
  7. 　前記マッピング処理部は、前記オブジェクトが前記３次元対象空間の内側に配置されている場合は、マスク処理された前記対象画像がマッピングされた前記３次元対象空間に、前記オブジェクトを重ねてマッピングすることにより、前記対象画像に前記オブジェクトが合成された画像を前記３次元対象空間上に生成することを特徴とする請求項５に記載の画像表示装置。
  8. 　前記対象画像はパノラマ画像であり、前記３次元対象空間は３次元パノラマ空間であることを特徴とする請求項１から７のいずれかに記載の画像表示装置。
  9. 　撮影方向に関する情報が関連付けられた対象画像および方向に関する情報が関連付けられた仮想画像を保持する記憶部と、
    　前記対象画像内のマスクすべき領域を抽出するマスク領域抽出部と、
    　前記対象画像内の前記マスクすべき領域をマスクした対象画像を生成するマスク処理部と、
    　前記仮想画像の方向を前記対象画像の撮影方向に合わせる位置合わせ部と、
    　前記位置合わせ部による位置合わせの後、マスク処理された対象画像に前記仮想画像を重ね合わせた拡張現実画像を画面に表示させる表示制御部とを含むことを特徴とする画像表示装置。
  10. 　前記対象画像はパノラマ画像であることを特徴とする請求項９に記載の画像表示装置。
  11. 　撮影方向に関する情報が関連付けられた対象画像および方向に関する情報が関連付けられた天球画像が保持された記憶デバイスから、プロセッサが表示対象の対象画像と天球画像を読み出すステップと、
    　プロセッサが前記対象画像に対してマスクすべき領域を指定するステップと、
    　プロセッサが前記天球画像の方向を前記対象画像の撮影方向に合わせるステップと、
    　位置合わせの後、プロセッサが前記対象画像のマスクすべき領域に前記天球画像を重ね合わせて描画するステップとを含むことを特徴とする画像表示方法。
  12. 　撮影方向に関する情報が関連付けられた対象画像および方向に関する情報が関連付けられた天球画像が保持された記憶デバイスから、表示対象の対象画像と天球画像を読み出す機能と、
    　前記対象画像内のマスクすべき領域を抽出する機能と、
    　前記対象画像内の前記マスクすべき領域をマスクした対象画像を生成する機能と、
    　前記天球画像の方向を前記対象画像の撮影方向に合わせる位置合わせ機能と、
    　位置合わせの後、マスク処理された対象画像および前記天球画像をテクスチャとして３次元対象空間にマッピングする機能と、
    　前記対象画像の撮影場所を視点位置として、前記３次元対象空間を指定された視線方向に見たときの３次元対象画像を生成する機能とをコンピュータに実現させることを特徴とするプログラム。
  13. 　請求項１２のプログラムを格納したことを特徴とする記録媒体。
PCT/JP2011/004327 2010-10-05 2011-07-29 画像表示装置および画像表示方法 WO2012046373A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP11830312.2A EP2627072B1 (en) 2010-10-05 2011-07-29 Image display device, and image display method
CN201180047976.9A CN103141078B (zh) 2010-10-05 2011-07-29 图像显示装置及图像显示方法
US13/804,186 US9262996B2 (en) 2010-10-05 2013-03-14 Apparatus and method for displaying images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-225367 2010-10-05
JP2010225367A JP5250598B2 (ja) 2010-10-05 2010-10-05 画像表示装置および画像表示方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/804,186 Continuation US9262996B2 (en) 2010-10-05 2013-03-14 Apparatus and method for displaying images

Publications (1)

Publication Number Publication Date
WO2012046373A1 true WO2012046373A1 (ja) 2012-04-12

Family

ID=45927383

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/004327 WO2012046373A1 (ja) 2010-10-05 2011-07-29 画像表示装置および画像表示方法

Country Status (5)

Country Link
US (1) US9262996B2 (ja)
EP (1) EP2627072B1 (ja)
JP (1) JP5250598B2 (ja)
CN (1) CN103141078B (ja)
WO (1) WO2012046373A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220092734A1 (en) * 2019-01-22 2022-03-24 Arashi Vision Inc. Generation method for 3d asteroid dynamic map and portable terminal

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5367034B2 (ja) * 2011-08-24 2013-12-11 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
CN103067661B (zh) * 2013-01-07 2017-12-05 华为终端有限公司 图像处理方法、装置和拍摄终端
JP2015022458A (ja) * 2013-07-18 2015-02-02 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
WO2015073347A1 (en) * 2013-11-15 2015-05-21 Dow Global Technologies Llc Photovoltaic shade impact prediction
JP2015149600A (ja) * 2014-02-06 2015-08-20 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US10110826B2 (en) * 2014-02-25 2018-10-23 Sony Corporation Imaging with adjustment of angle of view
US9615177B2 (en) * 2014-03-06 2017-04-04 Sphere Optics Company, Llc Wireless immersive experience capture and viewing
KR102211592B1 (ko) * 2014-03-19 2021-02-04 삼성전자주식회사 전자 장치 및 이의 영상 처리 방법
US10026226B1 (en) 2014-06-10 2018-07-17 Ripple Inc Rendering an augmented reality object
US10930038B2 (en) 2014-06-10 2021-02-23 Lab Of Misfits Ar, Inc. Dynamic location based digital element
US12008697B2 (en) 2014-06-10 2024-06-11 Ripple, Inc. Of Delaware Dynamic location based digital element
CN105447094A (zh) * 2015-11-09 2016-03-30 上海斐讯数据通信技术有限公司 星座识别方法及装置、移动终端
JP6604831B2 (ja) * 2015-11-30 2019-11-13 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
US10427038B2 (en) * 2016-01-21 2019-10-01 Toccata Gaming International, Llc Game console incorporating beam-splitter display and real world objects
WO2017159014A1 (ja) * 2016-03-15 2017-09-21 株式会社リコー 画像処理装置、画像処理方法及び画像処理システム
US10539797B2 (en) * 2016-05-06 2020-01-21 Colopl, Inc. Method of providing virtual space, program therefor, and recording medium
WO2017195881A1 (ja) * 2016-05-13 2017-11-16 ソニー株式会社 ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
JP2017211694A (ja) * 2016-05-23 2017-11-30 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR102508663B1 (ko) * 2016-06-02 2023-03-13 삼성전자주식회사 구형 컨텐츠 편집 방법 및 이를 지원하는 전자 장치
CN106162204A (zh) * 2016-07-06 2016-11-23 传线网络科技（上海）有限公司 全景视频生成、播放方法、装置及系统
CN106548446B (zh) * 2016-09-29 2019-08-09 北京奇艺世纪科技有限公司 一种在球面全景图像上贴图的方法及装置
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10325372B2 (en) * 2016-12-20 2019-06-18 Amazon Technologies, Inc. Intelligent auto-cropping of images
KR102674463B1 (ko) * 2016-12-23 2024-06-13 현대자동차주식회사 차량, 및 그 제어방법
US10607329B2 (en) * 2017-03-13 2020-03-31 Adobe Inc. Illumination estimation from a single image
CN113329182A (zh) * 2017-08-31 2021-08-31 深圳市大疆创新科技有限公司 一种图像处理方法、无人机及系统
US10646022B2 (en) * 2017-12-21 2020-05-12 Samsung Electronics Co. Ltd. System and method for object modification using mixed reality
JP6413035B1 (ja) * 2018-01-18 2018-10-24 株式会社ほぼ日 プログラム、情報処理装置及び情報処理方法
CN108492353B (zh) * 2018-02-02 2021-12-31 珠海金山网络游戏科技有限公司 一种全局环境球的绘制方法和系统
JP6837211B2 (ja) * 2018-04-11 2021-03-03 パナソニックＩｐマネジメント株式会社 画像処理装置、及び、画像処理方法
CN108681987A (zh) * 2018-05-10 2018-10-19 广州腾讯科技有限公司 生成全景切片图的方法和装置
CN108876729B (zh) * 2018-05-11 2021-02-09 武汉地大信息工程股份有限公司 一种全景图中补充天空的方法及系统
JP6583486B2 (ja) * 2018-06-07 2019-10-02 株式会社リコー 情報処理方法、情報処理プログラムおよび情報処理装置
JP2020042064A (ja) * 2018-09-06 2020-03-19 キヤノン株式会社 表示制御装置、撮像装置、制御方法、プログラム、及び、記憶媒体
JP2020043387A (ja) * 2018-09-06 2020-03-19 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び、記憶媒体
CN111667591B (zh) * 2020-06-15 2024-02-27 常州市规划设计院 基于全景摄影的虚拟现实融合方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003143505A (ja) * 2001-11-06 2003-05-16 Sony Corp 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム
WO2004039068A1 (ja) * 2002-10-23 2004-05-06 Matsushita Electric Industrial Co., Ltd. 画像合成携帯端末およびそれに用いられる画像合成方法
JP2005175587A (ja) * 2003-12-08 2005-06-30 Canon Inc 画像記録装置および画像再生装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2827060B1 (fr) * 2001-07-05 2003-09-19 Eastman Kodak Co Procede d'identification du ciel dans une image et image obtenue grace a ce procede
US7391424B2 (en) * 2003-08-15 2008-06-24 Werner Gerhard Lonsing Method and apparatus for producing composite images which contain virtual objects
WO2006083563A2 (en) * 2005-02-01 2006-08-10 Analog Devices, Inc. Camera with acceleration sensor
WO2008078321A2 (en) * 2006-12-22 2008-07-03 Geosim Systems Ltd. Split-scene rendering of a three-dimensional model
US8009178B2 (en) * 2007-06-29 2011-08-30 Microsoft Corporation Augmenting images for panoramic display
JP2009237680A (ja) * 2008-03-26 2009-10-15 Namco Bandai Games Inc プログラム、情報記憶媒体および画像生成システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003143505A (ja) * 2001-11-06 2003-05-16 Sony Corp 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム
WO2004039068A1 (ja) * 2002-10-23 2004-05-06 Matsushita Electric Industrial Co., Ltd. 画像合成携帯端末およびそれに用いられる画像合成方法
JP2005175587A (ja) * 2003-12-08 2005-06-30 Canon Inc 画像記録装置および画像再生装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220092734A1 (en) * 2019-01-22 2022-03-24 Arashi Vision Inc. Generation method for 3d asteroid dynamic map and portable terminal
US11995793B2 (en) * 2019-01-22 2024-05-28 Arashi Vision Inc. Generation method for 3D asteroid dynamic map and portable terminal

Also Published As

Publication number Publication date
CN103141078A (zh) 2013-06-05
JP5250598B2 (ja) 2013-07-31
EP2627072A1 (en) 2013-08-14
US20130314402A1 (en) 2013-11-28
JP2012080433A (ja) 2012-04-19
EP2627072B1 (en) 2019-05-01
CN103141078B (zh) 2018-05-08
US9262996B2 (en) 2016-02-16
EP2627072A4 (en) 2016-03-23

Similar Documents

Publication Publication Date Title
JP5250598B2 (ja) 画像表示装置および画像表示方法
JP5406813B2 (ja) パノラマ画像表示装置およびパノラマ画像表示方法
JP5409577B2 (ja) パノラマ画像生成装置およびパノラマ画像生成方法
JP5464955B2 (ja) パノラマ画像表示装置
US6317127B1 (en) Multi-user real-time augmented reality system and method
CN105144229B (zh) 图像处理装置、图像处理方法和程序
KR20070119018A (ko) 3ｄ 카메라 및 3ｄ비디오를 위한 자동 씬 모델링
JP2003264740A (ja) 展望鏡
JP5511681B2 (ja) 仮想画像を表示するための方法
JP5701967B2 (ja) 画像表示装置および画像表示方法
JP5646033B2 (ja) 画像表示装置および画像表示方法
JP6122991B2 (ja) 画像表示装置および画像表示方法
JP5457668B2 (ja) 映像表示方法及び映像システム
JP5920857B2 (ja) 画像表示装置および画像表示方法
JP7447403B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
Sawicki et al. Creating photo-real environments

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180047976.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11830312

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011830312

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE