WO2012049795A1 - 表示処理装置、表示方法およびプログラム - Google Patents

表示処理装置、表示方法およびプログラム Download PDF

Info

Publication number
WO2012049795A1
WO2012049795A1 PCT/JP2011/004368 JP2011004368W WO2012049795A1 WO 2012049795 A1 WO2012049795 A1 WO 2012049795A1 JP 2011004368 W JP2011004368 W JP 2011004368W WO 2012049795 A1 WO2012049795 A1 WO 2012049795A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
marker
page
marker image
display processing
Prior art date
Application number
PCT/JP2011/004368
Other languages
English (en)
French (fr)
Inventor
和俊 柏本
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/508,577 priority Critical patent/US20120223968A1/en
Priority to JP2012538552A priority patent/JPWO2012049795A1/ja
Priority to CN2011800049281A priority patent/CN102652322A/zh
Publication of WO2012049795A1 publication Critical patent/WO2012049795A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Definitions

  • Augmented Reality (AR) technology is a technology that superimposes virtual objects on real-world images and shows them to the user.
  • Non-Patent Document 1 uses a HMD (Head ⁇ Mounted ⁇ Display) mounted on a camera as a display device, and uses a marker position photographed by this camera and a unique pattern of the marker to display a virtual image to be displayed on the HMD. The object is to be handled.
  • HMD Head ⁇ Mounted ⁇ Display
  • the present inventor is considering displaying a virtual object corresponding to a page of a book for a user who reads a book while wearing the HMD. For example, if an image of a character as a virtual object is displayed on a page of a children's book on which a background image is printed, it will be possible to bring a sense of excitement to the user.
  • the present invention has been made in view of such a problem, and when displaying a virtual object superimposed on a photographed image (real-world image) obtained by photographing a page of a book, it is adapted to the degree of bending of the page. Display virtual objects in an appropriate form.
  • the display processing device is a display processing device that displays a virtual object superimposed on a captured image obtained by photographing the real world, and obtains a captured image obtained by photographing a page of a book, Extraction means for extracting one or more marker images from the acquired photographed image, creation means for creating a curved surface indicating the degree of bending of the photographed page based on the marker image, and a virtual object according to the curved surface Display processing means for deforming and displaying the deformed virtual object superimposed on the captured image.
  • the display processing apparatus can contribute to displaying a virtual object in an appropriate form according to the degree of bending of the page.
  • the figure which shows the outline of the reading system 1 The figure which shows the external appearance of the book 10 opened Example of marker internal information embedded in markers 2L and 2R Functional block diagram of HMD20 Flow chart showing processing related to superimposed display Flow chart showing curved surface calculation processing Diagram showing three coordinate systems Diagram showing an example of the flow of curved surface calculation processing Diagram showing an example of the flow of curved surface calculation processing Diagram showing an example of superimposed display Example of marker internal information embedded in markers 2L and 2R Functional block diagram of HMD21 Diagram showing an example of superimposed display Flow chart showing processing related to superimposed display Flow chart showing curved surface calculation processing Diagram showing an example of setting a nearby point Functional block diagram of HMD20 Flow chart showing processing related to superimposed display
  • FIG. 1 is a diagram showing an outline of a reading system.
  • the reading system 1 includes a book 10 and an HMD 20 worn by a user.
  • the HMD 20 enhances the contents of the book 10 by generating images (real-world images) obtained by photographing both pages of the book 10 that are opened and displaying a virtual object corresponding to each page on the image. Or something to complement.
  • the page of the paper-made book 10 may be curved, when the virtual object is pasted and displayed on a flat surface, the virtual object may be displaced in the vertical direction of the page or the front and back of the page. Can give the user an uncomfortable feeling.
  • a curved surface is created according to the actual bending degree of the page, and a virtual object is superimposed and displayed in an appropriate form according to the created curved surface.
  • FIG. 2 is a diagram showing the appearance of the book 10 that is spread.
  • markers 2L and 2R are printed on the lower left and lower right portions of the left page of the book 10.
  • 4L and 4R are printed on the right page. Since the left and right pages are configured in the same manner as described above, the following description will focus on the portion related to the superimposed display of the left page.
  • the portion where the page contacts the spine is called a throat 15 and the three sides excluding the throat 15 have small edges 16a to 16c (in FIG. Indicated by a two-dot chain line).
  • the fore edge 16a, which is the upper side is referred to as “top edge”
  • the fore edge 16c, which is the lower side is referred to as “ground side”.
  • the marker 2L will be described with reference to FIG.
  • the other markers 2R, 4L, 4R have the same configuration as the marker 2L.
  • the marker 2L has cut-out symbols 2a to 2d at the four corners, and the remaining part is a black and white pattern.
  • the marker 2L is similar to a QR (Quick Response) code which is a kind of two-dimensional code.
  • the QR code has cut-out symbols at three corners, whereas the marker 2L has cut-out symbols at four corners. It differs from the QR code.
  • marker internal information information embedded in the markers 2L and 2R.
  • Figure 3 shows an example of marker internal information.
  • the marker internal information includes “page” 20a indicating the book page on which the marker is printed, “page size” 20b, “marker coordinates” 20c, and “marker size” 20d. Includes 4 items.
  • the “marker coordinates” 20c indicates the coordinates of a point on the side far from the center of the page and on the “ground” direction side in the top-to-bottom direction among the four vertices of the marker.
  • FIG. 3 (b) is an image diagram of information obtained from the marker internal information of FIG. 3 (a).
  • the distance between the markers from the coordinates (50,750) and (450,750) of both markers 2L and 2R is 400.
  • FIG. 4 is a functional block diagram of the HMD 20.
  • the HMD 20 includes a camera 22, an acquisition unit 23, a marker extraction unit 24, a coordinate information storage unit 26, a marker reading unit 28, an internal information storage unit 30, a virtual object acquisition unit 32, a curve calculation unit 38, a curved surface creation unit 40, and curved surface information.
  • a storage unit 42, a display engine 44, and a display 46 are provided.
  • the camera 22 has a function of generating an image by photographing.
  • a CMOS Complementary Metal Metal Oxide Semiconductor
  • CMOS Complementary Metal Metal Oxide Semiconductor
  • the acquisition unit 23 acquires an image photographed by the camera.
  • the marker extraction unit 24 extracts the marker image area by detecting the cut-out symbols 2a to 2d at the four corners from the image acquired by the acquisition unit 23.
  • a marker actually printed on a page is simply referred to as a “marker”, and a marker extracted from a captured image is referred to as a “marker image” to distinguish them.
  • the coordinate information indicating the coordinates of the extracted marker image area is stored in the coordinate information storage unit 26.
  • the marker reading unit 28 reads the marker internal information from the marker image area extracted by the marker extraction unit 24 and stores the read internal information in the internal information storage unit 30.
  • a method used in the QR code can be used.
  • the virtual object acquisition unit 32 includes a virtual object identification unit 34 and a virtual object storage unit 36.
  • the virtual object storage unit 36 stores a plurality of virtual objects in association with page numbers.
  • the virtual object specifying unit 34 selects a virtual object corresponding to the page number from among a plurality of virtual objects stored in the virtual object storage unit 36. Identify.
  • the virtual object specifying unit 34 selects the 35 virtual objects stored in the virtual object storage unit 36 from the 35 virtual objects.
  • a virtual object corresponding to the page is specified.
  • the curve calculation unit 38 calculates a curve indicating the degree of curvature of the page of the facing book 10 taken by the camera 22 based on the coordinate information in the coordinate information storage unit 26 and the internal information in the internal information storage unit 30.
  • the curved surface creation unit 40 calculates a curved surface based on the curve calculated by the curve calculation unit 38 and stores it in the curved surface information storage unit 42.
  • the display engine 44 deforms (processes) the virtual object specified by the virtual object specifying unit 34 in accordance with the curved surface stored in the curved surface information storage unit 42, and displays the deformed virtual object on the display 46 in a superimposed manner.
  • the acquisition unit 23 acquires a captured image in which both pages of the book 10 that has been opened are reflected from the camera 22 (FIG. 5: S51).
  • the marker extraction unit 24 extracts (cuts out) areas corresponding to the markers 2L and 2R from the captured image as marker images, and stores the coordinate information of the extracted marker images in the coordinate information storage unit 26 (S52).
  • the marker reading unit 28 reads the marker internal information for each area of the marker images 12L and 12R extracted by the marker extracting unit 24, and stores the read marker internal information in the internal information storage unit 30 (S53).
  • a virtual object to be superimposed is specified from the virtual objects in the virtual object specifying unit 34 and the virtual object storage unit 36 (S54).
  • Real world coordinate system A coordinate system for indicating the position of an object in the real world space. In the field of AR technology, it is sometimes called “world coordinate system” or “global coordinate system”.
  • Camera coordinate system A coordinate system centered on the camera.
  • Screen coordinate system A coordinate system in which an image of the real world is copied (projected).
  • FIG. 7 shows images of the real world coordinate system 511, the camera coordinate system 512, and the screen coordinate system 521.
  • the coordinate information extracted from the image captured by the camera 22 is represented by this (3) screen coordinate system.
  • To obtain the degree of curvature of the page in the actual real world (1) it is represented by the real world coordinate system. Conversion to coordinates is required.
  • (3) the screen coordinate system is converted into (3) screen coordinate system ⁇ (2) camera coordinate system, and (2) camera coordinate system ⁇ (1) real world coordinate system. And convert.
  • Non-Patent Document 1 For the method of conversion from the former (3) screen coordinate system to (2) camera coordinate system, for example, the technique described in Non-Patent Document 1 can be used.
  • FIG. 6 The processing of FIG. 6 will be described with reference to FIGS. 8 to 9 showing an example of the processing flow.
  • the curve calculation unit 38 is based on the coordinate information stored in the coordinate information storage unit 26 and the marker internal information in the internal information storage unit 30, and the real world coordinate system of both marker images 12L and 12R (markers 2L and 2R).
  • the coordinates at are calculated (S61). Specifically, as shown in FIG. 8A, the curve calculation unit 38 calculates the coordinates of the vertices 121L to 124L of the marker image 12L and the vertices 121R to 124R of the marker image 12R.
  • the curve calculation unit 38 calculates a vector from the sides of the marker images 12L and 12R (S62). As shown in FIG. 8B, the curve calculation unit 38 calculates a vector 125L passing through the lower side of the marker 12L and a vector 126L passing through the left side of the page. Similarly, a vector 125R passing through the lower side of the marker image 12R and 126R passing through the right side of the marker image 12R are calculated.
  • the curve calculation unit 38 calculates the intersection of straight lines obtained by extending the vector on the lower side of the marker image 12L and the vector on the lower side of the marker image 12R (S63). As shown in FIG. 8C, the curve calculation unit 38 obtains a straight line intersection 130 obtained by extending the vector 125L and the vector 125R.
  • the vector 125L and the vector 125R also exist on the same plane ((Xb, Yb) plane).
  • the (Xb, Yb) component of the intersection point 130 is the vector of the (Xb, Yb) component of both vectors 125L and 125R.
  • the intersection A of For the Zb component at the intersection 130 (1) An intersection B of a vector parallel to the Zb axis passing through the intersection A and a vector 125L, (2) an intersection C between a vector parallel to the Zb axis passing through the intersection A and a vector 125R; May be calculated by calculating the intermediate point ((B + C) / 2) between the intersection points B and C.
  • the curve calculation unit 38 sets a first neighborhood point 131 and a second neighborhood point 132 before and after the intersection 130 (S64, FIG. 8 (d)).
  • the first neighborhood point 131 and the second neighborhood point 132 are points moved from the intersection point 130 by a certain distance in the vector sum direction of the vectors 126L and 126R (corresponding to the “heaven” direction of the page).
  • the curve calculation unit 38 (1) A curve 140 from the lower side of the left marker image 12L through the intersection 130 to the lower side of the right marker image 12R (2) A curve 141 extending from the lower side of the left marker image 12L through the first neighboring point 131 to the lower side of the right marker image 12R. (3) A curve 142 extending from the lower side of the left marker image 12L through the second vicinity point 132 to the lower side of the right marker image 12R. These three curves 140 to 142 are calculated (S65, FIG. 9 (e)).
  • This curve is calculated by calculating a spline curve connecting five points in total, that is, two points of the left lower vertex 121L and vertex 122L, one of the central intersection 130 and the right lower vertex 122R and vertex 121R.
  • Curve 140 can be determined.
  • the curve 141 and the curve 142 are obtained by changing the center point to the first vicinity point 131 or the second vicinity point 132, respectively.
  • the curve calculation unit 38 determines the curve closest to the distance between the markers calculated from the marker internal information as the final curve (S66).
  • the curve calculation unit 38 obtains the distance between the markers as 400 from the coordinates (50,750) and (450,750) of both the marker images 12L and 12R. Then, a curve closest to the distance 400 is obtained from the curves 140 to 142 (assuming that the curve 141 is closest in the example of FIG. 9F).
  • the curved surface creation unit 40 obtains a curve 151 obtained by translating the determined curve 141 from the intersection 130 in the vector sum direction of the vectors 126L and 126R (corresponding to the “heaven” direction of the page) (S67, FIG. 9 ( f)).
  • the curved surface creation unit 40 creates a curved surface surrounding the curve 141 before translation and the curve 151 after translation (S68).
  • the curved surface creation unit 40 includes points 121L and 122L on the curve 141 and points 161L and 162L obtained by translating these points 121L and 122L in the “heaven” direction. In total, a small curved surface 141 is created surrounding four points.
  • the curved surface creation unit 40 creates a small curved surface 172 surrounding the four points of the point 122L, the point 143, the point 162L, and the point 163, and further creates small curved surfaces 173 to 175, and creates the created small curved surface 171.
  • a curved surface 170 is created by connecting ⁇ 175 (FIG. 9H).
  • the curved surface 170 is a curved surface indicating the degree of curvature of the left page of the book 10 of the spread book.
  • Fig. 10 shows an example of superimposed display.
  • an image (superimposed image) in which an image (virtual image) obtained by superimposing a deformed virtual object 180 on the curved surface 170 is superimposed on the captured image (captured image) is displayed on the HMD 20.
  • the deformation of the virtual object 180 uses a texture mapping technique in which the virtual object 180 is pasted on the curved surface 170.
  • the virtual object 180 indicating the sun and stars displayed on the HMD 20 is deformed according to the curved surface 170, whether the sun and stars are drawn on the left page of the book 10 opened by the user by hand. It can look like
  • the virtual object 180 may be lifted off the page or buried in the page due to the shift toward the front and back of the page. It can prevent natural appearance.
  • a curved surface corresponding to the degree of curvature of a page can be calculated by using two markers printed on the page.
  • FIG. 11 shows an example of marker internal information embedded in the markers 2L and 2R.
  • the marker internal information is basically the same as in FIG. 3, but the item of “position information” 13e is different.
  • the “position information” 13e indicates the latitude / longitude range covered by the map of the page on which the markers 2L and 2R are printed.
  • FIG. 12 is a functional block diagram of the HMD 21. The same functional blocks as those in FIG.
  • the position information receiving unit 50 is composed of a general GPS (Global Positioning System) unit and receives position information via the GPS antenna 51.
  • GPS Global Positioning System
  • the display engine 44 deforms the mark indicating the current location stored in the virtual object storage unit 36 along the curved surface stored in the curved surface information storage unit 42.
  • a coordinate system is set on the curved surface from the position information of the marker internal information stored in the internal information storage unit 30, and a mark indicating the current location is superimposed on the position indicated by the position information receiving unit 50.
  • Fig. 13 shows an example of superimposed display.
  • the display engine 44 sets (34.7, 135.5) of the “position information” 13e (see FIG. 11) of the marker internal information as a point A at the upper left of the page, and (34.8, 135.6) as the page. Set as the lower right point B.
  • the display engine 44 deforms the mark 200 indicating the current location along the curved surface 190, and places the deformed mark at the position (34.74, 135.55) indicated by the position information receiving unit 50.
  • a mark indicating the current location is displayed on the map printed on the page, and the user equipped with the HMD 21 can check the current location.
  • the second embodiment when a user browses a paper book on which a map is printed, it is possible to contribute to improvement in convenience by superimposing information indicating the current location. Further, this superimposed display can be performed without using network communication means.
  • the mark 200 is deformed according to the curved surface 190 and is superimposed and displayed at a position corresponding to the curved surface 190, the mark can be prevented from shifting on the page, particularly in the vertical direction.
  • the current location can be expressed more accurately by preventing vertical displacement. (Embodiment 3)
  • the superimposed display described above needs to be performed in real time, and the HMD is often not capable of processing as compared with a general-purpose PC or the like.
  • the marker internal information reading process (FIG. 14) and the curved surface calculation process (FIG. 15) are reduced.
  • the marker extraction unit 24 extracts the marker image from the captured image (S52), and then compares the marker coordinates of the previous marker image and the current marker image. If they are the same, processing such as reading of marker internal information (S53, S54) is skipped (S141: the same), and the previously read marker internal information is reused.
  • the camera 22 captures an image at, for example, 60 fps, and marker coordinates may hardly change between marker images. By performing such processing, processing required for reading the marker internal information can be reduced.
  • the intersection point 130 is moved in the “heaven” direction of the page to create the nearby points 131 and 132.
  • the present invention is not limited to this.
  • the neighboring points 133 and 134 may be set on a straight line extending in the Zb-axis direction (a direction corresponding to the front and back direction of the page).
  • FIG. 8D two neighboring points are created, but this number may be increased when there is a margin in processing load.
  • (2) How to Create a Curve In the embodiment, a spline curve as shown in FIG. 9E is created, but the method of creating a curve is not limited to this.
  • a method such as a Bezier curve or a Bezier spline curve (for example, a Bezier curve is generated for each section and the generated Bezier curves are connected to obtain a spline curve) can be used.
  • the page of book 10 is made of paper, but it is not limited to paper, and a material such as a flexible display may be used.
  • the virtual object to be displayed is stored in the virtual object storage unit 36 of the HMD 20, but it may be acquired from the outside without being stored.
  • URL Uniform Resource Locator
  • the virtual object is acquired from the location (Locator) indicated by the URL in the HMD 20 via the network. Also good.
  • the virtual object is not limited to a planar image (2D image), but may be a stereoscopic image (3D image).
  • the curved surface created by the curved surface creation unit 40 may be used for collision determination with the character, or a friction coefficient may be set for the curved surface.
  • the HMD 20 includes the camera 22, but the camera is not essential, and there may be a configuration of the HMD that does not include the camera. In this case, for example, the HMD and a camera as an external device may be connected with a communication cable, and the captured image may be acquired from the camera in the HMD acquisition unit.
  • Method of creating curved surface In the embodiment, after calculating a curve, a curved surface is created based on the calculated curve. However, the present invention is not limited to this, and a method of creating a curved surface directly without using a curve can also be adopted.
  • FIG. (7) Program recording on a recording medium a control program comprising program codes for causing the processor of various information processing apparatuses and various circuits connected to the processor to execute the operations described in the above-described embodiments. Alternatively, it can be distributed and distributed via various communication paths.
  • Such recording media include non-transitory recording media such as IC cards, hard disks, optical disks, flexible disks, and ROMs.
  • the distributed and distributed control program is used by being stored in a memory or the like that can be read by the processor, and the processor executes the control program to perform various functions as shown in the embodiment. It will be realized.
  • LSI Each functional block shown in the drawing may be an LSI which is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them. The name used here is LSI, but it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology.
  • a display processing device is a display processing device that superimposes and displays a virtual object on a photographed image obtained by photographing the real world, and obtains a photographed image obtained by photographing a page of a book.
  • An acquisition means an extraction means for extracting one or more marker images from the acquired photographed image; a creation means for creating a curved surface indicating the degree of bending of the photographed page based on the marker image; Display processing means that deforms according to a curved surface and displays the deformed virtual object superimposed on the captured image.
  • the extraction unit extracts the first marker image and the second marker image, and the creation unit determines the degree of bending of the photographed page based on the first marker image and the second marker image.
  • a curved line may be calculated and the curved surface may be created based on the curved line.
  • the curve that has a side and is calculated by the creation unit is a curve that passes through the side of the first marker image and the side of the second marker image, and the creation unit converts the curve into a page in the captured image.
  • the curved surface may be created by translating in the vertical direction.
  • Reading means for reading information indicating the coordinates of the print portion corresponding to each marker on the page from each of the extracted first marker image and second marker image, and calculating the distance between the read coordinates Calculating means, and the creating means may calculate the curve based on the calculated distance.
  • the creation unit obtains an intersection of a straight line obtained by extending a side of the first marker image and a straight line obtained by extending a side of the second marker image, and (a) a side of the first marker image. A curve extending from the intersection to the side of the second marker image, and (b) from the side of the first marker image through a nearby point located in the vicinity of the intersection.
  • One or more curves passing through the sides of the two-marker image may be created, and a curve whose distance is closest to the calculated distance may be calculated as a final curve among all the created curves. Absent.
  • the vicinity point may be a point obtained by moving the intersection point in a vertical direction or a depth direction of a page in the captured image.
  • the reading unit reads information for identifying a virtual object from at least one of the extracted first marker image and the second marker image, and the display processing unit reads the virtual object identified by the reading. You may make it the object of the said superimposition display.
  • a map is printed on the page, and the reading unit includes a range of coordinates included in the range of the map of the page from at least one of the extracted first marker image and the second marker image.
  • a display unit that reads coordinate information indicating the current location and receives position information indicating the current location, the display processing unit deforms a mark indicating the current location as the virtual object according to the curved surface, The deformed mark may be superimposed and displayed at a position based on the position information in the coordinate range indicated by the coordinate information.
  • the print portions corresponding to the first marker image and the second marker image have a rectangular shape having sides extending in the left-right direction of the page and sides extending in the vertical direction of the page,
  • the creating means may perform parallel movement in the top-and-bottom direction based on the side of the extracted first marker image or second marker image extending in the top-and-bottom direction.
  • the acquisition unit periodically repeats the acquisition of the captured image, and the extraction unit determines the identity between the previously acquired captured image and the currently acquired captured image prior to the extraction. If they are compared and determined to be identical, the first marker image and the second marker image extracted from the previously acquired captured image may be output as the current extraction result without performing the extraction.
  • the first marker image and the second marker image may be two-dimensional code images.
  • the captured image may be an image obtained by capturing a spread page of a book.
  • the display method according to the embodiment is a method of superimposing and displaying a virtual object on a real-world image, an acquisition step of acquiring a captured image of a book page, and an acquired captured image, An extraction step for extracting one or more marker images, a creation step for creating a curved surface indicating the degree of bending of a photographed page based on the marker image, a virtual object is deformed according to the curved surface, and the captured image And a display processing step of superimposing and displaying the deformed virtual object.
  • a program according to an embodiment is a program for causing a display processing device to execute a display process of superimposing and displaying a virtual object on a real-world image, and the display process captures a book page.
  • the display processing apparatus is useful because it contributes to the realization of augmented reality with little discomfort given to the user.
  • Reading system 2L, 2R, 4L, 4R Marker (print part corresponding to marker image) 10 12L, 12R, 14L, 14R Marker image 20, 21 HMD (an example of a display processing device) 20a Main part of HMD 22 Camera 23 Acquisition unit 24 Marker extraction unit 26 Coordinate information storage unit 28 Marker reading unit 30 Internal information storage unit 32 Virtual object acquisition unit 34 Virtual object specification unit 36 Virtual object storage unit 38 Curve calculation unit 40 Curved surface creation Unit 42 Curved surface information storage unit 44 Display engine (an example of display processing means) 46 Display 50 Position Information Receiving Unit 51 GPS Antenna 140, 141, 142 Curve 170 Curved Surface 180 Virtual Object 190 Curved Surface 200 Mark (Example of Virtual Object)

Abstract

　表示処理装置は、本１０のページを撮影した画像（撮影画像）内からマーカ画像を抽出する。その後、抽出したマーカ画像に基づいてページの曲がり度合いを示す曲面１７０を作成する。　そして、撮影画像に仮想物体１８０を曲面１７０に応じて変形した仮想画像を重畳し、この重畳した画像をＨＭＤ２０に表示する。

Description

表示処理装置、表示方法およびプログラム
　拡張現実技術に関する。
　拡張現実（AR：Augmented Reality）技術とは、現実世界の画像に仮想物体を重畳してユーザに見せる技術のことである。
　ユーザに与える違和感が少ない拡張現実感を実現するためには、現実世界の画像に応じて、適切な種類の仮想物体を適切な位置に表示する必要がある。
　これに関して、非特許文献１では、表示デバイスとしてカメラ搭載のＨＭＤ（Head Mounted Display）を用い、このカメラにより撮影されたマーカの位置やマーカ独自のパターンを利用することで、ＨＭＤに表示すべき仮想物体の取り扱いを行うとしている。
特許３９９３４２３号公報
加藤博一ら著「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション」日本ＶＲ学会論文誌Ｖｏｌ４、Ｎｏ４、ｐｐ６０(１９９９)
　本発明者は、ＨＭＤを装着して読書するユーザに対して、本のページに応じた仮想物体を表示することについて検討している。例えば、背景画が印刷された児童書のページに、仮想物体としてのキャラクターの画像を表示すれば、ユーザに躍動感をもたらすことができるであろう。
　ところが読書中のユーザが見開いた本のページは湾曲することがあるので、ユーザに違和感をもたらすことがないよう、現実世界におけるこの湾曲を考慮して仮想物体を表示する必要がある。
　本発明はこのような問題に鑑みてなされたものであって、本のページを撮影した撮影画像（現実世界の画像）上に仮想物体を重畳して表示するに際して、ページの曲がり度合いに合わせた適切な形態での仮想物体の表示を図る。
　本発明に係る表示処理装置は、現実世界を撮影した撮影画像の上に、仮想物体を重畳して表示する表示処理装置であって、本のページを撮影した撮影画像を取得する取得手段と、取得された撮影画像から、１以上のマーカ画像を抽出する抽出手段と、前記マーカ画像に基づいて、撮影したページの曲がり度合いを示す曲面を作成する作成手段と、仮想物体を前記曲面に応じて変形し、前記撮影画像の上に変形した仮想物体を重畳して表示する表示処理手段と、を備えることを特徴としている。
　本発明に係る表示処理装置によれば、ページの曲がり度合いに合わせた適切な形態で仮想物体を表示することに寄与できる。
読書システム１の概要を示す図 見開いた本１０の外観を示す図 マーカ２Ｌ，２Ｒに埋め込まれたマーカ内部情報の例 ＨＭＤ２０の機能ブロック図 重畳表示に関する処理を示すフローチャート 曲面算出処理を示すフローチャート ３つの座標系を示す図 曲面算出処理の流れの一例を示す図 曲面算出処理の流れの一例を示す図 重畳表示の例を示す図 マーカ２Ｌ，２Ｒに埋め込まれたマーカ内部情報の例 ＨＭＤ２１の機能ブロック図 重畳表示の例を示す図 重畳表示に関する処理を示すフローチャート 曲面算出処理を示すフローチャート 付近点を設定する例を示す図 ＨＭＤ２０の機能ブロック図 重畳表示に関する処理を示すフローチャート
　以下、実施の形態について、図面を参照しながら説明する。
　（実施の形態１）
　＜構成＞
　図１は、読書システムの概要を示す図である。
　図１に示すように、読書システム１は、本１０とユーザが装着しているＨＭＤ２０とを含んで構成される。
　ＨＭＤ２０は、見開かれた本１０の両ページを撮影した画像（現実世界の画像）を生成し、この画像に各ページに応じた仮想物体を重畳表示することで、本１０の内容を充実したり補完したりするものである。
　重畳表示に際しては、ユーザに違和感を与えぬよう、仮想物体が紙のページ上にあたかも存在しているかのように表示することが望まれる。
　しかしながら、紙製の本１０のページは湾曲することがあるので、仮想物体を真っ平らな平面上に貼り付けて表示した場合には、仮想物体がページの天地方向またはページ手前奥方向にずれるような違和感をユーザに与え得る。
　そこで、本実施の形態の読書システム１では、ページの実際の曲がり度合いに合わせた曲面を作成し、作成した曲面に応じた適切な形態で仮想物体の重畳表示を図る。
　図２は、見開いた本１０の外観を示す図である。
　図２（ａ）に示すように、本１０の左ページの左下および右下部分には、マーカ２Ｌ，２Ｒが印刷されている。右ページも同様に４Ｌ，４Ｒが印刷されている。このように左右のページの構成は同様なため、以下では左ぺージの重畳表示に関係する部分を中心に説明する。
　また、本１０の左ページにおいて、ページが背（spine）に接する部分を喉部（gutter）１５と呼び、この喉部１５を除いた三方の辺は小口１６ａ～１６ｃ（図２中、仮想の二点鎖線で示す。）と呼ぶ。特に、上の辺である小口１６ａは「天辺」、下の辺である小口１６ｃは「地辺」という。
　図２（ｂ）を参照してマーカ２Ｌについて説明する。なお、他のマーカ２Ｒ，４Ｌ，４Ｒもマーカ２Ｌと同様の構成である。
　マーカ２Ｌは、四隅には切り出しシンボル２ａ～２ｄを有し、残余の部分は白黒のパターンとなっている。切り出しシンボル２ａ～２ｄは、黒と白の長さの比が黒：白：黒：白：黒＝1：1：3：1：1であり、この比は、マーカ２Ｌの位置や大きさの検出に利用される。
　このように、マーカ２Ｌは二次元コードの一種であるＱＲ（Quick Response）コードに類似したものであるが、ＱＲコードは三隅に切り出しシンボルを有するのに対して、マーカ２Ｌは四隅に切り出しシンボルを有する点はＱＲコードと異なっている。
　また、ＱＲコード同様に、マーカ２Ｌには白黒のパターンを利用して最大で数ＫＢ程度の情報を埋め込むことができる。以下では、マーカ２Ｌ，２Ｒに埋め込まれた情報を「マーカ内部情報」と呼ぶ。
　図３にマーカ内部情報の例を示す。
　図３（ａ）に示すように、マーカ内部情報は、マーカが印刷された本のページを示す「ページ」２０ａ、ページの「紙面サイズ」２０ｂ、「マーカ座標」２０ｃ、「マーカサイズ」２０ｄの４項目を含む。上記「マーカ座標」２０ｃはマーカの４つの頂点の中で、ページ中央から遠い側かつ天地方向において「地」方向側の点の座標を示す。
　図３（ｂ）は、図３（ａ）のマーカ内部情報から得られる情報のイメージ図である。特に、両マーカ２Ｌ，２Ｒの座標（50,750），（450,750）からマーカ間の距離は400となる。
　図４は、ＨＭＤ２０の機能ブロック図である。
　ＨＭＤ２０は、カメラ２２、取得部２３、マーカ抽出部２４、座標情報格納部２６、マーカ読取部２８、内部情報格納部３０、仮想物体取得部３２、曲線算出部３８、曲面作成部４０、曲面情報格納部４２、表示エンジン４４、ディスプレイ４６を備える。
　カメラ２２は、撮影により画像を生成する機能を有する。例えば画素数が数百万画素のＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラであり、ＨＭＤ２０を装着するユーザの視線と一致するような方向に向けてＨＭＤ２０の筐体に取り付けられている。
　取得部２３は、カメラにより撮影された画像を取得する。
　マーカ抽出部２４は、取得部２３により取得された画像から、四隅の切り出しシンボル２ａ～２ｄを検出することによりマーカ画像の領域を抽出する。
　本明細書では、現実にページに印刷されたマーカを単に「マーカ」と呼び、撮影画像から抽出したマーカは「マーカ画像」と呼んで両者を区別する。
　そして、抽出したマーカ画像の領域の座標を示す座標情報を座標情報格納部２６に格納する。
　マーカ読取部２８は、マーカ抽出部２４により抽出されたマーカ画像の領域内からマーカ内部情報を読み取り、読み取った内部情報を内部情報格納部３０に格納する。この読み取りのやり方は、ＱＲコードで利用されている手法を用いることができる。
　仮想物体取得部３２は、仮想物体特定部３４と仮想物体格納部３６とを有する。
　仮想物体格納部３６は、複数の仮想物体をページ番号に紐付けて格納している。
　仮想物体特定部３４は、内部情報格納部３０に格納された内部情報のページ番号を基に、仮想物体格納部３６に格納された複数の仮想物体の中からそのページ番号に対応する仮想物体を特定する。
　一例を挙げると、仮想物体特定部３４は、図３（ａ）のように「ページ」１３ａの項目が35ページならば、仮想物体格納部３６に格納された複数の仮想物体の中からこの35ページに対応する仮想物体を特定する。
　曲線算出部３８は、座標情報格納部２６の座標情報および内部情報格納部３０の内部情報を基に、カメラ２２が撮影した見開き本１０のページの湾曲の程度を示す曲線を算出する。
　曲面作成部４０は、曲線算出部３８が算出した曲線を基に、曲面を算出して、曲面情報格納部４２に格納する。
　表示エンジン４４は、仮想物体特定部３４により特定された仮想物体を、曲面情報格納部４２に格納された曲面に応じて変形（加工）し、変形後の仮想物体をディスプレイ４６に重畳表示する。
　＜動作＞
　続いて、HMD２０における重畳表示に関する処理を図５～図１０を用いて説明する。
　まず、取得部２３は、見開かれた本１０の両ページが写り込んだ撮影画像をカメラ２２から取得する（図５：Ｓ５１）。
　そして、この撮影画像からマーカ抽出部２４はマーカ２Ｌ，２Ｒに対応する領域をマーカ画像として抽出し（切り出し）、抽出したマーカ画像の座標情報を座標情報格納部２６に格納する（Ｓ５２）。
　マーカ読取部２８は、マーカ抽出部２４により抽出されたマーカ画像１２Ｌ，１２Ｒそれぞれの領域を対象としてマーカ内部情報を読み取り、読み取ったマーカ内部情報を内部情報格納部３０に格納する（Ｓ５３）。
　そして、仮想物体特定部３４、仮想物体格納部３６の仮想物体の中から、重畳表示の対象となる仮想物体を特定する（Ｓ５４）。
　続いて、図６の曲面を算出する処理に移る（Ｓ５５）。
　さて、図６の処理の説明に入る前に、本実施の形態で取り扱う３つの座標系について説明する。もっとも、この３つの座標系は、ＡＲ技術の分野ではよく知られたものであるので簡単な紹介に留める。
　（１）現実世界座標系・・・現実世界の空間の中で物体の位置を示すための座標系である。ＡＲ技術の分野では「ワールド座標系」や「グローバル座標系」と呼ばれることもある。
　（２）カメラ座標系・・・カメラを中心とする座標系である。
　（３）スクリーン座標系・・・現実世界の画像を写した（投影した）座標系である。
　図７に、現実世界座標系５１１、カメラ座標系５１２、スクリーン座標系５２１のイメージを示す。
　カメラ２２が撮影した画像から抽出した座標情報は、この（３）スクリーン座標系で表されるが、実際の現実世界におけるページの湾曲度合いを求めるには、（１）現実世界座標系で表される座標への変換を要する。
　このために本実施の形態では、（３）スクリーン座標系を、（３）スクリーン座標系→（２）カメラ座標系と変換し、さらに、（２）カメラ座標系→（１）現実世界座標系と変換する。
　前者の（３）スクリーン座標系から（２）カメラ座標系への変換のやり方は、例えば、非特許文献１に記載されている手法を用いることができる。
　後者の（２）カメラ座標系→（１）現実世界座標系への変換は、まずＨＭＤ２０側において大きさが既知なマーカからマーカの３次元座標を推定する（推定方法の詳細は非特許文献１参照）。続いて、推定された３次元座標を基に座標変換のための行列を算出して行うことができる。
　図６の処理を、処理の流れの一例を示す図８～図９を用いて説明する。
　曲線算出部３８は、座標情報格納部２６に格納された座標情報と、内部情報格納部３０のマーカ内部情報とに基づいて、両マーカ画像１２Ｌ，１２Ｒ（マーカ２Ｌ，２Ｒ）の現実世界座標系における座標を算出する（Ｓ６１）。具体的には、図８（ａ）に示すように、曲線算出部３８は、マーカ画像１２Ｌの頂点１２１Ｌ～１２４Ｌおよびマーカ画像１２Ｒの頂点１２１Ｒ～１２４Ｒの座標を算出する。
　続いて、曲線算出部３８は、両マーカ画像１２Ｌ，１２Ｒの辺からベクトルを算出する（Ｓ６２）。図８（ｂ）に示すように、曲線算出部３８は、マーカ１２Ｌの下辺を通るベクトル１２５Ｌおよびページの左辺を通るベクトル１２６Ｌを算出する。同様に、マーカ画像１２Ｒの下辺を通るベクトル１２５Ｒ、マーカ画像１２Ｒの右辺を通る１２６Ｒを算出する。
　そして、曲線算出部３８は、マーカ画像１２Ｌの下辺のベクトルと、マーカ画像１２Ｒの下辺のベクトルをそれぞれ延長した直線の交点を算出する（Ｓ６３）。図８（ｃ）に示すように、曲線算出部３８は、ベクトル１２５Ｌおよびベクトル１２５Ｒを延長した直線の交点１３０を求める。ここで、実際に印刷されたマーカ画像１２Ｌ，１２Ｒは同一紙面上にあるので、ベクトル１２５Ｌおよびベクトル１２５Ｒも同一平面上（（Ｘｂ、Ｙｂ）平面）に存在すると仮定している。
　なお、両ベクトルの位置関係がねじれの位置にあり、上の手法で交点が求まらないときには、交点１３０の（Ｘｂ、Ｙｂ）成分は両ベクトル１２５Ｌ，１２５Ｒの（Ｘｂ、Ｙｂ）成分のベクトルの交点Ａとする。また、交点１３０のＺｂ成分については、
　（１）この交点Ａを通るＺｂ軸に平行なベクトルと、ベクトル１２５Ｌとの交点Ｂ、
　（２）この交点Ａを通るＺｂ軸に平行なベクトルと、ベクトル１２５Ｒとの交点Ｃ、
　を求め、両交点Ｂ，Ｃその中間点（（Ｂ＋Ｃ）／２）を求めて算出してもよい。
　続いて、曲線算出部３８は、交点１３０の前後に第１付近点１３１、第２付近点１３２を設定する（Ｓ６４，図８（ｄ））。第１付近点１３１および第２付近点１３２は、交点１３０からベクトル１２６Ｌ，１２６Ｒのベクトル和方向（ぺージの「天」方向に対応）に一定距離だけ移動させた点である。
　そして、曲線算出部３８は、
　（１）左のマーカ画像１２Ｌの下辺から、交点１３０を通って、右のマーカ画像１２Ｒの下辺に至る曲線１４０
　（２）左のマーカ画像１２Ｌの下辺から、第１付近点１３１を通って、右のマーカ画像１２Ｒの下辺に至る曲線１４１
　（３）左のマーカ画像１２Ｌの下辺から、第２付近点１３２を通って、右のマーカ画像１２Ｒの下辺に至る曲線１４２
　この３本の曲線１４０～１４２を算出する（Ｓ６５，図９（ｅ））。
　この曲線の算出は、左の下辺の頂点１２１Ｌ，頂点１２２Ｌの２点、中央の交点１３０の１点および右の下辺の頂点１２２Ｒ，頂点１２１Ｒの２点の合計５点結ぶスプライン曲線を算出して曲線１４０を求めることができる。同様に、中央の点を、第１付近点１３１または第２付近１３２とそれぞれ変更することで、曲線１４１，曲線１４２がそれぞれ求められる。
　３本の曲線を算出した後、曲線算出部３８は、マーカ内部情報から計算されるマーカ間の距離に最も近い曲線を、最終的な曲線と確定する（Ｓ６６）。
　図３を用いて説明したように、曲線算出部３８は、両マーカ画像１２Ｌ，１２Ｒの座標（50,750），（450,750）からマーカ間の距離を400と求める。そして、曲線１４０～１４２の中からこの距離400に最も近い曲線（図９（ｆ）の例では曲線１４１が最も近いとする。）を求める。
　続いて、曲面作成部４０は、確定した曲線１４１を交点１３０からベクトル１２６Ｌ，１２６Ｒのベクトル和方向（ぺージの「天」方向に対応）に平行移動した曲線１５１を求める（Ｓ６７，図９（ｆ））。
　そして、曲面作成部４０は、平行移動前の曲線１４１と、平行移動後の曲線１５１とを囲む曲面を作成する（Ｓ６８）。
　具体的には、曲面作成部４０は、図９（ｇ）に示すように、曲線１４１上の点１２１Ｌ，１２２Ｌと、この点１２１Ｌ，１２２Ｌを「天」方向に平行移動した点１６１Ｌ、１６２Ｌの合わせて4点を囲んで小さな曲面１４１を作成する。
　そして、曲面作成部４０は、同様に、点１２２Ｌ、点１４３、点１６２Ｌ、点１６３の４点を囲む小さな曲面１７２を作成し、さらに、小さな曲面１７３～１７５を作成し、作成した小さな曲面１７１～１７５をつないで曲面１７０を作成する（図９（ｈ））。この曲面１７０は見開きの本１０の左ページの湾曲度合いを示す曲面である。
　なお、図９（ｇ）の例では、曲線１４１上に６点を設定するとしたが、これに限らず任意の個数とすることができる。細かく点を設定すれば、より精緻な曲面を作成することが可能となるが処理負荷は大きくなる。
　曲面算出処理（図５：Ｓ５５）を終えると、仮想物体を曲面に合わせて変形し、ディスプレイ４６に重畳表示する（Ｓ５６）。
　図１０に重畳表示の例を示す。
　図１０では、撮影した画像（撮影画像）上に、仮想物体１８０を曲面１７０に合わせて変形した画像（仮想画像）を重畳した画像（重畳画像）をＨＭＤ２０に表示している。
　なお、この仮想物体１８０の変形は、曲面１７０に仮想物体１８０を貼り付けるテクスチャマッピングの手法を用いる。
　ＨＭＤ２０に表示されている太陽と星を示す仮想物体１８０は、曲面１７０に合わせて変形されているので、ユーザが手で見開いている本１０の左ページ上に太陽と星があたかも描かれているかのように見せることができる。
　また、仮想物体１８０がページの天地方向にずれて見えることを防ぐことができるし、さらに、仮想物体１８０がページの手前奥方向にずれることでページから浮き上がったりページに埋没したりするような不自然な見え方をも防ぐことができる。
　以上、説明したように、本実施の形態によれば、ページ上に印刷した２つのマーカにより、ページの湾曲度合いに応じた曲面を算出することができる。曲面の算出のために、大量のマーカを準備する必要もなく、処理も比較的軽い処理で行うことができるので、特にＨＭＤに適用することが好適である。
　（実施の形態２）
　実施の形態２では、地図が描かれた本の画像上に、仮想物体として現在地を示すマークを重畳表示するものである。基本的な構成は実施の形態１と同様であるので、異なる部分を中心に説明する。
　図１１にマーカ２Ｌ，２Ｒに埋め込まれたマーカ内部情報の例を示す。
　マーカ内部情報は、基本的には図３と同様であるが、「位置情報」１３ｅの項目が異なる。この「位置情報」１３ｅは、マーカ２Ｌ，２Ｒが印刷されたページの地図がカバーする緯度・経度の範囲を示すものである。
　図１２は、ＨＭＤ２１の機能ブロック図である。図４と同じ機能ブロックには同じ符号を付して説明を省略する。
　位置情報受信部５０は、一般的なＧＰＳ(Global Positioning System)ユニットから構成されており、ＧＰＳアンテナ５１を介して位置情報を受信する。
　表示エンジン４４は、仮想物体格納部３６に格納された現在地を示すマークを曲面情報格納部４２に格納された曲面に沿って変形する。
　また、内部情報格納部３０に格納されたマーカ内部情報の位置情報から、上記曲面に座標系を設定し、位置情報受信部５０に示される位置に現在地を示すマークを重畳表示する。
　図１３に重畳表示の例を示す。
　図１３の仮想画像に示すように、表示エンジン４４は、マーカ内部情報の「位置情報」１３ｅ（図１１参照）の(34.7,135.5)をページ左上の点Ａとし、(34.8, 135.6)をページ右下の点Ｂと設定する。
　そして、表示エンジン４４は、曲面１９０に沿って現在地を示すマーク２００を変形し、変形したマークを位置情報受信部５０に示される位置(34.74,135.55)に配置する。
　図１３の重畳画像では、ページに印刷された地図上に現在地を示すマークが表示されており、ＨＭＤ２１を装備するユーザは現在地を確認することができる。
　本実施の形態２によれば、ユーザーが地図が印刷された紙の本を閲覧する際に、現在地を示す情報を重畳することで利便性の向上に寄与できる。また、この重畳表示は、ネットワーク通信手段を用いず行うことができる。
　また、マーク２００は曲面１９０に応じて変形され、曲面１９０に応じた位置に重畳表示されているので、マークがページ上で、特に天地方向にずれることを防止できる。特に、地図が細い通りが入り組んだようなものである場合には、上下のずれを防ぐことで、現在地をより正確に表すことができる。
（実施の形態３）
　上に述べた重畳表示は、リアルタイムに行う必要がある上、ＨＭＤは汎用ＰＣなどと比べると処理能力に長けていないことが多い。
　そこで、実施の形態３では、マーカ内部情報の読み取りの処理（図１４）や、曲面算出の処理（図１５）の軽減を図る。
　図１４に示すように、マーカ抽出部２４は、撮影画像からマーカ画像を抽出後（Ｓ５２）、前回のマーカ画像と今回のマーカ画像のマーカ座標を比較する。同じであれば、マーカ内部情報の読み取りなどの処理（Ｓ５３，Ｓ５４）をスキップし（Ｓ１４１：同じ）、前回読み取ったマーカ内部情報を再度利用する。
　リアルタイムな重畳表示においては、カメラ２２は例えば60ｆｐｓで画像をキャプチャしており、マーカ座標がマーカ画像間でほとんど変わらないことがある。このような処理を行うことで、マーカ内部情報の読み取りに要する処理を軽減できる。
　また、図１５に示すように、曲面算出処理においては、今回の画像のマーカ座標が前回から変化していなければ（Ｓ１５１：Ｎｏ）、曲線算出部３８は、前回の最終的な曲線の中央点（交点または付近点）を、今回の交点と設定する（Ｓ１５２）。こうすることで、ステップＳ６１～Ｓ６３をスキップでき処理の軽減をもたらすことができる。
＜補足１＞
　以上、本実施の形態について説明したが、本発明は上記の内容に限定されず、本発明の目的とそれに関連又は付随する目的を達成するための各種形態においても実施可能であり、例えば、以下であっても構わない。
（１）付近点の作り方
　実施の形態では、図８（ｄ）に示すように、交点１３０をぺージの「天」方向に移動させて付近点１３１，１３２を作成するとしたが、これに限らず、図１６に示すように、Ｚｂ軸方向（ページの手前奥方向に対応する方向である。）に延ばした直線上に付近点１３３，１３４を設定しても良い。
　また、図８（ｄ）では、付近点を２個作成したが、処理負荷に余裕がある場合などには、この個数を増やしてもよい。
（２）曲線の作り方
　実施の形態では、図９（ｅ）に示すようなスプライン曲線を作成するとしたが、曲線を作成する手法はこれに限られない。
　ベジェ曲線や、ベジェ・スプライン曲線（例えば、区分ごとにベジェ曲線を生成して、生成したベジェ曲線をつなぎあわせてスプライン曲線を得る。）などの手法を用いることができる。
　また、曲線の距離を計算する計算時間の短縮を図りたい場合は、スプライン曲線算出に使用した５点（例えば、点１２１Ｌ，１２２Ｌ，点１３０，点１２２Ｒ，点１２１Ｒ）を隣同士結んだ線分よりなる折れ線の距離を、曲線の距離として代用してもよい。
（３）ページの材質
　実施の形態では、本１０のページは紙製としたが、紙に限らずフレキシブルディスプレイなど湾曲が生じる材質でも構わない。
（４）仮想物体
　実施の形態では、ＨＭＤ２０の仮想物体格納部３６内に表示対象となる仮想物体を格納するとしたが、格納しなくとも外部から取得するようにしてもよい。
　例えば、マーカのマーカ内部情報として、仮想物体を識別する情報としてＵＲＬ（Uniform Resource Locator）を含ませておき、ＨＭＤ２０においてこのＵＲＬに示される場所（Locator）からネットワークを介して仮想物体を取得するとしてもよい。
　また、仮想物体は平面画像（２Ｄ画像）に限らず、立体画像（３Ｄ画像）であっても構わない。
　例えば、立体画像として曲面上を動き回るキャラクターを表示する場合には、曲面作成部４０が作成した曲面をキャラクターとの衝突判定に用いたり、この曲面に摩擦係数を設定することが考えられる。
（５）カメラ
　実施の形態では、ＨＭＤ２０はカメラ２２を備えるとしたが、カメラは必須ではなくカメラを備えないＨＭＤの構成もあり得る。その場合は、例えば、ＨＭＤと外部装置としてのカメラとを通信ケーブルで接続しておき、ＨＭＤの取得部においてカメラからその撮影画像を取得するとしても構わない。
（６）曲面の作り方
　実施の形態では、曲線を算出した後で、算出した曲線を基に曲面を作成するとしたが、これに限られず、曲線を介さず直接曲面を作成する手法も採用できる。
　この（５）（６）を踏まえて、ＨＭＤ２０の要部２０ａを図１７に示す。
（７）プログラム
　上述の実施の形態で示した動作などを各種情報処理装置のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路を介して流通させ頒布することもできる。
　このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ等の非一時的な（not-transitory）記録媒体がある。
　流通、頒布された制御プログラムは、プロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより実施の形態で示したような各種機能が実現されるようになる。
（８）ＬＳＩ
　図面に示した各機能ブロックは、集積回路であるＬＳＩとしてもよい。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
＜補足２＞
本実施の形態は、以下の態様を含むものである。
（１）実施の形態に係る表示処理装置は、現実世界を撮影した撮影画像の上に、仮想物体を重畳して表示する表示処理装置であって、本のページを撮影した撮影画像を取得する取得手段と、取得された撮影画像から、１以上のマーカ画像を抽出する抽出手段と、前記マーカ画像に基づいて、撮影したページの曲がり度合いを示す曲面を作成する作成手段と、仮想物体を前記曲面に応じて変形し、前記撮影画像の上に変形した仮想物体を重畳して表示する表示処理手段と、を備える。
（２）また、前記抽出手段は、第１マーカ画像および第２マーカ画像を抽出し、前記作成手段は、前記第１マーカ画像および前記第２マーカ画像に基づいて、撮影したページの曲がり度合いを示す曲線を算出し、この曲線に基づいて前記曲面を作成するとしても構わない。
（３）また、前記ページの天地方向において、前記第１マーカ画像および第２マーカ画像に相当する印画部分の一方はページ左側に、他方はページ右側に印刷され、両者ともページの左右方向に延びる辺を有し、前記作成手段が算出する前記曲線は、前記第１マーカ画像の辺および前記第２マーカ画像の辺を通る曲線であり、前記作成手段は、前記曲線を前記撮影画像内のページの天地方向に平行移動させることにより前記曲面を作成するとしても構わない。
（４）抽出された前記第１マーカ画像および前記第２マーカ画像のそれぞれから前記ページにおける各マーカに相当する印画部分の座標を示す情報を読み取る読取手段と、読み取られた座標間の距離を計算する計算手段とを備え、前記作成手段は、計算された前記距離に基づいて、前記曲線を算出するとしても構わない。
（５）前記作成手段は、前記第１マーカ画像の辺を延長した直線と、前記第２マーカ画像の辺を延長した直線の両直線の交点を求め、（ａ）前記第１マーカ画像の辺から、前記交点を通って、前記第２マーカ画像の辺に至る１本の曲線と、（ｂ）前記第１マーカ画像の辺から、前記交点の近隣に位置する付近点を通って、前記第２マーカ画像の辺を通る１本以上の曲線と、を作成し、作成したすべての曲線の中から、その距離が前記計算された距離に最も近い曲線を最終的な曲線として算出するとしても構わない。
（６）前記付近点は、前記交点を前記撮影画像内のページの天地方向または奥行き方向に移動させた点であるとしても構わない。
（７）前記読取手段は、抽出された前記第１マーカ画像および前記第２マーカ画像の少なくとも一方から仮想物体を識別する情報を読み取り、前記表示処理手段は、前記読み取りにより識別された仮想物体を前記重畳表示の対象とするとしても構わない。
（８）前記ページ上には地図が印刷されており、前記読取手段は、抽出された前記第１マーカ画像および前記第２マーカ画像の少なくとも一方から当該ページの地図が範囲に含む座標の範囲を示す座標情報を読み取り、現在地を示す位置情報を受信する受信手段を備え、前記表示処理手段は、前記仮想物体として現在地を示すマークを前記曲面に応じて変形し、前記撮影画像内のページ上における、前記座標情報に示される座標の範囲の前記位置情報に基づいた位置に、変形したマークを重畳して表示するとしても構わない。
（９）前記第１マーカ画像および第２マーカ画像に相当する印画部分は、前記ページの左右方向に延びる辺と、ページの天地方向に延びる辺とを有する矩形状の形状をしており、前記作成手段は、前記抽出された前記第１マーカ画像または第２マーカ画像の前記天地方向に延びる辺に基づいて、前記天地方向への平行移動を行うとしても構わない。
（１０）前記取得手段は、撮影画像の取得を定期的に繰り返すものであり、前記抽出手段は、前記抽出に先立って、前回取得された撮影画像と今回取得された撮影画像との同一性を比較し、同一と判定すると前記抽出を行わずに、前回取得された撮影画像から抽出した第１マーカ画像および第２マーカ画像を今回の抽出結果として出力するとしても構わない。
（１１）前記第１マーカ画像および第２マーカ画像は、二次元コードの画像であるとしても構わない。
（１２）前記撮影画像は、本の見開きページを撮影した画像であるとしても構わない。
（１３）実施の形態に係る表示方法は、現実世界の画像に仮想物体を重畳表示する方法であって、本のページを撮影した撮影画像を取得する取得ステップと、取得された撮影画像から、１以上のマーカ画像を抽出する抽出ステップと、前記マーカ画像に基づいて、撮影したページの曲がり度合いを示す曲面を作成する作成ステップと、仮想物体を前記曲面に応じて変形し、前記撮影画像の上に変形した仮想物体を重畳して表示する表示処理ステップと、を含む。
　この取得ステップ、抽出ステップ、作成ステップおよび表示処理ステップを、それぞれ図１８のステップＳ１８１～Ｓ１８４として例示する。
（１４）実施の形態に係るプログラムは、現実世界の画像に仮想物体を重畳表示する表示処理を表示処理装置にて実行させるためのプログラムであって、前記表示処理は、本のページを撮影した撮影画像を取得する取得ステップと、取得された撮影画像から、１以上のマーカ画像を抽出する抽出ステップと、前記マーカ画像に基づいて、撮影したページの曲がり度合いを示す曲面を作成する作成ステップと、仮想物体を前記曲面に応じて変形し、前記撮影画像の上に変形した仮想物体を重畳して表示する表示処理ステップと、の各ステップを含む。
　本発明にかかる表示処理装置によれば、ユーザに与える違和感が少ない拡張現実感の実現に貢献でき有用である。
　１　読書システム
　２Ｌ，２Ｒ，４Ｌ，４Ｒ　マーカ（マーカ画像に相当する印画部分）
　１０　本
　１２Ｌ，１２Ｒ，１４Ｌ，１４Ｒ　マーカ画像
　２０，２１　ＨＭＤ（表示処理装置の一例）
　２０ａ　ＨＭＤの要部
　２２　カメラ
　２３　取得部
　２４　マーカ抽出部
　２６　座標情報格納部
　２８　マーカ読取部
　３０　内部情報格納部
　３２　仮想物体取得部
　３４　仮想物体特定部
　３６　仮想物体格納部
　３８　曲線算出部
　４０　曲面作成部
　４２　曲面情報格納部
　４４　表示エンジン（表示処理手段の一例）
　４６　ディスプレイ
　５０　位置情報受信部
　５１　ＧＰＳアンテナ
　１４０，１４１，１４２　曲線
　１７０　曲面
　１８０　仮想物体
　１９０　曲面
　２００　マーク（仮想物体の一例）

Claims (14)

  1. 　現実世界を撮影した撮影画像の上に、仮想物体を重畳して表示する表示処理装置であって、
    　本のページを撮影した撮影画像を取得する取得手段と、
    　取得された撮影画像から、１以上のマーカ画像を抽出する抽出手段と、
    　前記マーカ画像に基づいて、撮影したページの曲がり度合いを示す曲面を作成する作成手段と、
    　仮想物体を前記曲面に応じて変形し、前記撮影画像の上に変形した仮想物体を重畳して表示する表示処理手段と、
    を備えることを特徴とする表示処理装置。
  2. 　前記抽出手段は、第１マーカ画像および第２マーカ画像を抽出し、
    　前記作成手段は、前記第１マーカ画像および前記第２マーカ画像に基づいて、撮影したページの曲がり度合いを示す曲線を算出し、この曲線に基づいて前記曲面を作成することを特徴とする請求項１に記載の表示処理装置。
  3. 　前記ページの天地方向において、前記第１マーカ画像および第２マーカ画像に相当する印画部分の一方はページ左側に、他方はページ右側に印刷され、両者ともページの左右方向に延びる辺を有し、
    　前記作成手段が算出する前記曲線は、前記第１マーカ画像の辺および前記第２マーカ画像の辺を通る曲線であり、
    　前記作成手段は、前記曲線を前記撮影画像内のページの天地方向に平行移動させることにより前記曲面を作成すること
    を特徴とする請求項２に記載の表示処理装置。
  4. 　抽出された前記第１マーカ画像および前記第２マーカ画像のそれぞれから前記ページにおける各マーカに相当する印画部分の座標を示す情報を読み取る読取手段と、
    　読み取られた座標間の距離を計算する計算手段とを備え、
    　前記作成手段は、計算された前記距離に基づいて、前記曲線を算出する
    ことを特徴とする請求項３に記載の表示処理装置。
  5. 　前記作成手段は、前記第１マーカ画像の辺を延長した直線と、前記第２マーカ画像の辺を延長した直線の両直線の交点を求め、
    　（ａ）前記第１マーカ画像の辺から、前記交点を通って、前記第２マーカ画像の辺に至る１本の曲線と、
    　（ｂ）前記第１マーカ画像の辺から、前記交点の近隣に位置する付近点を通って、前記第２マーカ画像の辺を通る１本以上の曲線と、
    　を作成し、作成したすべての曲線の中から、その距離が前記計算された距離に最も近い曲線を最終的な曲線として算出する
    ことを特徴とする請求項４に記載の表示処理装置。
  6. 　前記付近点は、前記交点を前記撮影画像内のページの天地方向または奥行き方向に移動させた点である
    ことを特徴とする請求項５に記載の表示処理装置。
  7. 　前記読取手段は、抽出された前記第１マーカ画像および前記第２マーカ画像の少なくとも一方から仮想物体を識別する情報を読み取り、
    　前記表示処理手段は、前記読み取りにより識別された仮想物体を前記重畳表示の対象とすることを特徴とする請求項４に記載の表示処理装置。
  8. 　前記ページ上には地図が印刷されており、
    　前記読取手段は、抽出された前記第１マーカ画像および前記第２マーカ画像の少なくとも一方から当該ページの地図が範囲に含む座標の範囲を示す座標情報を読み取り、
    　現在地を示す位置情報を受信する受信手段を備え、
    　前記表示処理手段は、前記仮想物体として現在地を示すマークを前記曲面に応じて変形し、前記撮影画像内のページ上における、前記座標情報に示される座標の範囲の前記位置情報に基づいた位置に、変形したマークを重畳して表示する
    ことを特徴とする請求項４に記載の表示処理装置。
  9. 　前記第１マーカ画像および第２マーカ画像に相当する印画部分は、前記ページの左右方向に延びる辺と、ページの天地方向に延びる辺とを有する矩形状の形状をしており、
    　前記作成手段は、前記抽出された前記第１マーカ画像または第２マーカ画像の前記天地方向に延びる辺に基づいて、前記天地方向への平行移動を行う
    ことを特徴とする請求項３に記載の表示処理装置。
  10. 　前記取得手段は、撮影画像の取得を定期的に繰り返すものであり、
    　前記抽出手段は、前記抽出に先立って、前回取得された撮影画像と今回取得された撮影画像との同一性を比較し、同一と判定すると前記抽出を行わずに、前回取得された撮影画像から抽出した第１マーカ画像および第２マーカ画像を今回の抽出結果として出力する
    ことを特徴とする請求項２に記載の表示処理装置。
  11. 　前記第１マーカ画像および第２マーカ画像は、二次元コードの画像である
    ことを特徴とする請求項２に記載の表示処理装置。
  12. 　前記撮影画像は、本の見開きページを撮影した画像である
    ことを特徴とする請求項２に記載の表示処理装置。
  13. 　現実世界の画像に仮想物体を重畳表示する方法であって、
    　本のページを撮影した撮影画像を取得する取得ステップと、
    　取得された撮影画像から、１以上のマーカ画像を抽出する抽出ステップと、
    　前記マーカ画像に基づいて、撮影したページの曲がり度合いを示す曲面を作成する作成ステップと、
    　仮想物体を前記曲面に応じて変形し、前記撮影画像の上に変形した仮想物体を重畳して表示する表示処理ステップと、
    を含む表示方法。
  14. 　現実世界の画像に仮想物体を重畳表示する表示処理を表示処理装置にて実行させるためのプログラムであって、
    　前記表示処理は、
    　　本のページを撮影した撮影画像を取得する取得ステップと、
    　　取得された撮影画像から、１以上のマーカ画像を抽出する抽出ステップと、
    　　前記マーカ画像に基づいて、撮影したページの曲がり度合いを示す曲面を作成する作成ステップと、
    　　仮想物体を前記曲面に応じて変形し、前記撮影画像の上に変形した仮想物体を重畳して表示する表示処理ステップと、
    の各ステップを含むプログラム。
PCT/JP2011/004368 2010-10-12 2011-08-02 表示処理装置、表示方法およびプログラム WO2012049795A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/508,577 US20120223968A1 (en) 2010-10-12 2011-08-02 Display processing device, display method, and program
JP2012538552A JPWO2012049795A1 (ja) 2010-10-12 2011-08-02 表示処理装置、表示方法およびプログラム
CN2011800049281A CN102652322A (zh) 2010-10-12 2011-08-02 显示处理装置、显示方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010229669 2010-10-12
JP2010-229669 2010-10-12

Publications (1)

Publication Number Publication Date
WO2012049795A1 true WO2012049795A1 (ja) 2012-04-19

Family

ID=45938038

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/004368 WO2012049795A1 (ja) 2010-10-12 2011-08-02 表示処理装置、表示方法およびプログラム

Country Status (4)

Country Link
US (1) US20120223968A1 (ja)
JP (1) JPWO2012049795A1 (ja)
CN (1) CN102652322A (ja)
WO (1) WO2012049795A1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2499249A (en) * 2012-02-13 2013-08-14 Sony Comp Entertainment Europe System and method of image augmentation of a book
US20140191929A1 (en) * 2012-07-16 2014-07-10 Lg Electronics Inc. Head mounted display and method of outputting a content using the same in which the same identical content is displayed
JP2014229274A (ja) * 2013-05-27 2014-12-08 国立大学法人 千葉大学 マーカー、マーカーが付された物体、マーカー解析方法、及び画像作成方法。
JP2015007927A (ja) * 2013-06-26 2015-01-15 カシオ計算機株式会社 Ａｒマーカ及びａｒマーカ表示媒体
JP2015056771A (ja) * 2013-09-11 2015-03-23 株式会社リコー 画像形成装置、印刷方法及びプログラム
JP2015099448A (ja) * 2013-11-18 2015-05-28 コニカミノルタ株式会社 Ａｒ表示装置、ａｒ表示制御装置、印刷条件設定システム、印刷システム、印刷設定表示方法およびプログラム
JP2015126352A (ja) * 2013-12-26 2015-07-06 セイコーエプソン株式会社 頭部装着型表示装置、画像表示システム、および、頭部装着型表示装置の制御方法
CN104899808A (zh) * 2015-06-25 2015-09-09 盐城金意光电科技有限公司 一种适用于儿童启蒙教育的系统及方法
JP2015529369A (ja) * 2012-09-21 2015-10-05 アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ 画像からのラベルの検出
JP2016224485A (ja) * 2015-05-26 2016-12-28 国立大学法人 千葉大学 マーカーの解析方法
JP2018517187A (ja) * 2015-03-04 2018-06-28 オキュラス ブイアール，エルエルシー 仮想現実システムにおけるスパース投影
JPWO2017145483A1 (ja) * 2016-02-24 2019-01-24 株式会社リコー 画像処理装置、画像処理システム及びプログラム
KR20200046381A (ko) * 2018-10-24 2020-05-07 디에스글로벌 (주) 위치정보 및 시간정보 기반의 ar 컨텐츠 제공 방법 및 시스템
US11380140B2 (en) 2017-02-28 2022-07-05 Nec Corporation Inspection assistance device, inspection assistance method, and recording medium

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6208151B2 (ja) * 2012-02-06 2017-10-04 ソニー インタラクティブ エンタテインメント ヨーロッパ リミテッド 拡張現実のためのブックオブジェクト
GB2501924B (en) * 2012-05-11 2015-06-24 Sony Comp Entertainment Europe System and method of book leaf tracking
GB2502622B (en) * 2012-06-01 2015-04-29 Sony Comp Entertainment Europe Apparatus and method of augmenting video
JP5841033B2 (ja) * 2012-09-27 2016-01-06 京セラ株式会社 表示装置、制御システムおよび制御プログラム
US20140173471A1 (en) * 2012-12-19 2014-06-19 Nokia Corporation Method, apparatus, and computer program product for a curved user interface
US20140192182A1 (en) * 2013-01-10 2014-07-10 General Electric Company Method for viewing virtual objects within an appliance
CN104246864B (zh) 2013-02-22 2016-06-29 索尼公司 头戴式显示器和图像显示装置
CN104057719A (zh) * 2013-03-23 2014-09-24 杨筑平 条码印制的方法、标签、设备和系统
TWI649675B (zh) * 2013-03-28 2019-02-01 新力股份有限公司 Display device
US9990004B2 (en) * 2013-04-02 2018-06-05 Samsung Dispaly Co., Ltd. Optical detection of bending motions of a flexible display
US9424808B2 (en) * 2013-08-22 2016-08-23 Htc Corporation Image cropping manipulation method and portable electronic device
US20150228123A1 (en) * 2014-02-07 2015-08-13 Datangle, Inc. Hybrid Method to Identify AR Target Images in Augmented Reality Applications
JP6634432B2 (ja) * 2014-03-25 2020-01-22 ６１１５１８７ カナダ・インコーポレイテッド ディ／ビー／エイ インマーヴィジョン・インコーポレイテッド６１１５１８７ Ｃａｎａｄａ Ｉｎｃ． Ｄ／Ｂ／Ａ Ｉｍｍｅｒｖｉｓｉｏｎ， Ｉｎｃ． 広角画像に関連する情報を記録、共有、及び処理することによるシステム挙動又はユーザエクスペリエンスの自動定義
US10388068B2 (en) * 2014-07-14 2019-08-20 Ademco Inc. System and method of augmented reality alarm system installation
JP6323682B2 (ja) * 2015-04-25 2018-05-16 京セラドキュメントソリューションズ株式会社 画像形成システム
CN108629222B (zh) * 2015-07-03 2021-01-26 海信集团有限公司 一种基于曲面屏幕显示图像的方法
CN105353878B (zh) * 2015-11-10 2019-02-01 华勤通讯技术有限公司 现实增强信息处理方法、装置及系统
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
US10825421B2 (en) 2016-11-29 2020-11-03 Huawei Technologies Co., Ltd. Electronic device photographing method, and apparatus
IT201700089270A1 (it) * 2017-08-02 2019-02-02 Ft System Srl Metodo e apparecchio per rilevare la posizione angolare di un tappo su una bottiglia
WO2019071209A1 (en) * 2017-10-06 2019-04-11 Rad Steve SYSTEM AND KIT OF INCREASED REALITY
JP7135414B2 (ja) * 2018-05-08 2022-09-13 富士フイルムビジネスイノベーション株式会社 情報提供装置、情報提供システムおよびプログラム
US11508130B2 (en) * 2020-06-13 2022-11-22 Snap Inc. Augmented reality environment enhancement
WO2024043665A1 (ko) * 2022-08-22 2024-02-29 (주)클로버추얼패션 3차원 시뮬레이션에서 마커를 생성 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004054890A (ja) * 2002-05-29 2004-02-19 Sony Corp 画像表示装置および方法、送信装置および方法、画像表示システム、記録媒体、並びにプログラム
JP3993423B2 (ja) * 2001-11-16 2007-10-17 日本電信電話株式会社 電子出版物閲覧装置、電子出版物閲覧プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000132329A (ja) * 1998-10-27 2000-05-12 Sony Corp 面認識装置、面認識方法及び仮想画像立体合成装置
JP2001223891A (ja) * 2000-02-09 2001-08-17 Fuji Photo Film Co Ltd 画像処理方法
US20040001074A1 (en) * 2002-05-29 2004-01-01 Hideki Oyaizu Image display apparatus and method, transmitting apparatus and method, image display system, recording medium, and program
JP2004086747A (ja) * 2002-08-28 2004-03-18 Chinon Ind Inc 歪曲収差測定方法及び画像処理装置
US7292269B2 (en) * 2003-04-11 2007-11-06 Mitsubishi Electric Research Laboratories Context aware projector
JP4522140B2 (ja) * 2004-05-14 2010-08-11 キヤノン株式会社 指標配置情報推定方法および情報処理装置
EP2157545A1 (en) * 2008-08-19 2010-02-24 Sony Computer Entertainment Europe Limited Entertainment device, system and method
JP2011095797A (ja) * 2009-10-27 2011-05-12 Sony Corp 画像処理装置、画像処理方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3993423B2 (ja) * 2001-11-16 2007-10-17 日本電信電話株式会社 電子出版物閲覧装置、電子出版物閲覧プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2004054890A (ja) * 2002-05-29 2004-02-19 Sony Corp 画像表示装置および方法、送信装置および方法、画像表示システム、記録媒体、並びにプログラム

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2499249A (en) * 2012-02-13 2013-08-14 Sony Comp Entertainment Europe System and method of image augmentation of a book
US9623698B2 (en) 2012-02-13 2017-04-18 Sony Computer Entertainment Europe Limited Book for augmented reality applications
GB2499249B (en) * 2012-02-13 2016-09-21 Sony Computer Entertainment Europe Ltd System and method of image augmentation
US9150043B2 (en) 2012-02-13 2015-10-06 Sony Computer Entertainment Europe Limited System and method of image augmentation
US20140191929A1 (en) * 2012-07-16 2014-07-10 Lg Electronics Inc. Head mounted display and method of outputting a content using the same in which the same identical content is displayed
US9423619B2 (en) * 2012-07-16 2016-08-23 Microsoft Technology Licensing, Llc Head mounted display and method of outputting a content using the same in which the same identical content is displayed
JP2015529369A (ja) * 2012-09-21 2015-10-05 アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ 画像からのラベルの検出
JP2014229274A (ja) * 2013-05-27 2014-12-08 国立大学法人 千葉大学 マーカー、マーカーが付された物体、マーカー解析方法、及び画像作成方法。
JP2015007927A (ja) * 2013-06-26 2015-01-15 カシオ計算機株式会社 Ａｒマーカ及びａｒマーカ表示媒体
JP2015056771A (ja) * 2013-09-11 2015-03-23 株式会社リコー 画像形成装置、印刷方法及びプログラム
US9380179B2 (en) 2013-11-18 2016-06-28 Konica Minolta, Inc. AR display device in which an image is overlapped with a reality space, AR display control device, print condition setting system, print system, print setting display method, and non-transitory computer-readable recording medium
JP2015099448A (ja) * 2013-11-18 2015-05-28 コニカミノルタ株式会社 Ａｒ表示装置、ａｒ表示制御装置、印刷条件設定システム、印刷システム、印刷設定表示方法およびプログラム
JP2015126352A (ja) * 2013-12-26 2015-07-06 セイコーエプソン株式会社 頭部装着型表示装置、画像表示システム、および、頭部装着型表示装置の制御方法
JP2018517187A (ja) * 2015-03-04 2018-06-28 オキュラス ブイアール，エルエルシー 仮想現実システムにおけるスパース投影
JP2016224485A (ja) * 2015-05-26 2016-12-28 国立大学法人 千葉大学 マーカーの解析方法
CN104899808A (zh) * 2015-06-25 2015-09-09 盐城金意光电科技有限公司 一种适用于儿童启蒙教育的系统及方法
JPWO2017145483A1 (ja) * 2016-02-24 2019-01-24 株式会社リコー 画像処理装置、画像処理システム及びプログラム
US11380140B2 (en) 2017-02-28 2022-07-05 Nec Corporation Inspection assistance device, inspection assistance method, and recording medium
KR20200046381A (ko) * 2018-10-24 2020-05-07 디에스글로벌 (주) 위치정보 및 시간정보 기반의 ar 컨텐츠 제공 방법 및 시스템
KR102199686B1 (ko) 2018-10-24 2021-01-07 디에스글로벌(주) 위치정보 및 시간정보 기반의 ar 컨텐츠 제공 방법 및 시스템

Also Published As

Publication number Publication date
US20120223968A1 (en) 2012-09-06
CN102652322A (zh) 2012-08-29
JPWO2012049795A1 (ja) 2014-02-24

Similar Documents

Publication Publication Date Title
WO2012049795A1 (ja) 表示処理装置、表示方法およびプログラム
CN109561296B (zh) 图像处理装置、图像处理方法、图像处理系统和存储介质
JP4401727B2 (ja) 画像表示装置及び方法
JP3991020B2 (ja) 画像表示方法及び画像表示システム
US9489765B2 (en) Silhouette-based object and texture alignment, systems and methods
JP6587421B2 (ja) 情報処理装置、情報処理方法、及びプログラム
EP3786900A2 (en) Markerless multi-user multi-object augmented reality on mobile devices
EP3480556B1 (en) Three-dimensional measurement apparatus, three-dimensional measurement method and program
KR101396346B1 (ko) 다수의 2차원 실사 영상들을 이용하여 3차원 영상을생성하는 방법 및 장치
KR101265667B1 (ko) 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
CN106210538A (zh) 在用户设备上显示基于光场的图像的方法和装置及程序
CN101702233B (zh) 视频帧中基于三点共线标记点的三维定位方法
JP2010287174A (ja) 家具シミュレーション方法、装置、プログラム、記録媒体
CN110555903B (zh) 图像处理方法和装置
JP5349224B2 (ja) 画像処理装置及び画像処理方法
KR20140128654A (ko) 증강현실 제공 장치 및 그 방법
US20030225513A1 (en) Method and apparatus for providing multi-level blended display of arbitrary shaped textures in a geo-spatial context
CN105955260B (zh) 移动机器人位置感知方法和装置
JP4099776B2 (ja) ３次元モデル作成装置、３次元モデル作成方法および３次元モデル作成プログラム
US11043019B2 (en) Method of displaying a wide-format augmented reality object
CN109727255A (zh) 一种建筑物三维模型分割方法
JP2010033397A (ja) 画像合成装置および方法
TWI564841B (zh) 即時影像合成裝置、方法與電腦程式產品
KR20160049639A (ko) 부분 선형화 기반의 3차원 영상 정합 방법
Calagari et al. Sports VR content generation from regular camera feeds

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180004928.1

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 13508577

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2012538552

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11832241

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11832241

Country of ref document: EP

Kind code of ref document: A1