WO2023199468A1 - 重畳表示装置、重畳表示方法及び重畳表示プログラム - Google Patents

重畳表示装置、重畳表示方法及び重畳表示プログラム Download PDF

Info

Publication number
WO2023199468A1
WO2023199468A1 PCT/JP2022/017800 JP2022017800W WO2023199468A1 WO 2023199468 A1 WO2023199468 A1 WO 2023199468A1 JP 2022017800 W JP2022017800 W JP 2022017800W WO 2023199468 A1 WO2023199468 A1 WO 2023199468A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
camera
unit
display surface
Prior art date
Application number
PCT/JP2022/017800
Other languages
English (en)
French (fr)
Inventor
卓矢 合田
裕介 市川
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2022/017800 priority Critical patent/WO2023199468A1/ja
Publication of WO2023199468A1 publication Critical patent/WO2023199468A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Definitions

  • Embodiments of the present invention relate to a superimposed display device, a superimposed display method, and a superimposed display program.
  • transparent displays have been commercialized.
  • information can be overlaid on glass surfaces by replacing glass surfaces such as showcase windows with transparent displays, or by overlaying transparent displays on existing glass surfaces. It becomes possible to display. Therefore, it is expected that augmented reality (AR) technology will be utilized in transparent displays.
  • AR augmented reality
  • Non-Patent Document 1 photographs a background object with a camera, cuts it out, and pastes it onto another digital content.
  • Non-Patent Document 1 utilizes devices such as smartphones and tablets that have touch panels.
  • the device when a user directly specifies an object to be cropped by tracing the shape of an image of an arbitrary object on a camera image taken and displayed by a camera, the device automatically extracts the image of that object from the camera image. cut out. Since a real-world camera image that includes an object already exists on the device, when the user selects the object to be cropped from that camera image, the device uses a cropping algorithm to crop the image. Achieve cropping of images of objects.
  • the transparent display When trying to realize such a cutout of an object using a transparent display, it is conceivable to mount a camera and a touch panel on the transparent display. Then, the transparent display is overlaid on the object, that is, while the user sees through the object in real space, the user traces the shape of the object seen through the touch panel to specify the object to be cut out. Become. However, since the camera image is not displayed on a transparent display, the coordinates of the user-specified cutout object on the touch panel and the coordinates on the camera image do not necessarily match, and there is a deviation. Therefore, the transparent display cannot uniquely identify the cropping target from the coordinates of the cropping target designated by the user. That is, the transparent display cannot determine what the user has selected in the camera image, and cannot realize the cropping of the image of the cropping target.
  • This invention involves cutting out an image of the target from a camera image in response to a designation of an object in real space, and superimposing and displaying the cut out image of the target in the real space that is being observed through a transparent display.
  • the aim is to provide a superimposed display technology that makes it possible.
  • a superimposed display device includes a transparent display, a touch panel, a camera, and a control section.
  • a transparent display is a display that has a display surface that displays an image and allows viewing of real space through the display surface.
  • the touch panel is arranged on one side of the display surface of the transparent display.
  • the camera photographs the real space on the other side of the display surface of the transparent display.
  • the control unit controls the display of images on the display surface of the transparent display.
  • the control section includes a designation reception section, an image acquisition section, an object image search section, an image cutout section, and an image superimposition section.
  • the designation reception unit receives an operation to designate an object in real space on the touch panel.
  • the image acquisition unit causes the camera to photograph the real space and acquires a camera image in response to the reception of the object designation operation by the designation reception unit.
  • the object image search section searches for an object image corresponding to the object accepted by the designation reception section from the camera images acquired by the image acquisition section.
  • the image cutting section cuts out the object image searched by the object image search section from the camera image acquired by the image acquisition section.
  • the image superimposing section displays the object image cut out by the image cutting section at the position on the display surface where the specifying operation is received by the specifying receiving section.
  • an image of the target object is cut out from a camera image upon receiving a designation of the target object in real space, and the cut out image of the target object is displayed in the real space that is observed through a transparent display. It is possible to provide a superimposed display technique that enables superimposed display.
  • FIG. 1 is a block diagram showing an example of the configuration of a superimposed display device according to an embodiment of the present invention.
  • FIG. 2 is a rear view of the superimposed display device.
  • FIG. 3 is a diagram illustrating an example of the hardware configuration of the superimposed display device.
  • FIG. 4 is a flowchart illustrating an example of the superimposed display processing operation by the superimposed display device.
  • FIG. 5 is a schematic diagram for explaining a situation in which a superimposed display device is overlaid on an object.
  • FIG. 6 is a schematic diagram for explaining an example of a method for specifying a cutout object.
  • FIG. 7 is a schematic diagram for explaining an example of the shape, size, and coordinates acquired by the superimposed display device.
  • FIG. 1 is a block diagram showing an example of the configuration of a superimposed display device according to an embodiment of the present invention.
  • FIG. 2 is a rear view of the superimposed display device.
  • FIG. 3 is a diagram illustrating an example of the hardware
  • FIG. 8 is a schematic diagram for explaining superimposed display of object images.
  • FIG. 9 is a schematic diagram for explaining a situation where a plurality of objects having the same shape exist.
  • FIG. 10 is a schematic diagram for explaining a method for displaying and selecting a list of a plurality of object images.
  • FIG. 11 is a schematic diagram showing a superimposed display device in which one selected object image is displayed in a superimposed manner.
  • FIG. 1 is a block diagram showing an example of the configuration of a superimposed display device 1 according to an embodiment of the present invention.
  • the superimposed display device 1 includes a transparent display 2, a touch panel 3, and a device main body 4.
  • the device main body 4 includes an object clipping control section 5 and a camera 6.
  • the transparent display 2 is a display that has a display surface that displays an image, and allows viewing of real space through this display surface.
  • the display on the display surface of the transparent display 2 is controlled by the object cutout control section 5.
  • the touch panel 3 is arranged on one side of the display surface of the transparent display 2.
  • One side of the display surface is the side of the user who operates the superimposed display device 1 .
  • this one side will be referred to as the front side of the superimposed display device 1
  • the other side of the display surface will be referred to as the back side of the superimposed display device 1.
  • the touch panel 3 is a transmissive or pressure-sensitive transparent touch panel, and it is possible to observe the image displayed on the display surface of the transparent display 2 and the real space on the back side of the superimposed display device 1 through the touch panel 3. It becomes.
  • the touch panel 3 outputs coordinate information indicating the user's touch position to the object cutting control section 5 of the device main body 4.
  • FIG. 2 is a rear view of the superimposed display device 1.
  • the superimposed display device 1 is assumed to be a portable device held by a user's hand.
  • the broken line indicates that the touch panel 3 is arranged in front of the transparent display 2.
  • the transparent display 2 and the touch panel 3 are arranged so as to be above the device body 4 when held by the user.
  • the camera 6 is arranged on the back side of the device main body 4 of the superimposed display device 1, and photographs the real space on the other side of the display surface of the transparent display 2, which is observed through the display surface of the transparent display 2.
  • This camera 6 one having an angle of view that sufficiently includes the range that can be observed through the display surface of the transparent display 2 is used.
  • the camera 6 is a still camera that takes still images, and its shooting is controlled by the object cropping control section 5, and outputs the photographed image to the object cropping control section 5.
  • the camera 6 may be a video camera that shoots moving images. In this case, the object clipping control unit 5 clips and uses a still image from the moving image.
  • the object cutout control unit 5 controls the display of images on the display surface of the transparent display 2.
  • the object clipping control section 5 includes a designation reception section 51, an image acquisition section 52, a target image search section 53, an image clipping section 54, a size conversion section 55, and an image superimposition section 56.
  • the image cutout section 54 includes a selection section 57.
  • the designation reception unit 51 receives an operation on the touch panel 3 to designate an object in real space. For example, when a user performs an operation using the touch panel 3 to trace the shape of an object in the real space that is observed through the touch panel 3, continuous coordinate information is inputted to the designation reception unit 51 from the touch panel 3.
  • the designation reception unit 51 receives this continuous coordinate information as an object designation operation.
  • the designation reception unit 51 causes the image acquisition unit 52 to perform the operation. Further, the designation reception unit 51 acquires the shape, size, and coordinates of the cutout object from continuous coordinate information in the designation operation.
  • the shape of the cutout object can be specified using continuous coordinate information.
  • the size of the cutout object is the size of the specified shape of the cutout object on the touch panel 3, and can be obtained as, for example, the length and width of a rectangle that includes the shape of the cutout object.
  • the coordinates of the cutout object can be obtained, for example, as the upper left coordinates of a rectangle that includes the shape of the cutout object.
  • the specification reception unit 51 outputs the shape of the cutout target to the target image search unit 53, the size of the cutout target to the size conversion unit 55, and the coordinates of the cutout target to the image superimposition unit 56.
  • the image acquisition unit 52 causes the camera 6 to photograph the real space in response to an instruction from the designation reception unit 51, that is, in response to the reception of an object designation operation by the designation reception unit 51.
  • the image acquisition unit 52 then acquires the image taken by the camera 6 as a camera image.
  • the image acquisition unit 52 acquires the still image from the camera 6 as it is as a camera image.
  • the image acquisition unit 52 cuts out a still image from the moving image from the camera 6, and acquires the cut out still image as a camera image.
  • the image acquisition section 52 outputs the acquired camera image to the object image search section 53 and the image clipping section 54.
  • the object image search unit 53 searches for an object image corresponding to the object accepted by the designation reception unit 51 from the camera images input from the image acquisition unit 52.
  • the target image search unit 53 searches for an image having a shape corresponding to the shape of the cutout target as a target image, based on the shape of the cutout target input from the specification reception unit 51.
  • the object image search unit 53 outputs the search results to the image clipping unit 54.
  • the image clipping section 54 Based on the search results input from the object image search section 53, the image clipping section 54 cuts out the object image searched by the object image search section 53 from the camera image input from the image acquisition section 52.
  • the image clipping unit 54 outputs the clipped object image to the size converting unit 55.
  • the selection section 57 included in the image clipping section 54 cuts out the searched object images from the camera image, and A list of object images is displayed on the display surface of the transparent display 2. Then, the selection unit 57 receives a selection operation for one of the plurality of object images displayed in a list on the touch panel 3, and in response to the selection operation, selects the selected object image from the image. The image is selected as the object image cut out by the cutout section 54 and outputted to the size conversion section 55 .
  • the size conversion unit 55 converts the size of the object image input from the image clipping unit 54 based on the size of the cropped object input from the specification reception unit 51. That is, the size converter 55 converts the size of the object image cut out by the image cutter 54 to the size of the cutout object on the touch panel 3 acquired by the designation receiving section 51. The size conversion unit 55 outputs the size-converted target object image to the image superimposition unit 56.
  • the image superimposition unit 56 displays the size-converted object image input from the size conversion unit 55 on the transparent display 2 corresponding to the coordinates on the touch panel 3 indicated by the coordinates of the cropped object input from the specification reception unit 51. Display at the coordinates of the display surface. Thereby, the cut-out object image can be displayed on the display surface of the transparent display 2, superimposed on the object in real space. That is, for a user observing the real space through the transparent display 2, the object image appears to be superimposed on the real space.
  • FIG. 3 is a diagram showing an example of the hardware configuration of the superimposed display device 1.
  • the object clipping control section 5 of the superimposed display device 1 can be configured by, for example, a computer.
  • the object cutting control section 5 includes a hardware processor 100 such as a CPU (Central Processing Unit). Note that by using a multi-core and multi-threaded CPU, a plurality of information processes can be executed simultaneously. Further, the processor 100 may include multiple CPUs.
  • a program memory 200, a data memory 300, and an input/output interface (referred to as input/output IF in FIG. 3) 400 are connected to the processor 100 via a bus 500. Ru.
  • the transparent display 2, touch panel 3, and camera 6 are connected to the input/output interface 400.
  • the program memory 200 is a non-temporary tangible computer-readable storage medium that is a combination of a non-volatile memory that can be written to and read at any time, and a non-volatile memory that can only be read at any time. Examples of nonvolatile memories that can be written to and read from at any time include HDDs (Hard Disk Drives) and SSDs (Solid State Drives). A nonvolatile memory that can only be read at any time is, for example, a ROM.
  • the program memory 200 stores programs necessary for the processor 100 to execute various control processes according to an embodiment, such as a superimposed display program.
  • processing functional units in each of the above-described designation reception unit 51, image acquisition unit 52, object image search unit 53, image cutout unit 54 (selection unit 57), size conversion unit 55, and image superimposition unit 56 are all This can be realized by causing the processor 100 to read and execute the superimposed display program stored in the program memory 200.
  • these processing function units may be integrated circuits such as ASIC (Application Specific Integrated Circuit), DSP (Digital Signal Processor), FPGA (field-programmable gate array), GPU (Graphics Processing Unit), etc. It may be implemented in a variety of other formats, including.
  • the data memory 300 is a tangible computer-readable storage medium that is a combination of the above-mentioned nonvolatile memory and volatile memory such as RAM (Random Access Memory).
  • This data memory 300 is used to store various data acquired and created in the process of performing various processes. That is, in the data memory 300, areas are secured to store various data as appropriate during the process of performing various processes.
  • the data memory 300 includes, for example, a specification information storage section 301, a camera image storage section 302, an object image storage section 303, a size conversion image storage section 304, a drawing memory 305, and a temporary storage section 306. be able to.
  • the designation information storage unit 301 is used to store the shape, size, and coordinates of the cutout object acquired when the processor 100 operates as the designation reception unit 51 described above.
  • the camera image storage unit 302 is used to store camera images acquired when the processor 100 operates as the image acquisition unit 52 described above.
  • the object image storage section 303 is used to store the object image cut out when the processor 100 operates as the image cutout section 54 described above.
  • the size-converted image storage unit 304 is used to store the object image that is the result of size conversion when the processor 100 operates as the size conversion unit 55 described above.
  • the drawing memory 305 is used to store images to be displayed on the display surface of the transparent display 2.
  • the processor 100 operates as the image superimposing unit 56 described above, the size-converted object image is drawn in the drawing memory 305 at the coordinates where it should be displayed.
  • the temporary storage unit 306 stores various data that are generated during the operation of the processor 100 and are not stored in the specified information storage unit 301, camera image storage unit 302, object image storage unit 303, size conversion image storage unit 304, and drawing memory 305. Used to store intermediate data.
  • FIG. 4 is a flowchart illustrating an example of the superimposed display processing operation by the superimposed display device 1.
  • the processor 100 of the superimposed display device 1 reads out and executes the superimposed display program stored in the program memory 200, thereby operating as the object clipping control section 5 of the superimposed display device 1 shown in this flowchart. Execution of the superimposed display program in the processor 100 is started, for example, when a power switch (not shown) of the superimposed display device 1 is turned on.
  • the processor 100 operates as the designation reception unit 51 and waits for the user to perform an operation to designate an object in the real space on the touch panel 3 (step S1). For example, the processor 100 determines whether or not an object specifying operation has been performed by determining whether or not continuous coordinate information corresponding to the user's touch position has been input from the touch panel 3 via the input/output interface 400. It is possible to judge whether
  • FIG. 5 is a schematic diagram for explaining a situation in which the superimposed display device 1 is overlaid on an object 81 in real space placed in front of the background 7.
  • the superimposed display device 1 For example, assume that three objects 81, 82, and 83 are placed in front of the background 7 in the real space, as shown in FIG.
  • a user who is holding the superimposed display device 1 as shown by the broken line in FIG. 5 pastes an image of a certain object 81 on the superimposed display device 1.
  • the user moves the superimposing display device 1 to a position where the transparent display 2 overlays the object 81, as shown by the solid arrow in FIG.
  • the superimposed display device 1 is moved in this way, the user can see through the transparent display and observe the object 81 behind it.
  • FIG. 6 is a schematic diagram for explaining an example of a method for specifying a cutout object.
  • the user traces the shape of the object 81 overlaid on the transparent display 2 with, for example, a finger F.
  • a finger F Of course, it is also possible to trace with a touch pen or the like instead of the finger F.
  • coordinate information is continuously output from the touch panel 3 as the user moves the finger F tracing the shape of the object 81, and is stored in, for example, the temporary storage unit 306 via the input/output interface 400.
  • the processor 100 determines that an operation for specifying a target object has been performed, and proceeds to step S2.
  • the processor 100 acquires the shape A, size S, and coordinates P of the cutout object based on the continuous coordinate information stored in the temporary storage unit 306 (step S2).
  • the processor 100 causes the specified information storage unit 301 to store the acquired shape A, size S, and coordinates P of the cutout object.
  • FIG. 7 is a schematic diagram for explaining an example of the shape A, size S, and coordinates P of the cutout object to be obtained.
  • Shape A is, for example, a coordinate group.
  • the processor 100 approximates the area specified by the user by tracing the touch panel 3 with a polygon 91, and specifies the shape A based on the set of vertex coordinates of the polygon 91.
  • the size S is, for example, the vertical and horizontal pixel size (x s , y s ) of the rectangle 92 that covers the shape A just enough.
  • the coordinates P may be anywhere as long as the position of the touch panel 3 traced by the user can be specified, and may be, for example, the coordinates (x, y) of the upper left of the rectangle 92 of size S.
  • the processor 100 operates as the image acquisition unit 52, causes the camera 6 to photograph the real space, and acquires a camera image (step S3).
  • the processor 100 stores the acquired camera image in the camera image storage unit 302.
  • the trigger for causing the camera 6 to take a picture is not particularly defined.
  • the trigger may be the operation of a shooting button (not shown), the passage of a certain amount of time after the object is traced, or the timing at which the start point touch coordinates and the end point touch coordinates overlap when tracing the object. can.
  • the processor 100 operates as the object image search unit 53 and searches for the shape A from the camera images stored in the camera image storage unit 302 (step S4). For example, the processor 100 searches camera images for an image of an object having a shape corresponding to the shape A of the cutout object stored in the designation information storage unit 301.
  • the search algorithm is not particularly limited and may be of any type.
  • the processor 100 stores the coordinates in the camera image of the image of the object corresponding to the searched shape A in the temporary storage unit 306.
  • the processor 100 determines whether or not only the image of one object has been retrieved (step S5). If the processor 100 determines that only one has been retrieved, the process moves to step S6. Further, if it is determined that not only one item has been searched, that is, multiple items have been searched, or if it is determined that no item has been searched, the processor 100 moves to step S9.
  • the processor 100 operates as the image clipping unit 54 and cuts out the object image from the camera image stored in the camera image storage unit 302 (step S6). For example, the processor 100 cuts out an image from the camera image based on the coordinates in the camera image of an image of one object corresponding to the searched shape A, which is stored in the temporary storage unit 306 .
  • the clipping algorithm is not particularly limited and may be any algorithm.
  • the processor 100 stores the cut-out image in the object image storage unit 303 as an object image.
  • the processor 100 operates as the size conversion unit 55 and converts the size of the object image stored in the object image storage unit 303 (step S7). For example, the processor 100 size-converts the target object image so that it has the size S (x s , y s ) of the cut-out target stored in the specification information storage unit 301 . That is, since the size of the object image is determined by the magnification of the camera 6, etc., the size of the object that the user observes through the transparent display 2 does not necessarily match the size of the object in the camera image. .
  • the processor 100 stores the size-converted object image in the size-converted image storage unit 304.
  • the processor 100 operates as the image superimposing unit 56 and draws the size-converted object image stored in the size-converted image storage unit 304 in the drawing memory 305 (step S8). For example, the processor 100 converts the size-converted object image to its coordinates P so that the object image is displayed at the coordinates P(x,y) of the cropped object stored in the specification information storage unit 301. Drawing is performed in the drawing memory 305 based on (x, y). The processor 100 supplies the contents of the drawing memory 305 to the transparent display 2 via the input/output interface 400 to display the object image on the display surface of the transparent display 2.
  • FIG. 8 is a schematic diagram for explaining superimposed display of object images.
  • the transparent display 2 of the superimposed display device 1 is overlaid on one object 81, as shown by the broken line in FIG. 8, and the object 81 is designated as a cutout object.
  • the superimposition display device 1 cuts out the image of the object 81 from the camera image as the object image 21, and displays the cut out object image 21 at the position where the cut-out object is specified on the display surface of the transparent display 2.
  • the processor 100 ends the operation shown in this flowchart.
  • the display of the object image 21 can be continued even after the operations shown in this flowchart are completed.
  • Deletion of the displayed object image 21 is not particularly stipulated.
  • the object image 21 can be deleted by operating a drawing clear button (not shown), instructing deletion from another program, or specifying a new object.
  • step S5 determines whether only one object has been searched. If it is determined in step S5 that only one object has been searched, the processor 100 further determines whether images of multiple objects have been searched (step S9). If the processor 100 determines that images of a plurality of objects have not been retrieved, that is, that no images of the object have been retrieved, the processor 100 ends the operations shown in this flowchart.
  • FIG. 9 is a schematic diagram for explaining a situation where multiple objects with the same shape exist.
  • three objects 81, 84, and 85 exist as objects of the same shape in the real space.
  • the user specifies the object 85 as the object to be cut out.
  • the photographing angle of view of the camera 6 covers three objects 81, 84, and 85.
  • the images of the three objects 81, 84, and 85 are searched as images of objects corresponding to the searched shape A, and the coordinates of the respective camera images are stored in the temporary storage section 306. It will be remembered.
  • the processor 100 determines that images of a plurality of objects have been searched in step S9.
  • the processor 100 When images of a plurality of objects are retrieved, the processor 100 operates as the image cutting section 54 and cuts out the plurality of object images from the camera images stored in the camera image storage section 302 (step S10). For example, the processor 100 cuts out a plurality of object images from the camera image based on each of the coordinates in the camera image of the plurality of object images corresponding to the searched shape A stored in the temporary storage unit 306, These are stored in the object image storage unit 303.
  • the processor 100 operates as the selection unit 57 and displays a list of the plurality of object images stored in the object image storage unit 303 on the display surface of the transparent display 2 via the input/output interface 400 (step S11). .
  • the processor 100 draws the plurality of object images in the drawing memory 305 so that the plurality of object images are displayed side by side.
  • the processor 100 supplies the contents of the drawing memory 305 to the transparent display 2 via the input/output interface 400 to display a list of a plurality of object images on the display surface of the transparent display 2.
  • the processor 100 further selects one object image from among the plurality of object images based on the input from the touch panel 3 via the input/output interface 400 (step S12).
  • FIG. 10 is a schematic diagram for explaining a method for displaying and selecting a list of multiple target object images.
  • the superimposition display device 1 displays a list of a plurality of object images 21, 22, and 23.
  • the target object images are displayed with almost the same size in the list display.
  • the plurality of object images 21, 22, and 23 may be displayed as a list in the size cut out from the camera image.
  • the user selects one of the plurality of object images 21, 22, and 23 displayed as a list to be cut out. For example, a desired object image is selected by tapping it with the finger F or the like.
  • the touch panel 3 outputs this selected coordinate information.
  • the processor 100 acquires the coordinates through the input/output interface 400 and determines which of the plurality of object images corresponds to the coordinates based on the drawing contents of the drawing memory 305.
  • the processor 100 stores the determined selection result in the temporary storage unit 306. For example, in the example of FIG. 10, information indicating that the target object image 23 is a selection result is stored in the temporary storage unit 306.
  • the processor 100 operates as the size converter 55 and converts the size of the object image selected by the user from among the plurality of object images stored in the object image storage section 303 (step S13). For example, the processor 100 reads out the selected object image from the object image storage section 303 according to the selection result stored in the temporary storage section 306, and calculates the size of the selected object image from the cutout object stored in the designation information storage section 301. The size of the object is converted to S(x s , y s ). The processor 100 stores the size-converted object image in the size-converted image storage unit 304. After that, the processor 100 moves to the process of step S8.
  • the processor 100 operates as the image superimposing unit 56 and converts the size-converted object image stored in the size-converted image storage unit 304 into the coordinates P( x, y) in the drawing memory 305 to display the selected object image on the display surface of the transparent display 2.
  • FIG. 11 is a schematic diagram showing the superimposed display device 1 on which one selected object image is displayed in a superimposed manner.
  • the object image 23 is selected as in the example of FIG. Display.
  • the superimposed display device 1 includes a touch panel 3 mounted on a transparent display 2, and obtains a shape A, a size S (x s , y s ), and a coordinate P (x , y), search and cut out shape A from the camera image taken later, resize it to size S (x s , y s ), and draw at coordinates P (x, y) to You can cut out an object and overlay it at the traced position.
  • the superimposed display device 1 includes a transparent display 2 that has a display surface that displays an image and allows viewing of real space through the display surface, and one surface of the display surface of the transparent display 2.
  • a touch panel 3 disposed on the side, a camera 6 that photographs the real space on the other side of the display surface of the transparent display 2, and an object clipping control section 5 that controls the display of images on the display surface of the transparent display 2.
  • the target object cropping control unit 5 includes a designation receiving unit 51 that receives a designation operation of the real space clipping target object on the touch panel 3, and a designation reception unit 51 that receives a designation operation of the clipping target object in the real space on the touch panel 3.
  • An image acquisition section 52 that captures a camera image by photographing a space; and an object image that searches for an object image corresponding to the cutout object received by the designation reception section 51 from the camera images acquired by the image acquisition section 52.
  • the search unit 53 the image clipping unit 54 that cuts out the object image searched by the object image search unit 53 from the camera image acquired by the image acquisition unit 52 , and the position of the display surface where the designation operation is accepted by the designation reception unit 51
  • the image superimposing section 56 displays the object image cut out by the image cutting section 54. Therefore, the superimposition display device 1 according to one embodiment cuts out an image of the cutout target from a camera image as a target image in response to designation of a cutout target in real space, and displays the cutout target image on the transparent display 2.
  • the object image is displayed on the transparent display 2 in a superimposed manner with the cropped object in the real space. can be done. This allows the user to experience augmented reality in the true sense of the word, which is unique to the transparent display 2 and cannot be obtained in the closed world of a smartphone.
  • the image clipping unit 54 uses the target image search unit 53 to extract an object image corresponding to the target object specified from the camera image acquired by the image acquisition unit 52. It includes a selection section 57 that operates when a plurality of .
  • the selection unit 57 cuts out the plurality of searched object images from the camera image, displays the plurality of cutout object images as a list on the display surface of the transparent display 2, and displays the plurality of object images displayed in the list on the touch panel 3.
  • a selection operation for one of the images is accepted, and in response to the selection operation, the selected one object image is output as an object image cut out by the image cutting section 54 .
  • the user can select the object image to be superimposed, so if there are multiple objects with the same shape as the cropped object. Even if the user intends to cut out the object image, it is possible to display the object image of the object to be cut out in a superimposed manner.
  • the operation of specifying the cutout object includes an operation of tracing the shape of the cutout object in the real space that is transparently observed on the touch panel 3. Therefore, the user can easily specify the object to be cut out by simply tracing the object to be cut out.
  • the object image search unit 53 searches for an image having a shape corresponding to the shape A of the cutout object as an object image from the acquired camera images. In this way, by performing the search based on the shape A of the cutout object, the shift in the coordinates of the camera image and the touch panel 3 does not affect the search for the object image.
  • the designation reception unit 51 acquires the coordinates P (x, y) of the shape A of the cutout object on the touch panel 3, and the image superimposition unit 56 acquires the coordinates P (x, y) on the touch panel 3 that the designation reception unit 51 acquired.
  • the object image is displayed at the coordinates of the display surface corresponding to (x, y). Therefore, it becomes possible to display the object image in a superimposed manner at a position on the display surface of the transparent display 2 desired by the user.
  • the designation receiving unit 51 further acquires the size S (x s , y s ) of the shape A of the cropping target on the touch panel 3 , and the target cropping control unit 5 determines the size S (x s , y s ) of the shape A of the cropping target, and the target cropping control unit 5 determines the size S (x s , y s ) of the shape A of the cropping target. It further includes a size conversion unit 55 that converts the size of the target object image to the size S (x s , y s ) on the touch panel 3 acquired by the designation reception unit 51 .
  • the image superimposition unit 56 displays the object image size-converted by the size conversion unit 55 at coordinates on the display surface corresponding to the coordinates P(x,y) on the touch panel 3 acquired by the designation reception unit 51. Therefore, it is possible to display the object image superimposed on the real space at the size that was observed at the time when the user traced the desired object to be cut out.
  • the superimposed display device 1 is a portable device that is held by the user's hand, but it may be a stationary device that cannot be moved. Furthermore, the size of the superimposed display device 1 is not limited to a portable size, and may be as large as a person's height or larger.
  • the camera 6 is placed below the transparent display 2 in one embodiment. However, if the area of real space behind the transparent display 2 that the user sees through the transparent display 2 is included in the photographing area, no restrictions are placed on the mounting position of the camera 6.
  • the superimposed display device 1 may include a communication interface including, for example, one or more wired or wireless communication modules.
  • the communication interface can communicate with other computers, web cameras, etc. connected via a cable or a network such as a LAN (Local Area Network) or the Internet.
  • the superimposition display device 1 receives a program from another computer via a communication module, stores it in the program memory 200, performs an operation according to the program, receives image data, and stores it in the drawing memory 305. It is possible to draw and display the image on the transparent display 2.
  • the method described in the embodiments uses a program (software means) that can be executed by a computer (computer), such as a magnetic disk (floppy (registered trademark) disk, hard disk, etc.), an optical disk (CD-ROM, DVD, etc.). It can also be stored in a recording medium such as a semiconductor memory (ROM, RAM, flash memory, etc.), or transmitted and distributed via a communication medium.
  • a computer such as a magnetic disk (floppy (registered trademark) disk, hard disk, etc.), an optical disk (CD-ROM, DVD, etc.). It can also be stored in a recording medium such as a semiconductor memory (ROM, RAM, flash memory, etc.), or transmitted and distributed via a communication medium.
  • the programs stored on the medium side also include a setting program for configuring software means (including not only execution programs but also tables and data structures) in the computer to be executed by the computer.
  • the computer that realizes this device reads a program recorded on a recording medium, and if necessary, constructs software means using a setting program, and executes the above-described processing by controlling the operation of the software means.
  • the recording medium referred to in this specification is not limited to one for distribution, and includes storage media such as a magnetic disk and a semiconductor memory provided inside a computer or in a device connected via a network.
  • the present invention is not limited to the above-described embodiments, and various modifications can be made at the implementation stage without departing from the spirit thereof. Moreover, each embodiment may be implemented in combination as appropriate as possible, and in that case, the combined effects can be obtained. Further, the embodiments described above include inventions at various stages, and various inventions can be extracted by appropriately combining the plurality of disclosed constituent elements.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一実施形態に係る重畳表示装置は、指定受付部と、画像取得部と、対象物画像検索部と、画像切り抜き部と、画像重畳部と、を備える。指定受付部は、画像を表示する表示面を有し、表示面を透過して現実空間を観察可能な透明ディスプレイにおける表示面の一面側に配置されたタッチパネルに対する現実空間の対象物の指定操作を受け付ける。画像取得部は、対象物の指定操作の受け付けに応答して、カメラに、表示面の他面側の現実空間を撮影させて、カメラ画像を取得する。対象物画像検索部は、カメラ画像から、受け付けた対象物に相当する対象物画像を検索する。画像切り抜き部は、検索した対象物画像を、カメラ画像から切り抜く。画像重畳部は、指定操作を受け付けた表示面の位置に、切り抜いた対象物画像を表示させる。

Description

重畳表示装置、重畳表示方法及び重畳表示プログラム
　この発明の実施形態は、重畳表示装置、重畳表示方法及び重畳表示プログラムに関する。
　近年、透明ディスプレイが商用化されている。透明ディスプレイを利用したデジタルサイネージ等だけでなく、ショーケースの窓等のガラス面部分を透明ディスプレイに交換したり、既存のガラス面に透明ディスプレイを重ね合わせたりすることで、ガラス面に情報をオーバレイ表示することが可能となる。よって、透明ディスプレイでの拡張現実（ＡＲ：Augumented Reality）技術活用が期待されている。
　ＡＲ技術としては、スマートフォンやタブレットを活用した様々な技術が普及している。例えば、非特許文献１に開示されるような、背景の対象物をカメラで撮影し、それを切り取って別のデジタルコンテンツに貼り付ける技術が存在する。
"ClipDrop - Product photos without a photo studio"、［online］、［令和４年３月１１日検索］、インターネット＜ＵＲＬ：https://clipdrop.co/＞
　非特許文献１に開示された技術は、タッチパネルを有するスマートフォンやタブレット等のデバイスを活用する。すなわち、カメラで撮影して表示したカメラ画像上で、ユーザが任意の対象物の画像の形状をなぞることで、切り抜き対象物を直接指定すると、デバイスは、その切り抜き対象物の画像をカメラ画像から切り抜く。デバイス上に既に対象物を含む現実空間のカメラ画像が存在していることから、ユーザがそのカメラ画像に対して「切り抜き対象物の選択」をすることで、デバイスは切り抜きアルゴリズムを活用し、切り抜き対象物の画像の切り抜きを実現する。
　このような対象物の切り抜きを透明ディスプレイで実現しようとした場合、透明ディスプレイにカメラ及びタッチパネルを搭載することが考えられる。そして、透明ディスプレイを対象物にオーバレイし、すなわち、現実空間の対象物を透かし見ながら、ユーザがタッチパネルにより、透過して見ている対象物の形状をなぞって、切り抜き対象物を指定することとなる。しかしながら、カメラ画像が透明ディスプレイに表示されているのではないため、ユーザ指定した切り抜き対象物のタッチパネル上の座標と、カメラ画像上の座標とは必ずしも一致せず、ずれが存在する。そのため、透明ディスプレイは、ユーザによって指定された切り抜き対象物の座標から切り抜き対象物を一意に特定することができない。すなわち、透明ディスプレイは、ユーザがカメラ画像中の何を選択したのか判断することができず、切り抜き対象物の画像の切り抜きを実現することができない。
　この発明は、現実空間の対象物の指定を受けてカメラ画像から切り抜き対象物の画像を切り抜き、切り抜いた対象物画像を、透明ディスプレイを透過して観察している現実空間に重畳表示することを可能とする重畳表示技術を提供しようとするものである。
　上記課題を解決するために、この発明の一態様に係る重畳表示装置は、透明ディスプレイと、タッチパネルと、カメラと、制御部と、を備える。透明ディスプレイは、画像を表示する表示面を有し、表示面を透過して現実空間を観察可能なディスプレイである。タッチパネルは、透明ディスプレイの表示面の一面側に配置される。カメラは、透明ディスプレイの表示面の他面側の現実空間を撮影する。制御部は、透明ディスプレイの表示面への画像の表示を制御する。この制御部は、指定受付部と、画像取得部と、対象物画像検索部と、画像切り抜き部と、画像重畳部と、を含む。指定受付部は、タッチパネルに対する現実空間の対象物の指定操作を受け付ける。画像取得部は、指定受付部による対象物の指定操作の受け付けに応答して、カメラに現実空間を撮影させて、カメラ画像を取得する。対象物画像検索部は、画像取得部が取得したカメラ画像から、指定受付部によって受け付けた対象物に相当する対象物画像を検索する。画像切り抜き部は、対象物画像検索部が検索した対象物画像を、画像取得部が取得したカメラ画像から切り抜く。画像重畳部は、指定受付部によって指定操作を受け付けた表示面の位置に、画像切り抜き部が切り抜いた対象物画像を表示させる。
　この発明の一態様によれば、現実空間の対象物の指定を受けてカメラ画像から切り抜き対象物の画像を切り抜き、切り抜いた対象物画像を、透明ディスプレイを透過して観察している現実空間に重畳表示することを可能とする重畳表示技術を提供することができる。
図１は、この発明の一実施形態に係る重畳表示装置の構成の一例を示すブロック図である。 図２は、重畳表示装置の背面図である。 図３は、重畳表示装置のハードウェア構成の一例を示す図である。 図４は、重畳表示装置による重畳表示処理動作の一例を示すフローチャートである。 図５は、重畳表示装置を対象物にオーバレイした状況を説明するための模式図である。 図６は、切り抜き対象物の指定手法の一例を説明するための模式図である。 図７は、重畳表示装置が取得する形状、サイズ及び座標の一例を説明するための模式図である。 図８は、対象物画像の重畳表示を説明するための模式図である。 図９は、同じ形状の対象物が複数存在する状況を説明するための模式図である。 図１０は、複数の対象物画像の一覧表示と選択手法を説明するための模式図である。 図１１は、選択された１つの対象物画像が重畳表示された重畳表示装置を示す模式図である。
　［一実施形態］
　以下、図面を参照して、この発明に係わる一実施形態を説明する。
　（構成例）
　図１は、この発明の一実施形態に係る重畳表示装置１の構成の一例を示すブロック図である。重畳表示装置１は、透明ディスプレイ２と、タッチパネル３と、装置本体４と、から構成される。装置本体４は、対象物切り抜き制御部５とカメラ６とを備える。
　透明ディスプレイ２は、画像を表示する表示面を有し、この表示面を透過して現実空間を観察可能なディスプレイである。この透明ディスプレイ２の表示面への表示は、対象物切り抜き制御部５により制御される。
　タッチパネル３は、透明ディスプレイ２の表示面の一面側に配置される。表示面の一面側は、重畳表示装置１を操作するユーザ側である。以下、この一面側を重畳表示装置１の前面、表示面の他面側を重畳表示装置１の背面側と称する。タッチパネル３は、透過型または感圧型の透明タッチパネルであり、当該タッチパネル３を透過して透明ディスプレイ２の表示面に表示された画像及び重畳表示装置１の背面側の現実空間を観察することが可能となっている。タッチパネル３は、ユーザのタッチ位置を示す座標情報を装置本体４の対象物切り抜き制御部５へ出力する。
　図２は、重畳表示装置１の背面図である。本実施形態では、重畳表示装置１は、ユーザが手で把持する携帯型のデバイスであるとする。図２では、タッチパネル３が透明ディスプレイ２の前面に配置されていることを、破線により表している。図２に示されるように、透明ディスプレイ２及びタッチパネル３は、ユーザが把持した際に装置本体４の上側となるように配置されている。
　カメラ６は、重畳表示装置１の装置本体４の背面側に配置され、透明ディスプレイ２の表示面を透過して観察される、透明ディスプレイ２の表示面の他面側の現実空間を撮影する。このカメラ６としては、透明ディスプレイ２の表示面を透過して観察される範囲を十分に含む撮影画角を有するものが使用される。カメラ６は、静止画像を撮影するスチルカメラであり、その撮影は対象物切り抜き制御部５により制御され、撮影した画像を対象物切り抜き制御部５に出力する。また、カメラ６は、動画像を撮影するビデオカメラであっても良い。この場合、対象物切り抜き制御部５では、動画像から静止画像を切り出して使用する。
　対象物切り抜き制御部５は、透明ディスプレイ２の表示面への画像の表示を制御する。対象物切り抜き制御部５は、図１に示されるように、指定受付部５１、画像取得部５２、対象物画像検索部５３、画像切り抜き部５４、サイズ変換部５５及び画像重畳部５６を含む。画像切り抜き部５４は、選択部５７を有する。
　指定受付部５１は、タッチパネル３に対する現実空間の対象物の指定操作を受け付ける。例えば、ユーザがタッチパネル３にて、透過して観察される現実空間の対象物の形状をなぞる操作を行うと、指定受付部５１には、タッチパネル３から連続的な座標情報が入力される。指定受付部５１は、この連続的な座標情報を対象物の指定操作として受け取る。指定受付部５１は、対象物の指定操作を受け取ると、画像取得部５２にその動作を行わせる。また、指定受付部５１は、指定操作における連続的な座標情報より、切り抜き対象物の形状、サイズ及び座標を取得する。指定受付部５１では、例えば、切り抜き対象物の形状は、連続的な座標情報により特定されることができる。また、切り抜き対象物のサイズは、特定された切り抜き対象物の形状のタッチパネル３上でのサイズであり、例えば、切り抜き対象物の形状を包含する長方形の縦横サイズとして取得されることができる。切り抜き対象物の座標は、例えば、切り抜き対象物の形状を包含する長方形の左上座標として取得されることができる。指定受付部５１は、切り抜き対象物の形状を対象物画像検索部５３に、切り抜き対象物のサイズをサイズ変換部５５に、切り抜き対象物の座標を画像重畳部５６に、それぞれ出力する。
　画像取得部５２は、指定受付部５１からの指示により、つまり、指定受付部５１による対象物の指定操作の受け付けに応答して、カメラ６に現実空間を撮影させる。そして、画像取得部５２は、カメラ６が撮影した画像をカメラ画像として取得する。カメラ６がスチルカメラである場合には、画像取得部５２は、カメラ６からの静止画像をそのままカメラ画像として取得する。また、カメラ６がビデオカメラである場合には、画像取得部５２は、カメラ６からの動画像から静止画像を切り出し、その切り出した静止画像をカメラ画像として取得する。画像取得部５２は、この取得したカメラ画像を、対象物画像検索部５３及び画像切り抜き部５４に出力する。
　対象物画像検索部５３は、画像取得部５２から入力されるカメラ画像から、指定受付部５１によって受け付けた対象物に相当する対象物画像を検索する。例えば、対象物画像検索部５３は、指定受付部５１から入力される切り抜き対象物の形状に基づいて、その切り抜き対象物の形状に相当する形状の画像を対象物画像として検索する。ここで、切り抜き対象物の形状に相当する形状の画像が複数検索された場合には、それらを全て対象物画像とする。対象物画像検索部５３は、検索結果を画像切り抜き部５４に出力する。
　画像切り抜き部５４は、対象物画像検索部５３から入力される検索結果に基づいて、対象物画像検索部５３が検索した対象物画像を、画像取得部５２から入力されるカメラ画像から切り抜く。画像切り抜き部５４は、切り抜いた対象物画像をサイズ変換部５５に出力する。
　この画像切り抜き部５４が有する選択部５７は、対象物画像検索部５３が検索した対象物画像が複数存在する場合、それら検索された複数の対象物画像をカメラ画像から切り抜き、それら切り抜いた複数の対象物画像を透明ディスプレイ２の表示面に一覧表示させる。そして、選択部５７は、タッチパネル３に対する一覧表示された複数の対象物画像の内の１つの選択操作を受け付け、その選択操作に応答して、選択操作された１つの対象物画像を、当該画像切り抜き部５４が切り抜いた対象物画像として選択して、サイズ変換部５５に出力する。
　サイズ変換部５５は、画像切り抜き部５４から入力される対象物画像のサイズを、指定受付部５１から入力される切り抜き対象物のサイズに基づいて、サイズ変換する。すなわち、サイズ変換部５５は、画像切り抜き部５４が切り抜いた対象物画像のサイズを、指定受付部５１が取得したタッチパネル３上での切り抜き対象物のサイズとなるようにサイズ変換する。サイズ変換部５５は、サイズ変換した対象物画像を、画像重畳部５６に出力する。
　画像重畳部５６は、サイズ変換部５５から入力されたサイズ変換後の対象物画像を、指定受付部５１から入力された切り抜き対象物の座標で示されるタッチパネル３上の座標に対応する透明ディスプレイ２の表示面の座標に、表示させる。これにより、切り抜いた対象物画像を透明ディスプレイ２の表示面上に現実空間の対象物と重ね合わせて表示させることができる。すなわち、透明ディスプレイ２を透過して現実空間を観察しているユーザには、対象物画像が現実空間に重畳されて見えるようになる。
　図３は、重畳表示装置１のハードウェア構成の一例を示す図である。
　重畳表示装置１の対象物切り抜き制御部５は、例えば、コンピュータにより構成されることができる。対象物切り抜き制御部５は、図２に示すように、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサ１００を有する。なお、ＣＰＵは、マルチコア及びマルチスレッドのものを用いることで、同時に複数の情報処理を実行することができる。また、プロセッサ１００は、複数のＣＰＵを備えていても良い。そして、対象物切り抜き制御部５では、このプロセッサ１００に対し、プログラムメモリ２００と、データメモリ３００と、入出力インタフェース（図３では入出力ＩＦと記す）４００とが、バス５００を介して接続される。入出力インタフェース４００には、透明ディスプレイ２、タッチパネル３及びカメラ６が接続される。
　プログラムメモリ２００は、非一時的な有形のコンピュータ可読記憶媒体として、随時書込み及び読出しが可能な不揮発性メモリと、随時読出しのみが可能な不揮発性メモリとが組み合わせて使用されたものである。随時書込み及び読出しが可能な不揮発性メモリは、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、などである。随時読出しのみが可能な不揮発性メモリは、例えば、ＲＯＭなどである。このプログラムメモリ２００には、プロセッサ１００が一実施形態に係る各種制御処理を実行するために必要なプログラム、例えば重畳表示プログラムが格納されている。すなわち、上記の指定受付部５１、画像取得部５２、対象物画像検索部５３、画像切り抜き部５４（選択部５７）、サイズ変換部５５及び画像重畳部５６の各部における処理機能部は、何れも、プログラムメモリ２００に格納された重畳表示プログラムを上記プロセッサ１００により読み出させて実行させることにより実現され得る。なお、これらの処理機能部の一部または全部は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（field-programmable gate array）、ＧＰＵ（Graphics Processing Unit）、等の集積回路を含む、他の多様な形式によって実現されても良い。
　データメモリ３００は、有形のコンピュータ可読記憶媒体として、例えば、上記の不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリとが組み合わせて使用されたものである。このデータメモリ３００は、各種処理が行われる過程で取得及び作成された各種データが記憶されるために用いられる。すなわち、データメモリ３００には、各種処理が行われる過程で、適宜、各種データを記憶するための領域が確保される。そのような領域として、データメモリ３００には、例えば、指定情報記憶部３０１、カメラ画像記憶部３０２、対象物画像記憶部３０３、サイズ変換画像記憶部３０４、描画メモリ３０５及び一時記憶部３０６を設けることができる。
　指定情報記憶部３０１は、プロセッサ１００が上記の指定受付部５１として動作したときに取得した切り抜き対象物の形状、サイズ及び座標を記憶するために使用される。
　カメラ画像記憶部３０２は、プロセッサ１００が上記の画像取得部５２として動作したときに取得したカメラ画像を記憶するために使用される。
　対象物画像記憶部３０３は、プロセッサ１００が上記の画像切り抜き部５４として動作したときに切り抜いた対象物画像を記憶するために使用される。
　サイズ変換画像記憶部３０４は、プロセッサ１００が上記のサイズ変換部５５として動作したときにサイズ変換した結果の対象物画像を記憶するために使用される。
　描画メモリ３０５は、透明ディスプレイ２の表示面に表示する画像を記憶するために使用される。描画メモリ３０５には、プロセッサ１００が上記の画像重畳部５６として動作したときに、サイズ変換後の対象物画像が、それを表示するべき座標に描画される。
　一時記憶部３０６は、プロセッサ１００が動作途中で発生する、上記指定情報記憶部３０１、カメラ画像記憶部３０２、対象物画像記憶部３０３、サイズ変換画像記憶部３０４及び描画メモリ３０５に記憶しない種々の中間データを記憶するために使用される。
　（動作）
　次に、重畳表示装置１を有する重畳表示装置１の動作を説明する。
　図４は、重畳表示装置１による重畳表示処理動作の一例を示すフローチャートである。重畳表示装置１のプロセッサ１００は、プログラムメモリ２００に記憶された重畳表示プログラムを読み出して実行することで、このフローチャートに示す重畳表示装置１の対象物切り抜き制御部５としての動作を行う。プロセッサ１００での重畳表示プログラムの実行は、例えば、重畳表示装置１の図示しない電源スイッチがオン操作されることで開始される。
　プロセッサ１００は、指定受付部５１として動作して、ユーザによって、タッチパネル３に対する現実空間の対象物の指定操作が行われるのを待つ（ステップＳ１）。例えば、プロセッサ１００は、入出力インタフェース４００を介したタッチパネル３からユーザのタッチ位置に応じた連続的な座標情報が入力されたか否かを判断することで、対象物の指定操作が行われたか否かを判断することができる。
　図５は、重畳表示装置１を、背景７の前に配置された現実空間の対象物８１にオーバレイした状況を説明するための模式図である。ここで、例えば、現実空間において、図５に示されるように背景７の前に３つの対象物８１，８２，８３が配置されているものとする。このような現実空間の状態において、図５中に破線で示すように重畳表示装置１を把持しているユーザが、或る対象物８１の画像を重畳表示装置１に貼り付けるとする。このような場合、ユーザは、図５中に実線の矢印で示すように、重畳表示装置１を、透明ディスプレイ２がその対象物８１にオーバレイするような位置に動かす。このように重畳表示装置１を移動させたとき、ユーザは、透明ディスプレイを透過して、その背後の対象物８１を観察することができる。
　図６は、切り抜き対象物の指定手法の一例を説明するための模式図である。ユーザは、図６に示されるように、透明ディスプレイ２をオーバレイさせた対象物８１の形状を、例えば指Ｆによりなぞる。勿論、指Ｆではなくタッチペン等によってなぞっても構わない。すると、タッチパネル３から、ユーザが対象物８１の形状をなぞる指Ｆの移動に伴って連続的に座標情報が出力され、入出力インタフェース４００を介して例えば一時記憶部３０６に記憶されていく。プロセッサ１００は、このように連続的な座標情報が入力されると、対象物の指定操作が行われと判断して、ステップＳ２の処理へ移行する。
　プロセッサ１００は、一時記憶部３０６に記憶された連続的な座標情報に基づいて、切り抜き対象物の形状Ａ、サイズＳ及び座標Ｐを取得する（ステップＳ２）。プロセッサ１００は、それら取得した切り抜き対象物の形状Ａ、サイズＳ及び座標Ｐを、指定情報記憶部３０１に記憶させる。
　図７は、これら取得する切り抜き対象物の形状Ａ、サイズＳ及び座標Ｐの一例を説明するための模式図である。形状Ａは、例えば、座標群である。プロセッサ１００は、ユーザがタッチパネル３をなぞることで指定した領域を多角形９１で近似し、この多角形９１の頂点座標のセットにより、形状Ａを特定する。サイズＳは、例えば、形状Ａを過不足なく覆う長方形９２の、縦と横のピクセルサイズ（ｘｓ，ｙｓ）である。座標Ｐは、ユーザがなぞったタッチパネル３の位置が特定できればどこでも良く、例えば、サイズＳの長方形９２の左上の座標（ｘ，ｙ）とすることができる。
　プロセッサ１００は、画像取得部５２として動作して、カメラ６に現実空間を撮影させ、カメラ画像を取得する（ステップＳ３）。プロセッサ１００は、取得したカメラ画像を、カメラ画像記憶部３０２に記憶させる。なお、カメラ６に撮影させるトリガは、特に規定しない。例えば、トリガは、図示しない撮影ボタンの操作としたり、対象物がなぞられてから一定時間の経過としたり、対象物をなぞる際の始点タッチ座標と終点タッチ座標との重なりタイミングとしたりすることができる。
　プロセッサ１００は、対象物画像検索部５３として動作して、カメラ画像記憶部３０２に記憶されたカメラ画像から、形状Ａを検索する（ステップＳ４）。例えば、プロセッサ１００は、指定情報記憶部３０１に記憶された切り抜き対象物の形状Ａに相当する形状を有する対象物の画像をカメラ画像から検索する。検索アルゴリズムは、特に限定せず、どのようなものであっても良い。プロセッサ１００は、検索した形状Ａに相当する対象物の画像について、そのカメラ画像における座標を一時記憶部３０６に記憶させる。
　ここで、プロセッサ１００は、１つの対象物の画像のみが検索されたか否か判断する（ステップＳ５）。プロセッサ１００は、１つのみ検索されたと判断した場合には、ステップＳ６の処理へ移行する。また、１つのみ検索されたのではない、つまり複数検索された場合または１つも検索されなかったと判断した場合には、プロセッサ１００は、ステップＳ９の処理へ移行する。
　１つのみ検索された場合には、プロセッサ１００は、画像切り抜き部５４として動作して、カメラ画像記憶部３０２に記憶されたカメラ画像から、対象物画像を切り抜く（ステップＳ６）。例えば、プロセッサ１００は、一時記憶部３０６に記憶された、検索した形状Ａに相当する１つの対象物の画像のカメラ画像における座標に基づいて、カメラ画像から画像を切り抜く。切り抜きアルゴリズムは、特に限定せず、どのようなものであっても良い。プロセッサ１００は、切り抜いた画像を対象物画像として対象物画像記憶部３０３に記憶させる。
　プロセッサ１００は、サイズ変換部５５として動作して、対象物画像記憶部３０３に記憶された対象物画像のサイズを変換する（ステップＳ７）。例えば、プロセッサ１００は、指定情報記憶部３０１に記憶された切り抜き対象物のサイズＳ（ｘｓ，ｙｓ）となるように、対象物画像をサイズ変換する。すなわち、対象物画像のサイズは、カメラ６の倍率等で決まるため、ユーザが透明ディスプレイ２を透過して観察する対象物のサイズとカメラ画像における当該対象物のサイズとは必ずしも一致するものではない。さらに、例え両者のサイズが一致するようなカメラ画像を取得できる構成となっていたとしても、ユーザが対象物をなぞったタイミングとカメラ６の撮影タイミングとは一致していないため、カメラ６が撮影するまでの間にカメラ６つまり重畳表示装置１が移動したり、対象物が移動したりして、両者のサイズが一致しなくなってしまうことがある。そのた、このようなサイズ変換が必要となる。プロセッサ１００は、サイズ変換後の対象物画像をサイズ変換画像記憶部３０４に記憶させる。
　プロセッサ１００は、画像重畳部５６として動作して、サイズ変換画像記憶部３０４に記憶されたサイズ変換後の対象物画像を、描画メモリ３０５に描画する（ステップＳ８）。例えば、プロセッサ１００は、指定情報記憶部３０１に記憶された切り抜き対象物の座標Ｐ（ｘ，ｙ）の位置に対象物画像が表示されるように、サイズ変換後の対象物画像をその座標Ｐ（ｘ，ｙ）に基づいて描画メモリ３０５に描画する。プロセッサ１００は、描画メモリ３０５の内容を入出力インタフェース４００を介して透明ディスプレイ２に供給して、透明ディスプレイ２の表示面に対象物画像を表示させる。
　図８は、対象物画像の重畳表示を説明するための模式図である。図８中に破線で示すように重畳表示装置１の透明ディスプレイ２を１つの対象物８１にオーバレイさせて、その対象物８１を切り抜き対象物として指定したとする。すると、重畳表示装置１は、その対象物８１の画像を対象物画像２１としてカメラ画像から切り抜き、透明ディスプレイ２の表示面における切り抜き対象物を指定した位置に、その切り抜いた対象物画像２１を表示させる。
　こうして対象物画像２１を描画したならば、プロセッサ１００は、このフローチャートに示す動作を終了する。なお、この対象物画像２１の表示は、このフローチャートに示す動作の終了後も継続されることができる。表示された対象物画像２１の削除については、特に規定しない。例えば、図示しない描画クリアボタンを操作したり、別プログラムから削除指示してり、新規対象物の指定操作をしたりすることで、対象物画像２１を削除することができる。勿論、対象物画像２１の表示を維持したまま、追加の対象物の指定操作を受け付けられるようにしても構わない。
　また、上記ステップＳ５において１つの対象物のみが検索されたのではないと判断した場合には、プロセッサ１００は、さらに、複数の対象物の画像が検索されたか否か判断する（ステップＳ９）。プロセッサ１００は、複数の対象物の画像が検索されていない、すなわち、１つも対象物の画像が検索されなかったと判断した場合、このフローチャートに示す動作を終了する。
　図９は、同じ形状の対象物が複数存在する状況を説明するための模式図である。この例では、現実空間に同じ形状の対象物として対象物８１、８４及び８５の３つの対象物が存在している。例えば、ユーザが対象物８５を切り抜き対象物として指定したとする。またこのとき、カメラ６の撮影画角は、３つの対象物８１，８４，８５をカバーするものとする。このような場合、上記ステップＳ４において、３つの対象物８１，８４，８５の画像を、検索した形状Ａに相当する対象物の画像として検索し、それぞれのカメラ画像における座標を一時記憶部３０６に記憶させることとなる。そして、プロセッサ１００は、上記ステップＳ９において、複数の対象物の画像が検索されたと判断する。
　複数の対象物の画像が検索された場合、プロセッサ１００は、画像切り抜き部５４として動作して、カメラ画像記憶部３０２に記憶されたカメラ画像から、複数の対象物画像を切り抜く（ステップＳ１０）。例えば、プロセッサ１００は、一時記憶部３０６に記憶された、検索した形状Ａに相当する複数の対象物の画像のカメラ画像における座標のそれぞれに基づいて、カメラ画像から複数の対象物画像を切り抜き、それらを対象物画像記憶部３０３に記憶させる。
　プロセッサ１００は、選択部５７として動作して、入出力インタフェース４００を介して透明ディスプレイ２の表示面に、対象物画像記憶部３０３に記憶された複数の対象物画像を一覧表示させる（ステップＳ１１）。例えば、プロセッサ１００は、複数の対象物画像が並べて表示されるように、それら複数の対象物画像を描画メモリ３０５に描画する。プロセッサ１００は、描画メモリ３０５の内容を入出力インタフェース４００を介して透明ディスプレイ２に供給して、透明ディスプレイ２の表示面に複数の対象物画像を一覧表示させる。
　プロセッサ１００は、さらに、入出力インタフェース４００を介してタッチパネル３からの入力に基づいて、複数の対象物画像の中から１つの対象物画像を選択する（ステップＳ１２）。
　図１０は、複数の対象物画像の一覧表示と選択手法を説明するための模式図である。重畳表示装置１は、複数の対象物画像２１，２２，２３を一覧表示する。この例では、ユーザの選択を容易にするため、一覧表示では、対象物画像のサイズをほぼ揃えて表示するようにしている。勿論、複数の対象物画像２１，２２，２３を、カメラ画像から切り抜いたサイズで一覧表示するようにしても良い。ユーザは、この一覧表示された複数の対象物画像２１，２２，２３の中から１つを切り抜き対象として選択する。例えば、所望の対象物画像を指Ｆ等によりタップすることで、選択する。タッチパネル３からは、この選択された座標情報が出力される。プロセッサ１００は、入出力インタフェース４００を介してそれを取得し、その座標に対応するのが複数の対象物画像の内の何れであるのかを、描画メモリ３０５の描画内容より判断する。プロセッサ１００は、判断した選択結果を一時記憶部３０６に記憶させる。例えば、図１０の例では、対象物画像２３が選択結果であることを示す情報が一時記憶部３０６に記憶される。
　プロセッサ１００は、サイズ変換部５５として動作して、対象物画像記憶部３０３に記憶された複数の対象物画像の中から、ユーザによって選択された対象物画像のサイズを変換する（ステップＳ１３）。例えば、プロセッサ１００は、一時記憶部３０６に記憶された選択結果に応じて対象物画像記憶部３０３から選択された対象物画像を読み出し、そのサイズを、指定情報記憶部３０１に記憶された切り抜き対象物のサイズＳ（ｘｓ，ｙｓ）となるように変換する。プロセッサ１００は、サイズ変換後の対象物画像をサイズ変換画像記憶部３０４に記憶させる。その後、プロセッサ１００は、上記ステップＳ８の処理へ移行する。
　よって、プロセッサ１００は、画像重畳部５６として動作して、サイズ変換画像記憶部３０４に記憶されたサイズ変換後の対象物画像を、指定情報記憶部３０１に記憶された切り抜き対象物の座標Ｐ（ｘ，ｙ）に基づいて描画メモリ３０５に描画して、透明ディスプレイ２の表示面に、選択された対象物画像を表示させる。
　図１１は、選択された１つの対象物画像が重畳表示された重畳表示装置１を示す模式図である。図１０の例のように対象物画像２３が選択された場合、重畳表示装置１は、透明ディスプレイ２の表示面における切り抜き対象物を指定した位置に、選択されサイズ変換された対象物画像２３を表示させる。
　以上のように、重畳表示装置１は、透明ディスプレイ２にタッチパネル３を搭載し、背後を透かして対象物をなぞることで取得する形状Ａ、サイズＳ（ｘｓ，ｙｓ）、座標Ｐ（ｘ，ｙ）を元に、後から撮影したカメラ画像から形状Ａの検索及び切り抜き、サイズＳ（ｘｓ，ｙｓ）へのリサイズ、座標Ｐ（ｘ，ｙ）への描画を行うことで、対象物を切り抜き、なぞった位置にオーバレイすることができる。
　以上に説明した一実施形態に係る重畳表示装置１は、画像を表示する表示面を有し、表示面を透過して現実空間を観察可能な透明ディスプレイ２と、透明ディスプレイ２の表示面の一面側に配置されたタッチパネル３と、透明ディスプレイ２の表示面の他面側の現実空間を撮影するカメラ６と、透明ディスプレイ２の表示面への画像の表示を制御する対象物切り抜き制御部５と、を備える。そして、対象物切り抜き制御部５は、タッチパネル３に対する現実空間の切り抜き対象物の指定操作を受け付ける指定受付部５１と、指定受付部５１による切り抜き対象物の指定操作に応答して、カメラ６に現実空間を撮影させて、カメラ画像を取得する画像取得部５２と、画像取得部５２が取得したカメラ画像から、指定受付部５１によって受け付けた切り抜き対象物に相当する対象物画像を検索する対象物画像検索部５３と、対象物画像検索部５３が検索した対象物画像を、画像取得部５２が取得したカメラ画像から切り抜く画像切り抜き部５４と、指定受付部５１によって指定操作を受け付けた表示面の位置に、画像切り抜き部５４が切り抜いた対象物画像を表示させる画像重畳部５６と、を含む。　
　従って、一実施形態に係る重畳表示装置１は、現実空間の切り抜き対象物の指定を受けてカメラ画像から切り抜き対象物の画像を対象物画像として切り抜き、切り抜いた対象物画像を、透明ディスプレイ２を透過して観察している現実空間に重畳表示することを可能とする重畳表示技術を提供することができる。　
　また、ユーザによる切り抜き対象物の指定操作を受けてからカメラ６に現実空間を撮影させることで、スマートフォンのように撮影してからユーザが指定操作する場合に比べて、撮影と指定操作と間の時間ずれを最小限にし、それにより、カメラ画像とタッチパネル３の指定位置とのずれを最小限に抑えることができる。また、カメラ画像から対象物画像を検索するようにしていることで、カメラ画像とタッチパネル３の座標がもともとずれている問題を解消することができる。さらに、現実空間の切り抜き対象物の指定を受けた位置に、切り抜いた対象物画像を表示するようにすることで、対象物画像を透明ディスプレイ２上に現実空間の切り抜き対象物と重畳して表示させることができる。これにより、閉じられたスマートフォンの世界では得られない、透明ディスプレイ２ならではの、本当の意味での拡張現実を、ユーザは体感することが可能となる。
　さらに、一実施形態に係る重畳表示装置１では、画像切り抜き部５４は、対象物画像検索部５３が、画像取得部５２が取得したカメラ画像から指定操作された切り抜き対象物に相当する対象物画像を複数検索したとき、動作する選択部５７を含む。選択部５７は、検索された複数の対象物画像をカメラ画像から切り抜き、それら切り抜いた複数の対象物画像を透明ディスプレイ２の表示面に一覧表示させ、タッチパネル３に対する一覧表示された複数の対象物画像の内の１つの選択操作を受け付け、その選択操作に応答して、選択された１つの対象物画像を、当該画像切り抜き部５４が切り抜いた対象物画像として出力する。　
　このように、複数の対象物画像が切り抜かれた場合には、ユーザによって重畳表示するべき対象物画像を選択できるようにしているので、切り抜き対象物と同じような形状の対象物が複数存在していたとしても、ユーザが切り抜きを意図した切り抜き対象物の対象物画像を重畳表示させることが可能となる。
　ここで、切り抜き対象物の指定操作は、タッチパネル３上での、透過して観察される現実空間の切り抜き対象物の形状をなぞる操作を含む。　
　よって、ユーザは切り抜きを所望する対象物をなぞるだけで、容易に切り抜き対象物を指定することが可能となる。
　また、前記対象物画像検索部５３は、取得したカメラ画像から、切り抜き対象物の形状Ａに相当する形状の画像を対象物画像として検索する。　
　このように、切り抜き対象物の形状Ａに基づいて検索を実施することで、カメラ画像とタッチパネル３の座標のずれは、対象物画像の検索に影響を及ぼさない。
　また、指定受付部５１は、切り抜き対象物の形状Ａのタッチパネル３上の座標Ｐ（ｘ，ｙ）を取得し、画像重畳部５６は、指定受付部５１が取得したタッチパネル３上の座標Ｐ（ｘ，ｙ）に対応する、表示面の座標に、対象物画像を表示させる。　
　よって、ユーザが所望する透明ディスプレイ２の表示面の位置に、対象物画像を重畳表示させることが可能となる。
　また、指定受付部５１は、さらに、切り抜き対象物の形状Ａのタッチパネル３上でのサイズＳ（ｘｓ，ｙｓ）を取得し、対象物切り抜き制御部５は、画像切り抜き部５４が切り抜いた対象物画像のサイズを、指定受付部５１が取得したタッチパネル３上でのサイズＳ（ｘｓ，ｙｓ）となるようにサイズ変換するサイズ変換部５５をさらに含む。画像重畳部５６は、このサイズ変換部５５がサイズ変換した対象物画像を、指定受付部５１が取得したタッチパネル３上の座標Ｐ（ｘ，ｙ）に対応する表示面の座標に表示させる。　
　よって、ユーザが切り抜きを所望する切り抜き対象物をなぞった時点に観察されていた大きさで、対象物画像を現実空間に重畳表示させることが可能となる。
　［他の実施形態］
　なお、この発明は上記一実施形態に限定されるものではない。　
　例えば、以上で説明した各処理の流れは、説明した手順に限定されるものではない。例えば、上記ステップＳ５よりも前に上記ステップＳ９の判断を行うようにしても良い。このように、いくつかのステップの順序が入れ替えられても良い。さらには、いくつかのステップが同時並行で実施されても良い。
　また、上記一実施形態では、重畳表示装置１は、ユーザが手で把持する携帯型のデバイスであるとしているが、移動できない据え置き型であっても良い。また、重畳表示装置１の大きさについても、携帯可能なサイズに限定するものではなく、人の背丈やそれ以上の大型サイズであっても構わない。
　さらに、カメラ６の配置位置は、一実施形態では透明ディスプレイ２の下側としている。しかしながら、ユーザが透明ディスプレイ２越しに見る透明ディスプレイ２の背後の現実空間の領域が撮影領域に含まれるのであれば、カメラ６の搭載位置には何ら制約は設けない。
　なお、重畳表示装置１は、例えば１つ以上の有線または無線の通信モジュールを含む通信インタフェースを備えても良い。通信インタフェースは、ケーブルまたはＬＡＮ（Local Area Network）やインターネット等のネットワークを介して接続される他のコンピュータ、ｗｅｂカメラ、などとの間で通信を行うことができる。例えば、重畳表示装置１は、通信モジュールを介して他のコンピュータから、プログラムを受信してプログラムメモリ２００に記憶し、そのプログラムに従った動作を行ったり、画像データを受信して描画メモリ３０５に描画して、その画像を透明ディスプレイ２に表示させたりすることができる。
　また、実施形態に記載した手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウェア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウェア手段（実行プログラムのみならずテーブル、データ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウェア手段を構築し、このソフトウェア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスク、半導体メモリ等の記憶媒体を含むものである。
　要するに、この発明は上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施しても良く、その場合組み合わせた効果が得られる。さらに、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。
　　　１…重畳表示装置
　　　２…透明ディスプレイ
　　　３…タッチパネル
　　　４…装置本体
　　　５…対象物切り抜き制御部
　　　６…カメラ
　　　７…背景
　　２１，２２，２３…対象物画像
　　５１…指定受付部
　　５２…画像取得部
　　５３…対象物画像検索部
　　５４…画像切り抜き部
　　５５…サイズ変換部
　　５６…画像重畳部
　　５７…選択部
　　８１，８２，８３，８４，８５…対象物
　　９１…多角形
　　９２…長方形
　１００…プロセッサ
　２００…プログラムメモリ
　３００…データメモリ
　３０１…指定情報記憶部
　３０２…カメラ画像記憶部
　３０３…対象物画像記憶部
　３０４…サイズ変換画像記憶部
　３０５…描画メモリ
　３０６…一時記憶部
　４００…入出力インタフェース
　５００…バス
　　　Ｆ…指

 

Claims (8)

  1. 　画像を表示する表示面を有し、前記表示面を透過して現実空間を観察可能な透明ディスプレイと、
    　前記透明ディスプレイの前記表示面の一面側に配置されたタッチパネルと、
    　前記透明ディスプレイの前記表示面の他面側の前記現実空間を撮影するカメラと、
    　前記透明ディスプレイの前記表示面への前記画像の表示を制御する制御部と、
    　を具備し、
    　前記制御部は、
    　　前記タッチパネルに対する前記現実空間の対象物の指定操作を受け付ける指定受付部と、
    　　前記指定受付部による前記対象物の指定操作の受け付けに応答して、前記カメラに前記現実空間を撮影させて、カメラ画像を取得する画像取得部と、
    　　前記画像取得部が取得した前記カメラ画像から、前記指定受付部によって受け付けた前記対象物に相当する対象物画像を検索する対象物画像検索部と、
    　　前記対象物画像検索部が検索した前記対象物画像を、前記画像取得部が取得した前記カメラ画像から切り抜く画像切り抜き部と、
    　　前記指定受付部によって前記指定操作を受け付けた前記表示面の位置に、前記画像切り抜き部が切り抜いた前記対象物画像を表示させる画像重畳部と、
    を含む、重畳表示装置。
  2. 　前記画像切り抜き部は、
    　　前記対象物画像検索部が、前記画像取得部が取得した前記カメラ画像から前記指定操作された前記対象物に相当する前記対象物画像を複数検索したとき、前記検索された複数の前記対象物画像を前記カメラ画像から切り抜き、
    　　前記切り抜いた複数の前記対象物画像を前記透明ディスプレイの前記表示面に一覧表示させ、
    　　前記タッチパネルに対する前記一覧表示された複数の前記対象物画像の内の１つの選択操作を受け付け、
    　　前記選択操作に応答して、選択された１つの前記対象物画像を、当該画像切り抜き部が切り抜いた前記対象物画像として出力する、
    選択部を含む、請求項１に記載の重畳表示装置。
  3. 　前記対象物の前記指定操作は、前記タッチパネル上での、透過して観察される前記現実空間の前記対象物の形状をなぞる操作を含む、請求項１または２に記載の重畳表示装置。
  4. 　前記対象物画像検索部は、前記取得した前記カメラ画像から、前記対象物の前記形状に相当する形状の画像を前記対象物画像として検索する、請求項３に記載の重畳表示装置。
  5. 　前記指定受付部は、前記対象物の前記形状の前記タッチパネル上の座標を取得し、
    　前記画像重畳部は、前記指定受付部が取得した前記タッチパネル上の前記座標に対応する、前記表示面の座標に、前記対象物画像を表示させる、
    　請求項４に記載の重畳表示装置。
  6. 　前記指定受付部は、さらに、前記対象物の前記形状の前記タッチパネル上でのサイズを取得し、
    　前記制御部は、さらに、前記画像切り抜き部が切り抜いた前記対象物画像のサイズを、前記指定受付部が取得した前記タッチパネル上での前記サイズとなるようにサイズ変換するサイズ変換部を含み、
    　前記画像重畳部は、前記指定受付部が取得した前記タッチパネル上の前記座標に対応する前記表示面の座標に、前記サイズ変換部がサイズ変換した前記対象物画像を表示させる、
    　請求項５に記載の重畳表示装置。
  7. 　画像を表示する表示面を有し、前記表示面を透過して現実空間を観察可能な透明ディスプレイと、前記透明ディスプレイの前記表示面の一面側に配置されたタッチパネルと、前記透明ディスプレイの前記表示面の他面側の前記現実空間を撮影するカメラと、前記透明ディスプレイの前記表示面への前記画像の表示を制御するプロセッサと、を有し、前記透明ディスプレイを透過して観察される前記現実空間の対象物に相当する対象物画像を前記透明ディスプレイの前記表示面に重畳表示する重畳表示装置における重畳表示方法であって、
    　前記プロセッサにより、前記タッチパネルに対する前記現実空間の対象物の指定操作を受け付け、
    　前記プロセッサにより、前記対象物の指定操作の受け付けに応答して、前記カメラに前記現実空間を撮影させて、カメラ画像を取得し、
    　前記プロセッサにより、前記取得した前記カメラ画像から、前記受け付けた前記対象物に相当する対象物画像を検索し、
    　前記プロセッサにより、前記検索した前記対象物画像を、前記カメラ画像から切り抜き、
    　前記プロセッサにより、前記透明ディスプレイの前記指定操作を受け付けた前記表示面の位置に、前記切り抜いた前記対象物画像を表示させる、
    　重畳表示方法。
  8. 　プロセッサによって実行されたときに、前記プロセッサに、
    　　画像を表示する表示面を有し、前記表示面を透過して現実空間を観察可能な透明ディスプレイにおける前記表示面の一面側に配置されたタッチパネルに対する前記現実空間の対象物の指定操作を受け付ける処理と、
    　　前記対象物の指定操作の受け付けに応答して、カメラに、前記透明ディスプレイの前記表示面の他面側の前記現実空間を撮影させて、カメラ画像を取得する処理と、
    　　前記取得した前記カメラ画像から、前記受け付けた前記対象物に相当する対象物画像を検索する処理と、
    　　前記検索した前記対象物画像を、前記取得した前記カメラ画像から切り抜く処理と、
    　　前記指定操作を受け付けた前記透明ディスプレイの前記表示面の位置に、前記切り抜いた前記対象物画像を表示させる処理と、
    　を行わせる、重畳表示プログラム。

     
PCT/JP2022/017800 2022-04-14 2022-04-14 重畳表示装置、重畳表示方法及び重畳表示プログラム WO2023199468A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/017800 WO2023199468A1 (ja) 2022-04-14 2022-04-14 重畳表示装置、重畳表示方法及び重畳表示プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/017800 WO2023199468A1 (ja) 2022-04-14 2022-04-14 重畳表示装置、重畳表示方法及び重畳表示プログラム

Publications (1)

Publication Number Publication Date
WO2023199468A1 true WO2023199468A1 (ja) 2023-10-19

Family

ID=88329380

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/017800 WO2023199468A1 (ja) 2022-04-14 2022-04-14 重畳表示装置、重畳表示方法及び重畳表示プログラム

Country Status (1)

Country Link
WO (1) WO2023199468A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170003772A1 (en) * 2015-07-02 2017-01-05 Lg Electronics Inc. Mobile terminal and method for controlling the same
WO2021106435A1 (ja) * 2019-11-25 2021-06-03 富士フイルム株式会社 映像作成方法
WO2021131023A1 (ja) * 2019-12-27 2021-07-01 マクセル株式会社 ヘッドマウント型情報出力装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170003772A1 (en) * 2015-07-02 2017-01-05 Lg Electronics Inc. Mobile terminal and method for controlling the same
WO2021106435A1 (ja) * 2019-11-25 2021-06-03 富士フイルム株式会社 映像作成方法
WO2021131023A1 (ja) * 2019-12-27 2021-07-01 マクセル株式会社 ヘッドマウント型情報出力装置

Similar Documents

Publication Publication Date Title
US20180007340A1 (en) Method and system for motion controlled mobile viewing
KR102000536B1 (ko) 합성 이미지를 촬영하는 촬영 장치 및 그 방법
US9619861B2 (en) Apparatus and method for improving quality of enlarged image
JP6264972B2 (ja) 表示装置、表示制御プログラム、および表示制御方法
KR102045957B1 (ko) 휴대단말의 촬영 방법 및 장치
US9992410B2 (en) Apparatus and method photographing image
JP6573755B2 (ja) 表示制御方法、情報処理プログラム、及び情報処理装置
US20210398249A1 (en) Image distribution device, image distribution system, image distribution method, and image distribution program
WO2022161260A1 (zh) 对焦方法、装置、电子设备及介质
CN111414225A (zh) 三维模型远程展示方法、第一终端、电子设备及存储介质
US20160012851A1 (en) Image processing device, image processing method, and program
US20230334789A1 (en) Image Processing Method, Mobile Terminal, and Storage Medium
CN112805995A (zh) 信息处理装置
US20240031667A1 (en) Image Processing Method, Mobile Terminal, and Storage Medium
WO2015072091A1 (ja) 画像処理装置、画像処理方法及びプログラム記憶媒体
WO2016196407A1 (en) Path-linked viewpoints from point of interest
WO2023199468A1 (ja) 重畳表示装置、重畳表示方法及び重畳表示プログラム
JP6617547B2 (ja) 画像管理システム、画像管理方法、プログラム
JP2011166475A (ja) 書画カメラ、書画カメラの制御方法およびプログラム
WO2017024954A1 (zh) 图像显示方法及装置
KR20110088275A (ko) 영상 변환 기능을 구비한 이동통신 단말기
JP2005115897A (ja) ３次元イメージ生成装置及び３次元イメージ生成方法
KR20120035322A (ko) 증강 현실 컨텐츠 재생 시스템 및 방법
KR20120035321A (ko) 증강 현실 컨텐츠 재생 시스템 및 방법
KR20190092897A (ko) 근접뷰 기반의 증강현실 컨텐츠 제공 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22937447

Country of ref document: EP

Kind code of ref document: A1