WO2019093156A1 - 表示処理装置および表示処理方法、並びにプログラム - Google Patents

表示処理装置および表示処理方法、並びにプログラム Download PDF

Info

Publication number
WO2019093156A1
WO2019093156A1 PCT/JP2018/039839 JP2018039839W WO2019093156A1 WO 2019093156 A1 WO2019093156 A1 WO 2019093156A1 JP 2018039839 W JP2018039839 W JP 2018039839W WO 2019093156 A1 WO2019093156 A1 WO 2019093156A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual
image
display
virtual drawing
operation information
Prior art date
Application number
PCT/JP2018/039839
Other languages
English (en)
French (fr)
Inventor
貴晶 中川
慶太 石川
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US16/761,052 priority Critical patent/US20210181854A1/en
Priority to CN201880070967.3A priority patent/CN111316202A/zh
Priority to JP2019552718A priority patent/JP7242546B2/ja
Publication of WO2019093156A1 publication Critical patent/WO2019093156A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/32—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory with means for controlling the display position
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Definitions

  • the present disclosure relates to a display processing device, a display processing method, and a program, and more particularly to a display processing device and a display capable of providing a better user experience when performing virtual display on a real space. It relates to a processing method and a program.
  • a so-called smart phone is used to display an image captured by a camera on a touch panel, and a display process of superimposing an image of an object on the image causes the object to appear to be arranged in real space
  • Applications are provided to perform various displays.
  • a user interface that employs a touch panel operation by a user to arrange a virtual object in real space or perform an operation on the virtual object is adopted.
  • a user interface results in a user experience that feels less confusing with the real space.
  • a user interface that performs virtual display so that when the user moves the smartphone body, a line is drawn on the real space according to the trajectory of the smartphone.
  • a user interface it is difficult to draw a virtual line on the real space as intended by the user, resulting in a user experience that feels that the degree of freedom is low.
  • a user interface for imaging a user's gesture with a camera, arranging a virtual object in real space according to the gesture, and performing an operation on the virtual object.
  • Patent Document 1 discloses a user interface technology that provides feedback to a user by recognizing a user's gesture using a depth sensor.
  • an operation to arrange a virtual object, an operation to change the arrangement of a virtual object, etc. are independently performed by corresponding gestures. I needed to do it. For this reason, for example, while drawing a virtual line on the real space, it is difficult to perform an operation to continuously change the width, color, etc. of the line, and a good user experience can be provided. It was difficult.
  • the present disclosure has been made in view of such a situation, and makes it possible to provide a better user experience when performing virtual display on a real space.
  • a display processing apparatus includes: a recognition processing unit that performs recognition processing that recognizes an indicated point that indicates a point on a real space for creating a virtually drawn image that is a virtually drawn image; An operation information acquisition unit for acquiring operation information according to a user operation to change the virtual drawing image being created; virtual drawing data for drawing the virtual drawing image generated according to the instruction point; A data processing unit that generates a change according to the operation information while reflecting the change, and a display processing unit that performs a display process to display the virtual drawing image being created on a display screen in real time based on the virtual drawing data Prepare.
  • a display processing device that displays a virtually drawn image, which is a virtually drawn image, instructs a point in real space for creating the virtually drawn image.
  • Recognition processing acquiring operation information in accordance with a user's operation for changing the virtual drawing image being created, and drawing the virtual drawing image generated in accordance with the instruction point Generating virtual drawing data for the image while reflecting a change according to the operation information, and performing display processing for displaying the virtual drawing image being created on a display screen in real time based on the virtual drawing data Including.
  • a program is an instruction point for instructing a computer of a display processing apparatus that displays a virtually drawn image that is a virtually drawn image to create a point in real space for creating the virtually drawn image.
  • Recognition processing acquiring operation information in accordance with a user's operation for changing the virtual drawing image being created, and drawing the virtual drawing image generated in accordance with the instruction point Generating virtual drawing data for the image while reflecting a change according to the operation information, and performing display processing for displaying the virtual drawing image being created on a display screen in real time based on the virtual drawing data
  • Execute display processing including
  • recognition processing is performed to recognize an indicated point that points to a point in real space for creating a virtually drawn image that is a virtually drawn image, and a virtually drawn image being created is being generated.
  • the operation information according to the user's operation to make a change to is acquired, virtual drawing data for drawing a virtual drawing image created according to the instruction point is generated while reflecting the change according to the operation information,
  • display processing for displaying the virtual drawing image being created on the display screen in real time is performed.
  • AR display application It is a figure explaining the example of use of AR display application. It is a figure which shows the example of a display of an application screen. It is a figure explaining the user interface at the time of starting creation of a virtual drawing picture. It is a figure explaining the user interface at the time of performing operation which changes the thickness of the line of a virtual drawing picture. It is a figure explaining the user interface at the time of ending creation of a virtual drawing picture. It is a figure explaining the example of use which creates a virtual drawing picture based on voice recognition. It is a block diagram showing an example of composition of a smart phone to which this art is applied. It is a flowchart explaining the display process performed in AR display application. It is a figure explaining the 1st effect display to a virtual drawing picture.
  • Fig. 21 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • the AR display application can be executed by the smartphone 11 provided with an imaging device, a TOF (Time of Flight) sensor, a touch panel, and the like.
  • FIG. 1A a state in which the user A uses the smartphone 11 is shown, and in FIG. 1B, an AR image display screen 13 displayed on the touch panel of the smartphone 11 is shown.
  • the user A operates the smartphone 11 to execute the AR display application, and moves the fingertip so as to be reflected in the image captured by the imaging device of the smartphone 11.
  • the position of the user's fingertip is recognized.
  • the AR display application follows the trajectory of the user's fingertip, and superimposes the virtual drawn image 14 rendered in a line along the trajectory of the fingertip on the image of the real space captured by the imaging device.
  • the AR image can be displayed on the AR image display screen 13.
  • the user A directs the imaging device of the smartphone 11 to the vase 12 and moves the fingertip so as to draw a flower in the vase 12.
  • a virtual drawn image 14 representing a flower virtually drawn on a line according to the trajectory of the fingertip is copied to the image of the real space on the AR image display screen 13
  • the AR image as displayed in the vase 12 is displayed.
  • the user B can only see that the user A is moving the fingertip in the air, but when the user B side directs the imaging device of the smartphone 11 to the vase 12, the virtual drawing of the appearance from the user B side
  • the image 14 is displayed on the AR image display screen 13. That is, the AR display application uses virtual drawing data for displaying the virtual drawing image 14 (for example, data indicating the trajectory of a fingertip represented by an absolute coordinate system in real space) according to the absolute coordinate system in real space Can be generated.
  • the AR display application can display the created virtual drawn image 14 on the AR image display screen 13 from any direction, as virtually arranged in the real space.
  • FIG. 2 shows a display example of an application screen displayed on the touch panel of the smartphone 11 when the AR display application is executed.
  • an AR image display screen 13 (see B in FIG. 1) is displayed on the upper side of the application screen 21, and a line drawing operation button 22 and a line width operation are displayed below the AR image display screen 13.
  • the panel 23 and the line color operation panel 24 are displayed.
  • the line drawing operation button 22, the line width operation panel 23, and the line color operation panel 24 be displayed in a range reached by the finger of one hand.
  • an image captured by the imaging device of the smartphone 11 is displayed in real time, and superimposed on the image, a virtual drawn image 14 as described with reference to FIG. 1 is displayed AR image is displayed.
  • the line drawing operation button 22 is a GUI (Graphical User Interface) for performing an operation of starting or ending creation of the virtual drawn image 14 in accordance with a touch operation on the touch panel of the smartphone 11. For example, when it is recognized that the user has touched the line drawing operation button 22, while the user's touch operation is recognized, a line representing the virtual drawing image 14 being created is displayed according to the trajectory of the user's fingertip. Ru. Then, when it is recognized that the user releases the touch from the line drawing operation button 22, generation of the virtual drawn image 14 is ended. For example, the operation to the line drawing operation button 22 may switch the start or end of creation of the virtual drawn image 14 each time a touch is performed, and when the touch is recognized, the next touch is recognized The virtual drawn image 14 may be created until
  • the line width operation panel 23 is a GUI for operating to change a width of a line representing the virtual drawn image 14 in accordance with a touch operation on the touch panel of the smartphone 11 continuously while creating the virtual drawn image 14. For example, when a touch operation for moving the slider displayed on the line width operation panel 23 to the right is recognized, the line width of the virtual drawn image 14 created becomes wider according to the position at which the slider is moved. To be changed. On the other hand, when a touch operation for moving the slider displayed on the line width operation panel 23 to the left is recognized, the line width of the virtual drawn image 14 created is narrowed according to the position at which the slider is moved. To be changed continuously.
  • the line color operation panel 24 is a GUI for operating to change the color of the line representing the virtual drawn image 14 in accordance with the touch operation on the touch panel of the smartphone 11 continuously while creating the virtual drawn image 14.
  • the line color operation panel 24 can use a color palette representing a hue circle in which the values of RGB continuously change, and the color of the virtual drawn image 14 to be created is displayed at the touch position. It changes continuously according to the color.
  • the user moves the fingertip of the right hand to a position where the thickness of the line of the virtual drawn image 14 is changed while drawing the line of the virtual drawn image 14. Then, when the slider of the line width operation panel 23 is operated, the thickness of the line of the virtual drawn image 14 is changed. Then, when the user changes the thickness of the line with the slider of the line width operation panel 23 and moves the fingertip of the right hand, the virtual drawn image 14 in which the thickness of the line is continuously changed according to the trajectory of the fingertip. Is created. As a result, for example, as shown on the lower side of FIG. 4, a virtual drawn image 14 which is continuously changed so as to increase the thickness of the line is created.
  • the user moves the fingertip of the right hand to the position where the color of the line of the virtual drawn image 14 is changed while drawing the line of the virtual drawn image 14, the user operates the line color operation panel 24 with the finger of the left hand.
  • the touch operation is performed, the color of the line of the virtual drawn image 14 is changed.
  • the AR display application can realize an operation of continuously changing the line width and color when creating the virtual drawn image 14. This can provide operability with a higher degree of freedom than in the past.
  • the user can move the fingertip in the real space to create the virtual drawn image 14 while confirming the virtual drawn image 14 being created on the AR image display screen 13, and the fusion with the real space is high. Operability can be provided. Therefore, the AR display application can realize a better user experience.
  • the AR display application recognizes one hand, a finger, or the like captured by the imaging device of the smartphone 11 and follows the movement to create the virtual drawn image 14, and changes the virtual drawn image 14 being generated Can be continuously reflected by the operation by the other hand. Thereby, the degree of freedom is higher than in the past, and continuous change of the virtual drawn image 14 can be realized.
  • the AR display application performs speech recognition on the uttered voice when the user makes a speech while moving the fingertip so as to be reflected in the image captured by the imaging device of the smartphone 11, and the character string indicating the content of the speech is It is possible to create a virtual drawn image 14a that is displayed according to the locus of. For example, in the example shown in FIG. 6, when the user moves the fingertip while uttering "thank you", the virtual drawing image 14a is displayed in the real space to display the character string "thank you” according to the trajectory of the fingertip. An AR image is displayed on the AR image display screen 13.
  • the AR display application is suitable to be used to input voice using a microphone or the like while pointing a drawing to be described with a finger during presentation or class by using such voice recognition input, for example. It is. That is, it is possible to easily use the virtual arrangement of the character string at the pointed position. In addition, it is also preferable to use the AR display application, for example, in a situation log at a construction site or a note of maintenance.
  • FIG. 7 is a block diagram showing a configuration example of the smartphone 11 that executes the AR display application.
  • the smartphone 11 includes an imaging device 31, a TOF sensor 32, a position and orientation sensor 33, a sound collection sensor 34, a touch panel 35, a vibration motor 36, and an AR display processing unit 37.
  • the AR display processing unit 37 includes an instruction point recognition processing unit 41, a voice recognition unit 42, an operation information acquisition unit 43, a feedback control unit 44, a storage unit 45, a virtual drawing data processing unit 46, and a virtual drawing image display processing unit It comprises 47.
  • the imaging device 31 is configured of, for example, a complementary metal oxide semiconductor (CMOS) image sensor or the like, and an image obtained by imaging the real space is indicated point recognition processing unit 41 of the AR display processing unit 37 and a virtual drawn image display processing unit Supply to 47
  • CMOS complementary metal oxide semiconductor
  • the TOF sensor 32 includes, for example, a light emitting unit that emits modulated light toward the imaging range of the imaging device 31, and a light receiving unit that receives the reflected light of the modulated light reflected by the object. Thereby, the TOF sensor 32 measures the distance (depth) to the object based on the time difference between the timing when the modulated light is irradiated and the timing when the reflected light is received, and the distance is an image based on the distance Images can be acquired. The TOF sensor 32 supplies the acquired distance image to the virtual drawing data processing unit 46 of the AR display processing unit 37.
  • the position and orientation sensor 33 includes, for example, a positioning sensor that measures the absolute position of the smartphone 11 by receiving various electric waves, and a gyro sensor that measures an attitude based on an angular velocity generated in the smartphone 11. Then, the position and orientation sensor 33 supplies position and orientation information indicating the absolute position and orientation of the smartphone 11 to the virtual drawing data processing unit 46 of the AR display processing unit 37.
  • the sound collection sensor 34 includes, for example, a microphone element, collects the voice uttered by the user, and supplies the voice data to the voice recognition unit 42 of the AR display processing unit 37.
  • the touch panel 35 is configured to have a display unit for displaying the application screen 21 as described above with reference to FIG. 2 and a touch sensor for detecting a position touched on the surface of the display unit. Then, the touch panel 35 supplies touch position information indicating the touch position detected by the touch sensor to the operation information acquisition unit 43 of the AR display processing unit 37.
  • the vibration motor 36 vibrates the smartphone 11 according to the control of the feedback control unit 44 of the AR display processing unit 37 to perform feedback on the user's operation.
  • the AR display processing unit 37 is composed of blocks necessary to execute the AR display application, and implements the user interface as described with reference to FIGS. 1 to 6.
  • the instruction point recognition processing unit 41 draws the virtually drawn image 14 of the fingertip displayed on the imaging element 31 based on the image supplied from the imaging element 31 and the distance image supplied from the TOF sensor 32. It recognizes as a designated point which designates the locus of the line of. For example, by performing an image recognition process on the image captured by the imaging device 31, the instruction point recognition processing unit 41 can recognize the user's fingertips captured in the image. Thereby, the instruction point recognition processing unit 41 can specify the position of the fingertip relative to the smartphone 11 by obtaining the distance to the fingertip shown in the image according to the distance image, and can recognize the instruction point . Then, the instruction point recognition processing unit 41 supplies relative position information indicating the position of the instruction point relative to the smartphone 11 to the virtual drawing data processing unit 46.
  • the voice recognition unit 42 performs voice recognition processing on voice data supplied from the voice collection sensor 34 to acquire speech information obtained by converting the speech uttered by the user into characters, and transmits the speech information to the virtual drawing data processing unit 46. Supply.
  • the operation information acquisition unit 43 acquires, based on the application screen 21 displayed on the touch panel 35 and the touch position information supplied from the touch panel 35, operation information indicating operation content according to the touch operation by the user. For example, as described with reference to FIG. 2, the operation information acquisition unit 43 acquires operation information indicating starting or ending creation of the virtual drawn image 14 in accordance with the touch operation on the line drawing operation button 22. Can. In addition, the operation information acquisition unit 43 acquires operation information indicating that the width of the line representing the virtual drawn image 14 is to be changed in accordance with the touch operation on the line width operation panel 23. In addition, the operation information acquisition unit 43 acquires operation information indicating that the color of the line representing the virtual drawn image 14 is to be changed in accordance with the touch operation on the line color operation panel 24.
  • the feedback control unit 44 controls the vibration motor 36 to operate the vibration motor 36. Vibrate. Then, the feedback control unit 44 keeps vibrating the vibration motor 36 until the generation of the virtual drawing data ends, and the operation information indicating that the operation of ending the generation of the virtual drawing data has been performed from the operation information acquisition unit 43 When supplied, the vibration of the vibration motor 36 is stopped. Thereby, the feedback control unit 44 can perform feedback control to make the user recognize that the virtual drawn image 14 is being created.
  • the storage unit 45 stores the virtual drawing data generated by the virtual drawing data processing unit 46. In addition, the storage unit 45 performs effect display on the virtual drawn image 14 in association with a predetermined virtual drawn image 14 and a specific gesture, as described later with reference to FIGS. 10 and 11, for example. It stores effect data.
  • the virtual drawing data processing unit 46 acquires position and orientation information supplied from the position and orientation sensor 33, relative position information supplied from the indication point recognition processing unit 41, speech information supplied from the voice recognition unit 42, and operation information acquisition. Based on the operation information supplied from the unit 43, processing for generating virtual drawing data for displaying the virtual drawing image 14 is performed. Then, the virtual drawing data processing unit 46 sequentially supplies the virtual drawing data being generated to the virtual drawing image display processing unit 47, and when the generation of the virtual drawing image 14 is completed, the completed virtual drawing data is stored in the storage unit 45. Supply to and memorize.
  • the virtual drawing data processing unit 46 converts the position of the designated point relative to the smartphone 11 into an absolute coordinate system based on the absolute position and attitude of the smartphone 11, and performs virtual drawing according to the locus of the designated point Data can be generated. Then, the virtual drawing data processing unit 46 associates the timing according to the change operation with the continuous movement of the designated point and the timing of the continuous change operation according to the operation information, while reflecting the change according to the change operation. Can be generated.
  • the virtual drawing data processing unit 46 displays a character for each designated point at the timing when the user utters, based on the speech information supplied from the speech recognition unit 42.
  • Virtual drawing data of the virtual drawing image 14a (FIG. 6).
  • the virtual drawing data processing unit 46 reads the virtual drawing data from the storage unit 45 and performs virtual drawing data.
  • the image display processing unit 47 is supplied to perform display processing of the virtual drawn image 14.
  • the virtual drawing data processing unit 46 recognizes that a specific gesture has been performed on a predetermined virtual drawing image 14
  • the virtual drawing data processing unit 46 responds to the gesture.
  • the effect data can be read out from the storage unit 45 and the effect display can be applied to the virtual drawn image 14.
  • the virtual drawing image display processing unit 47 superimposes the virtual drawing image 14 based on the virtual drawing data supplied from the virtual drawing data processing unit 46 on the real space image supplied from the imaging device 31 in real time. Display processing. Thereby, the virtual drawing image display processing unit 47 can supply an AR image such that the virtual drawing image 14 is virtually arranged in the real space to the touch panel 35 and cause the AR image display screen 13 to display the AR image. it can.
  • the smartphone 11 is configured, and the instruction point recognition processing unit 41 can recognize the instruction point following the movement of the fingertip continuously, and the operation information acquisition unit 43 is configured by the touch panel 35. Operation information indicating the content of the operation according to the continuous change of the user's touch operation to the user can be acquired. Then, the virtual drawing data processing unit 46 can generate the virtual drawing data by associating the continuous change of the fingertip with the continuous change according to the operation information. Therefore, when creating the virtual drawn image 14, the virtual drawn image 14 is changed by correlating the timing of the fingertip of one hand moving continuously and the operation of the other hand changing continuously. Can be reflected. Thus, a good user experience can be provided by the user interface that can realize operability with a higher degree of freedom.
  • the smartphone 11 can transmit the virtual drawing data stored in the storage unit 45 to the other smartphone 11, and the other smartphone 11 executes the AR display application to reproduce the virtual drawing image 14. can do.
  • the virtual drawing data is generated in the absolute coordinate system as described above, and the virtual drawing image 14 can be displayed on the touch panel 35 of the other smartphone 11 at the creation place of the virtual drawing image 14.
  • step S11 the imaging device 31 starts supply of an image to the instruction point recognition processing unit 41 and the virtual drawn image display processing unit 47, and the TOF sensor 32 starts supply of a distance image to the instruction point recognition processing unit 41. .
  • step S12 the operation information acquisition unit 43 determines whether to start the creation of the virtual drawing image 14. For example, when the operation information acquisition unit 43 recognizes that the touch operation on the line drawing operation button 22 in FIG. 2 is performed according to the touch position information supplied from the touch panel 35, it is determined that the creation of the virtual drawing image 14 is started. Do.
  • step S12 the process is on standby until the operation information acquisition unit 43 determines that the creation of the virtual drawn image 14 is to be started, and when it is determined that the creation of the virtual drawing image 14 is to be started, the process proceeds to step S13.
  • step S13 the designated point recognition processing unit 41 starts recognition processing for recognizing the designated point on the basis of the image supplied from the imaging device 31 and the distance image supplied from the TOF sensor 32. Then, the instruction point recognition processing unit 41 supplies relative position information indicating the position of the instruction point relative to the smartphone 11 to the virtual drawing data processing unit 46.
  • step S14 the operation information acquisition unit 43 supplies the feedback control unit 44 with operation information indicating that the creation of the virtual drawing image 14 is to be started, and the feedback control unit 44 performs feedback control by causing the vibration motor 36 to vibrate. To start.
  • step S ⁇ b> 15 the virtual drawing data processing unit 46 performs a process of generating virtual drawing data for displaying the virtual drawing image 14. As described above, the virtual drawing data processing unit 46 changes the relative position information supplied from the indication point recognition processing unit 41 to the absolute coordinate system, and generates virtual drawing data according to the trajectory of the indication point.
  • step S16 the operation information acquisition unit 43 determines whether or not a change operation has been performed on the virtual drawn image 14 being created. For example, when the operation information acquisition unit 43 recognizes that a touch operation has been performed on the line width operation panel 23 or the line color operation panel 24 in FIG. 2 according to the touch position information supplied from the touch panel 35, the virtual information being created is generated. It is determined that a change operation has been performed on the drawn image 14.
  • step S16 If the operation information acquisition unit 43 determines in step S16 that a change operation has been performed on the virtual drawn image 14 being created, the process proceeds to step S17.
  • step S17 the operation information acquisition unit 43 acquires the content (for example, the thickness and color of a line) of the change operation on the virtual drawn image 14 being created, and supplies the acquired content to the virtual drawing data processing unit 46. Then, the virtual drawing data processing unit 46 reflects the change on the virtual drawing image 14 by changing the virtual drawing data according to the content of the change operation.
  • the content for example, the thickness and color of a line
  • step S16 when the operation information acquisition unit 43 determines that the change operation on the virtual drawn image 14 being created is not performed, or after the process of step S17, the process proceeds to step S18.
  • step S18 the virtual drawing data processing unit 46 supplies the virtual drawing data generated in step S15 or the virtual drawing data reflecting the change in step S17 to the virtual drawing image display processing unit 47.
  • the virtual drawing image display processing unit 47 creates the virtual drawing image 14 in accordance with the virtual drawing data supplied from the virtual drawing data processing unit 46.
  • the virtual drawn image display processing unit 47 performs a display process of supplying the AR image in which the virtual drawn image 14 under creation is superimposed on the real space image captured by the imaging device 31 to the touch panel 35 and displaying it. Do.
  • step S19 the operation information acquisition unit 43 determines whether to end the creation of the virtual drawn image 14. For example, upon recognizing that the touch operation on the line drawing operation button 22 in FIG. 2 is completed according to the touch position information supplied from the touch panel 35, the operation information acquiring unit 43 determines to end the creation of the virtual drawing image 14. .
  • step S19 when the operation information acquisition unit 43 determines that the creation of the virtual drawn image 14 is not completed, the process returns to step S15, and the same process is repeated thereafter to create the virtual drawn image 14 It will be continued.
  • step S19 the operation information acquisition unit 43 determines in step S19 that the creation of the virtual drawn image 14 is finished
  • the process proceeds to step S20.
  • step S20 the operation information acquisition unit 43 supplies operation information indicating that the creation of the virtual drawn image 14 is ended to the feedback control unit 44, and the feedback control unit 44 stops the vibration of the vibration motor 36. End feedback control.
  • the indication point recognition processing unit 41 ends the recognition processing for recognizing the indication point
  • the virtual drawing data processing unit 46 supplies the completed virtual drawing data to the storage unit 45 and stores the data.
  • step S20 After the process of step S20, the process returns to step S12, the start of creation of the virtual drawing image 14 is waited, and the same display process is repeated until the AR display application is ended.
  • a of FIG. 9 shows that the user A is using the smartphone 11.
  • An AR image display screen 13 displayed on the touch panel of the smartphone 11 is shown in B of FIG. 9, and a first example of effect display for the virtual drawn image 14 c is shown on the AR image display screen 13. There is.
  • the AR display application can recognize not only the fingertips of the user A who has the smartphone 11 but also the fingertips of the user B who does not have the smartphone 11 as an instruction point. Furthermore, the AR display application can simultaneously recognize a plurality of designated points, for example, simultaneously recognize the fingertips of each of the user A and the user B, and can create two virtual drawn images 14 b and 14 c.
  • a virtual drawn image in which the fingertip is virtually lit and the light trace of the virtual light is continuously displayed while being diffused while being diffused 14b can be created.
  • the AR display application when the AR display application recognizes that a specific gesture has been performed on a predetermined virtual drawn image 14, it can perform, for example, various effect displays such that the virtual drawn image 14 starts to move. For example, when the AR display application recognizes that a gesture has been made to stick the virtual drawn image 14 after the creation of the virtual drawn image 14 is finished, as shown by a virtual drawn image 14c shown in B of FIG. , Effect display that moves along the surface of the user B's body.
  • the AR display application can perform an effect display such that the virtual drawn image 14 on which the character is drawn floats up, and an effect display such that the character is deformed into the line-like virtual drawn image 14.
  • the effect data (such as movement or deformation of the virtual drawing image 14) for performing the effect display is stored in the storage unit 45.
  • the virtual drawing data processing unit 46 reads out the effect data associated with the gesture from the storage unit 45 and supplies the effect data to the virtual drawing image display processing unit 47.
  • the virtual drawn image display processing unit 47 performs display processing so that effect display according to the effect data is performed on the virtual drawn image 14 displayed on the AR image display screen 13.
  • the AR display application can recognize by image recognition that a cake on which a plurality of candles are set is displayed on the AR image display screen 13, and the user can Recognize that you have made a gesture that actually touches the tip of the.
  • the AR display application displays on the AR image display screen 13 a virtual drawn image 14 d that appears to be virtually lit at the tip of each candle, as shown in the middle part of FIG. 10.
  • the AR display application can perform an effect display as if the candle fire is shaking.
  • a virtual drawn image 14 (not shown) of an effect display in which fireworks are virtually launched so as to be superimposed on this cake may be displayed on the AR image display screen 13.
  • the AR display application when the virtual fire of the virtual drawn image 14 d is displayed corresponding to all the candles, as shown in the lower part of FIG.
  • the characters "HAPPY BIRTHDAY" of the virtual drawing image 14e to be viewed are displayed.
  • the AR display application changes the characters of the virtually drawn image 14e to an arbitrary color or draws it with a multi-color brush as the user performs an operation on the line color operation panel 24 of FIG. You can change it to something like
  • the AR display application can continuously change the decoration on the characters of the virtual drawing image 14e as the operation for selecting the decoration on various characters set in advance is performed.
  • the AR display application displays on the AR image display screen 13 a virtual drawn image 14 f drawn by lines on the coffee cup so as to have a heart shape.
  • the AR display application can perform an effect display on the periphery of the AR image display screen 13 f so that the shape of the heart appears to glow.
  • an effect display may be performed in which the shape of the heart itself is glowing or burning.
  • the AR display application recognizes that the user has made a gesture that divides the shape of the heart of the virtual drawn image 14 f with a fingertip, as shown in the middle part of FIG. 11.
  • the AR display application displays an effect display in which the shapes of a plurality of small hearts peep out of the shape of the broken heart with respect to the virtual drawn image 14f. It can be carried out.
  • the virtual drawn image 14 may be superimposed and displayed on a virtual space created by computer graphics, in addition to the virtual drawn image 14 superimposed and displayed on the real space.
  • the user can wear the head mounted display 51 and hold the controller 52 for setting it as an instruction point to create the virtual drawn image 14.
  • an operation to instruct start or end of creation of the virtual drawn image 14 and an operation to instruct change to the virtual drawn image 14 are performed using the touch panel 53 provided on the side surface of the head mounted display 51. Can.
  • the AR display application may be applied to mixed reality, and a virtual head drawn display is used to superimpose and display the virtual drawn image 14 on the real space that the user is actually looking at. May be
  • the AR display application may assume various use cases as described below.
  • a virtual drawn image representing a picture, a message or the like on a desk, a coffee cup, a cake or the like while two users lined up in a cafe or the like look at the touch panel 35 of one smartphone 11 together 14 can be created.
  • the AR image display screen 13 on which the completed virtual drawn image 14 is displayed can be recorded as a moving image and released on a social network.
  • the AR image display screen 13 in the progress state in which the virtual drawn image 14 is created may be recorded as a moving image in a time-lapse manner.
  • a virtual drawn image 14 representing a three-dimensional message, a sign, etc., using the celebrity smartphone 11 from the place where the celebrity himself sat for a meal when using the celebrity's own restaurant Can be created.
  • data such as the virtual drawn image 14, space information, GPS (Global Positioning System) position information, and the like can be published on the social network.
  • the people who saw the social network can go to the restaurant where the celebrity has eaten based on the published data, and using the smartphone 11 of each person, a three-dimensional message or A signature can be displayed on the AR image display screen 13 for viewing. At this time, it is possible to capture a still image so that the AR image display screen 13 and itself appear.
  • a virtual drawing representing a message left by the children as superimposed on the meal The image 14 is displayed on the AR image display screen 13.
  • the virtual drawn image 14 is created using the mother's smartphone 11 before the children go to bed.
  • a friend uses his own smartphone 11 to draw a virtual drawing image 14 representing a congratulatory word or illustration such as Happy Birthday. It can be created. Then, on the day of the birthday, when the child captures an image of his desk with the camera of his own smartphone 11, an AR image is displayed as the virtual drawn image 14 on which everyone's congratulation message is displayed is superimposed on the desk in real space It is displayed on the screen 13.
  • creators and the general public can create a virtual drawn image 14 representing artistic graffiti using their own smartphone 11 instead of real graffiti. Then, when the passerby captures an image of the location with the camera of his own smartphone 11, the virtual drawn image 14 representing artistic graffiti can be displayed and viewed on the AR image display screen 13.
  • a customer visiting a museum or the like creates a virtual drawn image 14 representing his / her impressions and comments using his / her smartphone 11 and leaves virtually in the space where the work is displayed be able to. Then, another customer who also visits the hall displays the virtual drawn image 14 representing the virtual drawn image 14 representing an impression, a comment, etc. on the AR image display screen 13 using the own smartphone 11, You can enjoy it by feeling the difference in sensitivity and interpretation between the customer who left impressions and comments, etc. and yourself.
  • the grandparent when a grandchild presents a school bag at a grandchild's entrance ceremony, the grandparent can create a virtual drawn image 14 representing a message, an illustration, etc. in advance so as to be superimposed on the school cell using the smartphone 11. Thereafter, virtual drawing data for displaying the virtual drawing image 14 is presented together with the parcel.
  • the smartphone 11 recognizes the land cell (object recognition), and a virtual drawn image 14 representing a message or an illustration displayed so as to overlap the land cell is displayed. It can be displayed and viewed on the AR image display screen 13.
  • a still image of the AR image display screen 13 can be recorded as a memorial photo and transmitted to the grandparents, with the grandchild carrying the school bag and being photographed together with the virtual drawn image 14 representing a message, illustration, etc. .
  • the AR display application creates a virtual drawn image 14 by creating a handwritten message or picture at a certain place as a virtual drawn image 14 by measuring the distance of the fingertip, and the virtual drawn data for displaying the virtual drawn image 14 It can be left virtually in real space.
  • GPS data and space data can be recorded together with virtual drawing data of the virtual drawing image 14 inside the AR display application.
  • the virtual display image 14 can be reproduced by executing the AR display application and reading out the record. That is, the AR display application relocalizes (re-localization) by recording SLAM (Simultaneous Localization and Mapping) information, spatial information, and GPS information together with virtual drawing data for displaying the virtual drawing image 14. Can be made possible.
  • SLAM Simultaneous Localization and Mapping
  • the smartphone 11 can use various methods such as recognizing a three-dimensional position of a fingertip using a stereo camera. Furthermore, the smartphone 11 changes the thickness of the line of the virtual drawn image 14 using the line width operation panel 23 of FIG. 2, for example, detects a touch pressure on the touch panel 35, and the virtual according to the touch pressure. The line thickness of the drawn image 14 may be changed.
  • the above-described series of processing can be performed by hardware or can be performed by software.
  • the various functions are executed by installing a computer in which a program constituting the software is incorporated in dedicated hardware or various programs.
  • the program can be installed, for example, on a general-purpose personal computer from a program recording medium on which the program is recorded.
  • FIG. 13 is a block diagram showing an example of a hardware configuration of a computer that executes the series of processes described above according to a program.
  • a central processing unit (CPU) 101 a read only memory (ROM) 102, a random access memory (RAM) 103, and an electronically erasable and programmable read only memory (EEPROM) 104 are mutually connected by a bus 105.
  • a bus 105 a bus 105.
  • an input / output interface 106 is connected to the bus 105, and the input / output interface 106 is connected to the outside.
  • the CPU 101 loads a program stored in, for example, the ROM 102 and the EEPROM 104 into the RAM 103 via the bus 105 and executes the program, whereby the series of processes described above are performed. Further, the program executed by the computer (CPU 101) can be previously installed in the ROM 102, or can be externally installed or updated in the EEPROM 104 through the input / output interface 106.
  • a recognition processing unit that performs recognition processing that recognizes an indicated point that indicates a point in real space for creating a virtually drawn image that is a virtually drawn image
  • An operation information acquisition unit that acquires operation information according to a user operation that changes the virtual drawing image being created
  • a data processing unit that generates virtual drawing data for drawing the virtual drawing image created according to the instruction point while reflecting a change according to the operation information
  • a display processing unit that performs display processing for causing the display screen to display the virtual drawing image being created in real time based on the virtual drawing data.
  • the display processing device (2) The display processing device according to (1), wherein the operation information acquisition unit acquires the operation information according to a touch operation of a user on a touch panel having a display unit that displays the display screen. (3) The recognition processing unit recognizes the indication point by following the movement of the point continuously; The operation information acquisition unit acquires the operation information according to a continuous change of a user's touch operation on the touch panel. The data processing unit generates the virtual drawing data by associating the continuous movement of the point instructed by the instruction point with the timing of the continuous change according to the operation information.
  • the display processing device according to.
  • the recognition processing unit acquires a TOF (Time of Flight) sensor for obtaining a distance to the object based on a time difference between the timing of irradiating the light and the timing of receiving the reflected light of the light reflected by the object.
  • the display processing apparatus according to any one of (1) to (3), wherein the instruction point is recognized using a distance image.
  • the speech recognition system further includes a speech recognition unit that recognizes speech uttered by the user and acquires speech information obtained by converting the speech into characters.
  • the data processing unit is configured to draw the virtual drawing image in which a character based on the utterance information is virtually arranged at a position indicated by the instruction point at a timing when the character is uttered.
  • the display processing apparatus according to any one of (1) to (5) above, which generates data.
  • It further comprises a storage unit for storing the virtual drawing data generated by the data processing unit,
  • the data processing unit supplies the virtual drawing data read from the storage unit to the display processing unit, and performs display processing of the virtual drawing image according to any one of (1) to (6).
  • Display processor is configured to draw the virtual drawing image in which a character based on the utterance information is virtually arranged at a position indicated by the instruction point at a timing when the character is uttered.
  • a display processing device for displaying a virtually drawn image which is a virtually drawn image; Performing recognition processing for recognizing an indicated point indicating a point on a real space for creating the virtual drawn image; Obtaining operation information according to a user operation to make a change to the virtual drawing image being created; Generating virtual drawing data for drawing the virtual drawing image created according to the instruction point while reflecting a change according to the operation information; Performing a display process of displaying the virtual drawing image being created on a display screen in real time based on the virtual drawing data.
  • a computer of a display processing device for displaying a virtually drawn image which is a virtually drawn image, Performing recognition processing for recognizing an indicated point indicating a point on a real space for creating the virtual drawn image; Obtaining operation information according to a user operation to make a change to the virtual drawing image being created; Generating virtual drawing data for drawing the virtual drawing image created according to the instruction point while reflecting a change according to the operation information; A program for executing a display process including performing a display process of displaying the virtual drawing image being created on a display screen in real time based on the virtual drawing data.

Abstract

本開示は、実空間上に仮想的な表示を行う際に、より良好なユーザ体験を提供することができるようにする表示処理装置および表示処理方法、並びにプログラムに関する。 指示ポイント認識処理部は、仮想的に描画される画像である仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理を行い、操作情報取得部は、作成中の仮想描画画像に対して変更を行うユーザ操作に従った操作情報を取得する。そして、仮想描画データ処理部は、指示ポイントに従って作成される仮想描画画像を描画するための仮想描画データを、操作情報に応じた変更を反映させながら生成し、仮想描画画像表示処理部は、仮想描画データに基づいて、作成中の仮想描画画像を表示画面にリアルタイムに表示させる表示処理を行う。本技術は、例えば、ＡＲ表示装置に適用できる。

Description

表示処理装置および表示処理方法、並びにプログラム
　本開示は、表示処理装置および表示処理方法、並びにプログラムに関し、特に、実空間上に仮想的な表示を行う際に、より良好なユーザ体験を提供することができるようにした表示処理装置および表示処理方法、並びにプログラムに関する。
　近年、拡張現実（Augmented Reality）や複合現実（Mixed Reality）などのように、画面に表示されている物体が、実空間に実在しているかのような表示処理を行う技術が実用化されている。例えば、いわゆるスマートフォンを利用して、カメラで撮像している画像をタッチパネルに表示し、その画像に物体の画像を重ね合わせる表示処理によって、実空間上に物体が配置されているように見える仮想的な表示を行うアプリケーションが提供されている。
　従来、このようなアプリケーションでは、例えば、ユーザがタッチパネル操作を行うことで、実空間上に仮想的な物体を配置したり、その仮想的な物体に対する操作を行ったりするユーザインタフェースが採用されている。ところが、このようなユーザインタフェースでは、実空間との融合性が低いと感じるようなユーザ体験となってしまう。
　また、ユーザがスマートフォン本体を動かすと、スマートフォンの軌跡に応じて実空間上にラインが描かれるように、仮想的な表示を行うユーザインタフェースが提供されている。ところが、このようなユーザインタフェースでは、ユーザが意図したように実空間上に仮想的なラインを描くことは困難であり、自由度が低いと感じるようなユーザ体験となってしまう。
　これに対し、例えば、ユーザのジェスチャをカメラで撮像し、ジェスチャに応じて実空間上に仮想的な物体を配置したり、その仮想的な物体に対する操作を行ったりするユーザインタフェースも提案されている。
　例えば、特許文献１には、深度センサを使ってユーザのジェスチャを認識することで、ユーザへのフィードバックを提供するユーザインタフェース技術が開示されている。
特開２０１２－２２１４９８号公報
　ところで、上述したようなユーザのジェスチャを利用したユーザインタフェースでは、例えば、仮想的な物体を配置する操作や、仮想的な物体の配置に対する変更を行う操作などを、それぞれ対応するジェスチャで単独的に行う必要があった。このため、例えば、実空間上に仮想的なラインを描画しながら、ラインの幅や色などを連続的に変更するような操作を行うことは困難であり、良好なユーザ体験を提供することが困難であった。
　本開示は、このような状況に鑑みてなされたものであり、実空間上に仮想的な表示を行う際に、より良好なユーザ体験を提供することができるようにするものである。
　本開示の一側面の表示処理装置は、仮想的に描画される画像である仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理を行う認識処理部と、作成中の前記仮想描画画像に対して変更を行うユーザ操作に従った操作情報を取得する操作情報取得部と、前記指示ポイントに従って作成される前記仮想描画画像を描画するための仮想描画データを、前記操作情報に応じた変更を反映させながら生成するデータ処理部と、前記仮想描画データに基づいて、作成中の前記仮想描画画像を表示画面にリアルタイムに表示させる表示処理を行う表示処理部とを備える。
　本開示の一側面の表示処理方法は、仮想的に描画される画像である仮想描画画像を表示する表示処理装置が、前記仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理を行うことと、作成中の前記仮想描画画像に対して変更を行うユーザ操作に従った操作情報を取得することと、前記指示ポイントに従って作成される前記仮想描画画像を描画するための仮想描画データを、前記操作情報に応じた変更を反映させながら生成することと、前記仮想描画データに基づいて、作成中の前記仮想描画画像を表示画面にリアルタイムに表示させる表示処理を行うこととを含む。
　本開示の一側面のプログラムは、仮想的に描画される画像である仮想描画画像を表示する表示処理装置のコンピュータに、前記仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理を行うことと、作成中の前記仮想描画画像に対して変更を行うユーザ操作に従った操作情報を取得することと、前記指示ポイントに従って作成される前記仮想描画画像を描画するための仮想描画データを、前記操作情報に応じた変更を反映させながら生成することと、前記仮想描画データに基づいて、作成中の前記仮想描画画像を表示画面にリアルタイムに表示させる表示処理を行うこととを含む表示処理を実行させる。
　本開示の一側面においては、仮想的に描画される画像である仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理が行われ、作成中の仮想描画画像に対して変更を行うユーザ操作に従った操作情報が取得され、その指示ポイントに従って作成される仮想描画画像を描画するための仮想描画データが、操作情報に応じた変更を反映させながら生成され、仮想描画データに基づいて、作成中の仮想描画画像を表示画面にリアルタイムに表示させる表示処理が行われる。
　本開示の一側面によれば、実空間上に仮想的な表示を行う際に、より良好なユーザ体験を提供することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
ＡＲ表示アプリケーションの利用例を説明する図である。 アプリケーション画面の表示例を示す図である。 仮想描画画像の作成を開始する際のユーザインタフェースを説明する図である。 仮想描画画像のラインの太さを変更する操作を行う際のユーザインタフェースを説明する図である。 仮想描画画像の作成を終了する際のユーザインタフェースを説明する図である。 音声認識に基づいて仮想描画画像を作成する利用例を説明する図である。 本技術を適用したスマートフォンの構成例を示すブロック図である。 ＡＲ表示アプリケーションにおいて実行される表示処理を説明するフローチャートである。 仮想描画画像に対する第１のエフェクト表示について説明する図である。 仮想描画画像に対する第２のエフェクト表示について説明する図である。 仮想描画画像に対する第３のエフェクト表示について説明する図である。 ＡＲ表示アプリケーションを仮想現実に適用する例について説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜ＡＲ表示アプリケーションの利用例＞
　まず、図１乃至６を参照して、本技術を適用した表示処理を実現するアプリケーション（以下、ＡＲ表示アプリケーションと称する）の利用例について説明する。例えば、ＡＲ表示アプリケーションは、撮像素子やTOF（Time of Flight）センサ、タッチパネルなどを備えるスマートフォン１１により実行することができる。
　図１のＡには、ユーザＡがスマートフォン１１を使用している様子が示されており、図１のＢには、スマートフォン１１のタッチパネルに表示されるＡＲ画像表示画面１３が示されている。
　例えば、ユーザＡは、スマートフォン１１を操作してＡＲ表示アプリケーションを実行させ、スマートフォン１１の撮像素子により撮像される画像に映るように指先を動かす。このとき、スマートフォン１１のTOFセンサにより取得される距離画像に基づいて、ユーザの指先の位置が認識される。これにより、ＡＲ表示アプリケーションは、ユーザの指先の軌跡を追従することで、撮像素子により撮像された実空間の画像上に、指先の軌跡に従ったラインで描画される仮想描画画像１４を重ね合わせたＡＲ画像を、ＡＲ画像表示画面１３に表示することができる。
　図１のＡに示す利用例では、ユーザＡは、スマートフォン１１の撮像素子を花瓶１２に向け、花瓶１２に活けられている花を描くように指先を動かしている。これにより、図１のＢに示すように、ＡＲ画像表示画面１３には、指先の軌跡に応じたラインで仮想的に描画された花を表す仮想描画画像１４が、実空間の画像に写されている花瓶１２に活けられているようなＡＲ画像が表示される。
　このとき、ユーザＢは、ユーザＡが空中で指先を移動させているだけにしか見えないが、ユーザＢ側から花瓶１２にスマートフォン１１の撮像素子を向けると、ユーザＢ側からの見た目の仮想描画画像１４がＡＲ画像表示画面１３に表示される。即ち、ＡＲ表示アプリケーションは、仮想描画画像１４を表示するための仮想描画データ（例えば、実空間上の絶対座標系で表される指先の軌跡を示すデータ）を、実空間上の絶対座標系に従って生成することができる。これにより、ＡＲ表示アプリケーションは、作成した仮想描画画像１４を、実空間上に仮想的に配置されているように、あらゆる方向からＡＲ画像表示画面１３に表示することができる。
　図２には、ＡＲ表示アプリケーションを実行したときにスマートフォン１１のタッチパネルに表示されるアプリケーション画面の表示例が示されている。
　図２に示すように、アプリケーション画面２１には、その上側にＡＲ画像表示画面１３（図１のＢ参照）が表示され、ＡＲ画像表示画面１３の下方に、ライン描画操作ボタン２２、ライン幅操作パネル２３、およびライン色操作パネル２４が表示される。例えば、ライン描画操作ボタン２２、ライン幅操作パネル２３、およびライン色操作パネル２４は、ユーザがスマートフォン１１を片手で持ったときに、その片手の指で届く範囲に表示することが好ましい。
　ＡＲ画像表示画面１３には、スマートフォン１１の撮像素子により撮像されている画像がリアルタイムに表示されるとともに、その画像に重ね合わせて、図１を参照して説明したような仮想描画画像１４が表示されるようなＡＲ画像が表示される。
　ライン描画操作ボタン２２は、スマートフォン１１のタッチパネルに対するタッチ操作に従って、仮想描画画像１４の作成を開始または終了する操作を行うためのGUI（Graphical User Interface）である。例えば、ユーザがライン描画操作ボタン２２をタッチしたことが認識されると、ユーザのタッチ操作が認識されている間、ユーザの指先の軌跡に従って、作成中の仮想描画画像１４を表すラインが表示される。そして、ユーザがライン描画操作ボタン２２からタッチを離したことが認識されると、仮想描画画像１４の生成が終了される。なお、例えば、ライン描画操作ボタン２２に対する操作は、タッチが行われるたびに仮想描画画像１４の作成の開始または終了を切り替えるようにしてもよく、タッチが認識されると、次のタッチが認識されるまで仮想描画画像１４を作成するようにしてもよい。
　ライン幅操作パネル２３は、仮想描画画像１４の作成を行いながら、連続的に、スマートフォン１１のタッチパネルに対するタッチ操作に従って、仮想描画画像１４を表すラインの幅に対する変更を操作するためのGUIである。例えば、ライン幅操作パネル２３に表示されるスライダを右側に移動させるようなタッチ操作が認識されると、スライダが移動された位置に応じて、作成される仮想描画画像１４のライン幅が太くなるように変更される。一方、ライン幅操作パネル２３に表示されるスライダを左側に移動させるようなタッチ操作が認識されると、スライダが移動された位置に応じて、作成される仮想描画画像１４のライン幅が細くなるように連続的に変更される。
　ライン色操作パネル２４は、仮想描画画像１４の作成を行いながら、連続的に、スマートフォン１１のタッチパネルに対するタッチ操作に従って、仮想描画画像１４を表すラインの色に対する変更を操作するためのGUIである。例えば、ライン色操作パネル２４には、ＲＧＢの値が連続的に変化するような色相環を表すカラーパレットを用いることができ、作成される仮想描画画像１４の色が、タッチ位置に表示されている色に従って連続的に変更される。
　図３を参照して、ＡＲ表示アプリケーションにおいて仮想描画画像１４の作成を開始する際のユーザインタフェースについて説明する。
　例えば、図３の上側に示すように、ユーザが、仮想描画画像１４を描き始める位置まで右手の指先を移動させた後、左手の指でライン描画操作ボタン２２をタッチするタッチ操作を行うと、仮想描画画像１４の作成が開始される。そして、ユーザが、ライン描画操作ボタン２２に対するタッチ操作を行いながら、右手の指先を動かすと、その指先の軌跡に従って仮想描画画像１４が作成される。これにより、図３の下側に示すように、実空間上に仮想描画画像１４が配置されているようなＡＲ画像が、ＡＲ画像表示画面１３に表示される。
　図４を参照して、ＡＲ表示アプリケーションにおいて仮想描画画像１４のラインの太さを変更する操作を行う際のユーザインタフェースについて説明する。
　例えば、図４の上側に示すように、ユーザが、仮想描画画像１４のラインを描きながら、仮想描画画像１４のラインの太さを変更する位置まで右手の指先を移動させた後、左手の指でライン幅操作パネル２３のスライダに対する操作を行うと、仮想描画画像１４のラインの太さが変更される。そして、ユーザが、ライン幅操作パネル２３のスライダによりラインの太さを変更して、右手の指先を動かすと、その指先の軌跡に従って、ラインの太さが連続的に変更された仮想描画画像１４が作成される。これにより、例えば、図４の下側に示すように、ラインの太さが太くなるように連続的に変更された仮想描画画像１４が作成される。
　また、同様に、ユーザが、仮想描画画像１４のラインを描きながら、仮想描画画像１４のラインの色を変更する位置まで右手の指先を移動させた後、左手の指でライン色操作パネル２４に対するタッチ操作を行うと、仮想描画画像１４のラインの色が変更される。
　図５を参照して、ＡＲ表示アプリケーションにおいて仮想描画画像１４の作成を終了する際のユーザインタフェースについて説明する。
　例えば、図５の上側に示すように、ユーザが、仮想描画画像１４を描き終える位置まで右手の指先を移動させた後、左手の指でライン描画操作ボタン２２のタッチを離すタッチ操作を行うと、仮想描画画像１４の作成が終了される。その後、ユーザが、右手の指先を移動させても、例えば、図５の上側に示す破線の矢印のように移動させても、図５の下側に示すように、ＡＲ画像表示画面１３には仮想描画画像１４のラインが描画されることはない。
　以上のようなユーザインタフェースにより、ＡＲ表示アプリケーションでは、仮想描画画像１４を作成する際に、ラインの幅および色を連続的に変更するような操作を実現することができる。これにより、従来よりも自由度が高い操作性を提供することができる。また、ユーザは、作成中の仮想描画画像１４をＡＲ画像表示画面１３で確認しながら、実空間上で指先を動かして仮想描画画像１４を作成することができ、実空間との融合性が高い操作性を提供することができる。従って、ＡＲ表示アプリケーションにより、より良好なユーザ体験を実現することが可能となる。
　即ち、ＡＲ表示アプリケーションは、スマートフォン１１の撮像素子により撮像される一方の手や指などを認識し、その動きを追従して仮想描画画像１４を作成するとともに、作成中の仮想描画画像１４に対する変更を、他方の手による操作によって連続的に反映させることができる。これにより、従来よりも自由度が高く、かつ、仮想描画画像１４に対する連続的な変更を実現することができる。
　図６を参照して、ＡＲ表示アプリケーションにおいて音声認識に基づいて仮想描画画像１４を作成する利用例について説明する。
　例えば、ＡＲ表示アプリケーションは、ユーザが、スマートフォン１１の撮像素子により撮像される画像に映るように指先を動かしながら発話すると、その発話した音声に対する音声認識を行って、発話内容を示す文字列を指先の軌跡に従って表示するような仮想描画画像１４ａを作成することができる。例えば、図６に示す例では、ユーザが「ありがとう」と発話しながら指先を動かすと、その指先の軌跡に従って文字列「ありがとう」を表示するような仮想描画画像１４ａが実空間上に配置されたＡＲ画像がＡＲ画像表示画面１３に表示される。
　ＡＲ表示アプリケーションは、このような音声認識による入力を用いることで、例えば、プレゼンテーションや授業中などにおいて、説明したい図面を指でポインティングしながら、マイクなどで音声を入力するように利用するのに好適である。即ち、そのポインティングした箇所に、文字列を仮想的に配置させるような利用を容易に行うことができる。また、ＡＲ表示アプリケーションは、例えば、工事現場での状況ログやメンテナンスの注意事項などで利用することも好適である。
　＜スマートフォンの構成例＞
　図７は、ＡＲ表示アプリケーションを実行するスマートフォン１１の構成例を示すブロック図である。
　図７に示すように、スマートフォン１１は、撮像素子３１、TOFセンサ３２、位置姿勢センサ３３、収音センサ３４、タッチパネル３５、振動モータ３６、およびＡＲ表示処理部３７を備えて構成される。また、ＡＲ表示処理部３７は、指示ポイント認識処理部４１、音声認識部４２、操作情報取得部４３、フィードバック制御部４４、記憶部４５、仮想描画データ処理部４６、および仮想描画画像表示処理部４７を備えて構成される。
　撮像素子３１は、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどにより構成され、実空間を撮像して得られる画像をＡＲ表示処理部３７の指示ポイント認識処理部４１および仮想描画画像表示処理部４７に供給する。
　TOFセンサ３２は、例えば、撮像素子３１による撮像範囲に向かって変調光を照射する発光部と、変調光が物体で反射した反射光を受光する受光部とを有して構成される。これにより、TOFセンサ３２は、変調光を照射したタイミングと、反射光を受光するタイミングとの時間差に基づいて、その物体までの距離（デプス）を計測して、距離に基づいた画像である距離画像を取得することができる。TOFセンサ３２は、取得した距離画像をＡＲ表示処理部３７の仮想描画データ処理部４６に供給する。
　位置姿勢センサ３３は、例えば、各種の電波を受信することによりスマートフォン１１の絶対位置を測位する測位センサや、スマートフォン１１に生じる角速度に基づいて姿勢を測定するジャイロセンサなどにより構成される。そして、位置姿勢センサ３３は、スマートフォン１１の絶対位置および姿勢を示す位置姿勢情報を、ＡＲ表示処理部３７の仮想描画データ処理部４６に供給する。
　収音センサ３４は、例えば、マイクロホン素子を有して構成され、ユーザが発話した音声を集音して、その音声データをＡＲ表示処理部３７の音声認識部４２に供給する。
　タッチパネル３５は、図２を参照して上述したようなアプリケーション画面２１を表示する表示部と、その表示部の表面に対してタッチされた位置を検出するタッチセンサとを有して構成される。そして、タッチパネル３５は、タッチセンサにより検出されたタッチ位置を示すタッチ位置情報を、ＡＲ表示処理部３７の操作情報取得部４３に供給する。
　振動モータ３６は、ＡＲ表示処理部３７のフィードバック制御部４４による制御に従って、スマートフォン１１を振動させることにより、ユーザの操作に対するフィードバックを行う。
　ＡＲ表示処理部３７は、ＡＲ表示アプリケーションを実行するのに必要な各ブロックにより構成され、図１乃至６を参照して説明したようなユーザインタフェースを実現する。
　指示ポイント認識処理部４１は、撮像素子３１から供給される画像、および、TOFセンサ３２から供給される距離画像に基づいて、撮像素子３１に映されている指先を、仮想描画画像１４を描くためのラインの軌跡を指示する指示ポイントとして認識する。例えば、指示ポイント認識処理部４１は、撮像素子３１により撮像された画像に対する画像認識処理を行うことにより、その画像に写されているユーザの指先を認識することができる。これにより、指示ポイント認識処理部４１は、画像に映されている指先までの距離を距離画像に従って求めることにより、スマートフォン１１に対する相対的な指先の位置を特定し、指示ポイントを認識することができる。そして、指示ポイント認識処理部４１は、スマートフォン１１に対する相対的な指示ポイントの位置を示す相対位置情報を仮想描画データ処理部４６に供給する。
　音声認識部４２は、収音センサ３４から供給される音声データに対する音声認識処理を行って、ユーザが発話した音声を文字化した発話情報を取得し、その発話情報を仮想描画データ処理部４６に供給する。
　操作情報取得部４３は、タッチパネル３５に表示されているアプリケーション画面２１と、タッチパネル３５から供給されるタッチ位置情報とに基づいて、ユーザによるタッチ操作に従った操作内容を示す操作情報を取得する。例えば、操作情報取得部４３は、図２を参照して説明したように、ライン描画操作ボタン２２に対するタッチ操作に従って、仮想描画画像１４の作成を開始または終了することを示す操作情報を取得することができる。また、操作情報取得部４３は、ライン幅操作パネル２３に対するタッチ操作に従って、仮想描画画像１４を表すラインの幅に対する変更を行うことを示す操作情報を取得する。また、操作情報取得部４３は、ライン色操作パネル２４に対するタッチ操作に従って、仮想描画画像１４を表すラインの色に対する変更を行うことを示す操作情報を取得する。
　フィードバック制御部４４は、仮想描画画像１４の作成を開始する操作が行われたことを示す操作情報が操作情報取得部４３から供給されると、振動モータ３６に対する制御を行って、振動モータ３６を振動させる。そして、フィードバック制御部４４は、仮想描画データの生成が終了するまで振動モータ３６を振動させ続け、仮想描画データの生成を終了する操作が行われたことを示す操作情報が操作情報取得部４３から供給されると、振動モータ３６の振動を停止させる。これにより、フィードバック制御部４４は、仮想描画画像１４の作成中であることユーザに認識させるフィードバック制御を行うことができる。
　記憶部４５は、仮想描画データ処理部４６により生成された仮想描画データを記憶する。また、記憶部４５は、例えば、図１０および図１１を参照して後述するように、所定の仮想描画画像１４および特定のジェスチャに対応付けて、その仮想描画画像１４に対するエフェクト表示を行うためのエフェクトデータを記憶している。
　仮想描画データ処理部４６は、位置姿勢センサ３３から供給される位置姿勢情報、指示ポイント認識処理部４１から供給される相対位置情報、音声認識部４２から供給される発話情報、および、操作情報取得部４３から供給される操作情報に基づいて、仮想描画画像１４を表示するための仮想描画データを生成する処理を行う。そして、仮想描画データ処理部４６は、生成中の仮想描画データを順次、仮想描画画像表示処理部４７に供給するとともに、仮想描画画像１４の作成が終了すると、完成した仮想描画データを記憶部４５に供給して記憶させる。
　例えば、仮想描画データ処理部４６は、スマートフォン１１の絶対位置および姿勢に基づいて、スマートフォン１１に対する相対的な指示ポイントの位置を、絶対座標系に変換して、指示ポイントの軌跡に従った仮想描画データを生成することができる。そして、仮想描画データ処理部４６は、指示ポイントの連続的な移動と、操作情報に従った連続的な変更操作とのタイミングを対応付けることで、変更操作に応じた変更を反映させながら仮想描画データを生成することができる。
　また、仮想描画データ処理部４６は、図６を参照して説明したように、音声認識部４２から供給される発話情報に基づいて、ユーザが発話したタイミングにおける指示ポイントごとに、文字が表示されるような仮想描画画像１４ａ（図６）の仮想描画データを生成することができる。
　また、仮想描画データ処理部４６は、記憶部４５に記憶されている仮想描画データに従って仮想描画画像１４を表示するような再生操作が行われると、記憶部４５から仮想描画データを読み出して仮想描画画像表示処理部４７に供給し、仮想描画画像１４の表示処理を行わせる。さらに、仮想描画データ処理部４６は、図１１および図１２を参照して後述するように、所定の仮想描画画像１４に対して特定のジェスチャが行われたことを認識した場合、そのジェスチャに対応するエフェクトデータを記憶部４５から読み出して、仮想描画画像１４にエフェクト表示を適用させることができる。
　仮想描画画像表示処理部４７は、仮想描画データ処理部４６から供給される仮想描画データに基づいた仮想描画画像１４を、リアルタイムに、撮像素子３１から供給される実空間の画像上に重ね合わせるような表示処理を行う。これにより、仮想描画画像表示処理部４７は、実空間上に仮想描画画像１４が仮想的に配置されているようなＡＲ画像をタッチパネル３５に供給して、ＡＲ画像表示画面１３に表示させることができる。
　以上のようにスマートフォン１１は構成されており、指示ポイント認識処理部４１は、指先が連続的に移動するのに追従して指示ポイントを認識することができ、操作情報取得部４３は、タッチパネル３５に対するユーザのタッチ操作の連続的な変更に従った操作内容を示す操作情報を取得することができる。そして、仮想描画データ処理部４６は、指先の連続的な変化と、操作情報に従った連続的な変更とのタイミングを対応付けて、前記仮想描画データを生成することがでる。従って、仮想描画画像１４を作成する際に、連続的に移動する一方の手の指先と、連続的に変更を行う他方の手による操作とのタイミングとを対応付けて、仮想描画画像１４に変更を反映させることができる。このように、より自由度の高い操作性を実現可能なユーザインタフェースにより、良好なユーザ体験を提供することができる。
　なお、スマートフォン１１は、記憶部４５に記憶されている仮想描画データを、他のスマートフォン１１に送信することができ、他のスマートフォン１１がＡＲ表示アプリケーションを実行することで、仮想描画画像１４を再生することができる。このとき、仮想描画データは、上述したように絶対座標系で生成されており、仮想描画画像１４の作成場所において、他のスマートフォン１１のタッチパネル３５に仮想描画画像１４を表示することができる。
　＜ＡＲ表示アプリケーションの表示処理＞
　図８に示すフローチャートを参照して、ＡＲ表示アプリケーションにおいて実行される表示処理について説明する。
　例えば、スマートフォン１１においてＡＲ表示アプリケーションが実行されると表示処理が開始される。ステップＳ１１において、撮像素子３１は、指示ポイント認識処理部４１および仮想描画画像表示処理部４７へ画像の供給を開始し、TOFセンサ３２は、指示ポイント認識処理部４１へ距離画像の供給を開始する。
　ステップＳ１２において、操作情報取得部４３は、仮想描画画像１４の作成を開始するか否かを判定する。例えば、操作情報取得部４３は、タッチパネル３５から供給されるタッチ位置情報に従って、図２のライン描画操作ボタン２２に対するタッチ操作が行われたことを認識すると、仮想描画画像１４の作成を開始すると判定する。
　ステップＳ１２において、操作情報取得部４３が、仮想描画画像１４の作成を開始すると判定するまで処理は待機され、仮想描画画像１４の作成を開始すると判定した場合、処理はステップＳ１３に進む。
　ステップＳ１３において、指示ポイント認識処理部４１は、撮像素子３１から供給される画像、および、TOFセンサ３２から供給される距離画像に基づいて、指示ポイントを認識する認識処理を開始する。そして、指示ポイント認識処理部４１は、スマートフォン１１に対する相対的な指示ポイントの位置を示す相対位置情報を仮想描画データ処理部４６に供給する。
　ステップＳ１４において、操作情報取得部４３は、仮想描画画像１４の作成を開始することを示す操作情報をフィードバック制御部４４に供給し、フィードバック制御部４４は、振動モータ３６を振動させることによるフィードバック制御を開始する。
　ステップＳ１５において、仮想描画データ処理部４６は、仮想描画画像１４を表示するための仮想描画データを生成する処理を行う。上述したように、仮想描画データ処理部４６は、指示ポイント認識処理部４１から供給される相対位置情報を絶対座標系に変更し、指示ポイントの軌跡に従って仮想描画データを生成する。
　ステップＳ１６において、操作情報取得部４３は、作成中の仮想描画画像１４に対する変更操作が行われたか否かを判定する。例えば、操作情報取得部４３は、タッチパネル３５から供給されるタッチ位置情報に従って、図２のライン幅操作パネル２３またはライン色操作パネル２４に対するタッチ操作が行われたことを認識すると、作成中の仮想描画画像１４に対する変更操作が行われたと判定する。
　ステップＳ１６において、操作情報取得部４３が、作成中の仮想描画画像１４に対する変更操作が行われたと判定した場合、処理はステップＳ１７に進む。ステップＳ１７において、操作情報取得部４３は、作成中の仮想描画画像１４に対する変更操作の内容（例えば、ラインの太さや色など）を取得して仮想描画データ処理部４６に供給する。そして、仮想描画データ処理部４６は、その変更操作の内容に従って仮想描画データを変更することで、仮想描画画像１４に対して変更を反映させる。
　一方、ステップＳ１６において、操作情報取得部４３が、作成中の仮想描画画像１４に対する変更操作が行われていないと判定した場合、または、ステップＳ１７の処理後、処理はステップＳ１８に進む。
　ステップＳ１８において、仮想描画データ処理部４６は、ステップＳ１５で生成した仮想描画データ、または、ステップＳ１７で変更を反映した仮想描画データを、仮想描画画像表示処理部４７に供給する。これにより、仮想描画画像表示処理部４７は、仮想描画データ処理部４６から供給される仮想描画データに従った仮想描画画像１４を作成する。そして、仮想描画画像表示処理部４７は、作成中の仮想描画画像１４を、撮像素子３１により撮像された実空間の画像上に重ね合わせたＡＲ画像をタッチパネル３５に供給して表示させる表示処理を行う。
　ステップＳ１９において、操作情報取得部４３は、仮想描画画像１４の作成を終了するか否かを判定する。例えば、操作情報取得部４３は、タッチパネル３５から供給されるタッチ位置情報に従って、図２のライン描画操作ボタン２２に対するタッチ操作が終わったことを認識すると、仮想描画画像１４の作成を終了すると判定する。
　ステップＳ１９において、操作情報取得部４３が、仮想描画画像１４の作成を終了しないと判定した場合、処理はステップＳ１５に戻り、以下、同様の処理が繰り返されることによって、仮想描画画像１４の作成が継続される。
　一方、ステップＳ１９において、操作情報取得部４３が、仮想描画画像１４の作成を終了すると判定した場合、処理はステップＳ２０に進む。ステップＳ２０において、操作情報取得部４３は、仮想描画画像１４の作成を終了することを示す操作情報をフィードバック制御部４４に供給し、フィードバック制御部４４は、振動モータ３６の振動を停止させることによりフィードバック制御を終了する。また、このとき、指示ポイント認識処理部４１は、指示ポイントを認識する認識処理を終了するとともに、仮想描画データ処理部４６は、完成した仮想描画データを記憶部４５に供給して記憶させる。
　ステップＳ２０の処理後、処理はステップＳ１２に戻り、仮想描画画像１４の作成の開始が待機され、以下、ＡＲ表示アプリケーションが終了されるまで、同様の表示処理が繰り返して行われる。
　＜ＡＲ表示アプリケーションの様々な利用例＞
　図９乃至１２を参照して、ＡＲ表示アプリケーションの様々な利用例について説明する。
　図９のＡには、ユーザＡがスマートフォン１１を使用している様子が示されている。図９のＢには、スマートフォン１１のタッチパネルに表示されるＡＲ画像表示画面１３が示されており、このＡＲ画像表示画面１３には、仮想描画画像１４ｃに対する第１のエフェクト表示例が示されている。
　例えば、ＡＲ表示アプリケーションは、スマートフォン１１を持っているユーザＡの指先だけでなく、スマートフォン１１を持っていないユーザＢの指先を指示ポイントとして認識することができる。さらに、ＡＲ表示アプリケーションは、複数の指示ポイントを同時に認識し、例えば、ユーザＡおよびユーザＢそれぞれの指先を同時に認識して、２つの仮想描画画像１４ｂおよび１４ｃを作成することができる。
　また、ＡＲ表示アプリケーションは、図９のＢに示すように、例えば、指先が仮想的に光って、その仮想的な光の光跡が拡散しながら一定時間続いて表示されるような仮想描画画像１４ｂを作成することができる。
　さらに、ＡＲ表示アプリケーションは、所定の仮想描画画像１４に対して特定のジェスチャが行われたことを認識すると、例えば、仮想描画画像１４が動き出すような各種のエフェクト表示を行うことができる。例えば、ＡＲ表示アプリケーションは、仮想描画画像１４の作成を終了した後に、その仮想描画画像１４をつつくようなジェスチャが行われたことを認識すると、図９のＢに示す仮想描画画像１４ｃのように、ユーザＢの体の表面に沿って動くようなエフェクト表示を行うことができる。
　その他、ＡＲ表示アプリケーションは、文字が描かれた仮想描画画像１４が浮かび上がるようなエフェクト表示や、その文字がライン状の仮想描画画像１４に変形するようなエフェクト表示などを行うことができる。
　これらのエフェクト表示を行うためのエフェクトデータ（仮想描画画像１４の動きや変形など）は、記憶部４５に記憶されている。例えば、仮想描画データ処理部４６は、特定のジェスチャを認識すると、そのジェスチャに対応付けられているエフェクトデータを記憶部４５から読み出して仮想描画画像表示処理部４７に供給する。仮想描画画像表示処理部４７は、ＡＲ画像表示画面１３に表示されている仮想描画画像１４に対してエフェクトデータに従ったエフェクト表示が行われるように表示処理を行う。
　図１０を参照して、仮想描画画像１４に対する第２のエフェクト表示例について説明する。
　例えば、ＡＲ表示アプリケーションは、図１０の上段に示すように、複数のロウソクが立てられたケーキがＡＲ画像表示画面１３に表示されていることを画像認識により認識することができ、ユーザが、ロウソクの先端を実際にタッチするようなジェスチャを行ったことを認識する。これに応じて、ＡＲ表示アプリケーションは、図１０の中段に示すように、それぞれのロウソクの先端に仮想的に火が灯っているように見える仮想描画画像１４ｄをＡＲ画像表示画面１３に表示する。このとき、ＡＲ表示アプリケーションは、ロウソクの火が揺らいでいるようなエフェクト表示を行うことができる。なお、例えば、このケーキに重ね合わせて仮想的に花火が打ち上げられるようなエフェクト表示の仮想描画画像１４（図示せず）を、ＡＲ画像表示画面１３に表示してもよい。
　そして、ＡＲ表示アプリケーションは、仮想描画画像１４ｄの仮想的な火が、全てのロウソクに対応して表示されると、図１０の下段に示すように、三次元的に空間に浮いているように見る仮想描画画像１４ｅの文字「ＨＡＰＰＹ ＢＩＲＴＨＤＡＹ」を表示する。また、ＡＲ表示アプリケーションは、ユーザが、図２のライン色操作パネル２４に対する操作を行うのに従って、仮想描画画像１４ｅの文字に対して、任意の色に変更したり、多色の筆により描かれているようなグラデーションに変更したりすることができる。その他、ＡＲ表示アプリケーションは、予め設定されている様々な文字に対する装飾を選択するような操作が行われるのに従って、連続的に、仮想描画画像１４ｅの文字に対する装飾を変更することができる。
　図１１を参照して、仮想描画画像１４に対する第３のエフェクト表示例について説明する。
　例えば、ＡＲ表示アプリケーションは、図１１の上段に示すように、コーヒーカップの上に、ハートの形状となるようにラインで描かれた仮想描画画像１４ｆをＡＲ画像表示画面１３に表示する。また、ＡＲ表示アプリケーションは、ＡＲ画像表示画面１３ｆの周辺に、ハートの形状が光っているように見えるエフェクト表示を行うことができる。また、その他、ハートの形状自身が光っていたり、燃えていたりするようなエフェクト表示を行ってもよい。
　そして、ＡＲ表示アプリケーションは、図１１の中段に示すように、ユーザが仮想描画画像１４ｆのハートの形状を指先で割るようなジェスチャを行ったことを認識する。これに応じて、ＡＲ表示アプリケーションは、図１１の下段に示すように、仮想描画画像１４ｆに対して、割れたハートの形状の中から複数の小さなハートの形状が湧いて飛び出すようなエフェクト表示を行うことができる。
　図１２を参照して、ＡＲ表示アプリケーションを仮想現実（Virtual Reality）に適用する例について説明する。
　例えば、実空間上に仮想描画画像１４を重ね合わせて表示する他、コンピュータグラフィックにより作成された仮想空間上に仮想描画画像１４を重ね合わせて表示してもよい。
　例えば、図１２に示すように、ユーザは、ヘッドマウントディスプレイ５１を装着し、指示ポイントとするためのコントローラ５２を手に持って仮想描画画像１４を作成することができる。このとき、仮想描画画像１４の作成の開始または終了を指示する操作や、仮想描画画像１４に対する変更を指示する操作などは、ヘッドマウントディスプレイ５１の側面に設けられたタッチパネル５３を利用して行うことができる。
　さらに、ＡＲ表示アプリケーションを複合現実に適用してもよく、透過型のヘッドマウントディスプレイを使用して、ユーザが実際に見ている実空間上に、仮想描画画像１４を重ね合わせて表示するようにしてもよい。
　また、ＡＲ表示アプリケーションは、以下に説明するような様々なユースケースが想定される。
　例えば、カフェなどで並んでいる２人のユーザが、１台のスマートフォン１１のタッチパネル３５を一緒に見ながら、机の上やコーヒーカップ、ケーキなどに対して、絵やメッセージなどを表す仮想描画画像１４を作成することができる。そして、完成した仮想描画画像１４が表示されているＡＲ画像表示画面１３を動画像で記録して、ソーシャルネットワーク上に公開することができる。または、仮想描画画像１４を作成している経過状態のＡＲ画像表示画面１３をタイムラプス的に動画像で記録してもよい。
　例えば、有名人がレストランに行ったときに、有名人自身が食事するために座った場所から実空間上に、有名人のスマートフォン１１を利用して、３次元的なメッセージやサインなどを表す仮想描画画像１４を作成することができる。そして、仮想描画画像１４や、空間情報、GPS（Global Positioning System）位置情報などのデータを、ソーシャルネットワーク上に公開することができる。これにより、ソーシャルネットワークを見た人たちは、公開されたデータに基づいて、その有名人が食事したレストランに行くことができ、それぞれの人たちのスマートフォン１１を利用して、３次元的なメッセージやサインをＡＲ画像表示画面１３に表示して見ることができる。このとき、ＡＲ画像表示画面１３とともに自分自身が写り込むように静止画像を撮像することができる。
　例えば、子供たちが家で寝ている夜中に、父親が家に帰ってきて、スマートフォン１１のカメラを食事に向けると、その食事に重ね合わされるように、子供たちが残したメッセージを表す仮想描画画像１４がＡＲ画像表示画面１３に表示される。この仮想描画画像１４は、子供たちが寝る前に、母親のスマートフォン１１を利用して作成していたものである。
　例えば、卒業旅行で、みんなで京都に行ったときに、ある観光地で、スマートフォン１１を利用して、一緒に寄せ書きとなる仮想描画画像１４を作成することができる。そして、卒業から数年後に、その観光地に行ったときに、スマートフォン１１を利用して、仮想描画画像１４をＡＲ画像表示画面１３に表示して見ることや、新たな仮想描画画像１４を追加することなどができる。
　例えば、学校で、誕生日の子の机に対して誕生日の前日に、友達が、自身のスマートフォン１１を利用して、Happy Birthdayなどお祝いの言葉やイラストなどの寄せ書きを表す仮想描画画像１４を作成しておくことができる。そして、誕生日当日、その子が、自身のスマートフォン１１のカメラで自分の机を撮像すると、みんなのお祝いメッセージが表された仮想描画画像１４が、実空間において机に重畳しているようにＡＲ画像表示画面１３に表示される。
　例えば、落書きが多くあるような場所で、本物の落書きではなく、クリエイターや一般の人が、自身のスマートフォン１１を利用して、芸術的な落書きを表す仮想描画画像１４を作成することができる。そして、通行人が、自身のスマートフォン１１のカメラで、その場所を撮像すると、芸術的な落書きを表す仮想描画画像１４をＡＲ画像表示画面１３に表示して見ることができる。
　例えば、美術館や博物館などに来館した客が、自身のスマートフォン１１を利用して、自身の感想やコメントなどを表す仮想描画画像１４を作成して、作品が展示されている空間に仮想的に残すことができる。そして、同じく来館した別の客が、自身のスマートフォン１１を利用して、感想やコメントなどを表す仮想描画画像１４を表す仮想描画画像１４をＡＲ画像表示画面１３に表示して見ることで、その感想やコメントなどを残した客と自分との感性の違いや解釈の違いなどを感じて楽しむことができる。
　例えば、孫の入学式にランドセルをプレゼントする際に、祖父母が、スマートフォン１１を利用して事前に、そのランドセルに重ね合わせるようにメッセージやイラストなどを表す仮想描画画像１４を作成することができる。その後、ランドセルとともに、仮想描画画像１４を表示するための仮想描画データをプレゼントする。これにより、孫が、スマートフォン１１のカメラでランドセルを撮像すると、スマートフォン１１がランドセルを認識（物体認識）することで、そのランドセルに重なるように表示されるメッセージやイラストなどを表す仮想描画画像１４をＡＲ画像表示画面１３に表示して見ることができる。さらに、孫がランドセルを背負って、メッセージやイラストなどを表す仮想描画画像１４と一緒に写されるようなＡＲ画像表示画面１３の静止画像を記念写真として記録して、祖父母に送信することができる。
　このように、ＡＲ表示アプリケーションは、ある場所における手書きによるメッセージや絵などを、指先を測距することによって仮想描画画像１４として作成し、その仮想描画画像１４を表示するための仮想描画データを、仮想的に実空間に残すことができる。このとき、GPSデータおよび空間データを、仮想描画画像１４の仮想描画データとともに、ＡＲ表示アプリケーション内部に記録することがきる。これにより、次回、その場所に行ったときに、ＡＲ表示アプリケーションを実行して、記録を読み出すことで、仮想描画画像１４を再現することができる。即ち、ＡＲ表示アプリケーションは、仮想描画画像１４を表示するための仮想描画データとともに、SLAM（Simultaneous Localization and Mapping）情報、空間情報、GPS情報を記録することで、再局在化（re-localization）を可能とすることができる。
　また、スマートフォン１１は、TOFセンサ３２を利用する他、ステレオカメラを利用して指先の三次元的な位置を認識するなど、様々な方法を利用することができる。さらに、スマートフォン１１は、図２のライン幅操作パネル２３を利用して仮想描画画像１４のラインの太さを変更する他、例えば、タッチパネル３５に対するタッチ圧力を検出し、そのタッチ圧力に応じて仮想描画画像１４のラインの太さを変更してもよい。
　＜コンピュータの構成例＞
　なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
　また、上述した一連の処理（表示処理方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
　図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３、およびEEPROM（Electronically Erasable and Programmable Read Only Memory）１０４は、バス１０５により相互に接続されている。バス１０５には、さらに、入出力インタフェース１０６が接続されており、入出力インタフェース１０６が外部に接続される。
　以上のように構成されるコンピュータでは、CPU１０１が、例えば、ROM１０２およびEEPROM１０４に記憶されているプログラムを、バス１０５を介してRAM１０３にロードして実行することにより、上述した一連の処理が行われる。また、コンピュータ（CPU１０１）が実行するプログラムは、ROM１０２に予め書き込んでおく他、入出力インタフェース１０６を介して外部からEEPROM１０４にインストールしたり、更新したりすることができる。
　＜構成の組み合わせ例＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　仮想的に描画される画像である仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理を行う認識処理部と、
　作成中の前記仮想描画画像に対して変更を行うユーザ操作に従った操作情報を取得する操作情報取得部と、
　前記指示ポイントに従って作成される前記仮想描画画像を描画するための仮想描画データを、前記操作情報に応じた変更を反映させながら生成するデータ処理部と、
　前記仮想描画データに基づいて、作成中の前記仮想描画画像を表示画面にリアルタイムに表示させる表示処理を行う表示処理部と
　を備える表示処理装置。
（２）
　前記操作情報取得部は、前記表示画面を表示する表示部を有するタッチパネルに対するユーザのタッチ操作に従って、前記操作情報を取得する
　上記（１）に記載の表示処理装置。
（３）
　前記認識処理部は、前記点が連続的に移動するのに追従して前記指示ポイントを認識し、
　前記操作情報取得部は、前記タッチパネルに対するユーザのタッチ操作の連続的な変更に従って前記操作情報を取得し、
　前記データ処理部は、前記指示ポイントにより指示される点の連続的な移動と、前記操作情報に従った連続的な変更とのタイミングを対応付けて、前記仮想描画データを生成する
　上記（２）に記載の表示処理装置。
（４）
　前記認識処理部は、光を照射したタイミングと、その光が物体で反射した反射光を受光するタイミングとの時間差に基づいて、前記物体までの距離を求めるTOF（Time of Flight）センサが取得する距離画像を用いて、前記指示ポイントを認識する
　上記（１）から（３）までのいずれかに記載の表示処理装置。
（５）
　前記仮想描画画像の作成中であることをユーザに対してフィードバックするフィードバック制御部
　をさらに備える上記（１）から（４）までのいずれかに記載の表示処理装置。
（６）
　ユーザの発話した音声を認識して、その音声を文字化した発話情報を取得する音声認識部をさらに備え、
　前記データ処理部は、前記発話情報に基づいた文字を、その文字が発話されたタイミングにおける前記指示ポイントで示される位置に仮想的に配置するような前記仮想描画画像を描画するための前記仮想描画データを生成する
　上記（１）から（５）までのいずれかに記載の表示処理装置。
（７）
　前記データ処理部が生成した前記仮想描画データを記憶する記憶部をさらに備え、
　前記データ処理部は、前記記憶部から読み出した前記仮想描画データを前記表示処理部に供給して、前記仮想描画画像の表示処理を行わせる
　上記（１）から（６）までのいずれかに記載の表示処理装置。
（８）
　仮想的に描画される画像である仮想描画画像を表示する表示処理装置が、
　前記仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理を行うことと、
　作成中の前記仮想描画画像に対して変更を行うユーザ操作に従った操作情報を取得することと、
　前記指示ポイントに従って作成される前記仮想描画画像を描画するための仮想描画データを、前記操作情報に応じた変更を反映させながら生成することと、
　前記仮想描画データに基づいて、作成中の前記仮想描画画像を表示画面にリアルタイムに表示させる表示処理を行うことと
　を含む表示処理方法。
（９）
　仮想的に描画される画像である仮想描画画像を表示する表示処理装置のコンピュータに、
　前記仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理を行うことと、
　作成中の前記仮想描画画像に対して変更を行うユーザ操作に従った操作情報を取得することと、
　前記指示ポイントに従って作成される前記仮想描画画像を描画するための仮想描画データを、前記操作情報に応じた変更を反映させながら生成することと、
　前記仮想描画データに基づいて、作成中の前記仮想描画画像を表示画面にリアルタイムに表示させる表示処理を行うことと
　を含む表示処理を実行させるためのプログラム。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１　スマートフォン，　１２　花瓶，　１３　ＡＲ画像表示画面，　１４　仮想描画画像，　２１　アプリケーション画面，　２２　ライン描画操作ボタン，　２３　ライン幅操作パネル，　２４　ライン色操作パネル，　３１　撮像素子，　３２　TOFセンサ，　３３　位置姿勢センサ，　３４　収音センサ，　３５　タッチパネル，　３６　振動モータ，　３７　ＡＲ表示処理部，　４１　指示ポイント認識処理部，　４２　音声認識部，　４３　操作情報取得部，　４４　フィードバック制御部，　４５　記憶部，　４６　仮想描画データ処理部，　４７　仮想描画画像表示処理部，　５１　ヘッドマウントディスプレイ，　５２　コントローラ，　５３　タッチパネル

Claims (9)

  1. 　仮想的に描画される画像である仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理を行う認識処理部と、
    　作成中の前記仮想描画画像に対して変更を行うユーザ操作に従った操作情報を取得する操作情報取得部と、
    　前記指示ポイントに従って作成される前記仮想描画画像を描画するための仮想描画データを、前記操作情報に応じた変更を反映させながら生成するデータ処理部と、
    　前記仮想描画データに基づいて、作成中の前記仮想描画画像を表示画面にリアルタイムに表示させる表示処理を行う表示処理部と
    　を備える表示処理装置。
  2. 　前記操作情報取得部は、前記表示画面を表示する表示部を有するタッチパネルに対するユーザのタッチ操作に従って、前記操作情報を取得する
    　請求項１に記載の表示処理装置。
  3. 　前記認識処理部は、前記点が連続的に移動するのに追従して前記指示ポイントを認識し、
    　前記操作情報取得部は、前記タッチパネルに対するユーザのタッチ操作の連続的な変更に従って前記操作情報を取得し、
    　前記データ処理部は、前記指示ポイントにより指示される点の連続的な移動と、前記操作情報に従った連続的な変更とのタイミングを対応付けて、前記仮想描画データを生成する
    　請求項２に記載の表示処理装置。
  4. 　前記認識処理部は、光を照射したタイミングと、その光が物体で反射した反射光を受光するタイミングとの時間差に基づいて、前記物体までの距離を求めるTOF（Time of Flight）センサが取得する距離画像を用いて、前記指示ポイントを認識する
    　請求項１に記載の表示処理装置。
  5. 　前記仮想描画画像の作成中であることをユーザに対してフィードバックするフィードバック制御部
    　をさらに備える請求項１に記載の表示処理装置。
  6. 　ユーザの発話した音声を認識して、その音声を文字化した発話情報を取得する音声認識部をさらに備え、
    　前記データ処理部は、前記発話情報に基づいた文字を、その文字が発話されたタイミングにおける前記指示ポイントで示される位置に仮想的に配置するような前記仮想描画画像を描画するための前記仮想描画データを生成する
    　請求項１に記載の表示処理装置。
  7. 　前記データ処理部が生成した前記仮想描画データを記憶する記憶部をさらに備え、
    　前記データ処理部は、前記記憶部から読み出した前記仮想描画データを前記表示処理部に供給して、前記仮想描画画像の表示処理を行わせる
    　請求項１に記載の表示処理装置。
  8. 　仮想的に描画される画像である仮想描画画像を表示する表示処理装置が、
    　前記仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理を行うことと、
    　作成中の前記仮想描画画像に対して変更を行うユーザ操作に従った操作情報を取得することと、
    　前記指示ポイントに従って作成される前記仮想描画画像を描画するための仮想描画データを、前記操作情報に応じた変更を反映させながら生成することと、
    　前記仮想描画データに基づいて、作成中の前記仮想描画画像を表示画面にリアルタイムに表示させる表示処理を行うことと
    　を含む表示処理方法。
  9. 　仮想的に描画される画像である仮想描画画像を表示する表示処理装置のコンピュータに、
    　前記仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理を行うことと、
    　作成中の前記仮想描画画像に対して変更を行うユーザ操作に従った操作情報を取得することと、
    　前記指示ポイントに従って作成される前記仮想描画画像を描画するための仮想描画データを、前記操作情報に応じた変更を反映させながら生成することと、
    　前記仮想描画データに基づいて、作成中の前記仮想描画画像を表示画面にリアルタイムに表示させる表示処理を行うことと
    　を含む表示処理を実行させるためのプログラム。
PCT/JP2018/039839 2017-11-10 2018-10-26 表示処理装置および表示処理方法、並びにプログラム WO2019093156A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/761,052 US20210181854A1 (en) 2017-11-10 2018-10-26 Display processing device, display processing method, and program
CN201880070967.3A CN111316202A (zh) 2017-11-10 2018-10-26 显示处理装置、显示处理方法和程序
JP2019552718A JP7242546B2 (ja) 2017-11-10 2018-10-26 表示処理装置および表示処理方法、並びにプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017217721 2017-11-10
JP2017-217721 2017-11-10

Publications (1)

Publication Number Publication Date
WO2019093156A1 true WO2019093156A1 (ja) 2019-05-16

Family

ID=66437743

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/039839 WO2019093156A1 (ja) 2017-11-10 2018-10-26 表示処理装置および表示処理方法、並びにプログラム

Country Status (4)

Country Link
US (1) US20210181854A1 (ja)
JP (1) JP7242546B2 (ja)
CN (1) CN111316202A (ja)
WO (1) WO2019093156A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184852A (zh) * 2020-09-10 2021-01-05 珠海格力电器股份有限公司 基于虚拟成像的辅助绘图方法和装置、存储介质、电子装置
WO2021106552A1 (ja) * 2019-11-29 2021-06-03 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
JP6951810B1 (ja) * 2021-03-31 2021-10-20 Ｌｉｎｋｓ株式会社 拡張現実システム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140067869A1 (en) * 2012-08-30 2014-03-06 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
US11710310B2 (en) * 2019-06-19 2023-07-25 Apple Inc. Virtual content positioned based on detected object
JP2022037377A (ja) * 2020-08-25 2022-03-09 株式会社ワコム 入力システム及び入力方法
CN112950735A (zh) * 2021-03-04 2021-06-11 爱昕科技(广州)有限公司 简图与语音指令结合生成图像的方法、计算机可读存储介质及显示设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013003961A (ja) * 2011-06-20 2013-01-07 Konica Minolta Business Technologies Inc 空間手書きシステム及び電子ペン
JP2013041411A (ja) * 2011-08-15 2013-02-28 Panasonic Corp 透明ディスプレイ装置
JP2013520729A (ja) * 2010-02-22 2013-06-06 ナイキ インターナショナル リミテッド 拡張現実設計システム
JP2016509292A (ja) * 2013-01-03 2016-03-24 メタ カンパニー エクストラミッシブ空間撮像デジタル眼鏡装置または拡張介在ビジョン
WO2016189735A1 (ja) * 2015-05-28 2016-12-01 三菱電機株式会社 入力表示装置及び入力表示方法
US20160358380A1 (en) * 2015-06-05 2016-12-08 Center Of Human-Centered Interaction For Coexistence Head-Mounted Device and Method of Enabling Non-Stationary User to Perform 3D Drawing Interaction in Mixed-Reality Space

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013520729A (ja) * 2010-02-22 2013-06-06 ナイキ インターナショナル リミテッド 拡張現実設計システム
JP2013003961A (ja) * 2011-06-20 2013-01-07 Konica Minolta Business Technologies Inc 空間手書きシステム及び電子ペン
JP2013041411A (ja) * 2011-08-15 2013-02-28 Panasonic Corp 透明ディスプレイ装置
JP2016509292A (ja) * 2013-01-03 2016-03-24 メタ カンパニー エクストラミッシブ空間撮像デジタル眼鏡装置または拡張介在ビジョン
WO2016189735A1 (ja) * 2015-05-28 2016-12-01 三菱電機株式会社 入力表示装置及び入力表示方法
US20160358380A1 (en) * 2015-06-05 2016-12-08 Center Of Human-Centered Interaction For Coexistence Head-Mounted Device and Method of Enabling Non-Stationary User to Perform 3D Drawing Interaction in Mixed-Reality Space

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021106552A1 (ja) * 2019-11-29 2021-06-03 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
CN112184852A (zh) * 2020-09-10 2021-01-05 珠海格力电器股份有限公司 基于虚拟成像的辅助绘图方法和装置、存储介质、电子装置
JP6951810B1 (ja) * 2021-03-31 2021-10-20 Ｌｉｎｋｓ株式会社 拡張現実システム
JP2022157203A (ja) * 2021-03-31 2022-10-14 Ｌｉｎｋｓ株式会社 拡張現実システム

Also Published As

Publication number Publication date
JP7242546B2 (ja) 2023-03-20
JPWO2019093156A1 (ja) 2020-12-03
US20210181854A1 (en) 2021-06-17
CN111316202A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
WO2019093156A1 (ja) 表示処理装置および表示処理方法、並びにプログラム
US10096144B2 (en) Customized augmented reality animation generator
US9754399B2 (en) Customized augmented reality animation generator
US10963140B2 (en) Augmented reality experience creation via tapping virtual surfaces in augmented reality
CN104808817B (zh) 纹理捕捉触控笔和方法
US9928665B2 (en) Method and system for editing scene in three-dimensional space
CN110456965A (zh) 头像创建用户界面
CN110168475A (zh) 将用户接口装置导入虚拟现实/增强现实的系统
JP2012094100A (ja) 画像表示システム、画像表示装置および画像表示方法
JP2015533003A (ja) スマートペンシステムとの複数ユーザコラボレーション
JP2012053545A (ja) 画像処理システムおよびその制御方法
CN114514493A (zh) 增强设备
CN110046020A (zh) 头像创建用户界面
KR20210147654A (ko) 전자 장치 및 사용자 아바타 기반의 이모지 스티커를 생성하는 방법
CN113574849A (zh) 用于后续对象检测的对象扫描
WO2022163772A1 (ja) 情報処理方法、情報処理装置および不揮発性記憶媒体
KR20220126257A (ko) 실감형 가상 전시 공간 제공 방법 및 시스템
US11380038B2 (en) Animation production system for objects in a virtual space
WO2018008096A1 (ja) 情報表示装置およびプログラム
JP2005181688A (ja) メイクアッププレゼンテーション
JP7070547B2 (ja) 画像処理装置および方法、並びにプログラム
JP2020013200A (ja) 絵画支援システム、絵画支援データ作成プログラムおよび絵画支援データ
TWI700003B (zh) 客製化動態影音場景生成系統
KR102138620B1 (ko) 증강현실을 이용한 3d 모델 구현시스템 및 이를 이용한 구현방법
JP7218874B2 (ja) アニメーション制作システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18875485

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019552718

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18875485

Country of ref document: EP

Kind code of ref document: A1