JP7242546B2 - 表示処理装置および表示処理方法、並びにプログラム - Google Patents

表示処理装置および表示処理方法、並びにプログラム Download PDF

Info

Publication number
JP7242546B2
JP7242546B2 JP2019552718A JP2019552718A JP7242546B2 JP 7242546 B2 JP7242546 B2 JP 7242546B2 JP 2019552718 A JP2019552718 A JP 2019552718A JP 2019552718 A JP2019552718 A JP 2019552718A JP 7242546 B2 JP7242546 B2 JP 7242546B2
Authority
JP
Japan
Prior art keywords
virtual
image
point
display
operation information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019552718A
Other languages
English (en)
Other versions
JPWO2019093156A1 (ja
Inventor
貴晶 中川
慶太 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2019093156A1 publication Critical patent/JPWO2019093156A1/ja
Application granted granted Critical
Publication of JP7242546B2 publication Critical patent/JP7242546B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/32—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory with means for controlling the display position
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本開示は、表示処理装置および表示処理方法、並びにプログラムに関し、特に、実空間上に仮想的な表示を行う際に、より良好なユーザ体験を提供することができるようにした表示処理装置および表示処理方法、並びにプログラムに関する。
近年、拡張現実（Augmented Reality）や複合現実（Mixed Reality）などのように、画面に表示されている物体が、実空間に実在しているかのような表示処理を行う技術が実用化されている。例えば、いわゆるスマートフォンを利用して、カメラで撮像している画像をタッチパネルに表示し、その画像に物体の画像を重ね合わせる表示処理によって、実空間上に物体が配置されているように見える仮想的な表示を行うアプリケーションが提供されている。
従来、このようなアプリケーションでは、例えば、ユーザがタッチパネル操作を行うことで、実空間上に仮想的な物体を配置したり、その仮想的な物体に対する操作を行ったりするユーザインタフェースが採用されている。ところが、このようなユーザインタフェースでは、実空間との融合性が低いと感じるようなユーザ体験となってしまう。
また、ユーザがスマートフォン本体を動かすと、スマートフォンの軌跡に応じて実空間上にラインが描かれるように、仮想的な表示を行うユーザインタフェースが提供されている。ところが、このようなユーザインタフェースでは、ユーザが意図したように実空間上に仮想的なラインを描くことは困難であり、自由度が低いと感じるようなユーザ体験となってしまう。
これに対し、例えば、ユーザのジェスチャをカメラで撮像し、ジェスチャに応じて実空間上に仮想的な物体を配置したり、その仮想的な物体に対する操作を行ったりするユーザインタフェースも提案されている。
例えば、特許文献１には、深度センサを使ってユーザのジェスチャを認識することで、ユーザへのフィードバックを提供するユーザインタフェース技術が開示されている。
特開２０１２－２２１４９８号公報
ところで、上述したようなユーザのジェスチャを利用したユーザインタフェースでは、例えば、仮想的な物体を配置する操作や、仮想的な物体の配置に対する変更を行う操作などを、それぞれ対応するジェスチャで単独的に行う必要があった。このため、例えば、実空間上に仮想的なラインを描画しながら、ラインの幅や色などを連続的に変更するような操作を行うことは困難であり、良好なユーザ体験を提供することが困難であった。
本開示は、このような状況に鑑みてなされたものであり、実空間上に仮想的な表示を行う際に、より良好なユーザ体験を提供することができるようにするものである。
本開示の一側面の表示処理装置は、仮想的に描画される画像である仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理を行う認識処理部と、作成中の前記仮想描画画像に対して変更を行うユーザ操作に従った操作情報を取得する操作情報取得部と、前記指示ポイントに従って作成される前記仮想描画画像を描画するための仮想描画データを、前記操作情報に応じた変更を反映させながら生成するデータ処理部と、前記仮想描画データに基づいて、作成中の前記仮想描画画像を表示画面にリアルタイムに表示させる表示処理を行う表示処理部とを備え、前記認識処理部は、前記点が連続的に移動するのに追従して前記指示ポイントを認識し、前記操作情報取得部は、前記表示画面を表示する表示部を有するタッチパネルに対するユーザのタッチ操作の連続的な変更に従って前記操作情報を取得し、前記データ処理部は、前記指示ポイントにより指示される点の連続的な移動と、前記操作情報に従った連続的な変更とのタイミングを対応付けて、前記仮想描画データを生成する。
本開示の一側面の表示処理方法は、仮想的に描画される画像である仮想描画画像を表示する表示処理装置が、前記仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理を行うことと、作成中の前記仮想描画画像に対して変更を行うユーザ操作に従った操作情報を取得することと、前記指示ポイントに従って作成される前記仮想描画画像を描画するための仮想描画データを、前記操作情報に応じた変更を反映させながら生成することと、前記仮想描画データに基づいて、作成中の前記仮想描画画像を表示画面にリアルタイムに表示させる表示処理を行うこととを含み、前記点が連続的に移動するのに追従して前記指示ポイントを認識し、前記表示画面を表示する表示部を有するタッチパネルに対するユーザのタッチ操作の連続的な変更に従って前記操作情報を取得し、前記指示ポイントにより指示される点の連続的な移動と、前記操作情報に従った連続的な変更とのタイミングを対応付けて、前記仮想描画データを生成する。
本開示の一側面のプログラムは、仮想的に描画される画像である仮想描画画像を表示する表示処理装置のコンピュータに、前記仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理を行うことと、作成中の前記仮想描画画像に対して変更を行うユーザ操作に従った操作情報を取得することと、前記指示ポイントに従って作成される前記仮想描画画像を描画するための仮想描画データを、前記操作情報に応じた変更を反映させながら生成することと、前記仮想描画データに基づいて、作成中の前記仮想描画画像を表示画面にリアルタイムに表示させる表示処理を行うこととを含み、前記点が連続的に移動するのに追従して前記指示ポイントを認識し、前記表示画面を表示する表示部を有するタッチパネルに対するユーザのタッチ操作の連続的な変更に従って前記操作情報を取得し、前記指示ポイントにより指示される点の連続的な移動と、前記操作情報に従った連続的な変更とのタイミングを対応付けて、前記仮想描画データを生成する表示処理を実行させる。
本開示の一側面においては、仮想的に描画される画像である仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理が行われ、作成中の仮想描画画像に対して変更を行うユーザ操作に従った操作情報が取得され、その指示ポイントに従って作成される仮想描画画像を描画するための仮想描画データが、操作情報に応じた変更を反映させながら生成され、仮想描画データに基づいて、作成中の仮想描画画像を表示画面にリアルタイムに表示させる表示処理が行われる。そして、点が連続的に移動するのに追従して指示ポイントが認識され、表示画面を表示する表示部を有するタッチパネルに対するユーザのタッチ操作の連続的な変更に従って操作情報が取得され、指示ポイントにより指示される点の連続的な移動と、操作情報に従った連続的な変更とのタイミングを対応付けて、仮想描画データが生成される。
本開示の一側面によれば、実空間上に仮想的な表示を行う際に、より良好なユーザ体験を提供することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
ＡＲ表示アプリケーションの利用例を説明する図である。 アプリケーション画面の表示例を示す図である。 仮想描画画像の作成を開始する際のユーザインタフェースを説明する図である。 仮想描画画像のラインの太さを変更する操作を行う際のユーザインタフェースを説明する図である。 仮想描画画像の作成を終了する際のユーザインタフェースを説明する図である。 音声認識に基づいて仮想描画画像を作成する利用例を説明する図である。 本技術を適用したスマートフォンの構成例を示すブロック図である。 ＡＲ表示アプリケーションにおいて実行される表示処理を説明するフローチャートである。 仮想描画画像に対する第１のエフェクト表示について説明する図である。 仮想描画画像に対する第２のエフェクト表示について説明する図である。 仮想描画画像に対する第３のエフェクト表示について説明する図である。 ＡＲ表示アプリケーションを仮想現実に適用する例について説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
＜ＡＲ表示アプリケーションの利用例＞
まず、図１乃至６を参照して、本技術を適用した表示処理を実現するアプリケーション（以下、ＡＲ表示アプリケーションと称する）の利用例について説明する。例えば、ＡＲ表示アプリケーションは、撮像素子やTOF（Time of Flight）センサ、タッチパネルなどを備えるスマートフォン１１により実行することができる。
図１のＡには、ユーザＡがスマートフォン１１を使用している様子が示されており、図１のＢには、スマートフォン１１のタッチパネルに表示されるＡＲ画像表示画面１３が示されている。
例えば、ユーザＡは、スマートフォン１１を操作してＡＲ表示アプリケーションを実行させ、スマートフォン１１の撮像素子により撮像される画像に映るように指先を動かす。このとき、スマートフォン１１のTOFセンサにより取得される距離画像に基づいて、ユーザの指先の位置が認識される。これにより、ＡＲ表示アプリケーションは、ユーザの指先の軌跡を追従することで、撮像素子により撮像された実空間の画像上に、指先の軌跡に従ったラインで描画される仮想描画画像１４を重ね合わせたＡＲ画像を、ＡＲ画像表示画面１３に表示することができる。
図１のＡに示す利用例では、ユーザＡは、スマートフォン１１の撮像素子を花瓶１２に向け、花瓶１２に活けられている花を描くように指先を動かしている。これにより、図１のＢに示すように、ＡＲ画像表示画面１３には、指先の軌跡に応じたラインで仮想的に描画された花を表す仮想描画画像１４が、実空間の画像に写されている花瓶１２に活けられているようなＡＲ画像が表示される。
このとき、ユーザＢは、ユーザＡが空中で指先を移動させているだけにしか見えないが、ユーザＢ側から花瓶１２にスマートフォン１１の撮像素子を向けると、ユーザＢ側からの見た目の仮想描画画像１４がＡＲ画像表示画面１３に表示される。即ち、ＡＲ表示アプリケーションは、仮想描画画像１４を表示するための仮想描画データ（例えば、実空間上の絶対座標系で表される指先の軌跡を示すデータ）を、実空間上の絶対座標系に従って生成することができる。これにより、ＡＲ表示アプリケーションは、作成した仮想描画画像１４を、実空間上に仮想的に配置されているように、あらゆる方向からＡＲ画像表示画面１３に表示することができる。
図２には、ＡＲ表示アプリケーションを実行したときにスマートフォン１１のタッチパネルに表示されるアプリケーション画面の表示例が示されている。
図２に示すように、アプリケーション画面２１には、その上側にＡＲ画像表示画面１３（図１のＢ参照）が表示され、ＡＲ画像表示画面１３の下方に、ライン描画操作ボタン２２、ライン幅操作パネル２３、およびライン色操作パネル２４が表示される。例えば、ライン描画操作ボタン２２、ライン幅操作パネル２３、およびライン色操作パネル２４は、ユーザがスマートフォン１１を片手で持ったときに、その片手の指で届く範囲に表示することが好ましい。
ＡＲ画像表示画面１３には、スマートフォン１１の撮像素子により撮像されている画像がリアルタイムに表示されるとともに、その画像に重ね合わせて、図１を参照して説明したような仮想描画画像１４が表示されるようなＡＲ画像が表示される。
ライン描画操作ボタン２２は、スマートフォン１１のタッチパネルに対するタッチ操作に従って、仮想描画画像１４の作成を開始または終了する操作を行うためのGUI（Graphical User Interface）である。例えば、ユーザがライン描画操作ボタン２２をタッチしたことが認識されると、ユーザのタッチ操作が認識されている間、ユーザの指先の軌跡に従って、作成中の仮想描画画像１４を表すラインが表示される。そして、ユーザがライン描画操作ボタン２２からタッチを離したことが認識されると、仮想描画画像１４の生成が終了される。なお、例えば、ライン描画操作ボタン２２に対する操作は、タッチが行われるたびに仮想描画画像１４の作成の開始または終了を切り替えるようにしてもよく、タッチが認識されると、次のタッチが認識されるまで仮想描画画像１４を作成するようにしてもよい。
ライン幅操作パネル２３は、仮想描画画像１４の作成を行いながら、連続的に、スマートフォン１１のタッチパネルに対するタッチ操作に従って、仮想描画画像１４を表すラインの幅に対する変更を操作するためのGUIである。例えば、ライン幅操作パネル２３に表示されるスライダを右側に移動させるようなタッチ操作が認識されると、スライダが移動された位置に応じて、作成される仮想描画画像１４のライン幅が太くなるように変更される。一方、ライン幅操作パネル２３に表示されるスライダを左側に移動させるようなタッチ操作が認識されると、スライダが移動された位置に応じて、作成される仮想描画画像１４のライン幅が細くなるように連続的に変更される。
ライン色操作パネル２４は、仮想描画画像１４の作成を行いながら、連続的に、スマートフォン１１のタッチパネルに対するタッチ操作に従って、仮想描画画像１４を表すラインの色に対する変更を操作するためのGUIである。例えば、ライン色操作パネル２４には、ＲＧＢの値が連続的に変化するような色相環を表すカラーパレットを用いることができ、作成される仮想描画画像１４の色が、タッチ位置に表示されている色に従って連続的に変更される。
図３を参照して、ＡＲ表示アプリケーションにおいて仮想描画画像１４の作成を開始する際のユーザインタフェースについて説明する。
例えば、図３の上側に示すように、ユーザが、仮想描画画像１４を描き始める位置まで右手の指先を移動させた後、左手の指でライン描画操作ボタン２２をタッチするタッチ操作を行うと、仮想描画画像１４の作成が開始される。そして、ユーザが、ライン描画操作ボタン２２に対するタッチ操作を行いながら、右手の指先を動かすと、その指先の軌跡に従って仮想描画画像１４が作成される。これにより、図３の下側に示すように、実空間上に仮想描画画像１４が配置されているようなＡＲ画像が、ＡＲ画像表示画面１３に表示される。
図４を参照して、ＡＲ表示アプリケーションにおいて仮想描画画像１４のラインの太さを変更する操作を行う際のユーザインタフェースについて説明する。
例えば、図４の上側に示すように、ユーザが、仮想描画画像１４のラインを描きながら、仮想描画画像１４のラインの太さを変更する位置まで右手の指先を移動させた後、左手の指でライン幅操作パネル２３のスライダに対する操作を行うと、仮想描画画像１４のラインの太さが変更される。そして、ユーザが、ライン幅操作パネル２３のスライダによりラインの太さを変更して、右手の指先を動かすと、その指先の軌跡に従って、ラインの太さが連続的に変更された仮想描画画像１４が作成される。これにより、例えば、図４の下側に示すように、ラインの太さが太くなるように連続的に変更された仮想描画画像１４が作成される。
また、同様に、ユーザが、仮想描画画像１４のラインを描きながら、仮想描画画像１４のラインの色を変更する位置まで右手の指先を移動させた後、左手の指でライン色操作パネル２４に対するタッチ操作を行うと、仮想描画画像１４のラインの色が変更される。
図５を参照して、ＡＲ表示アプリケーションにおいて仮想描画画像１４の作成を終了する際のユーザインタフェースについて説明する。
例えば、図５の上側に示すように、ユーザが、仮想描画画像１４を描き終える位置まで右手の指先を移動させた後、左手の指でライン描画操作ボタン２２のタッチを離すタッチ操作を行うと、仮想描画画像１４の作成が終了される。その後、ユーザが、右手の指先を移動させても、例えば、図５の上側に示す破線の矢印のように移動させても、図５の下側に示すように、ＡＲ画像表示画面１３には仮想描画画像１４のラインが描画されることはない。
以上のようなユーザインタフェースにより、ＡＲ表示アプリケーションでは、仮想描画画像１４を作成する際に、ラインの幅および色を連続的に変更するような操作を実現することができる。これにより、従来よりも自由度が高い操作性を提供することができる。また、ユーザは、作成中の仮想描画画像１４をＡＲ画像表示画面１３で確認しながら、実空間上で指先を動かして仮想描画画像１４を作成することができ、実空間との融合性が高い操作性を提供することができる。従って、ＡＲ表示アプリケーションにより、より良好なユーザ体験を実現することが可能となる。
即ち、ＡＲ表示アプリケーションは、スマートフォン１１の撮像素子により撮像される一方の手や指などを認識し、その動きを追従して仮想描画画像１４を作成するとともに、作成中の仮想描画画像１４に対する変更を、他方の手による操作によって連続的に反映させることができる。これにより、従来よりも自由度が高く、かつ、仮想描画画像１４に対する連続的な変更を実現することができる。
図６を参照して、ＡＲ表示アプリケーションにおいて音声認識に基づいて仮想描画画像１４を作成する利用例について説明する。
例えば、ＡＲ表示アプリケーションは、ユーザが、スマートフォン１１の撮像素子により撮像される画像に映るように指先を動かしながら発話すると、その発話した音声に対する音声認識を行って、発話内容を示す文字列を指先の軌跡に従って表示するような仮想描画画像１４ａを作成することができる。例えば、図６に示す例では、ユーザが「ありがとう」と発話しながら指先を動かすと、その指先の軌跡に従って文字列「ありがとう」を表示するような仮想描画画像１４ａが実空間上に配置されたＡＲ画像がＡＲ画像表示画面１３に表示される。
ＡＲ表示アプリケーションは、このような音声認識による入力を用いることで、例えば、プレゼンテーションや授業中などにおいて、説明したい図面を指でポインティングしながら、マイクなどで音声を入力するように利用するのに好適である。即ち、そのポインティングした箇所に、文字列を仮想的に配置させるような利用を容易に行うことができる。また、ＡＲ表示アプリケーションは、例えば、工事現場での状況ログやメンテナンスの注意事項などで利用することも好適である。
＜スマートフォンの構成例＞
図７は、ＡＲ表示アプリケーションを実行するスマートフォン１１の構成例を示すブロック図である。
図７に示すように、スマートフォン１１は、撮像素子３１、TOFセンサ３２、位置姿勢センサ３３、収音センサ３４、タッチパネル３５、振動モータ３６、およびＡＲ表示処理部３７を備えて構成される。また、ＡＲ表示処理部３７は、指示ポイント認識処理部４１、音声認識部４２、操作情報取得部４３、フィードバック制御部４４、記憶部４５、仮想描画データ処理部４６、および仮想描画画像表示処理部４７を備えて構成される。
撮像素子３１は、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどにより構成され、実空間を撮像して得られる画像をＡＲ表示処理部３７の指示ポイント認識処理部４１および仮想描画画像表示処理部４７に供給する。
TOFセンサ３２は、例えば、撮像素子３１による撮像範囲に向かって変調光を照射する発光部と、変調光が物体で反射した反射光を受光する受光部とを有して構成される。これにより、TOFセンサ３２は、変調光を照射したタイミングと、反射光を受光するタイミングとの時間差に基づいて、その物体までの距離（デプス）を計測して、距離に基づいた画像である距離画像を取得することができる。TOFセンサ３２は、取得した距離画像をＡＲ表示処理部３７の仮想描画データ処理部４６に供給する。
位置姿勢センサ３３は、例えば、各種の電波を受信することによりスマートフォン１１の絶対位置を測位する測位センサや、スマートフォン１１に生じる角速度に基づいて姿勢を測定するジャイロセンサなどにより構成される。そして、位置姿勢センサ３３は、スマートフォン１１の絶対位置および姿勢を示す位置姿勢情報を、ＡＲ表示処理部３７の仮想描画データ処理部４６に供給する。
収音センサ３４は、例えば、マイクロホン素子を有して構成され、ユーザが発話した音声を集音して、その音声データをＡＲ表示処理部３７の音声認識部４２に供給する。
タッチパネル３５は、図２を参照して上述したようなアプリケーション画面２１を表示する表示部と、その表示部の表面に対してタッチされた位置を検出するタッチセンサとを有して構成される。そして、タッチパネル３５は、タッチセンサにより検出されたタッチ位置を示すタッチ位置情報を、ＡＲ表示処理部３７の操作情報取得部４３に供給する。
振動モータ３６は、ＡＲ表示処理部３７のフィードバック制御部４４による制御に従って、スマートフォン１１を振動させることにより、ユーザの操作に対するフィードバックを行う。
ＡＲ表示処理部３７は、ＡＲ表示アプリケーションを実行するのに必要な各ブロックにより構成され、図１乃至６を参照して説明したようなユーザインタフェースを実現する。
指示ポイント認識処理部４１は、撮像素子３１から供給される画像、および、TOFセンサ３２から供給される距離画像に基づいて、撮像素子３１に映されている指先を、仮想描画画像１４を描くためのラインの軌跡を指示する指示ポイントとして認識する。例えば、指示ポイント認識処理部４１は、撮像素子３１により撮像された画像に対する画像認識処理を行うことにより、その画像に写されているユーザの指先を認識することができる。これにより、指示ポイント認識処理部４１は、画像に映されている指先までの距離を距離画像に従って求めることにより、スマートフォン１１に対する相対的な指先の位置を特定し、指示ポイントを認識することができる。そして、指示ポイント認識処理部４１は、スマートフォン１１に対する相対的な指示ポイントの位置を示す相対位置情報を仮想描画データ処理部４６に供給する。
音声認識部４２は、収音センサ３４から供給される音声データに対する音声認識処理を行って、ユーザが発話した音声を文字化した発話情報を取得し、その発話情報を仮想描画データ処理部４６に供給する。
操作情報取得部４３は、タッチパネル３５に表示されているアプリケーション画面２１と、タッチパネル３５から供給されるタッチ位置情報とに基づいて、ユーザによるタッチ操作に従った操作内容を示す操作情報を取得する。例えば、操作情報取得部４３は、図２を参照して説明したように、ライン描画操作ボタン２２に対するタッチ操作に従って、仮想描画画像１４の作成を開始または終了することを示す操作情報を取得することができる。また、操作情報取得部４３は、ライン幅操作パネル２３に対するタッチ操作に従って、仮想描画画像１４を表すラインの幅に対する変更を行うことを示す操作情報を取得する。また、操作情報取得部４３は、ライン色操作パネル２４に対するタッチ操作に従って、仮想描画画像１４を表すラインの色に対する変更を行うことを示す操作情報を取得する。
フィードバック制御部４４は、仮想描画画像１４の作成を開始する操作が行われたことを示す操作情報が操作情報取得部４３から供給されると、振動モータ３６に対する制御を行って、振動モータ３６を振動させる。そして、フィードバック制御部４４は、仮想描画データの生成が終了するまで振動モータ３６を振動させ続け、仮想描画データの生成を終了する操作が行われたことを示す操作情報が操作情報取得部４３から供給されると、振動モータ３６の振動を停止させる。これにより、フィードバック制御部４４は、仮想描画画像１４の作成中であることユーザに認識させるフィードバック制御を行うことができる。
記憶部４５は、仮想描画データ処理部４６により生成された仮想描画データを記憶する。また、記憶部４５は、例えば、図１０および図１１を参照して後述するように、所定の仮想描画画像１４および特定のジェスチャに対応付けて、その仮想描画画像１４に対するエフェクト表示を行うためのエフェクトデータを記憶している。
仮想描画データ処理部４６は、位置姿勢センサ３３から供給される位置姿勢情報、指示ポイント認識処理部４１から供給される相対位置情報、音声認識部４２から供給される発話情報、および、操作情報取得部４３から供給される操作情報に基づいて、仮想描画画像１４を表示するための仮想描画データを生成する処理を行う。そして、仮想描画データ処理部４６は、生成中の仮想描画データを順次、仮想描画画像表示処理部４７に供給するとともに、仮想描画画像１４の作成が終了すると、完成した仮想描画データを記憶部４５に供給して記憶させる。
例えば、仮想描画データ処理部４６は、スマートフォン１１の絶対位置および姿勢に基づいて、スマートフォン１１に対する相対的な指示ポイントの位置を、絶対座標系に変換して、指示ポイントの軌跡に従った仮想描画データを生成することができる。そして、仮想描画データ処理部４６は、指示ポイントの連続的な移動と、操作情報に従った連続的な変更操作とのタイミングを対応付けることで、変更操作に応じた変更を反映させながら仮想描画データを生成することができる。
また、仮想描画データ処理部４６は、図６を参照して説明したように、音声認識部４２から供給される発話情報に基づいて、ユーザが発話したタイミングにおける指示ポイントごとに、文字が表示されるような仮想描画画像１４ａ（図６）の仮想描画データを生成することができる。
また、仮想描画データ処理部４６は、記憶部４５に記憶されている仮想描画データに従って仮想描画画像１４を表示するような再生操作が行われると、記憶部４５から仮想描画データを読み出して仮想描画画像表示処理部４７に供給し、仮想描画画像１４の表示処理を行わせる。さらに、仮想描画データ処理部４６は、図１１および図１２を参照して後述するように、所定の仮想描画画像１４に対して特定のジェスチャが行われたことを認識した場合、そのジェスチャに対応するエフェクトデータを記憶部４５から読み出して、仮想描画画像１４にエフェクト表示を適用させることができる。
仮想描画画像表示処理部４７は、仮想描画データ処理部４６から供給される仮想描画データに基づいた仮想描画画像１４を、リアルタイムに、撮像素子３１から供給される実空間の画像上に重ね合わせるような表示処理を行う。これにより、仮想描画画像表示処理部４７は、実空間上に仮想描画画像１４が仮想的に配置されているようなＡＲ画像をタッチパネル３５に供給して、ＡＲ画像表示画面１３に表示させることができる。
以上のようにスマートフォン１１は構成されており、指示ポイント認識処理部４１は、指先が連続的に移動するのに追従して指示ポイントを認識することができ、操作情報取得部４３は、タッチパネル３５に対するユーザのタッチ操作の連続的な変更に従った操作内容を示す操作情報を取得することができる。そして、仮想描画データ処理部４６は、指先の連続的な変化と、操作情報に従った連続的な変更とのタイミングを対応付けて、前記仮想描画データを生成することがでる。従って、仮想描画画像１４を作成する際に、連続的に移動する一方の手の指先と、連続的に変更を行う他方の手による操作とのタイミングとを対応付けて、仮想描画画像１４に変更を反映させることができる。このように、より自由度の高い操作性を実現可能なユーザインタフェースにより、良好なユーザ体験を提供することができる。
なお、スマートフォン１１は、記憶部４５に記憶されている仮想描画データを、他のスマートフォン１１に送信することができ、他のスマートフォン１１がＡＲ表示アプリケーションを実行することで、仮想描画画像１４を再生することができる。このとき、仮想描画データは、上述したように絶対座標系で生成されており、仮想描画画像１４の作成場所において、他のスマートフォン１１のタッチパネル３５に仮想描画画像１４を表示することができる。
＜ＡＲ表示アプリケーションの表示処理＞
図８に示すフローチャートを参照して、ＡＲ表示アプリケーションにおいて実行される表示処理について説明する。
例えば、スマートフォン１１においてＡＲ表示アプリケーションが実行されると表示処理が開始される。ステップＳ１１において、撮像素子３１は、指示ポイント認識処理部４１および仮想描画画像表示処理部４７へ画像の供給を開始し、TOFセンサ３２は、指示ポイント認識処理部４１へ距離画像の供給を開始する。
ステップＳ１２において、操作情報取得部４３は、仮想描画画像１４の作成を開始するか否かを判定する。例えば、操作情報取得部４３は、タッチパネル３５から供給されるタッチ位置情報に従って、図２のライン描画操作ボタン２２に対するタッチ操作が行われたことを認識すると、仮想描画画像１４の作成を開始すると判定する。
ステップＳ１２において、操作情報取得部４３が、仮想描画画像１４の作成を開始すると判定するまで処理は待機され、仮想描画画像１４の作成を開始すると判定した場合、処理はステップＳ１３に進む。
ステップＳ１３において、指示ポイント認識処理部４１は、撮像素子３１から供給される画像、および、TOFセンサ３２から供給される距離画像に基づいて、指示ポイントを認識する認識処理を開始する。そして、指示ポイント認識処理部４１は、スマートフォン１１に対する相対的な指示ポイントの位置を示す相対位置情報を仮想描画データ処理部４６に供給する。
ステップＳ１４において、操作情報取得部４３は、仮想描画画像１４の作成を開始することを示す操作情報をフィードバック制御部４４に供給し、フィードバック制御部４４は、振動モータ３６を振動させることによるフィードバック制御を開始する。
ステップＳ１５において、仮想描画データ処理部４６は、仮想描画画像１４を表示するための仮想描画データを生成する処理を行う。上述したように、仮想描画データ処理部４６は、指示ポイント認識処理部４１から供給される相対位置情報を絶対座標系に変更し、指示ポイントの軌跡に従って仮想描画データを生成する。
ステップＳ１６において、操作情報取得部４３は、作成中の仮想描画画像１４に対する変更操作が行われたか否かを判定する。例えば、操作情報取得部４３は、タッチパネル３５から供給されるタッチ位置情報に従って、図２のライン幅操作パネル２３またはライン色操作パネル２４に対するタッチ操作が行われたことを認識すると、作成中の仮想描画画像１４に対する変更操作が行われたと判定する。
ステップＳ１６において、操作情報取得部４３が、作成中の仮想描画画像１４に対する変更操作が行われたと判定した場合、処理はステップＳ１７に進む。ステップＳ１７において、操作情報取得部４３は、作成中の仮想描画画像１４に対する変更操作の内容（例えば、ラインの太さや色など）を取得して仮想描画データ処理部４６に供給する。そして、仮想描画データ処理部４６は、その変更操作の内容に従って仮想描画データを変更することで、仮想描画画像１４に対して変更を反映させる。
一方、ステップＳ１６において、操作情報取得部４３が、作成中の仮想描画画像１４に対する変更操作が行われていないと判定した場合、または、ステップＳ１７の処理後、処理はステップＳ１８に進む。
ステップＳ１８において、仮想描画データ処理部４６は、ステップＳ１５で生成した仮想描画データ、または、ステップＳ１７で変更を反映した仮想描画データを、仮想描画画像表示処理部４７に供給する。これにより、仮想描画画像表示処理部４７は、仮想描画データ処理部４６から供給される仮想描画データに従った仮想描画画像１４を作成する。そして、仮想描画画像表示処理部４７は、作成中の仮想描画画像１４を、撮像素子３１により撮像された実空間の画像上に重ね合わせたＡＲ画像をタッチパネル３５に供給して表示させる表示処理を行う。
ステップＳ１９において、操作情報取得部４３は、仮想描画画像１４の作成を終了するか否かを判定する。例えば、操作情報取得部４３は、タッチパネル３５から供給されるタッチ位置情報に従って、図２のライン描画操作ボタン２２に対するタッチ操作が終わったことを認識すると、仮想描画画像１４の作成を終了すると判定する。
ステップＳ１９において、操作情報取得部４３が、仮想描画画像１４の作成を終了しないと判定した場合、処理はステップＳ１５に戻り、以下、同様の処理が繰り返されることによって、仮想描画画像１４の作成が継続される。
一方、ステップＳ１９において、操作情報取得部４３が、仮想描画画像１４の作成を終了すると判定した場合、処理はステップＳ２０に進む。ステップＳ２０において、操作情報取得部４３は、仮想描画画像１４の作成を終了することを示す操作情報をフィードバック制御部４４に供給し、フィードバック制御部４４は、振動モータ３６の振動を停止させることによりフィードバック制御を終了する。また、このとき、指示ポイント認識処理部４１は、指示ポイントを認識する認識処理を終了するとともに、仮想描画データ処理部４６は、完成した仮想描画データを記憶部４５に供給して記憶させる。
ステップＳ２０の処理後、処理はステップＳ１２に戻り、仮想描画画像１４の作成の開始が待機され、以下、ＡＲ表示アプリケーションが終了されるまで、同様の表示処理が繰り返して行われる。
＜ＡＲ表示アプリケーションの様々な利用例＞
図９乃至１２を参照して、ＡＲ表示アプリケーションの様々な利用例について説明する。
図９のＡには、ユーザＡがスマートフォン１１を使用している様子が示されている。図９のＢには、スマートフォン１１のタッチパネルに表示されるＡＲ画像表示画面１３が示されており、このＡＲ画像表示画面１３には、仮想描画画像１４ｃに対する第１のエフェクト表示例が示されている。
例えば、ＡＲ表示アプリケーションは、スマートフォン１１を持っているユーザＡの指先だけでなく、スマートフォン１１を持っていないユーザＢの指先を指示ポイントとして認識することができる。さらに、ＡＲ表示アプリケーションは、複数の指示ポイントを同時に認識し、例えば、ユーザＡおよびユーザＢそれぞれの指先を同時に認識して、２つの仮想描画画像１４ｂおよび１４ｃを作成することができる。
また、ＡＲ表示アプリケーションは、図９のＢに示すように、例えば、指先が仮想的に光って、その仮想的な光の光跡が拡散しながら一定時間続いて表示されるような仮想描画画像１４ｂを作成することができる。
さらに、ＡＲ表示アプリケーションは、所定の仮想描画画像１４に対して特定のジェスチャが行われたことを認識すると、例えば、仮想描画画像１４が動き出すような各種のエフェクト表示を行うことができる。例えば、ＡＲ表示アプリケーションは、仮想描画画像１４の作成を終了した後に、その仮想描画画像１４をつつくようなジェスチャが行われたことを認識すると、図９のＢに示す仮想描画画像１４ｃのように、ユーザＢの体の表面に沿って動くようなエフェクト表示を行うことができる。
その他、ＡＲ表示アプリケーションは、文字が描かれた仮想描画画像１４が浮かび上がるようなエフェクト表示や、その文字がライン状の仮想描画画像１４に変形するようなエフェクト表示などを行うことができる。
これらのエフェクト表示を行うためのエフェクトデータ（仮想描画画像１４の動きや変形など）は、記憶部４５に記憶されている。例えば、仮想描画データ処理部４６は、特定のジェスチャを認識すると、そのジェスチャに対応付けられているエフェクトデータを記憶部４５から読み出して仮想描画画像表示処理部４７に供給する。仮想描画画像表示処理部４７は、ＡＲ画像表示画面１３に表示されている仮想描画画像１４に対してエフェクトデータに従ったエフェクト表示が行われるように表示処理を行う。
図１０を参照して、仮想描画画像１４に対する第２のエフェクト表示例について説明する。
例えば、ＡＲ表示アプリケーションは、図１０の上段に示すように、複数のロウソクが立てられたケーキがＡＲ画像表示画面１３に表示されていることを画像認識により認識することができ、ユーザが、ロウソクの先端を実際にタッチするようなジェスチャを行ったことを認識する。これに応じて、ＡＲ表示アプリケーションは、図１０の中段に示すように、それぞれのロウソクの先端に仮想的に火が灯っているように見える仮想描画画像１４ｄをＡＲ画像表示画面１３に表示する。このとき、ＡＲ表示アプリケーションは、ロウソクの火が揺らいでいるようなエフェクト表示を行うことができる。なお、例えば、このケーキに重ね合わせて仮想的に花火が打ち上げられるようなエフェクト表示の仮想描画画像１４（図示せず）を、ＡＲ画像表示画面１３に表示してもよい。
そして、ＡＲ表示アプリケーションは、仮想描画画像１４ｄの仮想的な火が、全てのロウソクに対応して表示されると、図１０の下段に示すように、三次元的に空間に浮いているように見る仮想描画画像１４ｅの文字「ＨＡＰＰＹ ＢＩＲＴＨＤＡＹ」を表示する。また、ＡＲ表示アプリケーションは、ユーザが、図２のライン色操作パネル２４に対する操作を行うのに従って、仮想描画画像１４ｅの文字に対して、任意の色に変更したり、多色の筆により描かれているようなグラデーションに変更したりすることができる。その他、ＡＲ表示アプリケーションは、予め設定されている様々な文字に対する装飾を選択するような操作が行われるのに従って、連続的に、仮想描画画像１４ｅの文字に対する装飾を変更することができる。
図１１を参照して、仮想描画画像１４に対する第３のエフェクト表示例について説明する。
例えば、ＡＲ表示アプリケーションは、図１１の上段に示すように、コーヒーカップの上に、ハートの形状となるようにラインで描かれた仮想描画画像１４ｆをＡＲ画像表示画面１３に表示する。また、ＡＲ表示アプリケーションは、ＡＲ画像表示画面１３ｆの周辺に、ハートの形状が光っているように見えるエフェクト表示を行うことができる。また、その他、ハートの形状自身が光っていたり、燃えていたりするようなエフェクト表示を行ってもよい。
そして、ＡＲ表示アプリケーションは、図１１の中段に示すように、ユーザが仮想描画画像１４ｆのハートの形状を指先で割るようなジェスチャを行ったことを認識する。これに応じて、ＡＲ表示アプリケーションは、図１１の下段に示すように、仮想描画画像１４ｆに対して、割れたハートの形状の中から複数の小さなハートの形状が湧いて飛び出すようなエフェクト表示を行うことができる。
図１２を参照して、ＡＲ表示アプリケーションを仮想現実（Virtual Reality）に適用する例について説明する。
例えば、実空間上に仮想描画画像１４を重ね合わせて表示する他、コンピュータグラフィックにより作成された仮想空間上に仮想描画画像１４を重ね合わせて表示してもよい。
例えば、図１２に示すように、ユーザは、ヘッドマウントディスプレイ５１を装着し、指示ポイントとするためのコントローラ５２を手に持って仮想描画画像１４を作成することができる。このとき、仮想描画画像１４の作成の開始または終了を指示する操作や、仮想描画画像１４に対する変更を指示する操作などは、ヘッドマウントディスプレイ５１の側面に設けられたタッチパネル５３を利用して行うことができる。
さらに、ＡＲ表示アプリケーションを複合現実に適用してもよく、透過型のヘッドマウントディスプレイを使用して、ユーザが実際に見ている実空間上に、仮想描画画像１４を重ね合わせて表示するようにしてもよい。
また、ＡＲ表示アプリケーションは、以下に説明するような様々なユースケースが想定される。
例えば、カフェなどで並んでいる２人のユーザが、１台のスマートフォン１１のタッチパネル３５を一緒に見ながら、机の上やコーヒーカップ、ケーキなどに対して、絵やメッセージなどを表す仮想描画画像１４を作成することができる。そして、完成した仮想描画画像１４が表示されているＡＲ画像表示画面１３を動画像で記録して、ソーシャルネットワーク上に公開することができる。または、仮想描画画像１４を作成している経過状態のＡＲ画像表示画面１３をタイムラプス的に動画像で記録してもよい。
例えば、有名人がレストランに行ったときに、有名人自身が食事するために座った場所から実空間上に、有名人のスマートフォン１１を利用して、３次元的なメッセージやサインなどを表す仮想描画画像１４を作成することができる。そして、仮想描画画像１４や、空間情報、GPS（Global Positioning System）位置情報などのデータを、ソーシャルネットワーク上に公開することができる。これにより、ソーシャルネットワークを見た人たちは、公開されたデータに基づいて、その有名人が食事したレストランに行くことができ、それぞれの人たちのスマートフォン１１を利用して、３次元的なメッセージやサインをＡＲ画像表示画面１３に表示して見ることができる。このとき、ＡＲ画像表示画面１３とともに自分自身が写り込むように静止画像を撮像することができる。
例えば、子供たちが家で寝ている夜中に、父親が家に帰ってきて、スマートフォン１１のカメラを食事に向けると、その食事に重ね合わされるように、子供たちが残したメッセージを表す仮想描画画像１４がＡＲ画像表示画面１３に表示される。この仮想描画画像１４は、子供たちが寝る前に、母親のスマートフォン１１を利用して作成していたものである。
例えば、卒業旅行で、みんなで京都に行ったときに、ある観光地で、スマートフォン１１を利用して、一緒に寄せ書きとなる仮想描画画像１４を作成することができる。そして、卒業から数年後に、その観光地に行ったときに、スマートフォン１１を利用して、仮想描画画像１４をＡＲ画像表示画面１３に表示して見ることや、新たな仮想描画画像１４を追加することなどができる。
例えば、学校で、誕生日の子の机に対して誕生日の前日に、友達が、自身のスマートフォン１１を利用して、Happy Birthdayなどお祝いの言葉やイラストなどの寄せ書きを表す仮想描画画像１４を作成しておくことができる。そして、誕生日当日、その子が、自身のスマートフォン１１のカメラで自分の机を撮像すると、みんなのお祝いメッセージが表された仮想描画画像１４が、実空間において机に重畳しているようにＡＲ画像表示画面１３に表示される。
例えば、落書きが多くあるような場所で、本物の落書きではなく、クリエイターや一般の人が、自身のスマートフォン１１を利用して、芸術的な落書きを表す仮想描画画像１４を作成することができる。そして、通行人が、自身のスマートフォン１１のカメラで、その場所を撮像すると、芸術的な落書きを表す仮想描画画像１４をＡＲ画像表示画面１３に表示して見ることができる。
例えば、美術館や博物館などに来館した客が、自身のスマートフォン１１を利用して、自身の感想やコメントなどを表す仮想描画画像１４を作成して、作品が展示されている空間に仮想的に残すことができる。そして、同じく来館した別の客が、自身のスマートフォン１１を利用して、感想やコメントなどを表す仮想描画画像１４を表す仮想描画画像１４をＡＲ画像表示画面１３に表示して見ることで、その感想やコメントなどを残した客と自分との感性の違いや解釈の違いなどを感じて楽しむことができる。
例えば、孫の入学式にランドセルをプレゼントする際に、祖父母が、スマートフォン１１を利用して事前に、そのランドセルに重ね合わせるようにメッセージやイラストなどを表す仮想描画画像１４を作成することができる。その後、ランドセルとともに、仮想描画画像１４を表示するための仮想描画データをプレゼントする。これにより、孫が、スマートフォン１１のカメラでランドセルを撮像すると、スマートフォン１１がランドセルを認識（物体認識）することで、そのランドセルに重なるように表示されるメッセージやイラストなどを表す仮想描画画像１４をＡＲ画像表示画面１３に表示して見ることができる。さらに、孫がランドセルを背負って、メッセージやイラストなどを表す仮想描画画像１４と一緒に写されるようなＡＲ画像表示画面１３の静止画像を記念写真として記録して、祖父母に送信することができる。
このように、ＡＲ表示アプリケーションは、ある場所における手書きによるメッセージや絵などを、指先を測距することによって仮想描画画像１４として作成し、その仮想描画画像１４を表示するための仮想描画データを、仮想的に実空間に残すことができる。このとき、GPSデータおよび空間データを、仮想描画画像１４の仮想描画データとともに、ＡＲ表示アプリケーション内部に記録することがきる。これにより、次回、その場所に行ったときに、ＡＲ表示アプリケーションを実行して、記録を読み出すことで、仮想描画画像１４を再現することができる。即ち、ＡＲ表示アプリケーションは、仮想描画画像１４を表示するための仮想描画データとともに、SLAM（Simultaneous Localization and Mapping）情報、空間情報、GPS情報を記録することで、再局在化（re-localization）を可能とすることができる。
また、スマートフォン１１は、TOFセンサ３２を利用する他、ステレオカメラを利用して指先の三次元的な位置を認識するなど、様々な方法を利用することができる。さらに、スマートフォン１１は、図２のライン幅操作パネル２３を利用して仮想描画画像１４のラインの太さを変更する他、例えば、タッチパネル３５に対するタッチ圧力を検出し、そのタッチ圧力に応じて仮想描画画像１４のラインの太さを変更してもよい。
＜コンピュータの構成例＞
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
また、上述した一連の処理（表示処理方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３、およびEEPROM（Electronically Erasable and Programmable Read Only Memory）１０４は、バス１０５により相互に接続されている。バス１０５には、さらに、入出力インタフェース１０６が接続されており、入出力インタフェース１０６が外部に接続される。
以上のように構成されるコンピュータでは、CPU１０１が、例えば、ROM１０２およびEEPROM１０４に記憶されているプログラムを、バス１０５を介してRAM１０３にロードして実行することにより、上述した一連の処理が行われる。また、コンピュータ（CPU１０１）が実行するプログラムは、ROM１０２に予め書き込んでおく他、入出力インタフェース１０６を介して外部からEEPROM１０４にインストールしたり、更新したりすることができる。
＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
仮想的に描画される画像である仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理を行う認識処理部と、
作成中の前記仮想描画画像に対して変更を行うユーザ操作に従った操作情報を取得する操作情報取得部と、
前記指示ポイントに従って作成される前記仮想描画画像を描画するための仮想描画データを、前記操作情報に応じた変更を反映させながら生成するデータ処理部と、
前記仮想描画データに基づいて、作成中の前記仮想描画画像を表示画面にリアルタイムに表示させる表示処理を行う表示処理部と
を備える表示処理装置。
（２）
前記操作情報取得部は、前記表示画面を表示する表示部を有するタッチパネルに対するユーザのタッチ操作に従って、前記操作情報を取得する
上記（１）に記載の表示処理装置。
（３）
前記認識処理部は、前記点が連続的に移動するのに追従して前記指示ポイントを認識し、
前記操作情報取得部は、前記タッチパネルに対するユーザのタッチ操作の連続的な変更に従って前記操作情報を取得し、
前記データ処理部は、前記指示ポイントにより指示される点の連続的な移動と、前記操作情報に従った連続的な変更とのタイミングを対応付けて、前記仮想描画データを生成する
上記（２）に記載の表示処理装置。
（４）
前記認識処理部は、光を照射したタイミングと、その光が物体で反射した反射光を受光するタイミングとの時間差に基づいて、前記物体までの距離を求めるTOF（Time of Flight）センサが取得する距離画像を用いて、前記指示ポイントを認識する
上記（１）から（３）までのいずれかに記載の表示処理装置。
（５）
前記仮想描画画像の作成中であることをユーザに対してフィードバックするフィードバック制御部
をさらに備える上記（１）から（４）までのいずれかに記載の表示処理装置。
（６）
ユーザの発話した音声を認識して、その音声を文字化した発話情報を取得する音声認識部をさらに備え、
前記データ処理部は、前記発話情報に基づいた文字を、その文字が発話されたタイミングにおける前記指示ポイントで示される位置に仮想的に配置するような前記仮想描画画像を描画するための前記仮想描画データを生成する
上記（１）から（５）までのいずれかに記載の表示処理装置。
（７）
前記データ処理部が生成した前記仮想描画データを記憶する記憶部をさらに備え、
前記データ処理部は、前記記憶部から読み出した前記仮想描画データを前記表示処理部に供給して、前記仮想描画画像の表示処理を行わせる
上記（１）から（６）までのいずれかに記載の表示処理装置。
（８）
仮想的に描画される画像である仮想描画画像を表示する表示処理装置が、
前記仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理を行うことと、
作成中の前記仮想描画画像に対して変更を行うユーザ操作に従った操作情報を取得することと、
前記指示ポイントに従って作成される前記仮想描画画像を描画するための仮想描画データを、前記操作情報に応じた変更を反映させながら生成することと、
前記仮想描画データに基づいて、作成中の前記仮想描画画像を表示画面にリアルタイムに表示させる表示処理を行うことと
を含む表示処理方法。
（９）
仮想的に描画される画像である仮想描画画像を表示する表示処理装置のコンピュータに、
前記仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理を行うことと、
作成中の前記仮想描画画像に対して変更を行うユーザ操作に従った操作情報を取得することと、
前記指示ポイントに従って作成される前記仮想描画画像を描画するための仮想描画データを、前記操作情報に応じた変更を反映させながら生成することと、
前記仮想描画データに基づいて、作成中の前記仮想描画画像を表示画面にリアルタイムに表示させる表示処理を行うことと
を含む表示処理を実行させるためのプログラム。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
１１ スマートフォン， １２ 花瓶， １３ ＡＲ画像表示画面， １４ 仮想描画画像， ２１ アプリケーション画面， ２２ ライン描画操作ボタン， ２３ ライン幅操作パネル， ２４ ライン色操作パネル， ３１ 撮像素子， ３２ TOFセンサ， ３３ 位置姿勢センサ， ３４ 収音センサ， ３５ タッチパネル， ３６ 振動モータ， ３７ ＡＲ表示処理部， ４１ 指示ポイント認識処理部， ４２ 音声認識部， ４３ 操作情報取得部， ４４ フィードバック制御部， ４５ 記憶部， ４６ 仮想描画データ処理部， ４７ 仮想描画画像表示処理部， ５１ ヘッドマウントディスプレイ， ５２ コントローラ， ５３ タッチパネル

Claims (7)

  1. 仮想的に描画される画像である仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理を行う認識処理部と、
    作成中の前記仮想描画画像に対して変更を行うユーザ操作に従った操作情報を取得する操作情報取得部と、
    前記指示ポイントに従って作成される前記仮想描画画像を描画するための仮想描画データを、前記操作情報に応じた変更を反映させながら生成するデータ処理部と、
    前記仮想描画データに基づいて、作成中の前記仮想描画画像を表示画面にリアルタイムに表示させる表示処理を行う表示処理部と
    を備え、
    前記認識処理部は、前記点が連続的に移動するのに追従して前記指示ポイントを認識し、
    前記操作情報取得部は、前記表示画面を表示する表示部を有するタッチパネルに対するユーザのタッチ操作の連続的な変更に従って前記操作情報を取得し、
    前記データ処理部は、前記指示ポイントにより指示される点の連続的な移動と、前記操作情報に従った連続的な変更とのタイミングを対応付けて、前記仮想描画データを生成する
    表示処理装置。
  2. 前記認識処理部は、光を照射したタイミングと、その光が物体で反射した反射光を受光するタイミングとの時間差に基づいて、前記物体までの距離を求めるTOF（Time of Flight）センサが取得する距離画像を用いて、前記指示ポイントを認識する
    請求項１に記載の表示処理装置。
  3. 前記仮想描画画像の作成中であることをユーザに対してフィードバックするフィードバック制御部
    をさらに備える請求項１に記載の表示処理装置。
  4. ユーザの発話した音声を認識して、その音声を文字化した発話情報を取得する音声認識部をさらに備え、
    前記データ処理部は、前記発話情報に基づいた文字を、その文字が発話されたタイミングにおける前記指示ポイントで示される位置に仮想的に配置するような前記仮想描画画像を描画するための前記仮想描画データを生成する
    請求項１に記載の表示処理装置。
  5. 前記データ処理部が生成した前記仮想描画データを記憶する記憶部をさらに備え、
    前記データ処理部は、前記記憶部から読み出した前記仮想描画データを前記表示処理部に供給して、前記仮想描画画像の表示処理を行わせる
    請求項１に記載の表示処理装置。
  6. 仮想的に描画される画像である仮想描画画像を表示する表示処理装置が、
    前記仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理を行うことと、
    作成中の前記仮想描画画像に対して変更を行うユーザ操作に従った操作情報を取得することと、
    前記指示ポイントに従って作成される前記仮想描画画像を描画するための仮想描画データを、前記操作情報に応じた変更を反映させながら生成することと、
    前記仮想描画データに基づいて、作成中の前記仮想描画画像を表示画面にリアルタイムに表示させる表示処理を行うことと
    を含み、
    前記点が連続的に移動するのに追従して前記指示ポイントを認識し、
    前記表示画面を表示する表示部を有するタッチパネルに対するユーザのタッチ操作の連続的な変更に従って前記操作情報を取得し、
    前記指示ポイントにより指示される点の連続的な移動と、前記操作情報に従った連続的な変更とのタイミングを対応付けて、前記仮想描画データを生成する
    表示処理方法。
  7. 仮想的に描画される画像である仮想描画画像を表示する表示処理装置のコンピュータに、
    前記仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理を行うことと、
    作成中の前記仮想描画画像に対して変更を行うユーザ操作に従った操作情報を取得することと、
    前記指示ポイントに従って作成される前記仮想描画画像を描画するための仮想描画データを、前記操作情報に応じた変更を反映させながら生成することと、
    前記仮想描画データに基づいて、作成中の前記仮想描画画像を表示画面にリアルタイムに表示させる表示処理を行うことと
    を含み、
    前記点が連続的に移動するのに追従して前記指示ポイントを認識し、
    前記表示画面を表示する表示部を有するタッチパネルに対するユーザのタッチ操作の連続的な変更に従って前記操作情報を取得し、
    前記指示ポイントにより指示される点の連続的な移動と、前記操作情報に従った連続的な変更とのタイミングを対応付けて、前記仮想描画データを生成する
    表示処理を実行させるためのプログラム。
JP2019552718A 2017-11-10 2018-10-26 表示処理装置および表示処理方法、並びにプログラム Active JP7242546B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017217721 2017-11-10
JP2017217721 2017-11-10
PCT/JP2018/039839 WO2019093156A1 (ja) 2017-11-10 2018-10-26 表示処理装置および表示処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2019093156A1 JPWO2019093156A1 (ja) 2020-12-03
JP7242546B2 true JP7242546B2 (ja) 2023-03-20

Family

ID=66437743

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019552718A Active JP7242546B2 (ja) 2017-11-10 2018-10-26 表示処理装置および表示処理方法、並びにプログラム

Country Status (4)

Country Link
US (1) US20210181854A1 (ja)
JP (1) JP7242546B2 (ja)
CN (1) CN111316202A (ja)
WO (1) WO2019093156A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9589000B2 (en) * 2012-08-30 2017-03-07 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
US11710310B2 (en) * 2019-06-19 2023-07-25 Apple Inc. Virtual content positioned based on detected object
JP2021086511A (ja) * 2019-11-29 2021-06-03 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
JP2022037377A (ja) * 2020-08-25 2022-03-09 株式会社ワコム 入力システム及び入力方法
CN112184852A (zh) * 2020-09-10 2021-01-05 珠海格力电器股份有限公司 基于虚拟成像的辅助绘图方法和装置、存储介质、电子装置
CN112950735A (zh) * 2021-03-04 2021-06-11 爱昕科技(广州)有限公司 简图与语音指令结合生成图像的方法、计算机可读存储介质及显示设备
JP6951810B1 (ja) * 2021-03-31 2021-10-20 Ｌｉｎｋｓ株式会社 拡張現実システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013003961A (ja) 2011-06-20 2013-01-07 Konica Minolta Business Technologies Inc 空間手書きシステム及び電子ペン
JP2013041411A (ja) 2011-08-15 2013-02-28 Panasonic Corp 透明ディスプレイ装置
JP2013520729A (ja) 2010-02-22 2013-06-06 ナイキ インターナショナル リミテッド 拡張現実設計システム
JP2016509292A (ja) 2013-01-03 2016-03-24 メタ カンパニー エクストラミッシブ空間撮像デジタル眼鏡装置または拡張介在ビジョン
WO2016189735A1 (ja) 2015-05-28 2016-12-01 三菱電機株式会社 入力表示装置及び入力表示方法
US20160358380A1 (en) 2015-06-05 2016-12-08 Center Of Human-Centered Interaction For Coexistence Head-Mounted Device and Method of Enabling Non-Stationary User to Perform 3D Drawing Interaction in Mixed-Reality Space

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013520729A (ja) 2010-02-22 2013-06-06 ナイキ インターナショナル リミテッド 拡張現実設計システム
JP2013003961A (ja) 2011-06-20 2013-01-07 Konica Minolta Business Technologies Inc 空間手書きシステム及び電子ペン
JP2013041411A (ja) 2011-08-15 2013-02-28 Panasonic Corp 透明ディスプレイ装置
JP2016509292A (ja) 2013-01-03 2016-03-24 メタ カンパニー エクストラミッシブ空間撮像デジタル眼鏡装置または拡張介在ビジョン
WO2016189735A1 (ja) 2015-05-28 2016-12-01 三菱電機株式会社 入力表示装置及び入力表示方法
US20160358380A1 (en) 2015-06-05 2016-12-08 Center Of Human-Centered Interaction For Coexistence Head-Mounted Device and Method of Enabling Non-Stationary User to Perform 3D Drawing Interaction in Mixed-Reality Space

Also Published As

Publication number Publication date
CN111316202A (zh) 2020-06-19
US20210181854A1 (en) 2021-06-17
WO2019093156A1 (ja) 2019-05-16
JPWO2019093156A1 (ja) 2020-12-03

Similar Documents

Publication Publication Date Title
JP7242546B2 (ja) 表示処理装置および表示処理方法、並びにプログラム
AU2020356572B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11348316B2 (en) Location-based virtual element modality in three-dimensional content
EP3324606A1 (en) Mobile terminal
CN110457103A (zh) 头像创建用户界面
CN110168475A (zh) 将用户接口装置导入虚拟现实/增强现实的系统
CN110460797A (zh) 创意相机
US11379033B2 (en) Augmented devices
CN110046020A (zh) 头像创建用户界面
JP6495399B2 (ja) 仮想空間を提供するためにコンピュータで実行されるプログラム、方法、および当該プログラムを実行するための情報処理装置
CN117980962A (zh) 用于内容应用的设备、方法和图形用户界面
KR20220126257A (ko) 실감형 가상 전시 공간 제공 방법 및 시스템
JP2005181688A (ja) メイクアッププレゼンテーション
JP2020013200A (ja) 絵画支援システム、絵画支援データ作成プログラムおよび絵画支援データ
JP7412497B1 (ja) 情報処理システム
JP7413472B1 (ja) 情報処理システムおよびプログラム
US20230315385A1 (en) Methods for quick message response and dictation in a three-dimensional environment
KR102138620B1 (ko) 증강현실을 이용한 3d 모델 구현시스템 및 이를 이용한 구현방법
US20230384860A1 (en) Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
US20240085987A1 (en) Environmentally Aware Gestures
JP6935531B1 (ja) 情報処理プログラムおよび情報処理システム
TWI700003B (zh) 客製化動態影音場景生成系統
CN115840519A (zh) 用于构成和执行场景的方法和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230308

R150 Certificate of patent or registration of utility model

Ref document number: 7242546

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150