JP6193180B2 - Presentation terminal and presentation method - Google Patents
Presentation terminal and presentation method Download PDFInfo
- Publication number
- JP6193180B2 JP6193180B2 JP2014116479A JP2014116479A JP6193180B2 JP 6193180 B2 JP6193180 B2 JP 6193180B2 JP 2014116479 A JP2014116479 A JP 2014116479A JP 2014116479 A JP2014116479 A JP 2014116479A JP 6193180 B2 JP6193180 B2 JP 6193180B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- finger
- touch
- unit
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、タッチパネルを備えた端末を使用してプレゼンテーションを行う場合に適用されるプレゼンテーション用端末、及びその端末を使用して行われるプレゼンテーション方法に関する。 The present invention relates to a presentation terminal applied when a presentation is performed using a terminal provided with a touch panel, and a presentation method performed using the terminal.
従来、多数の人に対して、端末の操作方法などをプレゼンテーションする場合、プロジェクタ装置を使用して、操作方法の画像をスクリーンなどに拡大投影し、その投影画像で案内するのが一般的である。この場合、プレゼンテーションを実行する操作者は、レーザーポインタなどを使用して、画像中の操作が必要な箇所を指し示すことで、どの箇所を具体的に操作すればよいかの指示を行う。 Conventionally, when presenting terminal operation methods to a large number of people, it is common to use a projector device to enlarge and project an image of the operation method onto a screen or the like and guide the projected image. . In this case, the operator who performs the presentation uses a laser pointer or the like to point to a part that needs to be operated in the image, thereby giving an instruction as to which part should be specifically operated.
例えば、タブレット端末と称されるタッチパネルを備えた情報処理端末は、表示パネルの表面を操作者が直接タッチして、様々な操作を行うことができる。したがって、タブレット端末の操作を説明するときには、実際のタブレット端末をタッチ操作して表示される画像を、プロジェクタ装置で拡大投影すれば、端末の操作方法を効率よくプレゼンテーションすることができる。 For example, an information processing terminal including a touch panel called a tablet terminal can perform various operations by an operator directly touching the surface of the display panel. Therefore, when explaining the operation of the tablet terminal, if the image displayed by touching the actual tablet terminal is enlarged and projected by the projector device, the operation method of the terminal can be presented efficiently.
しかしながら、実際のタブレット端末に表示される画像は、ユーザが操作した結果の画像であるため、実際のタブレット端末に表示される画像をそのまま拡大投影しただけでは、操作者が、端末をどのようにタッチ操作したのか分からないという問題がある。
すなわち、タブレット端末の画像データ出力端子をプロジェクタ装置に接続して、タブレット端末が表示する画像を拡大投影するだけでは、操作者の指の動きなどは表示されない。このため、指を動かす方向や動かす速度などに特徴がある操作を、このような拡大投影で的確に説明することは困難である。
However, since the image displayed on the actual tablet terminal is an image obtained as a result of the user's operation, the operator can view how the terminal is displayed simply by enlarging and projecting the image displayed on the actual tablet terminal. There is a problem of not knowing whether the touch operation has been performed.
That is, the movement of the operator's finger or the like is not displayed only by connecting the image data output terminal of the tablet terminal to the projector device and enlarging and projecting the image displayed on the tablet terminal. For this reason, it is difficult to accurately explain an operation characterized by the direction in which the finger is moved or the speed at which the finger is moved, using such an enlarged projection.
特許文献１には、携帯端末の画像をプロジェクタ装置が投影してプレゼンテーションを行う場合に、携帯端末のタッチパネルのタッチ軌跡を投影画像に合成する点についての記載がある。 Japanese Patent Application Laid-Open No. 2004-228688 describes a point where a touch trajectory of a touch panel of a mobile terminal is combined with a projected image when a projector device projects an image of the mobile terminal to perform a presentation.
特許文献１には、端末のタッチパネルのタッチ軌跡をマーカーとして表示する方法が記載されている。しかしながら、このようなタッチ軌跡をマーカーとして表示した場合、その表示画像を見ている者には、どこをタッチしたのかが分かるだけであり、より詳細な操作状況までは分からない。すなわち、近年、タブレット端末のタッチパネルを使用した操作は、非常に複雑化しており、指を動かす速さや方向などにより、指示を行う内容が様々であり、そのような複雑な操作を、タッチ軌跡だけで指示することは簡単ではない。特に、タブレット端末では、複数本の指を使用したマルチタッチによる操作があるが、マーカーによるタッチ軌跡の表示では、このようなマルチタッチの操作を的確に表示することは困難であった。
この問題点を解決するためには、例えば端末とは別にビデオカメラを用意して、そのビデオカメラで操作者がタッチパネルを操作する様子を撮影して、撮影画像を投射することが考えられる。しかしながら、端末とは別にビデオカメラを用意すると、プレゼンテーションを行うためのシステム構成が非常に大がかりなものになる。また、ビデオカメラで撮影した画像には、天井の照明の映り込みが入る可能性が高く、非常に見にくい画像になってしまうという問題がある。さらに、ビデオカメラは、端末の表示パネルに表示される画面を撮影する位置に固定する必要があり、ビデオカメラを固定するための複雑な機構が必要になるという問題もある。 In order to solve this problem, for example, it is conceivable that a video camera is prepared separately from the terminal, the operator operates the touch panel with the video camera, and a captured image is projected. However, if a video camera is prepared separately from the terminal, the system configuration for giving a presentation becomes very large. In addition, there is a problem that an image taken with a video camera is likely to be reflected in the ceiling lighting, resulting in an image that is very difficult to see. Furthermore, the video camera needs to be fixed at a position where the screen displayed on the display panel of the terminal is photographed, and there is a problem that a complicated mechanism for fixing the video camera is required.
本発明のプレゼンテーション用端末及びプレゼンテーション方法は、タッチパネル付きの端末の操作のプレゼンテーションが、プロジェクタ装置などを使って良好にできるようにすることを目的とする。 It is an object of the present invention to provide a presentation terminal and a presentation method that can favorably present an operation of a terminal with a touch panel using a projector device or the like.
本発明のプレゼンテーション用端末は、表示部と、表示部のパネル表面のタッチを検出するタッチ入力検出部と、画像合成部と、画像出力部と、カメラとを備える。
カメラは、表示部のパネルが配置された側の周囲を撮影する。
画像合成部は、タッチ入力検出部で検出したタッチ状態に応じて、表示部が表示する画像に手指の画像を合成する。このとき、カメラが撮影した画像に基づいて、表示部のパネル表面に近接した手指の画像を合成すると共に、合成する合成する手指の画像は、タッチ入力検出部が検出したタッチの数に応じて決まる形状の手指の画像で、且つ、表示部が備えるパネルのサイズに応じて選ばれた指がパネルをタッチする手指の画像である。
画像出力部は、画像合成部が合成した画像データを出力する。
The presentation terminal of the present invention includes a display unit, a touch input detection unit that detects a touch on the panel surface of the display unit, an image composition unit, an image output unit, and a camera .
The camera takes a picture of the periphery of the display panel side.
The image composition unit synthesizes the image of the finger with the image displayed on the display unit according to the touch state detected by the touch input detection unit. At this time, based on the image captured by the camera, the image of the finger adjacent to the panel surface of the display unit is synthesized, and the synthesized finger image is synthesized according to the number of touches detected by the touch input detection unit. It is an image of a finger with a shape determined, and a finger selected according to the size of the panel included in the display unit is an image of a finger touching the panel.
The image output unit outputs the image data synthesized by the image synthesis unit.
また、本発明のプレゼンテーション用端末は、表示部とタッチ入力検出部を備える代わりに、入力部を備えるようにしてもよい。
この場合、入力部からは、他の端末の表示部で表示された画像データと、他の端末の表示部のパネル表面のタッチ位置のデータとが入力される。そして、画像合成部は、入力部から入力された画像データによる画像に、タッチ状態に応じた手指の画像を合成する。この場合、画像合成部は、他の端末に配置されたセンサ及びカメラから得られた、表示部のパネルの底面の方向及び指の向きの情報に基づいて、入力部に入力した画像データによる画像に手指の画像を合成する方向を設定するようにした。
The presentation terminal of the present invention may include an input unit instead of the display unit and the touch input detection unit.
In this case, the image data displayed on the display unit of the other terminal and the touch position data on the panel surface of the display unit of the other terminal are input from the input unit. Then, the image composition unit synthesizes an image of a finger corresponding to the touch state with the image based on the image data input from the input unit. In this case, the image composition unit obtains an image based on the image data input to the input unit based on the information on the direction of the bottom surface of the panel of the display unit and the direction of the finger obtained from the sensors and cameras arranged in other terminals. The direction to synthesize finger images is set to.
また、本発明のプレゼンテーション方法は、画像取得処理と、タッチ入力検出処理と、画像合成処理と、画像出力処理とを行う。
画像取得処理は、タッチパネル付きの表示部が表示した画像を取得する。
タッチ入力検出処理は、タッチパネルでのタッチ状態を検出する。
画像合成処理は、タッチ位置検出処理で検出したタッチ状態に応じて、画像取得処理で取得した画像に手指の画像を合成する。この画像を合成する際には、表示部のパネルが配置された側の周囲を撮影するカメラの撮影画像に基づいて、表示部のパネル表面に近接した手指の画像を合成すると共に、合成する合成する手指の画像は、タッチ入力検出処理で検出したタッチの数に応じて決まる形状の手指の画像で、且つ、表示部が備えるパネルのサイズに応じて選ばれた指がパネルをタッチする手指の画像とした。
画像出力処理は、画像合成処理で合成された画像データを出力する。
The presentation method of the present invention performs an image acquisition process, a touch input detection process, an image composition process, and an image output process.
The image acquisition process acquires an image displayed by a display unit with a touch panel.
The touch input detection process detects a touch state on the touch panel.
The image composition process synthesizes an image of a finger with the image acquired by the image acquisition process according to the touch state detected by the touch position detection process. When synthesizing this image, the image of the finger adjacent to the panel surface of the display unit is synthesized based on the photographed image of the camera that captures the periphery of the side where the panel of the display unit is arranged, and the synthesis is performed. The finger image is a finger image having a shape determined according to the number of touches detected in the touch input detection process, and a finger selected according to the size of the panel included in the display unit touches the panel. It was an image.
The image output process outputs the image data synthesized by the image synthesis process.
本発明によると、例えば端末が出力する画像データをプロジェクタ装置に送ってスクリーンに投射することで、投射画像には、端末のパネルをプレゼンターがタッチする手と同様の手指が表示されるようになる。したがって、端末のタッチ操作の詳細と、そのタッチ操作で生じる画面遷移を、多数の人に良好にプレゼンテーションすることが可能になる。
また、端末が出力する画像データを、遠隔地の受講者に伝送することで、遠隔地の人にも良好にプレゼンテーションすることが可能になる。
According to the present invention, for example, image data output from a terminal is sent to a projector device and projected onto a screen, so that a finger similar to a hand touching a panel of the terminal by a presenter is displayed in the projected image. . Therefore, the details of the touch operation of the terminal and the screen transition caused by the touch operation can be presented well to many people.
In addition, by transmitting image data output from the terminal to a remote student, it is possible to make a good presentation to a remote person.
＜１．第１の実施の形態の例＞
以下、本発明の第１の実施の形態例を、図１〜図１３を参照して説明する。
［１−１．システム全体の構成例］
図１は、本発明の第１の実施の形態例のシステム全体の概要を示す図である。
図１に示すように、このシステムでは、端末１００とプロジェクタ装置２００が用意される。端末１００は、プレゼンターが操作方法をプレゼンテーションする機器である。端末１００は、表示部１１０の表示パネルがタッチパネルを備え、利用者が指でタッチパネルをタッチすることで様々な操作を行うことができる。ここでは、端末１００として、表示パネルの対角線のサイズが１０インチ程度のタブレット端末を使用する。但し、タブレット端末を使用するのは１つの例であり、その他の形態のタッチパネル付きの端末を使用してもよい。
<1. Example of First Embodiment>
Hereinafter, a first embodiment of the present invention will be described with reference to FIGS.
[1-1. Example of overall system configuration]
FIG. 1 is a diagram showing an overview of the entire system according to the first embodiment of the present invention.
As shown in FIG. 1, in this system, a terminal 100 and a
端末１００は、出力ポート１０１から画像データが出力される。この出力される画像データは、伝送ケーブル１０２を介してプロジェクタ装置２００に供給される。プロジェクタ装置２００は、端末１００から伝送された画像をスクリーン２１０に拡大投射する。このスクリーン２１０上での投射画像２２０により、端末１００の操作方法がプレゼンテーションされる。
The terminal 100 outputs image data from the
プレゼンターがプレゼンテーションする操作は、端末１００の表示部１１０の表示パネル上を指ｆでタッチして行う操作である。端末１００をタッチ操作する指ｆは、プレゼンターの指である。したがって、端末１００の表示部１１０に表示される画像を、そのままプロジェクタ装置２００に伝送して、スクリーン２１０に投射したとしても、投射画像２２０には、指ｆは表示されない。
The operation of giving a presentation by the presenter is an operation performed by touching the display panel of the
ここで本実施の形態例においては、図１に示すように、スクリーン２１０上に、端末表示画像２２２に操作手指２２３を合成した投射画像２２０を表示するようにした。また、端末１００の外形形状とほぼ等しい筐体画像２２１をスクリーン２２０上に表示し、その筐体画像２２１の表示パネルの箇所に、端末表示画像２２２を表示するようにした。これらの投射画像２２０の元になる画像データを作成する処理は、端末１００の内部で行われ、プロジェクタ装置２００は、端末１００から伝送された画像をそのままスクリーン２１０に投射する。したがって、プロジェクタ装置２００は、本実施の形態例の処理を行う上で特別な処理を必要としない。
Here, in the present embodiment, as shown in FIG. 1, a projection image 220 in which the
［１−２．端末の構成例］
図２は、端末１００の内部構成を示す図である。
端末１００は、表示部１１０と制御部１２０とを備える。表示部１１０の表示パネルには、タッチパネルが一体化され、制御部１２０内のタッチ入力検出部１２１がタッチ操作を検出する。
[1-2. Example of terminal configuration]
FIG. 2 is a diagram illustrating an internal configuration of the terminal 100.
The terminal 100 includes a
制御部１２０は、表示部１１０に表示される画像を記憶する第１フレームメモリ１２２を備える。この第１フレームメモリ１２２には、端末１００に実装されたアプリケーションプログラムを実行することにより得られた画像が記憶される。なお、アプリケーションプログラムは、記憶部１３３に記憶されている。
端末１００が実行中のアプリケーションプログラムは、タッチパネルのタッチ操作で様々な操作の指示を行うものである。例えば、端末１００は、タッチ操作により表示画像を切り替える操作や、表示中の画像に関連した別の情報を表示する操作や、表示中の画像の拡大又は縮小を指示する操作などを行うことができる。
The
The application program being executed by the terminal 100 instructs various operations by touch operations on the touch panel. For example, the terminal 100 can perform an operation of switching a display image by a touch operation, an operation of displaying other information related to the displayed image, an operation of instructing enlargement or reduction of the displayed image, and the like. .
また、制御部１２０は、第１フレームメモリ１２２に記憶された表示中の画像データを、画像合成部１２３に供給する。画像合成部１２３では、図１で説明した筐体画像や手指の画像を合成する処理が行われる。画像合成部１２３で合成処理が行われた画像データは第２フレームメモリ１２４に供給され、第２フレームメモリ１２４に記憶される。
画像合成部１２３で合成される筐体画像や手指の画像のデータは、例えば記憶部１３３に予め記憶されている。この画像合成部１２３で合成される手指の画像については、例えば、手指が綺麗な人物（モデル、タレントなど）の手指を撮影して得た画像とするのが好ましい。また、記憶部１３３には、制御部１２０が実行する制御処理に必要なデータも記憶されている。
第２フレームメモリ１２４に記憶された画像合成後の画像データは、出力ポート１０１から外部に出力される。出力ポート１０１は、所定の伝送フォーマットで画像データを出力する画像出力部として機能するものである。この出力ポート１０１には、図１に示す伝送ケーブル１０２が接続される。
In addition, the
Data of the case image and finger image synthesized by the
The image data after image synthesis stored in the
また、端末１００は、重力が働く方向を検出する重力センサ１３１を備え、端末１００を構成する筐体の向きを検出する。すなわち、制御部１２０は、重力センサ１３１の検出データに基づいて、筐体の向きが、表示パネルが縦長になる向きと、表示パネルが横長になる向きの、いずれであるかを判断する。この制御部１２０での向きの判断に基づいて、制御部１２０は、表示部１１０に表示される画像の縦と横の方向や、下側や上側となる方向を決める。
In addition, the terminal 100 includes a
さらに、端末１００は、フェイスカメラ１３２と操作スイッチ１３４を備える。フェイスカメラ１３２は、図１に示すように、端末１００の表示パネルの上部に配置され、表示パネルの近傍を撮影するものである。フェイスカメラ１３２は、通常、端末１００に近接した操作者の顔などを撮影するものであるが、本実施の形態の例では、表示パネルに近接した手指を撮影する。制御部１２０は、フェイスカメラ１３２が撮影した画像から、表示パネルに近接した手指を検出する。なお、フェイスカメラ１３２は、手指の検出を行うために撮影を行う際には、制御部１２０の制御で、フォーカスが合う範囲を、表示パネル面から数センチから１０センチ程度の非常に近い範囲にオートフォーカス機能で設定する。なお、通常時には、フォーカスが合う範囲は、より遠い範囲に設定されている。
操作スイッチ１３４は、例えば端末１００の筐体の側面などに配置されるスイッチである。端末１００が実行中のアプリケーションプログラムによっては、この操作スイッチ１３４の操作が必要となる場合もある。
Further, the terminal 100 includes a
The
［１−３．表示処理の流れの例］
次に、端末１００が行う表示処理の流れを、図３のフローチャートを参照して説明する。図３のフローチャートでは、端末１００の制御部１２０が行う表示のための制御の流れをステップＳ１１〜Ｓ１３で示すと共に、制御部１２０内の画像合成部１２３で行われる画像処理の流れをステップＳ２１〜Ｓ２３で示す。さらに図３のフローチャートでは、制御部１２０とその周辺部とのデータのやり取りについても、破線で示す。
[1-3. Example of display processing flow]
Next, the flow of display processing performed by the terminal 100 will be described with reference to the flowchart of FIG. In the flowchart of FIG. 3, the flow of control for display performed by the
制御部１２０が行う制御としては、まず制御部１２０で、表示部１１０のタッチパネルでタッチされた位置などを判断するタッチ入力検出処理が行われる（ステップＳ１１）。この制御部１２０によるタッチ位置の判断は、表示部１１０に配置されたタッチパネルのタッチ入力検出部１２１におけるタッチ位置の検出に基づいて行われる。
次に、制御部１２０は、手指の検出処理を行う（ステップＳ１２）。ここでは、制御部１２０は、ステップＳ１１で判断したタッチ位置と、重力センサ１３１の検出データと、フェイスカメラ１３２が撮影した画像データとを使用する。すなわち、重力センサ１３１での検出データに基づいて、表示部１１０の表示パネルの底面（下側）がどの方向かを判断する。また、フェイスカメラ１３２が撮影した画像から、手指が表示パネルに接近しているか否かを判断する。これらの判断に基づいて、タッチパネルへのタッチを検出した際には、そのタッチした指の向きなどを判断する。また、タッチパネルでタッチを検出しない状態で、フェイスカメラ１３２の撮影画像から手指を検出したときには、制御部１２０は、タッチパネルに手指が接近した状態であると判断する。
As the control performed by the
Next, the
そして、制御部１２０は、ステップＳ１１，Ｓ１２でのタッチ位置などの判断に基づいて、表示部１１０に表示する画像を確定し、その表示画像を第１フレームメモリ１２２に描画する（ステップＳ１３）。ここでは、制御部１２０は、例えば表示画像中の特定箇所がタッチ操作で選択されたとき、その選択箇所の画像に変形を加える等の効果を施し、アプリケーションプログラムの実行状況に応じた画像処理を行う。表示部１１０は、第１フレームメモリ１２２に描画された画像の表示を行う。
制御部１２０では、表示部１１０が画像を表示する間、このステップＳ１１，Ｓ１２，Ｓ１３の処理が繰り返し実行される。
Then, the
In the
また、上述した表示部１１０での表示処理と並行して、画像合成部１２３において、出力ポート１０１から出力される画像データの生成処理が行われる。すなわち、画像合成部１２３は、ステップＳ１３で第１フレームメモリ１２２に描画された画像データを取り込み、表示用の画像データを取得する画像取得処理を行う（ステップＳ２１）。
In parallel with the display processing on the
次に、画像合成部１２３は、画像に手指画像を合成する処理を行う（ステップＳ２２）。このとき、画像合成部１２３は、制御部１２０がステップＳ１２で検出した手指の位置に手指画像を合成する。また、画像合成部１２３は、第１フレームメモリ１２２から得た画像の周囲に、端末の筐体画像を合成する。これらの手指画像や筐体画像は、記憶部１３３から読み出した画像である。
なお、後述する例のように、手指の状態によっては、手指画像を合成する際の、その手指の影の画像を付加する場合がある。この影の画像も、記憶部１３３に予め記憶されている画像である。
Next, the
Note that, as in the example described later, depending on the state of the finger, a shadow image of the finger when the finger image is synthesized may be added. This shadow image is also an image stored in the
そして、画像合成部１２３は、合成された画像を第２フレームメモリ１２４に供給し、第２フレームメモリ１２４上で端末の筐体や手指が合成された画像を描画する（ステップＳ２３）。この第２フレームメモリ１２４で描画された画像が、出力ポート１０１から外部に出力され、プロジェクタ装置２００でスクリーン２１０に投射される。
画像合成部１２３では、表示部１１０が画像を表示する間、このステップＳ２１，Ｓ２２，Ｓ２３の処理が繰り返し実行される。
Then, the
In the
［１−４．一点タッチの表示例］
次に、プレゼンターが端末１００を操作したときに、スクリーン２１０上が表示する画像の例を説明する。
まず、図４を参照して、プレゼンターが端末１００の表示パネル上の一点をタッチしたときに、スクリーン２１０上に表示される画像の例を説明する。
[1-4. Display example of single point touch]
Next, an example of an image displayed on the screen 210 when the presenter operates the terminal 100 will be described.
First, an example of an image displayed on the screen 210 when the presenter touches one point on the display panel of the terminal 100 will be described with reference to FIG.
図４Ａは、制御部１２０による指のタッチ認識と近接認識が行われる期間を示す。図４Ｂは、プレゼンターの手指による端末１００（実機）の表示パネルの表面のタッチ操作状態を示す。図４Ｃは、スクリーン２１０に投射される画像を示す。これら図４Ａ，Ｂ，Ｃは、それぞれ左から右に操作状態が進んで行く様子を示す。後述する図５〜図１１についても、同様に各図のＡが、タッチ認識と近接認識が行われる期間を示し、各図のＢがプレゼンターの手指によるタッチ操作状態を示し、各図のＣが端末１００の第２フレームメモリ１２４に描画されて、スクリーン２１０に投射される画像を示す。また、プレゼンターが実際に操作を説明する際には、何らかの画像が端末１００や投射画像内の端末に表示されているが、図４〜図１１では、端末内の表示画像は省略する。
FIG. 4A shows a period during which finger touch recognition and proximity recognition are performed by the
プレゼンターによる操作状態としては、最初の状態は、図４Ｂに左から順に示すように、表示パネル１１０−１は、何もタッチされていない状態である。次の表示パネル１１０−２は、手指ｆ１がパネル表面に近づいた状態である。但し、この表示パネル１１０−２の状態では、手指ｆ１の位置はパネル表面から遠く、制御部１２０は、手指の接近を検出しない。したがって、図４Ｃに示すように、それぞれのタイミングでスクリーン２１０に投射される画像による筐体画像２２１−１，２２２−２には、手指画像が表示されない。
As an operation state by the presenter, the first state is a state where nothing is touched on the display panel 110-1 as shown in order from the left in FIG. 4B. The next display panel 110-2 is in a state where the finger f1 approaches the panel surface. However, in the state of the display panel 110-2, the position of the finger f1 is far from the panel surface, and the
図４Ａに示すように、フェイスカメラ１３２が手指の近接を検出したタイミングｔ１になると、図４Ｂに示す表示パネル１１０−３のほぼ中央に手指ｆ１が近接した状態に変化する。このとき、図４Ｃに示すように、スクリーン２１０に投射される筐体画像２２１−３には、手指画像２２３−３が合成された状態になる。そして、矢印ＵＰで示すように、筐体画像２２１−３の下側から手指画像２２３−３が徐々に上がって行き、図４Ｃに示す位置になる。この場合、手指画像２２３−３は、例えば１秒程度の時間をかけて移動する。
また、このように手指ｆ１の近接を検出した際に表示される手指画像２２３−３には、その手指の影画像２２４−３が付加されている。この影画像２２４−３が付加されることで、合成された手指画像２２３−３による指が、表示パネルの表面から離れた状態であることが分かる表示となる。
As shown in FIG. 4A, at the timing t1 when the
In addition, a shadow image 224-3 of the finger is added to the finger image 223-3 displayed when the proximity of the finger f1 is detected in this way. By adding the shadow image 224-3, it is displayed that the finger of the synthesized hand image 223-3 is in a state of being separated from the surface of the display panel.
その後、タッチ入力検出部１２１でタッチを検出するタイミングｔ２（図４Ａ参照）で、プレゼンンターは、図４Ｂに示す表示パネル１１０−４の特定箇所Ａを手指ｆ１でタッチする。この特定箇所Ａの位置は、図４Ｂに示すように、表示パネル上の水平方向ｘと垂直方向ｙで決まる。このとき、図４Ｃに示すように、スクリーン２１０に投射される筐体画像２２１−４には、特定箇所Ａを人差し指の先端がタッチした手指画像２２３−４が合成された状態になる。この場合の手指画像２２３−４にも、その手指の影画像２２４−４が付加されている。但し、手指画像２２３−４は、特定箇所Ａをタッチした状態を示しているため、タッチ箇所の指の部分では、ほとんど影がない状態であり、タッチ箇所から離れた箇所で、わずかな影を表示した状態である。
なお、図４に示すように一点タッチの際に人差し指がタッチした画像となるのは１つの例であり、手指の画像を合成する際に、タッチを行う指を割り当てる方法については後述する。
Thereafter, at a timing t2 (see FIG. 4A) when the touch
Note that, as shown in FIG. 4, an image touched by the index finger during one-point touch is one example, and a method for assigning a finger to be touched when a finger image is synthesized will be described later.
［１−５．一点タッチ後のリリース操作時の表示例］
次に、先に図４で説明した一点タッチが行われた後に、手指が表示パネルの表面から離されるリリース操作時の表示例を、図５を参照して説明する。
図５Ｂの左端に示す表示パネル１１０−４の手指ｆ１によるタッチ操作状態は、図４Ｂの右端に示す表示パネル１１０−４の手指ｆによるタッチ操作状態と同じ状態である。図５Ｃの左端に示す手指画像２２３−４についても、図５Ｃの左端に示す手指画像２２３−４と同じである。
[1-5. Display example during release operation after one point touch]
Next, a display example during a release operation in which the finger is released from the surface of the display panel after the one-point touch described above with reference to FIG. 4 is performed will be described with reference to FIG.
The touch operation state with the finger f1 of the display panel 110-4 shown at the left end of FIG. 5B is the same state as the touch operation state with the finger f of the display panel 110-4 shown at the right end of FIG. 4B. The finger image 223-4 shown at the left end in FIG. 5C is the same as the finger image 223-4 shown at the left end in FIG. 5C.
この状態で、図５Ａに示すようにタイミングｔ３で、タッチ入力検出部１２１により指の特定箇所Ａからのリリースが検出され、タイミングｔ３の直後のタイミングｔ４で、フェイスカメラ１３２により手指が近接していない状態が検出されたとする。
このとき、図５Ｃに示すように、手指画像２２３−５が筐体画像２２１−５の表面から離れた状態に合成される。この手指が離れた状態は、手指の影画像２２４−５の付加で示される。そして、この図５Ｃに示す手指画像２２３−５は、矢印ＤＯＷＮで示すように、時間の経過と共に下側に移動する。このときの手指２２３−５の下側への移動は、例えば１秒程度の時間で行われる。
そして、図５Ｂの右端に示すように手指ｆ１が端末１００から完全に離れた状態では、図５Ｃの右端に示すように、投射画像中の筐体画像２２１−６には手指画像が合成されない。
In this state, as shown in FIG. 5A, at time t3, the touch
At this time, as shown in FIG. 5C, the finger image 223-5 is synthesized in a state separated from the surface of the housing image 221-5. This state in which the fingers are separated is indicated by the addition of a shadow image 224-5 of the fingers. And the finger image 223-5 shown to this FIG. 5C moves below with progress of time, as shown by arrow DOWN. The downward movement of the finger 223-5 at this time is performed in about 1 second, for example.
Then, in the state where the finger f1 is completely separated from the terminal 100 as shown at the right end of FIG. 5B, the finger image is not synthesized with the housing image 221-6 in the projected image as shown at the right end of FIG. 5C.
［１−６．二点タッチの表示例］
図６は、プレゼンターが端末１００の表示パネル上の二点を同時にタッチした場合の例である。
最初の状態では、図６Ｂの左端に示すように、表示パネル１１０−１１は、何もタッチされていない状態であり。次の表示パネル１１０−１２は、手指ｆ２がパネル表面に近づいた状態である。但し、この表示パネル１１０−１２の状態では、手指ｆ２の位置はパネル表面から遠く、制御部１２０は、まだ手指の接近を検出しない。したがって、図６Ｃに示すように、それぞれのタイミングでスクリーン２１０に投射される画像による筐体画像２２１−１１，２２２−１２には、手指画像が表示されない。
[1-6. Display example of two-point touch]
FIG. 6 shows an example in which the presenter touches two points on the display panel of the terminal 100 at the same time.
In the initial state, as shown at the left end of FIG. 6B, the display panel 110-11 is in a state where nothing is touched. In the next display panel 110-12, the finger f2 is close to the panel surface. However, in the state of the display panel 110-12, the position of the finger f2 is far from the panel surface, and the
そして、図６Ａに示すように、フェイスカメラ１３２が手指の近接を検出したタイミングｔ１１になると、図６Ｂに示す表示パネル１１０−１３のほぼ中央に手指ｆ２が近接した状態に変化する。このとき、図６Ｃに示すように、スクリーン２１０に投射される筐体画像２２１−１３は、手指画像２２３−１３が合成された状態になる。また、このように手指ｆ２の近接を検出した際に表示される手指画像２２３−１３には、その手指の影画像２２４−１３が付加される。
ここまでは図４に示した一点タッチの場合と同じであり、手指画像２２３−１３は指１本が伸びた画像である。
Then, as shown in FIG. 6A, at the timing t11 when the
Up to this point, the finger image 223-13 is the same as the one-point touch shown in FIG.
その後、図６Ａに示すように、タッチ入力検出部１２１でタッチを検出したタイミングｔ１２では、プレゼンターが、図６Ｂに示す表示パネル１１０−４の２つの特定箇所Ａ，Ｂを手指ｆ２ａ，ｆ２ｂがタッチした状態とする。２つの特定箇所Ａ，Ｂは、図６Ｂに示すように、表示パネル上の水平方向の座標ｘ１，ｘ２と垂直方向の座標ｙ１，ｙ２でタッチ位置が決まる。このとき、図６Ｃに示すように、スクリーン２１０に投射される筐体画像２２１−１４には、特定箇所Ａ、Ｂをそれぞれ別の指でタッチした手指画像２２３−１４が合成された状態になる。手指画像２２３−１４では、左下の特定箇所Ａを親指がタッチした状態とし、右上の特定箇所Ｂを人差し指がタッチした状態とする。このタッチする指の割り当て状態の例は後述する。
また、この場合の手指画像２２３−１４にも、その手指の影画像２２４−１４が付加されている。但し、手指画像２２３−１４は、特定箇所Ａをタッチした状態を示しているため、タッチ箇所Ａ、Ｂの指の部分では、ほとんど影がない状態であり、タッチ箇所Ａ、Ｂから離れた箇所で、わずかな影を表示した状態である。
Thereafter, as shown in FIG. 6A, at the timing t12 when the touch is detected by the touch
In addition, the shadow image 224-14 of the finger is also added to the finger image 223-14 in this case. However, since the finger image 223-14 shows a state where the specific location A is touched, there is almost no shadow at the finger portions of the touch locations A and B, and a location away from the touch locations A and B. In this state, a slight shadow is displayed.
［１−７．二点タッチ後のピンチイン操作の表示例］
図７は、プレゼンターが端末１００の表示パネル上の二点を同時にタッチした状態で、そのタッチした二点の距離を縮めるピンチイン操作を行った場合の例である。このピンチイン操作は、例えば表示画像の縮小を指示する際に行われる。ここでは、図７Ａに示すように、プレゼンターが端末１００の表示パネル上の二点を同時にタッチした状態が継続している。
図７Ｂの左側に示す表示パネル１１０−１５の操作状態は、図６Ｂの右端に示す操作状態と同じであり、２本の指２ｆａ，２ｆｂで特定位置Ａ，Ｂをタッチした状態である。ここで、プレゼンターは、図７Ｂの右側に示すように、表示パネル１１０−１６の上で、タッチした特定位置Ａ，Ｂの距離を狭くするピンチイン操作を行ったとする。
[1-7. Display example of pinch-in operation after two-point touch]
FIG. 7 shows an example in which a presenter performs a pinch-in operation to shorten the distance between two touched points while the presenter touches two points on the display panel of the terminal 100 at the same time. This pinch-in operation is performed, for example, when an instruction to reduce the display image is given. Here, as shown in FIG. 7A, the presenter continues to touch two points on the display panel of the terminal 100 at the same time.
The operation state of the display panel 110-15 shown on the left side of FIG. 7B is the same as the operation state shown on the right end of FIG. 6B, and is a state where the specific positions A and B are touched with two fingers 2fa and 2fb. Here, it is assumed that the presenter performs a pinch-in operation to narrow the distance between the touched specific positions A and B on the display panel 110-16 as shown on the right side of FIG. 7B.
このとき、ピンチイン操作前には、図７Ｃの左側に示すように、筐体画像２２１−１５として、タッチした特定位置Ａ，Ｂの距離が長い手指画像２２３−１５が合成された状態である。これに対して、ピンチイン操作後には、図７Ｃの右側に示すように、筐体画像２２１−１５として、タッチした特定位置Ａ，Ｂの距離が短い手指画像２２３−１５に変化する。図７ではピンチイン操作前とピンチイン操作後の２つの状態を示すが、実際には連続して手指画像の指が指し示す位置が変化する。手指画像２２３−１５で示されるタッチ位置Ａ，Ｂは、実際にプレゼンターが２本の指２ｆａ，２ｆｂでタッチした特定位置Ａ，Ｂと一致している。 At this time, before the pinch-in operation, as shown on the left side of FIG. 7C, a finger image 223-15 having a long distance between the touched specific positions A and B is synthesized as the case image 221-15. On the other hand, after the pinch-in operation, as shown on the right side of FIG. 7C, the case image 221-15 changes to a finger image 223-15 having a short distance between the touched specific positions A and B. FIG. 7 shows two states before and after the pinch-in operation. Actually, the position indicated by the finger of the finger image changes continuously. The touch positions A and B indicated by the finger images 223-15 coincide with the specific positions A and B where the presenter actually touches with the two fingers 2fa and 2fb.
［１−８．二点タッチ後のピンチアウト操作の表示例］
図８は、プレゼンターが端末１００の表示パネル上の二点を同時にタッチした状態で、そのタッチした二点の距離を広げるピンチアウト操作を行った場合の例である。このピンチアウト操作は、例えば表示画像の拡大を指示する際に行われる。ここでは、図８Ａに示すように、プレゼンターが端末１００の表示パネル上の二点を同時にタッチした状態が継続している。
図８Ｂの左側に示す表示パネル１１０−１７の操作状態は、図７Ｂの右端に示す表示パネル１１０−１７の操作状態と同じであり、２本の指２ｆａ，２ｆｂで特定位置Ａ，Ｂをタッチした状態である。ここで、プレゼンターは、図８Ｂの右側に示すように、表示パネル１１０−１８の上で、タッチした特定位置Ａ，Ｂの距離を広げるピンチアウト操作を行ったとする。
[1-8. Display example of pinch-out operation after two-point touch]
FIG. 8 shows an example of a pinch-out operation in which the presenter touches two points on the display panel of the terminal 100 at the same time and widens the distance between the two touched points. This pinch-out operation is performed, for example, when an instruction to enlarge the display image is given. Here, as shown in FIG. 8A, the presenter continues to touch two points on the display panel of the terminal 100 at the same time.
The operation state of the display panel 110-17 shown on the left side of FIG. 8B is the same as the operation state of the display panel 110-17 shown on the right side of FIG. 7B, and the specific positions A and B are touched with two fingers 2fa and 2fb. It is in the state. Here, it is assumed that the presenter performs a pinch-out operation on the display panel 110-18 to increase the distance between the touched specific positions A and B as shown on the right side of FIG. 8B.
このとき、ピンチアウト操作前には、図８Ｃの左側に示すように、筐体画像２２１−１７として、タッチした特定位置Ａ，Ｂの距離が短い手指画像２２３−１７が合成された状態である。これに対して、ピンチアウト操作後には、図８Ｃの右側に示すように、筐体画像２２１−１８として、タッチした特定位置Ａ，Ｂの距離が長い手指画像２２３−１８に変化する。図８ではピンチアウト操作前とピンチアウト操作後の２つの状態を示すが、実際には連続して手指画像の指が指し示す位置が変化する。手指画像２２３−１８で示されるタッチ位置Ａ，Ｂは、実際にプレゼンターが２本の指２ｆａ，２ｆｂでタッチした特定位置Ａ，Ｂと一致している。 At this time, before the pinch-out operation, as shown on the left side of FIG. 8C, a finger image 223-17 having a short distance between the touched specific positions A and B is synthesized as the housing image 221-17. . On the other hand, after the pinch-out operation, as shown on the right side of FIG. 8C, the case image 221-18 changes to a finger image 223-18 having a long distance between the touched specific positions A and B. FIG. 8 shows two states before and after the pinch-out operation. Actually, the position indicated by the finger of the finger image changes continuously. The touch positions A and B indicated by the finger images 223-18 coincide with the specific positions A and B actually touched by the presenter with the two fingers 2fa and 2fb.
［１−９．二点タッチ後のドラッグ操作の表示例］
図９は、プレゼンターが端末１００の表示パネル上の二点を同時にタッチした状態で、その二点のタッチ位置をほぼ平行に移動させるドラッグ操作を行った場合の例である。ドラッグ操作は、例えば表示画像を移動させる指示を行う際に行われる。ここでは、図９Ａに示すように、プレゼンターが端末１００の表示パネル上の二点を同時にタッチした状態が継続している。
図９Ｂの左側に示す表示パネル１１０−２１の操作状態は、２本の指２ｆａ，２ｆｂで特定位置Ａ，Ｂをタッチした状態である。ここで、プレゼンターは、図９Ｂの右側に示すように、表示パネル１１０−２２の上で、タッチした特定位置Ａ，Ｂをほぼ平行に上側に移動した特定位置Ａ′，Ｂ′に変化させるドラッグ操作を行ったとする。特定位置Ａ′，Ｂ′は、図９Ｂに示すように、表示パネル上の水平方向の座標ｘ１′，ｘ２′と垂直方向の座標ｙ１′，ｙ２′で位置が決まる。
[1-9. Display example of drag operation after two-point touch]
FIG. 9 shows an example in which the presenter performs a drag operation to move the touch positions of the two points substantially in parallel while touching two points on the display panel of the terminal 100 at the same time. The drag operation is performed, for example, when an instruction to move the display image is given. Here, as shown in FIG. 9A, the presenter continues to touch two points on the display panel of the terminal 100 at the same time.
The operation state of the display panel 110-21 shown on the left side of FIG. 9B is a state in which the specific positions A and B are touched with two fingers 2fa and 2fb. Here, as shown on the right side of FIG. 9B, the presenter drags the touched specific positions A and B on the display panel 110-22 to specific positions A ′ and B ′ moved upward in parallel. Suppose that an operation is performed. As shown in FIG. 9B, the specific positions A ′ and B ′ are determined by horizontal coordinates x1 ′ and x2 ′ and vertical coordinates y1 ′ and y2 ′ on the display panel.
このとき、ドラッグ操作前には、図９Ｃの左側に示すように、筐体画像２２１−２１として、特定位置Ａ，Ｂをタッチした状態の手指画像２２３−２１が合成された状態である。これに対して、ドラッグ操作後には、図９Ｃの右側に示すように、筐体画像２２１−２２として、特定位置Ａ′，Ｂ′をタッチした状態の手指画像２２３−２２に変化する。図９はドラッグ操作前とドラッグ操作後の２つの状態を示すが、実際には連続して手指画像の位置が変化する。図９Ｃの右側に示される手指画像２２３−２２で示されるタッチ位置Ａ′，Ｂ′は、プレゼンターが２本の指２ｆａ，２ｆｂで実際にタッチした特定位置Ａ′，Ｂ′（図９Ｂの右側の図）と一致している。 At this time, before the drag operation, as shown on the left side of FIG. 9C, a finger image 223-21 in a state where the specific positions A and B are touched is synthesized as the case image 221-21. On the other hand, after the drag operation, as shown on the right side of FIG. 9C, the case image 221-22 changes to a finger image 223-22 in a state where the specific positions A ′ and B ′ are touched. FIG. 9 shows two states before and after the drag operation. Actually, the position of the finger image changes continuously. The touch positions A ′ and B ′ shown by the finger images 223-22 shown on the right side of FIG. 9C are the specific positions A ′ and B ′ actually touched by the two fingers 2fa and 2fb (right side of FIG. 9B). This is consistent with
［１−１０．二点タッチ後のリリース操作の表示例］
次に、図６〜図９で説明した二点タッチが行われた後に、２つの手指が表示パネルの表面から離される、二点タッチ後のリリース操作時の表示例を、図１０を参照して説明する。
ここでは、図１０Ａに示すようにタイミングｔ２１で、タッチ入力検出部１２１により指の特定箇所Ａからのリリースが検出されるとほぼ同時に、フェイスカメラ１３２により手指が近接していない状態が検出されたとする。
このときの実際のタッチ状態としては、図１０Ｂの左側に示すように、表示パネル１１０−３１の特定位置Ａ，Ｂを、２本の指２ｆａ，２ｆｂでタッチした状態から、図１０Ｂの右側に示すように、２本の指２ｆａ，２ｆｂが右側に離れて行く状態である。
[1-10. Display example of release operation after two-point touch]
Next, a display example at the time of a release operation after a two-point touch in which two fingers are separated from the surface of the display panel after the two-point touch described with reference to FIGS. I will explain.
Here, as shown in FIG. 10A, at time t21, when the
As an actual touch state at this time, as shown on the left side of FIG. 10B, the specific positions A and B of the display panel 110-31 are touched with two fingers 2fa and 2fb, and then on the right side of FIG. 10B. As shown, the two fingers 2fa and 2fb are separated to the right.
このとき、図１０Ｃに示すように、手指画像２２３−３１が筐体画像２２１−３１の上に合成された状態から、手指画像２２３−３２が下側に下がって行く筐体画像２２１−３２に変化する。このように手指画像２２３−３２が矢印ＤＯＷＮで示すように下側に下がって行くことで、筐体画像２２１−３２の上には、手指画像が表示されなくなる。 At this time, as shown in FIG. 10C, from the state in which the finger image 223-31 is synthesized on the housing image 221-31, the finger image 223-32 is lowered to the housing image 221-32. Change. In this way, the finger image 223-32 goes down as indicated by the arrow DOWN, so that the finger image is not displayed on the housing image 221-32.
［１−１１．三点タッチの表示例］
図１１は、プレゼンターが端末１００の表示パネル上の三点を同時にタッチした場合の例である。
最初の状態では、図１１Ｂの左端に示すように、表示パネル１１０−４１には、手指ｆ３が近接した状態である。この手指ｆ３の近接が、図１１Ａに示すように、タイミングｔ３１でフェイスカメラ１３２の撮影画像から検出される。
このとき、図１１Ｃの左端に示すように、スクリーン２１０に投射される画像による筐体画像２２１−４１には、パネル上に近接した手指画像２２３−４１が合成される。このとき、例えば指に影を付加することにより、手指がパネル表面から浮いた状態とするのが好ましい（図１１では影は不図示）。
[1-11. Display example of three-point touch]
FIG. 11 shows an example in which the presenter touches three points on the display panel of the terminal 100 at the same time.
In the initial state, as shown at the left end of FIG. 11B, the finger f3 is close to the display panel 110-41. As shown in FIG. 11A, the proximity of the finger f3 is detected from the captured image of the
At this time, as shown at the left end of FIG. 11C, a finger image 223-41 close to the panel is combined with the case image 221-41 by the image projected on the screen 210. At this time, it is preferable to add a shadow to the finger, for example, so that the finger is lifted from the panel surface (the shadow is not shown in FIG. 11).
そして、タイミングｔ３２でタッチ入力検出部１２１により三点の同時タッチが検出されたとする。このとき、図１１Ｂの中央に示すように、表示パネル１１０−４２の３つの特定箇所Ａ，Ｂ，Ｃを、手指ｆ３ａ，ｆ３ｂ，ｆ３ｃがタッチした状態となる。３つの特定箇所Ａ，Ｂ，Ｃは、図１１Ｂの中央に示すように、表示パネル上の水平方向の座標ｘ１，ｘ２，ｘ３と垂直方向の座標ｙ１，ｙ２，ｙ３でタッチ位置が決まる。
このとき、図１１Ｃの中央に示すように、スクリーン２１０に投射される筐体画像２２１−４２には、手指画像２２３−４３が合成された状態になる。この手指画像２２３−４２は、３本の指で特定箇所Ａ，Ｂ，Ｃをタッチした状態である。
Then, it is assumed that the touch
At this time, as shown in the center of FIG. 11C, the finger image 223-43 is combined with the housing image 221-42 projected on the screen 210. This finger image 223-42 is in a state in which specific locations A, B, and C are touched with three fingers.
その後、さらにタイミングｔ３３でタッチ入力検出部１２１により指の特定箇所Ａ，Ｂ，Ｃからのリリースが検出され、さらにタイミングｔ３４でフェイスカメラ１３２により手指が近接していない状態が検出されたとする。すなわち、図１１Ｂの右側に示すように、表示パネル１１０−４４から手指ｆ３ａ，ｆ３ｂ，ｆ３ｃが離れたとする。
このとき、図１１Ｃに示すように、手指画像２２３−４２が筐体画像２２１−４２の上に合成された状態から、手指画像２２３−４３が矢印ＤＯＷＮで示すように下側に下がって行く筐体画像２２１−４３に変化する。
Thereafter, it is further assumed that the touch
At this time, as shown in FIG. 11C, from the state in which the finger image 223-42 is synthesized on the housing image 221-42, the finger image 223-43 moves downward as indicated by the arrow DOWN. It changes to a body image 221-43.
［１−１２．端末の種類とサイズによって表示する指を設定する例］
ここで、本発明が適用される端末の筐体が備える表示パネルのサイズと、その端末を操作するプレゼンターの手指との関係の例を、図１２及び図１３を参照して説明する。
図１２は、端末と表示パネルのサイズによって想定される一般的な操作状態の例を示す。
図１２Ａは、タブレット端末などの比較的大型の表示パネルを備えた端末１０の例である。この場合には、左手で端末１０を持ちながら、右手の人差し指ｆ１１で、タッチ操作を行う状態が想定される。
図１２Ｂは、スマートフォンなどの比較的小型の表示パネルを備えた端末２０で、一点タッチが行われる例である。この場合には、右手の掌で端末２０を持ちながら、その右手の親指ｆ１２で、タッチ操作を行う状態が想定される。
図１２Ｃは、図１２Ｂと同じ端末２０で、二点タッチが行われる例である。この場合には、左手で端末２０を持ちながら、右手の人差し指ｆ１３と親指ｆ１４で、タッチ操作を行う状態が想定される。
[1-12. Example of setting the finger to display according to the terminal type and size]
Here, an example of the relationship between the size of the display panel provided in the casing of the terminal to which the present invention is applied and the fingers of the presenter who operates the terminal will be described with reference to FIGS.
FIG. 12 shows an example of a general operation state assumed depending on the size of the terminal and the display panel.
FIG. 12A is an example of the terminal 10 including a relatively large display panel such as a tablet terminal. In this case, a state is assumed in which a touch operation is performed with the index finger f11 of the right hand while holding the terminal 10 with the left hand.
FIG. 12B is an example in which a one-point touch is performed on the terminal 20 including a relatively small display panel such as a smartphone. In this case, it is assumed that a touch operation is performed with the thumb f12 of the right hand while holding the terminal 20 with the palm of the right hand.
FIG. 12C is an example in which a two-point touch is performed on the
このように、手指で端末をタッチする状態は、端末のサイズによって異なる。
図１３は、端末の機種（表示パネルのサイズ）と、操作される指の代表的な例を示す図である。図１３の例は、右下に示したように、親指をｐ、人差し指をｉ、中指をｍ、薬指をａ、小指をｃとして示す。
例えば、表示パネルの対角線が１０インチ程度のタブレット型の端末の場合には、一点タッチのとき、人差し指ｉでのタッチが想定され、二点タッチのとき、人差し指ｉと親指ｐでのタッチが想定される。また、三点タッチのとき、人差し指ｉと親指ｐと中指ｍでのタッチが想定され、四点タッチのとき、人差し指ｉと親指ｐと中指ｍと薬指ｍでのタッチが想定される。五点タッチのときは、全ての指でのタッチになる。
また、表示パネルの対角線が７インチ程度のタブレット型の端末の場合にも、１０インチのタブレット型と同じ指でのタッチが想定される。
As described above, the state of touching the terminal with fingers differs depending on the size of the terminal.
FIG. 13 is a diagram illustrating a representative example of the terminal model (display panel size) and the operated finger. In the example of FIG. 13, as shown in the lower right, the thumb is p, the index finger is i, the middle finger is m, the ring finger is a, and the little finger is c.
For example, in the case of a tablet-type terminal whose display panel has a diagonal of about 10 inches, a touch with the index finger i is assumed for a one-point touch, and a touch with the index finger i and the thumb p is assumed for a two-point touch. Is done. Further, in the case of a three-point touch, a touch with the index finger i, the thumb p, and the middle finger m is assumed, and in the case of a four-point touch, a touch with the index finger i, the thumb p, the middle finger m, and the ring finger m is assumed. When touching five points, it will be touched with all fingers.
In the case of a tablet-type terminal having a diagonal of about 7 inches on the display panel, the same finger touch as that of a 10-inch tablet is assumed.
また、表示パネルの対角線が４インチ程度のスマートフォン型の端末の場合には、一点タッチのとき、親指ｐでのタッチが想定され、二点タッチのとき、親指ｐと人差し指ｉでのタッチが想定される。また、三点タッチのとき、親指ｐと人差し指ｉと中指ｍでのタッチが想定され、四点タッチのとき、親指ｐと人差し指ｉと中指ｍと薬指ｍでのタッチが想定される。五点タッチのときは、全ての指でのタッチになる。 In the case of a smartphone-type terminal having a diagonal line of about 4 inches on the display panel, a touch with the thumb p is assumed for a one-point touch, and a touch with the thumb p and the index finger i is assumed for a two-point touch. Is done. Further, in the case of a three-point touch, a touch with the thumb p, the index finger i, and the middle finger m is assumed. In a four-point touch, a touch with the thumb p, the index finger i, the middle finger m, and the ring finger m is assumed. When touching five points, it will be touched with all fingers.
また、表示パネルの対角線が３インチ程度のスマートフォン型の端末の場合には、一点タッチのとき、親指ｐでのタッチが想定され、二点タッチのとき、親指ｐと人差し指ｉでのタッチが想定される。この３インチの端末の場合には、三点タッチ以上の同時タッチは困難である。 In addition, in the case of a smartphone-type terminal whose display panel has a diagonal line of about 3 inches, a touch with the thumb p is assumed for a one-point touch, and a touch with the thumb p and the index finger i is assumed for a two-point touch. Is done. In the case of this 3-inch terminal, it is difficult to simultaneously touch more than three points.
この図１３の情報を端末１００の制御部１２０が持つ。また、端末１００の制御部１２０は、この端末１００が備える表示部１１０のサイズについての情報を持つ。そして、制御部１２０が表示パネルのタッチを検出した際には、そのときの同時タッチ数と、端末のサイズとから決まる指がタッチした状態の手指画像を画像合成部１２３で合成する。
The
［１−１３．第１の実施の形態例による効果］
以上説明したように、プロジェクタ装置２００からスクリーン２１０に投射される画像中に表示される手指画像は、プレゼンターが端末１００の表示パネル上で操作した状態とほぼ同様の状態の指使いの画像になる。したがって、スクリーン２１０に投射される画像による端末１００の操作方法のプレゼンテーションが、実際の操作に近い状態で良好に行える。この場合、端末１００に外部のカメラを取り付けるようなことが必要なく、端末１００とプロジェクタ装置２００とをケーブルで接続するだけでよく、非常に簡単な構成で実現できる。
また、スクリーン２１０に投射される画像は、実際に端末１００の表示部１１０に表示される画像データを加工したものであるため、外部カメラで撮影した場合のような照明光の映り込みなどによる画像の劣化がなく、鮮明な画像によるプレゼンテーションができる。さらに、画像中に合成される手指として、手指が綺麗なモデルなどの手指画像とすることで、非常に綺麗な画像を使って操作説明を行うことができるという効果を奏する。
[1-13. Effects of First Embodiment]
As described above, the finger image displayed in the image projected from the
Further, since the image projected on the screen 210 is actually processed image data displayed on the
また、手指画像を筐体画像に合成する際には、図４や図５などで説明したように、下側から手指がタッチ位置まで移動すると共に、タッチ位置から離れた手指が下側に移動して離れるようにしたことで、自然な状態で手指が合成された状態になる。なお、例えば図１０の例のように、プレゼンターの手指が離れる方向と、表示画像中の手指が離れる方向とが相違する場合があるが、タッチ操作のやり方を説明する上で、この点の相違は問題にはならない。 In addition, when combining the finger image with the housing image, the finger moves from the lower side to the touch position and the finger away from the touch position moves downward as described in FIGS. As a result, the fingers are synthesized in a natural state. Note that, for example, as shown in the example of FIG. 10, the direction in which the presenter's fingers are separated may be different from the direction in which the fingers in the display image are separated. Is not a problem.
さらに、図１２及び図１３で説明したように、プレゼンターが操作する端末１００のサイズに応じて、合成する手指の指を適切に選ぶようにしたことで、手指の合成画像は、実際の操作時の指使いと一致する可能性が高く、この点からも良好な操作説明ができる。 Furthermore, as described with reference to FIGS. 12 and 13, by appropriately selecting the finger of the finger to be synthesized according to the size of the terminal 100 operated by the presenter, the synthesized image of the finger is displayed at the time of actual operation. There is a high possibility that it coincides with the finger usage, and a good operation explanation can be made from this point.
＜２．第２の実施の形態の例＞
以下、本発明の第２の実施の形態の例を、図１４〜図１６を参照して説明する。この図１４〜図１６において、第１の実施の形態の例で説明した図１〜図１３と同一箇所には同じ符号を付し、その詳細説明は省略する。
<2. Example of Second Embodiment>
Hereinafter, an example of the second embodiment of the present invention will be described with reference to FIGS. 14 to 16, the same parts as those shown in FIGS. 1 to 13 described in the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.
［２−１．システム全体の構成例］
図１４は、本発明の第２の実施の形態例のシステム全体の概要を示す図である。
この例では、図１に示すように、第１端末１００ａと第２端末１００ｂとを用意する。第１端末１００ａは、プレゼンターが手指ｆでタッチ操作を行うものである。第２端末１００ｂは、その第１端末１００ａから伝送された画像データに手指画像を合成する処理を行い、合成された画像をプロジェクタ装置２００に供給するものである。
ここでは、第１端末１００ａと第２端末１００ｂは、いずれもタブレット端末を使用する。
[2-1. Example of overall system configuration]
FIG. 14 is a diagram showing an overview of the entire system according to the second embodiment of the present invention.
In this example, as shown in FIG. 1, a
Here, both the
図１４に示すように、第１端末１００ａは、表示部１１０ａに表示される画像データとタッチ位置のデータを第２端末１００ｂに伝送する。第２端末１００ｂは、第１端末１００ａから伝送された画像１９２の周囲に筐体画像１９１を加えると共に、タッチ位置のデータに基づいて操作手指１９３を合成する。この合成処理が行われた画像が、第２端末１００ｂの表示部１１０ｂで表示されると共に、出力ポート１０１ｂからプロジェクタ装置２００に伝送される。
プロジェクタ装置２００は、第２端末１００ｂの出力ポート１０１ｂから出力される画像データを処理して、スクリーン２１０に投影させる。
As shown in FIG. 14, the first terminal 100a transmits image data and touch position data displayed on the
The
［２−２．端末の構成例］
図１５は、第１端末１００ａと第２端末１００ｂの内部構成を示す図である。第１端末１００ａと第２端末１００ｂは、基本的に同一の構成であり、第１端末１００ａの各構成要素には符号ａを付し、第２端末１００ｂの各構成要素には符号ｂを付して示す。この例では、図２に示した端末１００内の第１フレームメモリ１２２での処理を、第１端末１００ａ内のフレームメモリ１２２ａが行い、第２フレームメモリ１４での処理を、第２端末１００ｂ内のフレームメモリ１２２ｂが行っている。
[2-2. Example of terminal configuration]
FIG. 15 is a diagram illustrating an internal configuration of the
第１端末１００ａは、制御部１２０ａ内の画像描画部１２５ａによる描画処理でフレームメモリ１２２ａに作成された画像が、表示部１１０ａされる。また、フレームメモリ１２２ａに作成された画像データが、通信処理部１２６ａから第２端末１００ｂに無線伝送される。このとき、画像データと共にタッチ入力検出部１２１ａで検出したタッチ位置のデータについても、第２端末１００ｂに無線伝送される。
また、第１端末１００ａは、重力センサ１３１ａとフェイスカメラ１３２ａと記憶部１３３ａと操作スイッチ１３４ａを備える。
In the
The
第２端末１００ｂは、通信処理部１２６ｂが受信した画像データとタッチ位置データに基づいて、画像描画部１２５ｂがフレームメモリ１２２ｂに画像の描画を行う。ここで画像描画部１２５ｂがフレームメモリ１２２ｂに描画させる画像は、第１端末１００ａが表示した画像に、第１端末１００ａの筐体枠を加えると共に、タッチ位置に応じた手指を合成した画像である。
第２端末１００ｂのフレームメモリ１２２ｂで得られた画像データは、表示部１１０ｂに供給されて表示されると共に、出力ポート１０１ｂからプロジェクタ装置２００に伝送される。
なお、図１５の構成では、第２端末１００ｂの通信処理部１２６ｂが、画像データとタッチ位置データの入力部として機能するようにしたが、ケーブルが接続される入力ポートを、これらの入力部としてもよい。
In the
The image data obtained in the
In the configuration of FIG. 15, the
［２−３．表示処理の流れの例］
次に、２台の端末１００ａ，１００ｂが行う表示処理の流れを、図１６のフローチャートを参照して説明する。図１６のフローチャートでは、第１端末１００ａの制御部１２０ａが行う表示のための制御の流れをステップＳ３１〜Ｓ３３で示す。また、第２端末１００ｂの制御部１２０ｂ内の画像描画部１２５ｂで行われる画像処理の流れをステップＳ４１〜Ｓ４３で示す。さらに図１６のフローチャートでは、制御部１２０ａ，１２０ｂとその周辺部とのデータのやり取りについても、破線で示す。
[2-3. Example of display processing flow]
Next, the flow of display processing performed by the two
第１端末１００ａ側の制御部１２０ａが行う制御としては、まず制御部１２０で、表示部１１０のタッチパネルでタッチされた位置などを判断するタッチ入力検出処理が行われる（ステップＳ３１）。この制御部１２０ａによるタッチ位置の判断は、表示部１１０ａに配置されたタッチパネルの状態のタッチ入力検出部１２１ａでの検出に基づいて行われる。
そして、制御部１２０ａは、手指の検出処理を行う（ステップＳ３２）。ここでは、制御部１２０ａは、ステップＳ３１で判断したタッチ位置と、重力センサ１３１ａの検出データと、フェイスカメラ１３２ａが撮影した画像データとを使用する。すなわち、重力センサ１３１ａでの検出データに基づいて、表示部１１０ａの表示パネルの底面がどの方向かを判断する。また、フェイスカメラ１３２ａが撮影した画像から、手指が表示パネルに接近しているか否かを判断する。これらの判断に基づいて、タッチパネルへのタッチを検出した際には、そのタッチした指の向きなどを判断する。また、タッチパネルでタッチを検出しない状態で、フェイスカメラ１３２ａの撮影画像から手指を検出したときには、制御部１２０ａは、タッチパネルに手指が接近した状態であると判断する。
As the control performed by the
Then, the
そして、制御部１２０ａは、ステップＳ３１，Ｓ３２でのタッチ位置などの判断に基づいて、表示部１１０ａで表示させる画像を確定し、画像描画部１２５ａは、その表示画像をフレームメモリ１２２ａに描画する（ステップＳ３３）。表示部１１０ａは、フレームメモリ１２２ａに描画された画像の表示を行う。
制御部１２０ａでは、表示部１１０ａが画像を表示する間、このステップＳ３１，Ｓ３２，Ｓ３３の処理が繰り返し実行される。
Then, the
In the
そして、第２端末１００ｂでは、第１端末１００ａから伝送された画像に筐体画像や手指画像を合成する処理が行われる。すなわち、画像描画部１２５ｂは、ステップＳ３３でフレームメモリ１２２ａに描画された画像データを取り込み、表示用の画像データを取得する画像取得処理を行う（ステップＳ４１）。
Then, in the
次に、画像描画部１２５ｂは、画像に手指画像を合成する処理を行う（ステップＳ４２）。このときには、第１端末１００ａの制御部１２０ａがステップＳ３２で検出した手指の位置に、手指画像を合成する。また、画像描画部１２５ｂは、第１端末１００ａのフレームメモリ１２２ａから得た画像の周囲に、端末の筐体画像を合成する。これらの手指画像や筐体画像は、記憶部１３３bから読み出した画像である。
Next, the
そして、制御部１２０ｂは、画像描画部１２５ｂにより描画された画像をフレームメモリ１２２ｂに書込む（ステップＳ４３）。このフレームメモリ１２２ｂに書き込まれた画像が、出力ポート１０１ｂから外部に出力され、プロジェクタ装置２００でスクリーン２１０に投射される。
画像描画部１２５ｂでは、表示部１１０ａが画像を表示する間、このステップＳ４１，Ｓ４２，Ｓ４３の処理が繰り返し実行される。
Then, the
In the
このような処理で第２端末１００ｂからプロジェクタ装置２００に画像データが伝送されることで、プロジェクタ装置２００でスクリーン２１０に投射される画像は、第１の実施の形態の例で説明したものと同様のものになる。すなわち、プレゼンターが手指ｆで第１端末１００ａをタッチ操作したとき、第２端末１００ｂ内で、手指画像などが合成されて、プロジェクタ装置２００に供給されて、投射されるようになる。手指画像や筐体画像が合成される状態は、第１の実施の形態の例の各図で説明した状態が適用される。
By transmitting image data from the second terminal 100b to the
［２−４．第２の実施の形態例による効果］
この第２の実施の形態の例によると、プレゼンターが手指ｆで第１端末１００ａをタッチ操作した状態が、画像合成されてスクリーン２１０上に表示されるようになる。したがって、この第２の実施の形態の例によると、第１の実施の形態の例で説明した場合と同様に、タッチパネルを使った操作の良好なプレゼンテーションが可能になる。第２の実施の形態例では、具体的な手指画像の合成例は説明しないが、第１の実施の形態例で説明した合成例がそのまま適用できる。
また、第２の実施の形態例の場合、第１端末１００ａと第２端末１００ｂは、それぞれ画像処理を行うためのメモリであるフレームメモリ１２２ａ，１２２ｂが１個ずつでもよい。このため、第１端末１００ａと第２端末１００ｂとして、一般的な構成のタブレット端末やスマートフォン端末が適用可能である。なお、第２端末１００ｂについては、表示部での表示を行う必要がなく、タッチパネルを備える必要もない。このため、例えばパーソナルコンピュータ装置などの各種情報処理装置が、第２端末１００ｂとして機能するようにしてもよい。
[2-4. Effect of Second Embodiment]
According to the example of the second embodiment, the state in which the presenter touches the
In the case of the second embodiment, the
＜３．変形例＞
［３−１．筐体の側面を表示する例］
図１や図１４に示した例では、スクリーン２１０に表示される画像として、端末の正面の筐体画像を表示するようにした。これに対して、筐体の側面などに配置された操作ボタンの操作を説明するために、操作ボタンなどが配置された筐体の側面の画像を、スクリーン２１０上に同時に表示させるようにしてもよい。
例えば図１７に示すように、端末１００（又は端末１００ｂ）内での画像合成処理では、スクリーン２１０上に端末の正面の筐体画像２２１Ｆを表示すると共に、その筐体画像２２１Ｆの脇に、側面の筐体画像２２１Ｓを表示している。また、端末１００の実際の構成に対応して、正面の筐体画像２２１Ｆには操作スイッチ２２５−１が配置され、側面の筐体画像２２１Ｓには操作スイッチ２２５−２が配置される。
<3. Modification>
[3-1. Example of displaying the side of the housing]
In the example shown in FIGS. 1 and 14, the case image in front of the terminal is displayed as the image displayed on the screen 210. On the other hand, in order to explain the operation of the operation buttons arranged on the side surface of the housing, an image of the side surface of the housing on which the operation buttons are arranged may be displayed on the screen 210 at the same time. Good.
For example, as shown in FIG. 17, in the image composition processing in the terminal 100 (or the terminal 100b), a
そして、図１７に示すように、端末１００の側面に配置された操作スイッチ１３４−２の手指ｆ′による操作があったとき、制御部１２０は、側面の筐体画像２２１Ｓに表示された操作スイッチ２２５−２を操作する手指２２６を画像中に合成し、スクリーン２１０上に表示する。
Then, as shown in FIG. 17, when there is an operation with the finger f ′ of the operation switch 134-2 disposed on the side surface of the terminal 100, the
このような側面の操作スイッチの操作状況についても表示することで、より良好なプレゼンテーションを行うことができる。なお、端末１００の正面に配置された操作スイッチ１３４−１が操作された場合にも、同様に手指の画像を合成して操作状態を説明するようにしてもよい。
また、図１７では、端末の右側面の画像だけを表示する例を示したが、制御部１２０は、左側面などの他の側面や背面の画像をスクリーン上に並べて表示させるようにしてもよい。
By displaying the operation status of the operation switches on such side surfaces, it is possible to perform a better presentation. Note that even when the operation switch 134-1 disposed on the front surface of the terminal 100 is operated, the operation state may be described by synthesizing the images of fingers.
17 shows an example in which only the image on the right side of the terminal is displayed, the
［３−２．その他の変形例］
上述した各実施の形態例では、端末１００又は１００ａに配置されたフェイスカメラ１３２又は１３２ａが撮影した画像から、表示パネルへの手指の接近を検出するようにした。これに対して、フェイスカメラが配置されていない端末、あるいはフェイスカメラでパネルに接近した手指の撮影が不可能な端末の場合には、合成画像で接近した手指を表示しないようにしてもよい。すなわち、タッチ入力検出部１２１又は１２１ａがタッチ入力を検出した時点で、スクリーン２１０に投射される画像にタッチした手指を合成するようにしてもよい。この場合には、画面上に突然手指が現れることになるが、端末の操作方法を説明するという目的は達成することができる。タッチを検出しなくなった場合にも、合成された手指が下などに移動して消えるのではなく、突然画面から消えるようにしてもよい。
[3-2. Other variations]
In each of the above-described embodiments, the approach of a finger to the display panel is detected from an image captured by the
また、ここまで説明した各実施の形態例では、端末１００又は１００ｂとプロジェクタ装置２００とを接続して、プロジェクタ装置２００がスクリーン２１０に投射する画像で、プレゼンテーションを行う例とした。これに対して、例えば端末１００又は１００ｂが備える画像出力部として、無線又は有線の所定のネットワークに画像データを出力する機能を備えるようにしてもよい。このようにすることで、ネットワークに接続された遠隔地の表示装置が、端末１００又は１００ｂが出力する画像を表示するようになる。したがって、端末１００又は１００ｂを操作しているプレゼンターが、遠隔地にいる者に対してプレゼンテーションを行うことができるようになる。
また、図１や図１４に示す構成において、端末１００又は１００ｂからプロジェクタ装置２００に、無線で画像データを伝送するようにしてもよい。また、プロジェクタ装置２００以外の表示装置が、画像を表示するようにしてもよい。
Further, in each of the exemplary embodiments described so far, the terminal 100 or 100b and the
In the configuration shown in FIG. 1 or FIG. 14, image data may be transmitted wirelessly from the terminal 100 or 100b to the
また、図３又は図１６のフローチャートに示す画像処理を行うプログラムを作成して、そのプログラムを既存の端末に実装することで、上述した第１又は第２の実施の形態の例で説明した処理を行うようにしてもよい。 In addition, by creating a program for performing the image processing shown in the flowchart of FIG. 3 or FIG. 16 and mounting the program on an existing terminal, the processing described in the above-described example of the first or second embodiment May be performed.
１００…端末、１００ａ…第１端末、１００ｂ…第２端末、１０１，１０１ｂ…出力ポート、１０２…伝送ケーブル、１１０，１１０ａ，１１０ｂ…表示部、１２０，１２０ａ，１２０ｂ…制御部、１２１，１２１ａ…タッチ入力検出部、１２２…第１フレームメモリ、１２２ａ，１２２ｂ…フレームメモリ、１２３…画像合成部、１２４…第２フレームメモリ、１２５ａ，１２５ｂ…画像描画部、１２６ａ，１２６ｂ…通信処理部、１３１，１３１ａ…重力センサ、１３２，１３２ａ…フェイスカメラ、１３３，１３３ａ，１３３ｂ…記憶部、２００…プロジェクタ装置、２１０…スクリーン、２２０…投射画像、２２１…筐体画像、２２２…端末表示画像、２２３…合成された手指
DESCRIPTION OF SYMBOLS 100 ... Terminal, 100a ... 1st terminal, 100b ... 2nd terminal, 101, 101b ... Output port, 102 ... Transmission cable, 110, 110a, 110b ... Display part, 120, 120a, 120b ... Control part, 121, 121a ...
Claims (6)
前記表示部のパネル表面のタッチを検出するタッチ入力検出部と、
前記タッチ入力検出部で検出したタッチ状態に応じて、前記表示部が表示する画像に手指の画像を合成する画像合成部と、
前記画像合成部が合成した画像データを出力する画像出力部と、
前記表示部のパネルが配置された側の周囲を撮影するカメラと、を備え、
前記画像合成部は、前記カメラが撮影した画像に基づいて、前記表示部のパネル表面に近接した手指の画像を合成すると共に、合成する合成する手指の画像は、前記タッチ入力検出部が検出したタッチの数に応じて決まる形状の手指の画像で、且つ、前記表示部が備えるパネルのサイズに応じて選ばれた指がパネルをタッチする手指の画像である
プレゼンテーション用端末。 A display unit;
A touch input detection unit for detecting a touch on the panel surface of the display unit;
An image synthesis unit that synthesizes an image of a finger with an image displayed by the display unit according to a touch state detected by the touch input detection unit;
An image output unit for outputting the image data synthesized by the image synthesis unit;
A camera for photographing the periphery of the side where the panel of the display unit is disposed,
The image composition unit synthesizes an image of a finger adjacent to the panel surface of the display unit based on an image taken by the camera, and the touch input detection unit detects the image of the finger to be synthesized. A presentation terminal, which is an image of a finger having a shape determined according to the number of touches, and a finger selected according to the size of the panel included in the display unit touches the panel .
前記表示部のパネル表面のタッチを検出するタッチ入力検出部と、
前記タッチ入力検出部で検出したタッチ状態に応じて、前記表示部が表示する画像に手指の画像を合成する画像合成部と、
前記画像合成部が合成した画像データを出力する画像出力部と、を備え、
前記画像合成部は、プレゼンテーション用端末の筐体に配置されたボタン又はスイッチが描画された筐体の画像を用意し、その筐体の表示パネルの箇所に、前記表示部が表示する画像を配置した上で、手指の画像を合成する
プレゼンテーション用端末。 A display unit;
A touch input detection unit for detecting a touch on the panel surface of the display unit;
An image synthesis unit that synthesizes an image of a finger with an image displayed by the display unit according to a touch state detected by the touch input detection unit;
An image output unit that outputs the image data synthesized by the image synthesis unit ;
The image composition unit prepares an image of a case on which buttons or switches arranged on the case of the presentation terminal are drawn, and arranges an image to be displayed on the display panel in the case A presentation terminal that combines images of fingers .
請求項２に記載のプレゼンテーション用端末。 The presentation terminal according to claim 2 , wherein the image synthesizing unit synthesizes an image of a side surface of the casing of the presentation terminal.
前記表示部のパネル表面のタッチを検出するタッチ入力検出部と、
前記タッチ入力検出部で検出したタッチ状態に応じて、前記表示部が表示する画像に手指の画像を合成する画像合成部と、
前記画像合成部が合成した画像データを出力する画像出力部と、
前記表示部のパネルの底面の方向及び指の向きを検出するセンサ及びカメラと、を備え、
前記画像合成部は、前記センサ及びカメラから取得した、前記表示部のパネルの底面の方向及び指の向きの情報に基づいて、手指の画像を合成する方向を設定する
プレゼンテーション用端末。 A display unit;
A touch input detection unit for detecting a touch on the panel surface of the display unit;
An image synthesis unit that synthesizes an image of a finger with an image displayed by the display unit according to a touch state detected by the touch input detection unit;
An image output unit for outputting the image data synthesized by the image synthesis unit;
A sensor and a camera for detecting the direction of the bottom surface of the panel of the display unit and the direction of the finger,
The image synthesizing unit is a presentation terminal that sets a direction for synthesizing a finger image based on information on a direction of a bottom surface of the panel of the display unit and a finger direction obtained from the sensor and the camera .
前記入力部に入力した画像データによる画像に、前記タッチ位置のデータで示されたタッチ検出状態に応じた手指の画像を合成する画像合成部と、
前記画像合成部が合成した画像データを出力する画像出力部と、を備え、
前記画像合成部は、前記他の端末に配置されたセンサ及びカメラから得られた、前記表示部のパネルの底面の方向及び指の向きの情報に基づいて、前記入力部に入力した画像データによる画像に手指の画像を合成する方向を設定する
プレゼンテーション用端末。 An input unit for inputting image data displayed on a display unit of another terminal and touch position data on the panel surface of the display unit;
An image synthesis unit that synthesizes an image of a finger corresponding to a touch detection state indicated by the data of the touch position on an image based on the image data input to the input unit;
An image output unit that outputs the image data synthesized by the image synthesis unit ;
The image composition unit is based on the image data input to the input unit based on information on the direction of the bottom surface of the panel of the display unit and the orientation of the finger obtained from the sensors and cameras arranged in the other terminals. A presentation terminal that sets the direction in which the image of a finger is combined with the image .
前記タッチパネルでのタッチ状態を検出するタッチ入力検出処理ステップと、
前記タッチ入力検出処理ステップで検出したタッチ状態に応じて、前記画像取得処理ステップで取得した画像に手指の画像を合成する画像合成処理ステップと、
前記画像合成処理ステップで合成された画像データを出力する画像出力処理ステップと、を含み、
前記画像合成処理ステップで合成する際には、前記表示部のパネルが配置された側の周囲を撮影するカメラの撮影画像に基づいて、前記表示部のパネル表面に近接した手指の画像を合成すると共に、合成する合成する手指の画像は、前記タッチ入力検出処理ステップで検出したタッチの数に応じて決まる形状の手指の画像で、且つ、前記表示部が備えるパネルのサイズに応じて選ばれた指がパネルをタッチする手指の画像とした
プレゼンテーション方法。 An image acquisition processing step for acquiring an image displayed by a display unit with a touch panel;
A touch input detection processing step for detecting a touch state on the touch panel;
In accordance with the touch state detected in the touch input detection processing step, an image synthesis processing step of synthesizing a finger image with the image acquired in the image acquisition processing step;
An image output processing step for outputting the image data combined in the image combining processing step ,
When synthesizing in the image synthesizing process step, an image of a finger that is close to the panel surface of the display unit is synthesized based on a photographed image of a camera that captures the periphery of the display unit panel. The finger image to be synthesized is selected according to the finger image having a shape determined according to the number of touches detected in the touch input detection processing step and the size of the panel included in the display unit. Presentation method with finger image touching panel .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014116479A JP6193180B2 (en) | 2014-06-05 | 2014-06-05 | Presentation terminal and presentation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014116479A JP6193180B2 (en) | 2014-06-05 | 2014-06-05 | Presentation terminal and presentation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015230587A JP2015230587A (en) | 2015-12-21 |
| JP6193180B2 true JP6193180B2 (en) | 2017-09-06 |
Family
ID=54887327
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014116479A Active JP6193180B2 (en) | 2014-06-05 | 2014-06-05 | Presentation terminal and presentation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6193180B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6701925B2 (en) | 2016-04-27 | 2020-05-27 | セイコーエプソン株式会社 | Image supply device, control method of image supply device, and program |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4329475B2 (en) * | 2003-10-02 | 2009-09-09 | セイコーエプソン株式会社 | Decorative image selection |
| JP5247200B2 (en) * | 2008-03-27 | 2013-07-24 | 株式会社デンソーアイティーラボラトリ | Map display system, map display method and program |
| JP4626860B2 (en) * | 2009-01-30 | 2011-02-09 | 株式会社デンソー | Operating device |
| JP5532300B2 (en) * | 2009-12-24 | 2014-06-25 | ソニー株式会社 | Touch panel device, touch panel control method, program, and recording medium |
| CN102511029A (en) * | 2010-06-18 | 2012-06-20 | 松下电器产业株式会社 | Operation support device and operation support method |
| JP2012022458A (en) * | 2010-07-13 | 2012-02-02 | Canon Inc | Information processing apparatus and control method thereof |
| JP2012155434A (en) * | 2011-01-25 | 2012-08-16 | Kyocera Corp | Electronic device |
| JP2012249978A (en) * | 2011-06-06 | 2012-12-20 | Namco Bandai Games Inc | Program, information storage medium, game device and server system |
| KR101178396B1 (en) * | 2012-02-22 | 2012-08-30 | 알서포트 주식회사 | Method for displaying mobile terminal in remote device and apparatus for performing the same |
| JP5906984B2 (en) * | 2012-07-30 | 2016-04-20 | カシオ計算機株式会社 | Display terminal device and program |
| JP2015102952A (en) * | 2013-11-22 | 2015-06-04 | 株式会社デンソー | Display processing device |
-
2014
- 2014-06-05 JP JP2014116479A patent/JP6193180B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015230587A (en) | 2015-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6288084B2 (en) | Display control device, display control method, and recording medium | |
| JP6573755B2 (en) | Display control method, information processing program, and information processing apparatus | |
| EP3769509B1 (en) | Multi-endpoint mixed-reality meetings | |
| WO2014188798A1 (en) | Display control device, display control method, and recording medium | |
| KR101446902B1 (en) | Method and apparatus for user interraction | |
| CN108038726B (en) | Article display method and device | |
| JP2014186361A (en) | Information processing device, operation control method, and program | |
| EP4246287A1 (en) | Method and system for displaying virtual prop in real environment image, and storage medium | |
| CN112585564A (en) | Method and apparatus for providing input for head-mounted image display device | |
| JP2016134851A (en) | Communication system for use in remote communication | |
| JP2018010496A (en) | Image processing apparatus, control method thereof, and program | |
| JP2017182110A (en) | Display system, display device, information processor, and information processing method | |
| JP2012217101A (en) | Information processor, control method of the same, program, and storage medium | |
| JP2016038728A (en) | Image display device, control method of image display device and program thereof | |
| US11922904B2 (en) | Information processing apparatus and information processing method to control display of a content image | |
| US10591986B2 (en) | Remote work supporting system, remote work supporting method, and program | |
| JP6193180B2 (en) | Presentation terminal and presentation method | |
| EP3974949A1 (en) | Head-mounted display | |
| JP6308842B2 (en) | Display system and program | |
| US10545716B2 (en) | Information processing device, information processing method, and program | |
| KR101709529B1 (en) | Apparatus and method for controlling image screen using portable terminal | |
| JP2014170367A (en) | Object detection device, object detection method, object detection system and program | |
| CN114895862A (en) | Screen projection method, device and equipment of intelligent terminal | |
| US20200379642A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| JP7210884B2 (en) | Information processing device, display system and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160802 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170519 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170530 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170720 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170801 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170809 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6193180 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |