JP5083697B2 - Image display device, input device, and image display method - Google Patents
Image display device, input device, and image display method Download PDFInfo
- Publication number
- JP5083697B2 JP5083697B2 JP2009192884A JP2009192884A JP5083697B2 JP 5083697 B2 JP5083697 B2 JP 5083697B2 JP 2009192884 A JP2009192884 A JP 2009192884A JP 2009192884 A JP2009192884 A JP 2009192884A JP 5083697 B2 JP5083697 B2 JP 5083697B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- input
- unit
- translucent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、画像表示装置、入力装置、及び画像表示方法に関し、例えば、手書き入力可能な画像表示装置や電子白板等、手書き入力できる装置に適用することができるものである。 The present invention relates to an image display device, an input device, and an image display method, and can be applied to devices capable of handwriting input, such as an image display device capable of handwriting input and an electronic white board.
従来、講義、プレゼンテーション等で使用する大画面の画像表示装置として、コンピュータに接続して各種スライド等を表示するものが提供されている。このような装置でスライドを表示する場合、例えば指、手等を使用して表示画面の特定箇所を指示することにより、操作者の自然の動作で聴衆の注意を促し、聴衆の注意を集めることができる。 2. Description of the Related Art Conventionally, as a large-screen image display device used for lectures, presentations, etc., devices that connect to a computer and display various slides have been provided. When displaying a slide with such a device, for example, by using a finger, a hand, etc., to indicate a specific part of the display screen, the operator's natural action is used to attract the audience's attention, and the audience's attention is collected. Can do.
しかしながら指、手等により表示画面の特定箇所を指示する場合、腕等により遮られて表示画面を部分的に見て取れなくなる。そこで指示棒、レーザーポインタ等を使用して表示画面の特定箇所を指示する方法、マウス等の操作によりカーソルを移動させて表示画面の特定箇所を指示する方法等も採用されている。 However, when a specific portion of the display screen is indicated by a finger, a hand, etc., the display screen is partially unobstructed by being blocked by an arm or the like. Therefore, a method of instructing a specific part of the display screen using an indication bar, a laser pointer, or the like, a method of instructing a specific part of the display screen by moving the cursor by operating a mouse or the like, and the like are also employed.
またこのようなスライドの表示に関しては、別途、表示画面を撮影して表示するようにして、表示画面を遮る腕等を半透明化して表示する方法も提案されている(視認性とプレゼンス性を両立させる遠隔講義映像の送受信方法 JAIST Repository M−IS 平成14年度(Jun,2002−Mar.2003)(非特許文献1))。 In addition, regarding the display of such a slide, a method has been proposed in which the display screen is separately photographed and displayed, and the arm that blocks the display screen is made translucent and displayed (visibility and presence properties are improved). Transmission / reception method of remote lecture video to be made compatible JAIST Repository M-IS 2002 (Jun, 2002-Mar. 2003) (Non-patent Document 1)).
また近年、講義等ではいわゆる電子白板を使用する場合もあり、電子白板によれば、手書きしながら説明することができ、操作者の挙動により一段と聴取者の注意を喚起することができる。 In recent years, so-called electronic whiteboards are sometimes used in lectures and the like, and electronic whiteboards can be explained while handwriting, and the listener's attention can be further raised by the behavior of the operator.
また近年、講義等では手書き入力可能な画像表示装置を使用する場合もある。ここでこの手書き入力可能な画像表示装置は、例えば液晶表示パネル等の画像表示パネル上に、座標入力手段を構成する透明タッチパネルを配置して構成される。この手書き入力可能な画像表示装置によれば、表示画面上で手書きしながら説明することができ、一段と聴取者の注意を喚起することができる。 In recent years, an image display device capable of handwriting input may be used in lectures and the like. Here, the image display device capable of handwriting input is configured by arranging a transparent touch panel constituting coordinate input means on an image display panel such as a liquid crystal display panel. According to the image display device capable of handwriting input, explanation can be made while handwriting on the display screen, and the listener's attention can be further raised.
ところで聴取者の注意を促す操作者の挙動(以下、アノテーションと呼ぶ)は、聴衆の注意を集め、説明を補足するのに有効である。特に電子白板、手書き入力可能な画像表示装置では、手書きできることにより、指等の指示によるアノテーションに比して、一段と聴衆の注意を喚起することができる。またこれらの装置は、手書きしたいという操作者の自然な欲求を満足する装置であることから、操作者にとっても好まれる。 By the way, the behavior of the operator that prompts the listener's attention (hereinafter referred to as annotation) is effective for collecting the attention of the audience and supplementing the explanation. In particular, in an electronic white board and an image display device capable of handwriting input, the user's attention can be further raised compared to annotation by an instruction of a finger or the like by being able to perform handwriting. These devices are also preferred by the operator because they satisfy the natural desire of the operator for handwriting.
具体的に、図8は、マウスの操作によりアノテーションする場合(マウス)、タブレットの操作によりアノテーションする場合(表示なしペンタブレット)、表示画面に直接書き込んでアノテーションする場合(画面に直接書き込み)について、各手法の使い易さを5段階評価したものである。なおこの図8の評価は、これら3つの手法を何れも経験したことのある複数人の評価を平均値化したものであり、値が大きいもの程、使い易いことを示している。なおマウス、表示なしペンタブレットは、何れもスライドを表示した状態で、カーソル等を操作する場合である。 Specifically, FIG. 8 shows a case where annotation is performed by operating the mouse (mouse), an annotation is performed by operating the tablet (pen tablet without display), and an annotation is performed by directly writing on the display screen (direct writing on the screen). This is a five-point evaluation of the ease of use of each method. The evaluation in FIG. 8 is an average value of the evaluations of a plurality of persons who have experienced any of these three methods. The larger the value, the easier it is to use. Note that the mouse and the non-display pen tablet are cases where the cursor or the like is operated with the slide displayed.
しかしながらこれら電子白板、画像表示装置を使用する場合、手書きの際に、腕等により遮られて表示画面を部分的に見て取れなくなる問題がある。この問題を解決する1つの方法として、指示棒、レーザーポインタ等を使用する方法も考えられる。しかしながらこれらの方法では結局、手書きが困難になり、その結果、アノテーションが損なわれ、さらには操作者の使い勝手が劣化する問題がある。 However, when these electronic whiteboards and image display devices are used, there is a problem that the display screen is partially unobstructed due to being blocked by an arm or the like during handwriting. As a method for solving this problem, a method using an indicator bar, a laser pointer, or the like is also conceivable. However, in these methods, handwriting becomes difficult in the end, and as a result, there is a problem that the annotation is lost and the usability of the operator is deteriorated.
そこで、表示画面を介して視聴者が見るときに、直接的に画面に手書きを行いながらも、画面をできるだけ隠していない状況を提示するための手法について考えると、直接的に画面に手書きを行うときに表示画面を隠してしまう操作者の手や体、ペン等(以下、操作体)を見えなくすることが考えられる。 Therefore, when a viewer views through the display screen, while handwriting on the screen directly, considering a technique for presenting a situation where the screen is not hidden as much as possible, handwriting is performed directly on the screen. It is conceivable that an operator's hand, body, pen, or the like (hereinafter referred to as an operation body) that sometimes hides the display screen is made invisible.
しかし、この場合、操作体を見えなくすることにより、画面を隠すという弊害は除去することができるが、視聴者が見ることができるのは、画面上の手書き内容の変化だけなので、手書きを行っている人の書き込んでいる位置がわかりづらくなってしまう。これにより、映像の変化が乏しくなってしまうため、視聴者の集中力が失い易いという問題を生じることが指摘されている(非特許文献2参照)。 However, in this case, the effect of hiding the screen can be eliminated by making the operating body invisible. However, since the viewer can only see the change of handwritten content on the screen, handwriting is performed. It becomes difficult to understand the position of the person who is writing. As a result, it has been pointed out that the change in the video becomes poor, and thus the problem that the viewer's concentration is easily lost (see Non-Patent Document 2).
また、現在の講義映像に用いられている表示手法として、手書きが行われている画面を含む情景映像と、手書きが行われているデスクトップ画面を並べて表示する方法がある。この方法であれば、上記で述べた映像の変化の乏しさの問題と画面隠れの問題を解決することができる。 In addition, as a display method used in the current lecture video, there is a method of displaying a scene video including a screen on which handwriting is performed and a desktop screen on which handwriting is performed side by side. This method can solve the above-mentioned problem of poor image change and the problem of screen hiding.
しかし、この手法の場合、出力する画面が2つになってしまうため2画面分の出力領域の確保、及び、それぞれの出力画面の縮小をしなくてはいけないという弊害を生ずる。また、視聴者が2つの画面を交互に見なくてはいけないという問題点があった。 However, in this method, there are two screens to be output, which causes a problem that it is necessary to secure an output area for two screens and to reduce the respective output screens. In addition, there was a problem that the viewer had to watch the two screens alternately.
本発明では、上述の課題に鑑みてなされたものであり、手書き入力が可能であって、手書き入力の際に腕等により遮られる入力中の文字等を見て取ることができるようにすることにある。すなわち、本発明は、以下の技術的事項から構成される。 The present invention has been made in view of the above-described problem, and is intended to enable handwritten input so that a character being input that is blocked by an arm or the like during handwriting input can be seen. . That is, this invention is comprised from the following technical matters.
(1) 手書き入力可能なタブレットと、
前記タブレットの操作に応じて表示画像を更新する画像作成手段と、
前記画像作成手段による表示画像を前記タブレットで表示し、表示画面上で手書き入力可能な入力手段として前記タブレットを機能させる画像表示手段と、
前記タブレットを操作する操作者の映像を前記タブレットと共に撮影する撮像手段と、
前記撮像手段により撮影された情景画像と、前記画像作成手段により更新された表示画像とを画像合成し、少なくとも前記表示画面を遮る物体を半透明化した合成画像を出力する画像合成手段とを備える画像表示装置。
(1) A tablet capable of handwriting input,
Image creation means for updating a display image in accordance with the operation of the tablet;
An image display means for displaying the display image by the image creating means on the tablet, and causing the tablet to function as an input means capable of handwriting input on a display screen;
Imaging means for photographing an image of an operator who operates the tablet together with the tablet;
Image synthesis means for synthesizing the scene image taken by the imaging means and the display image updated by the image creation means, and outputting a composite image in which at least the object that obstructs the display screen is made translucent. Image display device.
(1)の画像表示装置によると、表示画像を合成画像として出力する際に、表示画面を遮る手や腕等の物体を半透明化して合成画像を出力する。これにより、プレゼンテーション等において、聴取者の注意を促すアノテーションを行った場合であっても、タブレットを操作する操作者の腕等により表示画面が遮られて表示画面に表示されている内容を部分的に見て取れなくなるという問題を解消することができる。その結果、アノテーションによる聴衆の注意を集める機能を向上させ、操作者の使い勝手を向上させることができる。 According to the image display apparatus of (1), when outputting a display image as a composite image, objects such as hands and arms that block the display screen are made translucent and a composite image is output. As a result, even in the case of annotations that prompt the listener's attention in presentations, etc., the contents displayed on the display screen are partially displayed because the display screen is blocked by the arm of the operator who operates the tablet. It can solve the problem of being out of sight. As a result, it is possible to improve the function of collecting the attention of the audience through annotations and improve the usability of the operator.
(2) 前記画像表示手段により表示画像が表示されていない前記タブレットを撮影した背景画像を取得する背景画像取得手段を備え、
前記画像合成手段は、
前記撮像手段により撮影された情景画像を半透明化する半透明化手段と、
前記背景画像取得手段により取得した背景画像に、前記画像作成手段により更新された表示画像をはめ込んだ更新画像を作成する更新画像作成手段と、
前記更新画像作成手段により作成された更新画像と、前記半透明化手段により半透明化した情景画像とを画像合成する合成手段と、
前記合成手段により画像合成した合成画像を出力する出力手段とを備えることを特徴とする(1)に記載の画像表示装置。
(2) comprising a background image acquisition means for acquiring a background image obtained by photographing the tablet on which the display image is not displayed by the image display means;
The image composition means includes
Translucent means for making the scene image photographed by the imaging means translucent;
Update image creation means for creating an update image in which the display image updated by the image creation means is embedded in the background image obtained by the background image acquisition means;
A synthesizing unit for synthesizing the update image created by the update image creating unit and the scene image made translucent by the translucent unit;
The image display apparatus according to (1), further comprising an output unit that outputs a synthesized image obtained by synthesizing the images by the synthesizing unit.
(2)の画像表示装置によると、何も表示されていないタブレットを撮影した背景画像に表示画像をはめ込んだ更新画像に半透明化した情景画像を合成する。これにより、アノテーションを行う操作者が映っている情景画像が半透明化される。したがって、更新画像を合成画像として出力する際に、表示画面を遮る手や腕等の物体を半透明化して合成画像がディスプレイ等の表示装置に出力される。これにより、プレゼンテーション等において、聴取者の注意を促すアノテーションを行った場合であっても、タブレットを操作する操作者の腕等により表示画面が遮られて表示画面に表示されている内容を部分的に見て取れなくなるという問題を解消することができる。 According to the image display apparatus of (2), a scene image made translucent is combined with an updated image in which a display image is inserted into a background image obtained by photographing a tablet on which nothing is displayed. As a result, the scene image showing the operator who performs the annotation is made translucent. Therefore, when the updated image is output as a composite image, objects such as hands and arms that block the display screen are made translucent and the composite image is output to a display device such as a display. As a result, even in the case of annotations that prompt the listener's attention in presentations, etc., the contents displayed on the display screen are partially displayed because the display screen is blocked by the arm of the operator who operates the tablet. It can solve the problem of being out of sight.
(3) 前記画像合成手段は、
前記撮像手段により撮影された情景画像を半透明化する半透明化手段と、
前記撮像手段により撮影された情景画像上に、前記画像作成手段により更新された表示画像をはめ込んだ更新画像を作成する更新画像作成手段と、
前記更新画像作成手段により作成された更新画像と、前記半透明化手段により半透明化した情景画像とを画像合成する合成手段と、
前記合成手段により画像合成した合成画像を出力する出力手段とを備えることを特徴とする(1)に記載の画像表示装置。
(3) The image composition means includes:
Translucent means for making the scene image photographed by the imaging means translucent;
Update image creation means for creating an update image in which the display image updated by the image creation means is inserted on the scene image photographed by the imaging means;
A synthesizing unit for synthesizing the update image created by the update image creating unit and the scene image made translucent by the translucent unit;
The image display apparatus according to (1), further comprising an output unit that outputs a synthesized image obtained by synthesizing the images by the synthesizing unit.
(3)の画像表示装置によると、情景画像上に表示画像をはめ込んだ更新画像に半透明化した情景画像を合成する。これにより、アノテーションを行う操作者が映っている情景画像のうち、表示画像に重なっている領域だけが半透明化される。このため、更新画像を合成画像として出力する際に、表示画面を遮る操作者の手や腕等の物体だけが半透明化され、表示画面の領域に重なっていない腕や手以外の操作者自身の体幹部等は半透明化されない。これにより、プレゼンテーション等において、聴取者の注意を促すアノテーションを行った場合、タブレットを操作する操作者自身の腕や手以外の姿を聴衆に対しはっきりと見せることができる。したがって、操作者の腕等により表示画面が遮られて表示画面に表示されている内容を部分的に見て取れなくなるという問題を解消すると共に、操作者自身の姿を聴衆に対し見せることによりアノテーションの効果を向上させることができる。 According to the image display device of (3), the scene image made translucent is synthesized with the updated image in which the display image is fitted onto the scene image. Thereby, only the area | region which overlaps with the display image among the scene images in which the operator who performs annotation is reflected is made translucent. For this reason, when the updated image is output as a composite image, only the operator's hand and arm objects that block the display screen are translucent, and the operator other than the arm and hand that does not overlap the display screen area itself The torso etc. are not translucent. As a result, when an annotation for prompting the listener's attention is given in a presentation or the like, it is possible to clearly show the audience other than the arms and hands of the operator who operates the tablet. This eliminates the problem that the display screen is blocked by the operator's arm, etc., and the contents displayed on the display screen cannot be partially seen, and the effect of annotation is shown by showing the operator's own appearance to the audience. Can be improved.
(4) 前記半透明化手段は、前記撮像手段により撮影された情景画像を半透明化する透明度を変更する透明度変更手段を備えることを特徴とする(2)又は(3)に記載の画像表示装置。 (4) The image display according to (2) or (3), wherein the translucent means includes a transparency changing means for changing a transparency for translucent the scene image taken by the imaging means. apparatus.
(4)の画像表示装置によると、表示画像や情景画像の色や明るさ、又は、プレゼンテーションや講義を行う会場の明るさに応じて、情景画像の透明度を変更することができる。これにより、周辺の環境によらずにアノテーションを行うことができ、操作者の使い勝手を向上させることができる。 According to the image display device of (4), the transparency of the scene image can be changed according to the color and brightness of the display image or the scene image, or the brightness of the venue where the presentation or lecture is performed. As a result, annotation can be performed regardless of the surrounding environment, and the usability of the operator can be improved.
(5) (1)乃至(4)のいずれか1に記載の画像表示装置における画像表示方法において、
手書き入力可能な前記タブレットの操作に応じて表示画像を更新する画像作成ステップと、
前記表示画像を前記タブレットで表示し、表示画面上で手書き入力可能な入力手段として前記タブレットを機能させる画像表示ステップと、
前記タブレットを操作する操作者の映像を前記タブレットと共に情景画像として撮影する撮像ステップと、
撮影された前記情景画像と、更新された前記表示画像とを画像合成し、少なくとも前記表示画面を遮る物体を半透明化した合成画像を出力する画像合成ステップとを有することを特徴とする画像表示方法。
(5) In the image display method in the image display device according to any one of (1) to (4),
An image creation step of updating a display image in accordance with the operation of the tablet capable of handwriting input;
An image display step of displaying the display image on the tablet and causing the tablet to function as input means capable of handwriting input on a display screen;
An imaging step of capturing an image of an operator who operates the tablet as a scene image together with the tablet;
An image display step comprising: combining an image of the photographed scene image and the updated display image, and outputting a composite image obtained by translucent at least an object blocking the display screen. Method.
(5)の画像表示方法によると、表示画像を合成画像として出力する際に、表示画面を遮る手や腕等の物体を半透明化して合成画像を出力する。これにより、プレゼンテーション等において、聴取者の注意を促すアノテーションを行った場合であっても、タブレットを操作する操作者の腕等により表示画面が遮られて表示画面に表示されている内容を部分的に見て取れなくなるという問題を解消することができる。その結果、アノテーションによる聴衆の注意を集める機能を向上させ、操作者の使い勝手を向上させることができる。 According to the image display method of (5), when a display image is output as a composite image, objects such as hands and arms that block the display screen are made translucent and a composite image is output. As a result, even in the case of annotations that prompt the listener's attention in presentations, etc., the contents displayed on the display screen are partially displayed because the display screen is blocked by the arm of the operator who operates the tablet. It can solve the problem of being out of sight. As a result, it is possible to improve the function of collecting the attention of the audience through annotations and improve the usability of the operator.
(6) 操作者による手書き入力を受け付ける入力装置において、
前記入力装置は、
手書き入力可能なタブレットと、
前記タブレットの操作に応じて表示画像を更新する画像作成手段と、
前記画像作成手段による表示画像を前記タブレットで表示し、表示画面上で手書き入力可能な入力手段として前記タブレットを機能させる画像表示手段と、
前記タブレットを操作する操作者の映像を前記タブレットと共に撮影する撮像手段と、
前記撮像手段により撮影された情景画像と、前記画像作成手段により更新された表示画像とを画像合成し、少なくとも前記表示画面を遮る物体を半透明化した合成画像を出力する画像合成手段とを備える入力装置。
(6) In an input device that accepts handwritten input by an operator,
The input device is:
A tablet with handwriting input,
Image creation means for updating a display image in accordance with the operation of the tablet;
An image display means for displaying the display image by the image creating means on the tablet, and causing the tablet to function as an input means capable of handwriting input on a display screen;
Imaging means for photographing an image of an operator who operates the tablet together with the tablet;
Image synthesis means for synthesizing the scene image taken by the imaging means and the display image updated by the image creation means, and outputting a composite image in which at least the object that obstructs the display screen is made translucent. Input device.
(6)の入力装置によると、操作者による手書き入力を受け付ける装置として使用することができる。この入力装置は、表示画像を合成画像として出力する際に、表示画面を遮る手や腕等の物体を半透明化して合成画像を出力する。これにより、プレゼンテーション等において、聴取者の注意を促すアノテーションを行った場合であっても、タブレットを操作する操作者の腕等により表示画面が遮られて表示画面に表示されている内容を部分的に見て取れなくなるという問題を解消することができる。その結果、アノテーションによる聴衆の注意を集める機能を向上させ、操作者の使い勝手を向上させることができる。 According to the input device of (6), it can be used as a device that accepts handwritten input by the operator. When outputting a display image as a composite image, this input device outputs a composite image by translucent objects such as hands and arms that block the display screen. As a result, even in the case of annotations that prompt the listener's attention in presentations, etc., the contents displayed on the display screen are partially displayed because the display screen is blocked by the arm of the operator who operates the tablet. It can solve the problem of being out of sight. As a result, it is possible to improve the function of collecting the attention of the audience through annotations and improve the usability of the operator.
本発明によれば、タブレットを操作する操作者の腕等により表示画面が遮られて表示画面に表示されている内容を部分的に見て取れなくなるという問題を解消し、アノテーションによる聴衆の注意を集める機能を向上させ、操作者の使い勝手を向上させることができる。 According to the present invention, it is possible to solve the problem that the display screen is blocked by an operator's arm or the like who operates the tablet and the contents displayed on the display screen cannot be partially seen, and the function of collecting the audience's attention by annotation The usability of the operator can be improved.
以下、本発明の実施形態について図を用いながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限定されるものではない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. This is merely an example, and the technical scope of the present invention is not limited to this.
[第1の実施の形態]
[画像表示方法の概要]
はじめに、本発明の第1の実施の形態に係る画像表示装置を用いた画像表示方法の手法の概要について説明する。以降では、この手書きを行うときに表示画面を隠してしまう操作者11の手や体、ペン等の操作体12を半透明に表示する画像表示方法の手法を半透明提示手法と呼び、半透明提示手法によって作られた映像を半透明提示映像と呼ぶこととする。
[First Embodiment]
[Overview of image display method]
First, an outline of a method of an image display method using the image display device according to the first embodiment of the present invention will be described. Hereinafter, this image display method that displays the
図1は、本発明の実施の形態に係る画像表示装置10を用いて操作者11が手書き入力を行っている状態を示す図である。
画像表示装置10は、手書き入力が可能なタブレットPC(タブレット・パーソナルコンピュータ)13と、タブレットPC13を操作する操作者11の映像をタブレットPC13と共に撮影するWebカメラ50(図6参照)とを有する。
FIG. 1 is a diagram illustrating a state in which an
The
タブレットPC13は、タッチパネルディスプレイ14を備え、既存のPCで用いられるキーボードやマウスの代わりに、タッチパネルディスプレイ14と、ペン型ポインティングデバイス15とにより、マウスによるポインティングデバイス機能と、キーボードによる文字入力機能とを実現することができる。そして、タブレットPC13のタッチパネルディスプレイ14に入力された文字16や絵等をタッチパネルディスプレイ14において表示する。
The
[半透明提示手法に必要な映像の概要]
本発明の実施の形態に係る半透明提示手法においては、半透明提示映像を作成するにあたって図2に示すように、3枚の画像を取得する必要がある。1枚目に必要な画像は、手書き入力可能なタブレットPC13において文字16や絵等の手書きが行われていない画面を含む背景画像17である。2枚目に必要な画像は、タブレットPC13のタッチパネルディスプレイ14の画面に操作者11が直接手書きを行っている様子を表した映像の1フレーム毎の画像(以下、情景画像18と呼ぶ)である。本発明の実施の形態においては、この情景画像18中の、画面に書き込んでいる操作体12を半透明に表示する。3枚目に必要な画像は、操作者11の手書き操作により、タブレットPC13のタッチパネルディスプレイ14に表示されている文字16や絵の画像(以下、コンピュータ表示画像19と呼ぶ)である。
[Outline of video required for translucent presentation method]
In the translucent presentation method according to the embodiment of the present invention, it is necessary to acquire three images as shown in FIG. 2 when creating a translucent presentation video. The first image required is a
[画像の合成の概要]
次に、図3を参照して、取得した背景画像17、情景画像18、及びコンピュータ表示画像19を用いて、半透明提示手法に必要な、画像の合成方法の概略について説明する。
[Overview of image composition]
Next, referring to FIG. 3, an outline of an image synthesis method necessary for the translucent presentation method will be described using the acquired
まずはじめに、背景画像17中のタッチパネルディスプレイ14の領域に相当する画面領域20に、手書きによって更新されるコンピュータ表示画像19をはめ込むことによって、画面領域20のみ更新される画像(以下、画面領域更新画像21と呼ぶ)を作成する。次に、作成した画面領域更新画像21と情景画像18を一定の割合で重ねて合成する。これらの合成処理によって半透明提示映像23の1フレームを作成する。
First, an image in which only the
[具体的な方法]
次に、本発明の実施の形態に係る画像表示装置10を用いて、半透明提示映像23を取得する半透明提示手法の具体的な方法について説明する。
[Specific method]
Next, a specific method of the translucent presentation method for acquiring the
本発明の実施の形態に係る半透明提示手法の開発言語には、.net frameworkの機能を利用するためC#を用いる。画像処理には、現実環境にコンピュータを用いて情報を付加提示する技術を提供する拡張現実((AR)Augmented Reality)アプリケーション開発ライブラリであるNyARToolKitを使用するためDirect3D(登録商標)を用いる。 The development language of the translucent presentation method according to the embodiment of the present invention includes: C # is used in order to use the function of the net framework. For image processing, Direct3D (registered trademark) is used to use NyARTToolKit, an augmented reality ((AR) Augmented Reality) application development library that provides a technique for additionally presenting information to a real environment using a computer.
[全体の流れ]
次に、図4を参照して、本実施の形態に係る画像表示装置10を用いた半透明提示手法を実現する全体の流れについて説明する。まず、半透明提示手法に必要な、背景画像17と情景画像18及び、コンピュータ表示画像19の3枚を取得する(ステップS1)。次に、取得した3枚の画像を合成する(ステップS2)。次に、その合成した画像をディスプレイ等の表示装置に出力する(ステップS3)。次に、画像表示装置10に設けられた終了ボタンが操作者11により押されたか否かを判別する(ステップS4)。終了ボタンが押されたと判別した場合には半透明提示手法を終了し、終了ボタンが押されたと判別されなかった場合にはステップS1の処理に戻る。したがって、画像表示装置10に設けられた終了ボタン(図示せず)が押されるまでステップS1からステップS3までの作業を連続的に繰り返すことによって半透明提示映像23を表示装置に表示し続けることができる。以上が半透明提示手法実現の全体の流れとなる。
[Overall flow]
Next, with reference to FIG. 4, an overall flow for realizing the translucent presentation method using the
ここで、手書きが行われている側のタブレットPC13のコンピュータをサーバーPC30、半透明提示映像23を閲覧する側のコンビュータをクライアントPC40とすると、クライアントPC40側で画像の合成を行い、クライアントPC40側において画像を取得する処理を行う。
Here, assuming that the computer of the
サーバーPC30は、制御装置としてのCPU、記憶装置としての記憶部、通信装置としての通信部、手書き入力可能なタッチパネルディスプレイ14が含まれる。記憶部としては、ハードディスクドライブ(HDD)や、メモリ(RAM、ROM等)が挙げられる。また、通信部としては、各種有線及び無線のインターフェース装置が挙げられる。
The
なお、詳細な説明は省略するが、クライアントPC40もサーバーPC30と同様のハードウェア構成を有している。但し、クライアントPC40は、タッチパネルディスプレイ14が必ずしも必要ではないため、サーバーPC30により手書き入力された文字や絵を表示するための表示装置と、キーボード及び、マウス、トラッキングボール等のポインティングデバイスとを備える。表示装置としては、例えば、液晶ディスプレイ、プラズマディスプレイ等の各種ディスプレイが挙げられる。ハードディスクドライブには、本発明のハードウェアを構成する画像表示装置10として機能させるための各種プログラム等を記憶する。
Although detailed description is omitted, the
[画像取得手順]
次に、図5を参照して、クライアントPC40側が、半透明提示映像を作成するのに必要な3枚の画像(背景画像17、情景画像18、コンピュータ表示画像19)を取得する手順について説明する。
[Image acquisition procedure]
Next, with reference to FIG. 5, a procedure in which the
はじめに、クライアントPC40のCPUは、撮像手段としてのWebカメラ50により、背景画像17と情景画像18を撮影して取得する(ステップS11)。具体的には、クライアントPC40に接続されたWebカメラ50により、30fpsのフレームレートで、360x240のサイズの画像を取得する。
First, the CPU of the
次に、クライアントPC40のCPUは、Webカメラ50により取得された画像のキャプチャーをDirectShow(登録商標)を用いて行う(ステップS12)。このキャプチャーにより、背景画像17と情景画像18の取得を完了する(ステップS13)。このとき取得する背景画像17は、あらかじめ手書きが行われていない様子の画像を保存する。また、情景画像18は、背景画像17を撮影したときと同じアングルから、手書きが行われている様子を撮影して取得する。
Next, the CPU of the
次に、図5を参照して、コンピュータ表示画像19の取得方法について説明する。はじめに、サーバーPC30のCPUは、コンピュータ表示画像19の情報を取得する(ステップS21)。具体的には、サーバーPC30であるタブレットPC13のタッチパネルディスプレイ14に表示されている文字16や絵の画像を取得する。コンピュータ表示画像19の取得にはWin32APIの機能を用いてBitmapクラスとして保持する。
Next, a method for acquiring the
次に、サーバーPC30のCPUは、Bitmapクラスの画像データをbyte配列に変換する(ステップS22)。続いて、サーバーPC30のCPUは、byte配列に変換した画像データをリモートオブジェクトとして格納する(ステップS23)。
Next, the CPU of the
サーバーPC30からクライアントPC40ヘの画像データの引き渡しは、.net frameworkの機能の1つである.net remotingを用いて行う。この.net remotingを用いることにより、ネットワーク間の通信が可能となり、他方のPC側のオブジェクトにアクセスすることができる。
Transfer of image data from the
次に、クライアントPC40のCPUは、その画像データが格納されたサーバーPC30のリモートオブジェクトにアクセスする(ステップ31)。次に、クライアントPC40のCPUは、アクセスしたリモートオブジェクトの画像データを取得する(ステップS32)。次に、クライアントPC40のCPUは、byte配列の画像データを.net frameworkで処理が可能なImageクラスに変換する(ステップS33)。
Next, the CPU of the
以上の工程によって、手書きが行われているコンピュータであるサーバーPC30であるタブレットPC13のタッチパネルディスプレイ14上に表示されているコンピュータ表示画像19を、閲覧側であるクライアントPC40において取得することができる(ステップS34)。
Through the above steps, the
[合成画像の合成手順]
次に、図6を参照して、取得した画像に基づき、合成画像を合成する手順について説明する。まず、背景画像17とコンピュータ表示画像19を合成して画面領域更新画像21を作成する方法について述べる。この合成では、背景画像17中の画面領域20に、コンピュータ表示画像19をはめ込む処理を行う。
[Compositing procedure of composite image]
Next, a procedure for synthesizing a synthesized image based on the acquired image will be described with reference to FIG. First, a method for creating the screen
はじめに、クライアントPC40のCPUは、前述の通り、背景画像17、情景画像18、及びコンピュータ表示画像19の3枚の画像を取得する(ステップS41)。次に、クライアントPC40のCPUは、背景画像17中のタグの認識を行う(ステップS42)。
First, as described above, the CPU of the
この処理では、背景画像17中に存在する画面領域20を特定することができる。この画面領域20の特定は、ARアプリケーションの実装用ライブラリであるARToolKitの.net frameworkに対応したものであるNyARToolkitを用いて行う。このNyARToolkitにより、マーカーの位置と大きさの認識を行い、Direct3Dを用いて3Dオブジェクトを表示することができる。具体的には、画面領域20付近にマーカーを配置し、NyARToolkitによって取得したそのマーカーの情報をもとに、画面領域20の推定を行う(ステップS43)。また、NyARToolkitを用いることによって、カメラの位置が変わった場合には、はめ込み中画像の形状変換と画面領域20の特定を自動的に行う(ステップS44)。これにより、カメラの位置が変わっても、半透明提示手法を継続することができる。
In this process, the
したがって、自動で画面領域の特定を行うことができるため、手動で画面領域20のサイズや位置を操作者11が設定する必要もなく、操作者11の負担を軽減することができる。さらに、このライブラリを用いることにより、マーカーの傾きも認識することができることから、タッチパネルディスプレイ14の正面以外からのアングルでも半透明提示映像を作成することができる。次に、クライアントPC40のCPUは、コンピュータ表示画像19を背景画像17にはめ込む処理を行う(ステップS45)。そして、このはめ込み処理により画面領域更新画像21を完成する(ステップS46)。
Therefore, since the screen area can be automatically specified, it is not necessary for the
次に、クライアントPC40のCPUは、作成した画面領域更新画像21と情景画像18をDirect3Dによりアルファブレンディングする処理を行う(ステップS47)。この処理では、Direct3Dによりアルファブレンドを調整して情景画像18を半透明にしながら、画面領域更新画像21と合成する処理を行う。このとき、クライアントPC40のCPUは、アルファブレンドを調整することにより、情景画像18の透明度を自由に変更することができる。この処理が終了することにより、半透明提示映像23の1フレームを完成することができる。すなわち、ステップS41からステップS47の処理を繰り返し行うことにより、半透明提示映像23を完成することができる。
Next, the CPU of the
[合成画像の出力]
次に、完成した半透明提示映像23を出力する処理について説明する。クライアントPC40のCPUは、完成した半透明提示映像23をDirect3Dを用いてクライアントPCの表示装置に出力する。この半透明提示映像23の出力は、30fpsのフレーム間隔で行う。これにより、半透明提示映像23の動きは自然な動きを保持することができる。
[Output composite image]
Next, a process for outputting the completed
以上の構成によれば、タブレットを操作する操作者の腕等により表示画面が遮られて表示画面に表示されている内容を部分的に見て取れなくなるという問題を解消し、アノテーションによる聴衆の注意を集める機能を向上させ、操作者の使い勝手を向上させることができる。 According to the above configuration, the problem is that the display screen is blocked by the arm of the operator who operates the tablet and the contents displayed on the display screen cannot be partially seen, and the attention of the audience by annotation is collected. The function can be improved and the usability of the operator can be improved.
[第2の実施の形態]
第1の実施の形態における画像表示装置10を用いた半透明提示手法では、情景画像18中の操作体12すべてを半透明に表示する。つまり、手書きが行われる画面領域20外の操作体12も半透明に表示している。そこで、第2の実施の形態における画像表示装置10を用いた半透明提示手法では、手書きが行われている画面領域20に重なっている操作体12だけを半透明に表示して、画面領域20外の部分は半透明にしないで表示する。以下、第2の実施の形態について、第1の実施の形態と異なる点について説明する。
[Second Embodiment]
In the translucent presentation method using the
[第2の実施の形態の画像の合成]
次に、図7を参照して、取得した情景画像18、及びコンピュータ表示画像19を用いて、半透明提示手法に必要な、画像の合成方法について説明する。第2の実施の形態では、第1の実施の形態と異なり、情景画像18とコンピュータ表示画像19の2つの画像だけを用いることによって半透明提示映像23を作成することができる。
[Composition of Image of Second Embodiment]
Next, with reference to FIG. 7, an image composition method necessary for the translucent presentation method using the acquired
具体的な処理としては、第1の実施の形態における半透明提示手法で使用した背景画像17の代わりに、情景画像18中のタッチパネルディスプレイ14の領域に相当する画面領域20に、コンピュータ表示画像19をはめ込む処理を行う。これにより、手書きが行われている画面領域20上の操作体12が消去された画像である画面領域更新画像(2)21aを作成する。
As specific processing, instead of the
次に、作成された画面領域更新画像(2)21aと情景画像18のそれぞれの画素値を、一定の割合で重ねて合成する。第2の実施の形態の画像表示装置10を用いた合成方法により画像を合成することにより、画面領域20上の操作体12だけ半透明で表示され、画面領域20外の部分の操作者11は通常に表示される半透明提示映像23aの1フレームを作成することができる。
Next, the pixel values of the created screen area update image (2) 21a and the
[第3の実施の形態]
第2の実施の形態では、背景画像17を取得する必要がなく、また、NyARToolkitを用いることによって、カメラの位置が変わっても画像中にはめ込中画像の形状変換と領域の特定を自動的に行うため、半透明提示手法を続けることができる。
[Third Embodiment]
In the second embodiment, it is not necessary to acquire the
そこで、第3の実施の形態では、クライアントPC40に通常の表示装置の代わりにヘッドマウントディスプレイとWebカメラ50を接続する。したがって、半透明提示映像23aを視聴している視聴者に、ヘッドマウントディスプレイとWebカメラ50を装着することにより、視聴者が移動しても第2の実施の形態に係る画像表示装置10を用いた半透明提示手法で見続けることができる。
Therefore, in the third embodiment, a head mounted display and a
また、サーバーPC30に半透明提示映像を出力可能なヘッドマウントディスプレイとWebカメラ50を接続する。その結果、操作者も同様にヘッドマウントディスプレイとWebカメラ50を装着することにより、操作者が移動しても第2の実施の形態に係る画像表示装置10を用いた半透明提示手法で見続けることができる。
In addition, a head mounted display capable of outputting a translucent presentation video and the
[第4の実施の形態]
第1の実施の形態では、手書きが行われている画像を情景画像として撮影していたが、第4の実施の形態においては、文字16や絵が表示されていないタブレットPC13のタッチパネルディスプレイ14に手書きをしている情景を撮影する。
[Fourth Embodiment]
In the first embodiment, a handwritten image is taken as a scene image. However, in the fourth embodiment, the
具体的には、タブレットPC13の表示なしタッチパネルディスプレイの画面領域20にコンピュータ表示画像19をはめ込み、半透明提示映像23を作成する。これにより、手書きを行っている操作者11は、ヘッドマウントディスプレイを通して作成した半透明提示映像を見ることによって、表示なしのタッチパネルディスプレイ上に表示されたコンピュータ表示画像19に直接的に書き込んでいる感覚を味わうことが可能となる。つまり、第4の実施の形態においては、入力表示一体型タブレットPC同様に直感的な手書きを可能になる、さらに、本発明の実施の形態に係る画像表示装置10による半透明提示手法の特徴である画面隠れの軽減の効果が得ることができる。
Specifically, the
なお本発明は、上述の実施の形態に限定されるものでは無く、その趣旨を逸脱しない範囲で、上述の実施の形態に種々の変形を加えた形態とすることができる。 In addition, this invention is not limited to the above-mentioned embodiment, It can be set as the form which added the various deformation | transformation to the above-mentioned embodiment in the range which does not deviate from the meaning.
具体的に、上述の実施の形態では、何ら情景画像を処理することなく、半透明化する場合について述べた。しかしながら本発明はこれに限らず、情景画像に各種の画像処理を施して半透明化してもよい。なおこのような画像処理は、エッジ強調処理、色相調整処理、講義している者の画像を特定キャラクタの画像に置き換える処理等を適用することができる。因みに、エッジ強調処理、色相調整処理は、各種の処理手法を広く適用することができ、一段とアノテーションの効果を増大させることができる。また講義している者の画像を特定キャラクタの画像に置き換える処理は、モーションキャプチャの手法を適用することができ、例えば子供等の特定の視聴者に人気のキャラクタの画像に、講義している者の画像を置き換えて、この特定の視聴者の注意を一段と喚起することができる。 Specifically, in the above-described embodiment, the case where the scene image is translucent without being processed has been described. However, the present invention is not limited to this, and the scene image may be made translucent by performing various image processing. Such image processing can be applied to edge enhancement processing, hue adjustment processing, processing for replacing a lecturer's image with an image of a specific character, and the like. Incidentally, various processing methods can be widely applied to the edge enhancement process and the hue adjustment process, and the effect of the annotation can be further increased. The process of replacing the image of the person being lectured with the image of a specific character can apply a motion capture technique. For example, a person who is giving a lecture to an image of a character popular with a specific viewer such as a child This particular viewer can be more alerted by substituting this image.
また上述の実施例においては、操作者11は、タッチパネルディスプレイ14に対し、ペン型ポインティングデバイスを用いて手書きを行っていたがこれに限られない。また、ペン型ポインティングデバイス15を用いてタッチパネルディスプレイ14に手書きを行っているが、ペン型ポインティングデバイス15の代わりに指により直接タッチパネルディスプレイ14に対し手書きする場合に適用してもよい。また、ペン型ポインティングデバイス15を用いてタッチパネルディスプレイ14に手書きを行っているが、マウスやトラックボール等により文字や絵を手書きする場合に適用して、操作中に腕等により遮られる画面を見て取ることができるようにしてもよい。また、サーバーPC30とクライアントPC40とが別々の装置に構成されているがこれに限られない。
In the above-described embodiment, the
10 画像表示装置
11 操作者
12 操作体
13 タブレットPC
14 タッチパネルディスプレイ
15 ペン型ポインティングデバイス
16 文字
17 背景画像
18 情景画像
19 コンピュータ表示画像
20 画面領域
21 画面領域更新画像
23 半透明提示映像
30 サーバーPC
40 クライアントPC
50 Webカメラ
DESCRIPTION OF
14
40 Client PC
50 Web camera
Claims (6)
前記入力部の操作に応じて表示画像を更新する画像作成手段と、
前記画像作成手段により更新された表示画像を前記入力部の表示画面で表示し、前記表示画面上で手書き入力可能な入力手段として前記入力部を機能させる画像表示手段と、
前記入力部を操作する操作者の映像を前記入力部と共に撮影する撮像手段と、
前記撮像手段により撮影された情景画像と、前記画像作成手段により更新された表示画像とを画像合成し、少なくとも前記表示画面を遮る物体を半透明化した合成画像を出力する画像合成手段とを備える画像表示装置。 An input unit capable of handwriting input;
Image creating means for updating a display image in accordance with an operation of the input unit ;
An image display unit to function the input portion as said by Ri updated display image in the image production means and displayed on the display screen of the input unit, handwriting input can input means on the display screen,
Imaging means for photographing an operator of the video operating the input unit together with the input unit,
Image synthesis means for synthesizing the scene image taken by the imaging means and the display image updated by the image creation means, and outputting a composite image in which at least the object that obstructs the display screen is made translucent. Image display device.
前記画像合成手段は、
前記撮像手段により撮影された情景画像を半透明化する半透明化手段と、
前記背景画像取得手段により取得した背景画像に、前記画像作成手段により更新された表示画像をはめ込んだ更新画像を作成する更新画像作成手段と、
前記更新画像作成手段により作成された更新画像と、前記半透明化手段により半透明化した情景画像とを画像合成する合成手段と、
前記合成手段により画像合成した合成画像を出力する出力手段とを備えることを特徴とする請求項1に記載の画像表示装置。 A background image acquisition unit that acquires a background image obtained by photographing the input unit in which a display image is not displayed by the image display unit;
The image composition means includes
Translucent means for making the scene image photographed by the imaging means translucent;
Update image creation means for creating an update image in which the display image updated by the image creation means is embedded in the background image obtained by the background image acquisition means;
A synthesizing unit for synthesizing the update image created by the update image creating unit and the scene image made translucent by the translucent unit;
The image display apparatus according to claim 1, further comprising an output unit that outputs a synthesized image obtained by synthesizing the images by the synthesizing unit.
前記撮像手段により撮影された情景画像を半透明化する半透明化手段と、
前記撮像手段により撮影された情景画像上に、前記画像作成手段により更新された表示画像をはめ込んだ更新画像を作成する更新画像作成手段と、
前記更新画像作成手段により作成された更新画像と、前記半透明化手段により半透明化した情景画像とを画像合成する合成手段と、
前記合成手段により画像合成した合成画像を出力する出力手段とを備えることを特徴とする請求項1に記載の画像表示装置。 The image composition means includes
Translucent means for making the scene image photographed by the imaging means translucent;
Update image creation means for creating an update image in which the display image updated by the image creation means is inserted on the scene image photographed by the imaging means;
A synthesizing unit for synthesizing the update image created by the update image creating unit and the scene image made translucent by the translucent unit;
The image display apparatus according to claim 1, further comprising an output unit that outputs a synthesized image obtained by synthesizing the images by the synthesizing unit.
手書き入力可能な前記入力部の操作に応じて表示画像を更新する画像作成ステップと、
前記表示画像を前記入力部の表示画面で表示し、前記表示画面上で手書き入力可能な入力手段として前記入力部を機能させる画像表示ステップと、
前記入力部を操作する操作者の映像を前記入力部と共に情景画像として撮影する撮像ステップと、
撮影された前記情景画像と、更新された前記表示画像とを画像合成し、少なくとも前記表示画面を遮る物体を半透明化した合成画像を出力する画像合成ステップとを有することを特徴とする画像表示方法。 In the image display method in the image display device according to any one of claims 1 to 4,
An image creation step of updating a display image in accordance with an operation of the input unit capable of handwriting input;
An image display step of the display image displayed in the display screen of the input unit, functions the input unit as a handwriting input can input means on the display screen,
An imaging step for capturing a scene image of the operator of the image operating the input unit together with the input unit,
An image display step comprising: combining an image of the photographed scene image and the updated display image, and outputting a composite image obtained by translucent at least an object blocking the display screen. Method.
前記入力装置は、
手書き入力可能な入力部と、
前記入力部の操作に応じて表示画像を更新する画像作成手段と、
前記画像作成手段により更新された表示画像を前記入力部の表示画面で表示し、前記表示画面上で手書き入力可能な入力手段として前記入力部を機能させる画像表示手段と、
前記入力部を操作する操作者の映像を前記入力部と共に撮影する撮像手段と、
前記撮像手段により撮影された情景画像と、前記画像作成手段により更新された表示画像とを画像合成し、少なくとも前記表示画面を遮る物体を半透明化した合成画像を出力する画像合成手段とを備える入力装置。 In an input device that accepts handwritten input by an operator,
The input device is:
An input unit capable of handwriting input;
Image creating means for updating a display image in accordance with an operation of the input unit ;
An image display unit to function the input portion as said by Ri updated display image in the image production means and displayed on the display screen of the input unit, handwriting input can input means on the display screen,
Imaging means for photographing an operator of the video operating the input unit together with the input unit,
Image synthesis means for synthesizing the scene image taken by the imaging means and the display image updated by the image creation means, and outputting a composite image in which at least the object that obstructs the display screen is made translucent. Input device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009192884A JP5083697B2 (en) | 2009-08-24 | 2009-08-24 | Image display device, input device, and image display method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009192884A JP5083697B2 (en) | 2009-08-24 | 2009-08-24 | Image display device, input device, and image display method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011044061A JP2011044061A (en) | 2011-03-03 |
JP5083697B2 true JP5083697B2 (en) | 2012-11-28 |
Family
ID=43831438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009192884A Expired - Fee Related JP5083697B2 (en) | 2009-08-24 | 2009-08-24 | Image display device, input device, and image display method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5083697B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6243112B2 (en) * | 2011-12-09 | 2017-12-06 | ソニー株式会社 | Information processing apparatus, information processing method, and recording medium |
JP5935529B2 (en) | 2012-06-13 | 2016-06-15 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
JP6589604B2 (en) * | 2015-12-01 | 2019-10-16 | 株式会社デンソーウェーブ | Teaching result display system |
EP3595289A4 (en) * | 2017-03-08 | 2020-03-04 | Sony Corporation | Image processing device and image processing method |
US10349022B2 (en) | 2017-03-22 | 2019-07-09 | Casio Computer Co., Ltd. | Image processing apparatus, projector, image processing method, and storage medium storing image processing program |
CN107682644A (en) * | 2017-09-04 | 2018-02-09 | 广州美人信息技术有限公司 | A kind of personalized image synthetic method, system and device |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04216124A (en) * | 1990-12-14 | 1992-08-06 | Matsushita Electric Works Ltd | Display device with translucent screen |
JPH05232861A (en) * | 1991-06-11 | 1993-09-10 | C S K Sogo Kenkyusho:Kk | Orchestral accompaniment system |
JP3242763B2 (en) * | 1993-09-01 | 2001-12-25 | 日本電信電話株式会社 | Video synthesis method and apparatus |
JP2991938B2 (en) * | 1993-12-10 | 1999-12-20 | 松下電器産業株式会社 | Chroma key synthesis circuit |
JPH11136577A (en) * | 1997-10-24 | 1999-05-21 | Degital:Kk | Image super imposition display method |
JP4596655B2 (en) * | 2001-01-26 | 2010-12-08 | 株式会社キーエンス | Display device |
US7434153B2 (en) * | 2004-01-21 | 2008-10-07 | Fuji Xerox Co., Ltd. | Systems and methods for authoring a media presentation |
JP2005301479A (en) * | 2004-04-08 | 2005-10-27 | Akinori Yoshino | Instruction input device based on projected action of presenter |
JP2007156950A (en) * | 2005-12-07 | 2007-06-21 | Toyota Motor Corp | Vehicle operating device |
JP2007237954A (en) * | 2006-03-09 | 2007-09-20 | Xanavi Informatics Corp | Navigation system |
JP2008042785A (en) * | 2006-08-10 | 2008-02-21 | Sharp Corp | Image display apparatus |
-
2009
- 2009-08-24 JP JP2009192884A patent/JP5083697B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011044061A (en) | 2011-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Fuhrmann et al. | Occlusion in collaborative augmented environments | |
Schmalstieg et al. | Augmented reality: principles and practice | |
US9584766B2 (en) | Integrated interactive space | |
AU2021261950B2 (en) | Virtual and augmented reality instruction system | |
Gauglitz et al. | Integrating the physical environment into mobile remote collaboration | |
US9110512B2 (en) | Interactive input system having a 3D input space | |
Li et al. | Cognitive issues in mobile augmented reality: an embodied perspective | |
JP5083697B2 (en) | Image display device, input device, and image display method | |
US20120280948A1 (en) | Interactive whiteboard using disappearing writing medium | |
US7982751B2 (en) | Methods and systems for controlling a computer using a video image and for combining the video image with a computer desktop | |
US20060092178A1 (en) | Method and system for communicating through shared media | |
JP6683864B1 (en) | Content control system, content control method, and content control program | |
US11475610B1 (en) | Controlling interactivity of digital content overlaid onto displayed data via graphics processing circuitry using a frame buffer | |
US9977785B2 (en) | Method and computer-readable medium for presenting displayable content to an audience | |
Wischgoll | Display systems for visualization and simulation in virtual environments | |
KR20180071492A (en) | Realistic contents service system using kinect sensor | |
JP2015184986A (en) | Compound sense of reality sharing device | |
JP6892478B2 (en) | Content control systems, content control methods, and content control programs | |
JP2021009351A (en) | Content control system, content control method, and content control program | |
US20230334791A1 (en) | Interactive reality computing experience using multi-layer projections to create an illusion of depth | |
US20230334792A1 (en) | Interactive reality computing experience using optical lenticular multi-perspective simulation | |
US20230334790A1 (en) | Interactive reality computing experience using optical lenticular multi-perspective simulation | |
US20240094886A1 (en) | Applying visual modifiers to objects of interest selected by a pointer from a video feed in a frame buffer via processing circuitry | |
US20230113359A1 (en) | Full color spectrum blending and digital color filtering for transparent display screens | |
CN113587812B (en) | Display equipment, measuring method and device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111017 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120712 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120731 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120824 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5083697 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150914 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150914 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |