JP5083697B2 - Image display device, input device, and image display method - Google Patents

Image display device, input device, and image display method Download PDF

Info

Publication number
JP5083697B2
JP5083697B2 JP2009192884A JP2009192884A JP5083697B2 JP 5083697 B2 JP5083697 B2 JP 5083697B2 JP 2009192884 A JP2009192884 A JP 2009192884A JP 2009192884 A JP2009192884 A JP 2009192884A JP 5083697 B2 JP5083697 B2 JP 5083697B2
Authority
JP
Japan
Prior art keywords
image
display
input
unit
translucent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009192884A
Other languages
Japanese (ja)
Other versions
JP2011044061A (en
Inventor
正樹 中川
亮彦 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NATIONAL UNIVERSITY CORPORATION TOKYO UNIVERSITY OF AGRICULUTURE & TECHNOLOGY
Original Assignee
NATIONAL UNIVERSITY CORPORATION TOKYO UNIVERSITY OF AGRICULUTURE & TECHNOLOGY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NATIONAL UNIVERSITY CORPORATION TOKYO UNIVERSITY OF AGRICULUTURE & TECHNOLOGY filed Critical NATIONAL UNIVERSITY CORPORATION TOKYO UNIVERSITY OF AGRICULUTURE & TECHNOLOGY
Priority to JP2009192884A priority Critical patent/JP5083697B2/en
Publication of JP2011044061A publication Critical patent/JP2011044061A/en
Application granted granted Critical
Publication of JP5083697B2 publication Critical patent/JP5083697B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像表示装置、入力装置、及び画像表示方法に関し、例えば、手書き入力可能な画像表示装置や電子白板等、手書き入力できる装置に適用することができるものである。   The present invention relates to an image display device, an input device, and an image display method, and can be applied to devices capable of handwriting input, such as an image display device capable of handwriting input and an electronic white board.

従来、講義、プレゼンテーション等で使用する大画面の画像表示装置として、コンピュータに接続して各種スライド等を表示するものが提供されている。このような装置でスライドを表示する場合、例えば指、手等を使用して表示画面の特定箇所を指示することにより、操作者の自然の動作で聴衆の注意を促し、聴衆の注意を集めることができる。   2. Description of the Related Art Conventionally, as a large-screen image display device used for lectures, presentations, etc., devices that connect to a computer and display various slides have been provided. When displaying a slide with such a device, for example, by using a finger, a hand, etc., to indicate a specific part of the display screen, the operator's natural action is used to attract the audience's attention, and the audience's attention is collected. Can do.

しかしながら指、手等により表示画面の特定箇所を指示する場合、腕等により遮られて表示画面を部分的に見て取れなくなる。そこで指示棒、レーザーポインタ等を使用して表示画面の特定箇所を指示する方法、マウス等の操作によりカーソルを移動させて表示画面の特定箇所を指示する方法等も採用されている。   However, when a specific portion of the display screen is indicated by a finger, a hand, etc., the display screen is partially unobstructed by being blocked by an arm or the like. Therefore, a method of instructing a specific part of the display screen using an indication bar, a laser pointer, or the like, a method of instructing a specific part of the display screen by moving the cursor by operating a mouse or the like, and the like are also employed.

またこのようなスライドの表示に関しては、別途、表示画面を撮影して表示するようにして、表示画面を遮る腕等を半透明化して表示する方法も提案されている(視認性とプレゼンス性を両立させる遠隔講義映像の送受信方法 JAIST Repository M−IS 平成14年度(Jun,2002−Mar.2003)(非特許文献1))。   In addition, regarding the display of such a slide, a method has been proposed in which the display screen is separately photographed and displayed, and the arm that blocks the display screen is made translucent and displayed (visibility and presence properties are improved). Transmission / reception method of remote lecture video to be made compatible JAIST Repository M-IS 2002 (Jun, 2002-Mar. 2003) (Non-patent Document 1)).

また近年、講義等ではいわゆる電子白板を使用する場合もあり、電子白板によれば、手書きしながら説明することができ、操作者の挙動により一段と聴取者の注意を喚起することができる。   In recent years, so-called electronic whiteboards are sometimes used in lectures and the like, and electronic whiteboards can be explained while handwriting, and the listener's attention can be further raised by the behavior of the operator.

また近年、講義等では手書き入力可能な画像表示装置を使用する場合もある。ここでこの手書き入力可能な画像表示装置は、例えば液晶表示パネル等の画像表示パネル上に、座標入力手段を構成する透明タッチパネルを配置して構成される。この手書き入力可能な画像表示装置によれば、表示画面上で手書きしながら説明することができ、一段と聴取者の注意を喚起することができる。   In recent years, an image display device capable of handwriting input may be used in lectures and the like. Here, the image display device capable of handwriting input is configured by arranging a transparent touch panel constituting coordinate input means on an image display panel such as a liquid crystal display panel. According to the image display device capable of handwriting input, explanation can be made while handwriting on the display screen, and the listener's attention can be further raised.

視認性とプレゼンス性を両立させる遠隔講義映像の送受信方法 JAIST Repository M−IS 平成14年度(Jun,2002−Mar.2003)A remote lecture video transmission / reception method that balances visibility and presence JAIST Repository M-IS 2002 (Jun, 2002-Mar. 2003) 対話型電子白板を用いた電子化授業への遠隔受講者参加方式の試作 情報処理学会研究報告,Vol.2002,No.119(CE−67),pp33−40(2002.12)Prototype of a remote student participation method in an electronic class using an interactive electronic whiteboard IPSJ Research Report, Vol. 2002, no. 119 (CE-67), pp33-40 (2002.12)

ところで聴取者の注意を促す操作者の挙動(以下、アノテーションと呼ぶ)は、聴衆の注意を集め、説明を補足するのに有効である。特に電子白板、手書き入力可能な画像表示装置では、手書きできることにより、指等の指示によるアノテーションに比して、一段と聴衆の注意を喚起することができる。またこれらの装置は、手書きしたいという操作者の自然な欲求を満足する装置であることから、操作者にとっても好まれる。   By the way, the behavior of the operator that prompts the listener's attention (hereinafter referred to as annotation) is effective for collecting the attention of the audience and supplementing the explanation. In particular, in an electronic white board and an image display device capable of handwriting input, the user's attention can be further raised compared to annotation by an instruction of a finger or the like by being able to perform handwriting. These devices are also preferred by the operator because they satisfy the natural desire of the operator for handwriting.

具体的に、図8は、マウスの操作によりアノテーションする場合(マウス)、タブレットの操作によりアノテーションする場合(表示なしペンタブレット)、表示画面に直接書き込んでアノテーションする場合(画面に直接書き込み)について、各手法の使い易さを5段階評価したものである。なおこの図8の評価は、これら3つの手法を何れも経験したことのある複数人の評価を平均値化したものであり、値が大きいもの程、使い易いことを示している。なおマウス、表示なしペンタブレットは、何れもスライドを表示した状態で、カーソル等を操作する場合である。   Specifically, FIG. 8 shows a case where annotation is performed by operating the mouse (mouse), an annotation is performed by operating the tablet (pen tablet without display), and an annotation is performed by directly writing on the display screen (direct writing on the screen). This is a five-point evaluation of the ease of use of each method. The evaluation in FIG. 8 is an average value of the evaluations of a plurality of persons who have experienced any of these three methods. The larger the value, the easier it is to use. Note that the mouse and the non-display pen tablet are cases where the cursor or the like is operated with the slide displayed.

しかしながらこれら電子白板、画像表示装置を使用する場合、手書きの際に、腕等により遮られて表示画面を部分的に見て取れなくなる問題がある。この問題を解決する1つの方法として、指示棒、レーザーポインタ等を使用する方法も考えられる。しかしながらこれらの方法では結局、手書きが困難になり、その結果、アノテーションが損なわれ、さらには操作者の使い勝手が劣化する問題がある。   However, when these electronic whiteboards and image display devices are used, there is a problem that the display screen is partially unobstructed due to being blocked by an arm or the like during handwriting. As a method for solving this problem, a method using an indicator bar, a laser pointer, or the like is also conceivable. However, in these methods, handwriting becomes difficult in the end, and as a result, there is a problem that the annotation is lost and the usability of the operator is deteriorated.

そこで、表示画面を介して視聴者が見るときに、直接的に画面に手書きを行いながらも、画面をできるだけ隠していない状況を提示するための手法について考えると、直接的に画面に手書きを行うときに表示画面を隠してしまう操作者の手や体、ペン等(以下、操作体)を見えなくすることが考えられる。   Therefore, when a viewer views through the display screen, while handwriting on the screen directly, considering a technique for presenting a situation where the screen is not hidden as much as possible, handwriting is performed directly on the screen. It is conceivable that an operator's hand, body, pen, or the like (hereinafter referred to as an operation body) that sometimes hides the display screen is made invisible.

しかし、この場合、操作体を見えなくすることにより、画面を隠すという弊害は除去することができるが、視聴者が見ることができるのは、画面上の手書き内容の変化だけなので、手書きを行っている人の書き込んでいる位置がわかりづらくなってしまう。これにより、映像の変化が乏しくなってしまうため、視聴者の集中力が失い易いという問題を生じることが指摘されている(非特許文献2参照)。   However, in this case, the effect of hiding the screen can be eliminated by making the operating body invisible. However, since the viewer can only see the change of handwritten content on the screen, handwriting is performed. It becomes difficult to understand the position of the person who is writing. As a result, it has been pointed out that the change in the video becomes poor, and thus the problem that the viewer's concentration is easily lost (see Non-Patent Document 2).

また、現在の講義映像に用いられている表示手法として、手書きが行われている画面を含む情景映像と、手書きが行われているデスクトップ画面を並べて表示する方法がある。この方法であれば、上記で述べた映像の変化の乏しさの問題と画面隠れの問題を解決することができる。   In addition, as a display method used in the current lecture video, there is a method of displaying a scene video including a screen on which handwriting is performed and a desktop screen on which handwriting is performed side by side. This method can solve the above-mentioned problem of poor image change and the problem of screen hiding.

しかし、この手法の場合、出力する画面が2つになってしまうため2画面分の出力領域の確保、及び、それぞれの出力画面の縮小をしなくてはいけないという弊害を生ずる。また、視聴者が2つの画面を交互に見なくてはいけないという問題点があった。   However, in this method, there are two screens to be output, which causes a problem that it is necessary to secure an output area for two screens and to reduce the respective output screens. In addition, there was a problem that the viewer had to watch the two screens alternately.

本発明では、上述の課題に鑑みてなされたものであり、手書き入力が可能であって、手書き入力の際に腕等により遮られる入力中の文字等を見て取ることができるようにすることにある。すなわち、本発明は、以下の技術的事項から構成される。   The present invention has been made in view of the above-described problem, and is intended to enable handwritten input so that a character being input that is blocked by an arm or the like during handwriting input can be seen. . That is, this invention is comprised from the following technical matters.

(1) 手書き入力可能なタブレットと、
前記タブレットの操作に応じて表示画像を更新する画像作成手段と、
前記画像作成手段による表示画像を前記タブレットで表示し、表示画面上で手書き入力可能な入力手段として前記タブレットを機能させる画像表示手段と、
前記タブレットを操作する操作者の映像を前記タブレットと共に撮影する撮像手段と、
前記撮像手段により撮影された情景画像と、前記画像作成手段により更新された表示画像とを画像合成し、少なくとも前記表示画面を遮る物体を半透明化した合成画像を出力する画像合成手段とを備える画像表示装置。
(1) A tablet capable of handwriting input,
Image creation means for updating a display image in accordance with the operation of the tablet;
An image display means for displaying the display image by the image creating means on the tablet, and causing the tablet to function as an input means capable of handwriting input on a display screen;
Imaging means for photographing an image of an operator who operates the tablet together with the tablet;
Image synthesis means for synthesizing the scene image taken by the imaging means and the display image updated by the image creation means, and outputting a composite image in which at least the object that obstructs the display screen is made translucent. Image display device.

(1)の画像表示装置によると、表示画像を合成画像として出力する際に、表示画面を遮る手や腕等の物体を半透明化して合成画像を出力する。これにより、プレゼンテーション等において、聴取者の注意を促すアノテーションを行った場合であっても、タブレットを操作する操作者の腕等により表示画面が遮られて表示画面に表示されている内容を部分的に見て取れなくなるという問題を解消することができる。その結果、アノテーションによる聴衆の注意を集める機能を向上させ、操作者の使い勝手を向上させることができる。   According to the image display apparatus of (1), when outputting a display image as a composite image, objects such as hands and arms that block the display screen are made translucent and a composite image is output. As a result, even in the case of annotations that prompt the listener's attention in presentations, etc., the contents displayed on the display screen are partially displayed because the display screen is blocked by the arm of the operator who operates the tablet. It can solve the problem of being out of sight. As a result, it is possible to improve the function of collecting the attention of the audience through annotations and improve the usability of the operator.

(2) 前記画像表示手段により表示画像が表示されていない前記タブレットを撮影した背景画像を取得する背景画像取得手段を備え、
前記画像合成手段は、
前記撮像手段により撮影された情景画像を半透明化する半透明化手段と、
前記背景画像取得手段により取得した背景画像に、前記画像作成手段により更新された表示画像をはめ込んだ更新画像を作成する更新画像作成手段と、
前記更新画像作成手段により作成された更新画像と、前記半透明化手段により半透明化した情景画像とを画像合成する合成手段と、
前記合成手段により画像合成した合成画像を出力する出力手段とを備えることを特徴とする(1)に記載の画像表示装置。
(2) comprising a background image acquisition means for acquiring a background image obtained by photographing the tablet on which the display image is not displayed by the image display means;
The image composition means includes
Translucent means for making the scene image photographed by the imaging means translucent;
Update image creation means for creating an update image in which the display image updated by the image creation means is embedded in the background image obtained by the background image acquisition means;
A synthesizing unit for synthesizing the update image created by the update image creating unit and the scene image made translucent by the translucent unit;
The image display apparatus according to (1), further comprising an output unit that outputs a synthesized image obtained by synthesizing the images by the synthesizing unit.

(2)の画像表示装置によると、何も表示されていないタブレットを撮影した背景画像に表示画像をはめ込んだ更新画像に半透明化した情景画像を合成する。これにより、アノテーションを行う操作者が映っている情景画像が半透明化される。したがって、更新画像を合成画像として出力する際に、表示画面を遮る手や腕等の物体を半透明化して合成画像がディスプレイ等の表示装置に出力される。これにより、プレゼンテーション等において、聴取者の注意を促すアノテーションを行った場合であっても、タブレットを操作する操作者の腕等により表示画面が遮られて表示画面に表示されている内容を部分的に見て取れなくなるという問題を解消することができる。   According to the image display apparatus of (2), a scene image made translucent is combined with an updated image in which a display image is inserted into a background image obtained by photographing a tablet on which nothing is displayed. As a result, the scene image showing the operator who performs the annotation is made translucent. Therefore, when the updated image is output as a composite image, objects such as hands and arms that block the display screen are made translucent and the composite image is output to a display device such as a display. As a result, even in the case of annotations that prompt the listener's attention in presentations, etc., the contents displayed on the display screen are partially displayed because the display screen is blocked by the arm of the operator who operates the tablet. It can solve the problem of being out of sight.

(3) 前記画像合成手段は、
前記撮像手段により撮影された情景画像を半透明化する半透明化手段と、
前記撮像手段により撮影された情景画像上に、前記画像作成手段により更新された表示画像をはめ込んだ更新画像を作成する更新画像作成手段と、
前記更新画像作成手段により作成された更新画像と、前記半透明化手段により半透明化した情景画像とを画像合成する合成手段と、
前記合成手段により画像合成した合成画像を出力する出力手段とを備えることを特徴とする(1)に記載の画像表示装置。
(3) The image composition means includes:
Translucent means for making the scene image photographed by the imaging means translucent;
Update image creation means for creating an update image in which the display image updated by the image creation means is inserted on the scene image photographed by the imaging means;
A synthesizing unit for synthesizing the update image created by the update image creating unit and the scene image made translucent by the translucent unit;
The image display apparatus according to (1), further comprising an output unit that outputs a synthesized image obtained by synthesizing the images by the synthesizing unit.

(3)の画像表示装置によると、情景画像上に表示画像をはめ込んだ更新画像に半透明化した情景画像を合成する。これにより、アノテーションを行う操作者が映っている情景画像のうち、表示画像に重なっている領域だけが半透明化される。このため、更新画像を合成画像として出力する際に、表示画面を遮る操作者の手や腕等の物体だけが半透明化され、表示画面の領域に重なっていない腕や手以外の操作者自身の体幹部等は半透明化されない。これにより、プレゼンテーション等において、聴取者の注意を促すアノテーションを行った場合、タブレットを操作する操作者自身の腕や手以外の姿を聴衆に対しはっきりと見せることができる。したがって、操作者の腕等により表示画面が遮られて表示画面に表示されている内容を部分的に見て取れなくなるという問題を解消すると共に、操作者自身の姿を聴衆に対し見せることによりアノテーションの効果を向上させることができる。   According to the image display device of (3), the scene image made translucent is synthesized with the updated image in which the display image is fitted onto the scene image. Thereby, only the area | region which overlaps with the display image among the scene images in which the operator who performs annotation is reflected is made translucent. For this reason, when the updated image is output as a composite image, only the operator's hand and arm objects that block the display screen are translucent, and the operator other than the arm and hand that does not overlap the display screen area itself The torso etc. are not translucent. As a result, when an annotation for prompting the listener's attention is given in a presentation or the like, it is possible to clearly show the audience other than the arms and hands of the operator who operates the tablet. This eliminates the problem that the display screen is blocked by the operator's arm, etc., and the contents displayed on the display screen cannot be partially seen, and the effect of annotation is shown by showing the operator's own appearance to the audience. Can be improved.

(4) 前記半透明化手段は、前記撮像手段により撮影された情景画像を半透明化する透明度を変更する透明度変更手段を備えることを特徴とする(2)又は(3)に記載の画像表示装置。   (4) The image display according to (2) or (3), wherein the translucent means includes a transparency changing means for changing a transparency for translucent the scene image taken by the imaging means. apparatus.

(4)の画像表示装置によると、表示画像や情景画像の色や明るさ、又は、プレゼンテーションや講義を行う会場の明るさに応じて、情景画像の透明度を変更することができる。これにより、周辺の環境によらずにアノテーションを行うことができ、操作者の使い勝手を向上させることができる。   According to the image display device of (4), the transparency of the scene image can be changed according to the color and brightness of the display image or the scene image, or the brightness of the venue where the presentation or lecture is performed. As a result, annotation can be performed regardless of the surrounding environment, and the usability of the operator can be improved.

(5) (1)乃至(4)のいずれか1に記載の画像表示装置における画像表示方法において、
手書き入力可能な前記タブレットの操作に応じて表示画像を更新する画像作成ステップと、
前記表示画像を前記タブレットで表示し、表示画面上で手書き入力可能な入力手段として前記タブレットを機能させる画像表示ステップと、
前記タブレットを操作する操作者の映像を前記タブレットと共に情景画像として撮影する撮像ステップと、
撮影された前記情景画像と、更新された前記表示画像とを画像合成し、少なくとも前記表示画面を遮る物体を半透明化した合成画像を出力する画像合成ステップとを有することを特徴とする画像表示方法。
(5) In the image display method in the image display device according to any one of (1) to (4),
An image creation step of updating a display image in accordance with the operation of the tablet capable of handwriting input;
An image display step of displaying the display image on the tablet and causing the tablet to function as input means capable of handwriting input on a display screen;
An imaging step of capturing an image of an operator who operates the tablet as a scene image together with the tablet;
An image display step comprising: combining an image of the photographed scene image and the updated display image, and outputting a composite image obtained by translucent at least an object blocking the display screen. Method.

(5)の画像表示方法によると、表示画像を合成画像として出力する際に、表示画面を遮る手や腕等の物体を半透明化して合成画像を出力する。これにより、プレゼンテーション等において、聴取者の注意を促すアノテーションを行った場合であっても、タブレットを操作する操作者の腕等により表示画面が遮られて表示画面に表示されている内容を部分的に見て取れなくなるという問題を解消することができる。その結果、アノテーションによる聴衆の注意を集める機能を向上させ、操作者の使い勝手を向上させることができる。   According to the image display method of (5), when a display image is output as a composite image, objects such as hands and arms that block the display screen are made translucent and a composite image is output. As a result, even in the case of annotations that prompt the listener's attention in presentations, etc., the contents displayed on the display screen are partially displayed because the display screen is blocked by the arm of the operator who operates the tablet. It can solve the problem of being out of sight. As a result, it is possible to improve the function of collecting the attention of the audience through annotations and improve the usability of the operator.

(6) 操作者による手書き入力を受け付ける入力装置において、
前記入力装置は、
手書き入力可能なタブレットと、
前記タブレットの操作に応じて表示画像を更新する画像作成手段と、
前記画像作成手段による表示画像を前記タブレットで表示し、表示画面上で手書き入力可能な入力手段として前記タブレットを機能させる画像表示手段と、
前記タブレットを操作する操作者の映像を前記タブレットと共に撮影する撮像手段と、
前記撮像手段により撮影された情景画像と、前記画像作成手段により更新された表示画像とを画像合成し、少なくとも前記表示画面を遮る物体を半透明化した合成画像を出力する画像合成手段とを備える入力装置。
(6) In an input device that accepts handwritten input by an operator,
The input device is:
A tablet with handwriting input,
Image creation means for updating a display image in accordance with the operation of the tablet;
An image display means for displaying the display image by the image creating means on the tablet, and causing the tablet to function as an input means capable of handwriting input on a display screen;
Imaging means for photographing an image of an operator who operates the tablet together with the tablet;
Image synthesis means for synthesizing the scene image taken by the imaging means and the display image updated by the image creation means, and outputting a composite image in which at least the object that obstructs the display screen is made translucent. Input device.

(6)の入力装置によると、操作者による手書き入力を受け付ける装置として使用することができる。この入力装置は、表示画像を合成画像として出力する際に、表示画面を遮る手や腕等の物体を半透明化して合成画像を出力する。これにより、プレゼンテーション等において、聴取者の注意を促すアノテーションを行った場合であっても、タブレットを操作する操作者の腕等により表示画面が遮られて表示画面に表示されている内容を部分的に見て取れなくなるという問題を解消することができる。その結果、アノテーションによる聴衆の注意を集める機能を向上させ、操作者の使い勝手を向上させることができる。   According to the input device of (6), it can be used as a device that accepts handwritten input by the operator. When outputting a display image as a composite image, this input device outputs a composite image by translucent objects such as hands and arms that block the display screen. As a result, even in the case of annotations that prompt the listener's attention in presentations, etc., the contents displayed on the display screen are partially displayed because the display screen is blocked by the arm of the operator who operates the tablet. It can solve the problem of being out of sight. As a result, it is possible to improve the function of collecting the attention of the audience through annotations and improve the usability of the operator.

本発明によれば、タブレットを操作する操作者の腕等により表示画面が遮られて表示画面に表示されている内容を部分的に見て取れなくなるという問題を解消し、アノテーションによる聴衆の注意を集める機能を向上させ、操作者の使い勝手を向上させることができる。   According to the present invention, it is possible to solve the problem that the display screen is blocked by an operator's arm or the like who operates the tablet and the contents displayed on the display screen cannot be partially seen, and the function of collecting the audience's attention by annotation The usability of the operator can be improved.

本発明の第1の実施の形態に係る画像表示装置を用いて半透明提示映像を表示している状態を示す図である。It is a figure which shows the state which is displaying the translucent presentation image | video using the image display apparatus which concerns on the 1st Embodiment of this invention. 本発明の第1の実施の形態に係る背景画像、情景画像及び、コンピュータ表示画像を示す図である。It is a figure which shows the background image, scene image, and computer display image which concern on the 1st Embodiment of this invention. 本発明の第1の実施の形態に係る画像合成の手順の概略を示す図である。It is a figure which shows the outline of the procedure of the image composition which concerns on the 1st Embodiment of this invention. 本発明の第1の実施の形態に係る半透明提示手法の流れを示す図である。It is a figure which shows the flow of the translucent presentation method which concerns on the 1st Embodiment of this invention. 本発明の第1の実施の形態に係る画像取得手順を示す図である。It is a figure which shows the image acquisition procedure which concerns on the 1st Embodiment of this invention. 本発明の第1の実施の形態に係る合成画像の合成手順を示す図である。It is a figure which shows the synthetic | combination procedure of the synthesized image which concerns on the 1st Embodiment of this invention. 本発明の第2の実施の形態に係る画像合成の手順の概略を示す図である。It is a figure which shows the outline of the procedure of the image composition which concerns on the 2nd Embodiment of this invention. 手書き入力方法の使い易さを5段階評価した図である。It is the figure which evaluated the ease of use of the handwriting input method in five steps.

以下、本発明の実施形態について図を用いながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限定されるものではない。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. This is merely an example, and the technical scope of the present invention is not limited to this.

[第1の実施の形態]
[画像表示方法の概要]
はじめに、本発明の第1の実施の形態に係る画像表示装置を用いた画像表示方法の手法の概要について説明する。以降では、この手書きを行うときに表示画面を隠してしまう操作者11の手や体、ペン等の操作体12を半透明に表示する画像表示方法の手法を半透明提示手法と呼び、半透明提示手法によって作られた映像を半透明提示映像と呼ぶこととする。
[First Embodiment]
[Overview of image display method]
First, an outline of a method of an image display method using the image display device according to the first embodiment of the present invention will be described. Hereinafter, this image display method that displays the operation body 12 such as the hand, body, and pen of the operator 11 that hides the display screen when handwriting is performed in a translucent manner is referred to as a translucent presentation method. An image created by the presentation method is called a translucent presentation image.

図1は、本発明の実施の形態に係る画像表示装置10を用いて操作者11が手書き入力を行っている状態を示す図である。
画像表示装置10は、手書き入力が可能なタブレットPC(タブレット・パーソナルコンピュータ)13と、タブレットPC13を操作する操作者11の映像をタブレットPC13と共に撮影するWebカメラ50(図6参照)とを有する。
FIG. 1 is a diagram illustrating a state in which an operator 11 is performing handwriting input using an image display device 10 according to an embodiment of the present invention.
The image display apparatus 10 includes a tablet PC (tablet personal computer) 13 capable of handwriting input, and a Web camera 50 (see FIG. 6) that captures an image of the operator 11 who operates the tablet PC 13 together with the tablet PC 13.

タブレットPC13は、タッチパネルディスプレイ14を備え、既存のPCで用いられるキーボードやマウスの代わりに、タッチパネルディスプレイ14と、ペン型ポインティングデバイス15とにより、マウスによるポインティングデバイス機能と、キーボードによる文字入力機能とを実現することができる。そして、タブレットPC13のタッチパネルディスプレイ14に入力された文字16や絵等をタッチパネルディスプレイ14において表示する。   The tablet PC 13 includes a touch panel display 14, and instead of a keyboard and mouse used in an existing PC, a touch device display 14 and a pen-type pointing device 15 provide a pointing device function using a mouse and a character input function using a keyboard. Can be realized. Then, the characters 16 and pictures input on the touch panel display 14 of the tablet PC 13 are displayed on the touch panel display 14.

[半透明提示手法に必要な映像の概要]
本発明の実施の形態に係る半透明提示手法においては、半透明提示映像を作成するにあたって図2に示すように、3枚の画像を取得する必要がある。1枚目に必要な画像は、手書き入力可能なタブレットPC13において文字16や絵等の手書きが行われていない画面を含む背景画像17である。2枚目に必要な画像は、タブレットPC13のタッチパネルディスプレイ14の画面に操作者11が直接手書きを行っている様子を表した映像の1フレーム毎の画像(以下、情景画像18と呼ぶ)である。本発明の実施の形態においては、この情景画像18中の、画面に書き込んでいる操作体12を半透明に表示する。3枚目に必要な画像は、操作者11の手書き操作により、タブレットPC13のタッチパネルディスプレイ14に表示されている文字16や絵の画像(以下、コンピュータ表示画像19と呼ぶ)である。
[Outline of video required for translucent presentation method]
In the translucent presentation method according to the embodiment of the present invention, it is necessary to acquire three images as shown in FIG. 2 when creating a translucent presentation video. The first image required is a background image 17 including a screen in which handwriting such as characters 16 and pictures is not performed on the tablet PC 13 capable of handwriting input. The image required for the second image is an image for each frame (hereinafter referred to as a scene image 18) representing a state in which the operator 11 is directly performing handwriting on the screen of the touch panel display 14 of the tablet PC 13. . In the embodiment of the present invention, the operating tool 12 written on the screen in the scene image 18 is displayed translucently. The image required for the third image is a character 16 or picture image (hereinafter referred to as a computer display image 19) displayed on the touch panel display 14 of the tablet PC 13 by the handwriting operation of the operator 11.

[画像の合成の概要]
次に、図3を参照して、取得した背景画像17、情景画像18、及びコンピュータ表示画像19を用いて、半透明提示手法に必要な、画像の合成方法の概略について説明する。
[Overview of image composition]
Next, referring to FIG. 3, an outline of an image synthesis method necessary for the translucent presentation method will be described using the acquired background image 17, scene image 18, and computer display image 19.

まずはじめに、背景画像17中のタッチパネルディスプレイ14の領域に相当する画面領域20に、手書きによって更新されるコンピュータ表示画像19をはめ込むことによって、画面領域20のみ更新される画像(以下、画面領域更新画像21と呼ぶ)を作成する。次に、作成した画面領域更新画像21と情景画像18を一定の割合で重ねて合成する。これらの合成処理によって半透明提示映像23の1フレームを作成する。   First, an image in which only the screen area 20 is updated by inserting the computer display image 19 updated by handwriting into the screen area 20 corresponding to the area of the touch panel display 14 in the background image 17 (hereinafter referred to as a screen area update image). 21). Next, the created screen area update image 21 and the scene image 18 are superimposed and synthesized at a certain rate. One frame of the translucent presentation video 23 is created by these synthesis processes.

[具体的な方法]
次に、本発明の実施の形態に係る画像表示装置10を用いて、半透明提示映像23を取得する半透明提示手法の具体的な方法について説明する。
[Specific method]
Next, a specific method of the translucent presentation method for acquiring the translucent presentation video 23 using the image display device 10 according to the embodiment of the present invention will be described.

本発明の実施の形態に係る半透明提示手法の開発言語には、.net frameworkの機能を利用するためC#を用いる。画像処理には、現実環境にコンピュータを用いて情報を付加提示する技術を提供する拡張現実((AR)Augmented Reality)アプリケーション開発ライブラリであるNyARToolKitを使用するためDirect3D(登録商標)を用いる。   The development language of the translucent presentation method according to the embodiment of the present invention includes: C # is used in order to use the function of the net framework. For image processing, Direct3D (registered trademark) is used to use NyARTToolKit, an augmented reality ((AR) Augmented Reality) application development library that provides a technique for additionally presenting information to a real environment using a computer.

[全体の流れ]
次に、図4を参照して、本実施の形態に係る画像表示装置10を用いた半透明提示手法を実現する全体の流れについて説明する。まず、半透明提示手法に必要な、背景画像17と情景画像18及び、コンピュータ表示画像19の3枚を取得する(ステップS1)。次に、取得した3枚の画像を合成する(ステップS2)。次に、その合成した画像をディスプレイ等の表示装置に出力する(ステップS3)。次に、画像表示装置10に設けられた終了ボタンが操作者11により押されたか否かを判別する(ステップS4)。終了ボタンが押されたと判別した場合には半透明提示手法を終了し、終了ボタンが押されたと判別されなかった場合にはステップS1の処理に戻る。したがって、画像表示装置10に設けられた終了ボタン(図示せず)が押されるまでステップS1からステップS3までの作業を連続的に繰り返すことによって半透明提示映像23を表示装置に表示し続けることができる。以上が半透明提示手法実現の全体の流れとなる。
[Overall flow]
Next, with reference to FIG. 4, an overall flow for realizing the translucent presentation method using the image display apparatus 10 according to the present embodiment will be described. First, a background image 17, a scene image 18, and a computer display image 19 necessary for the translucent presentation method are acquired (step S1). Next, the acquired three images are synthesized (step S2). Next, the synthesized image is output to a display device such as a display (step S3). Next, it is determined whether or not an end button provided on the image display device 10 has been pressed by the operator 11 (step S4). If it is determined that the end button has been pressed, the translucent presentation method is terminated, and if it is not determined that the end button has been pressed, the process returns to step S1. Therefore, it is possible to continue displaying the translucent presentation video 23 on the display device by continuously repeating the operations from step S1 to step S3 until the end button (not shown) provided in the image display device 10 is pressed. it can. The above is the overall flow of realizing the translucent presentation method.

ここで、手書きが行われている側のタブレットPC13のコンピュータをサーバーPC30、半透明提示映像23を閲覧する側のコンビュータをクライアントPC40とすると、クライアントPC40側で画像の合成を行い、クライアントPC40側において画像を取得する処理を行う。   Here, assuming that the computer of the tablet PC 13 on which the handwriting is performed is the server PC 30 and the computer on the side of viewing the translucent presentation video 23 is the client PC 40, the images are synthesized on the client PC 40 side, and the client PC 40 side Performs processing to acquire an image.

サーバーPC30は、制御装置としてのCPU、記憶装置としての記憶部、通信装置としての通信部、手書き入力可能なタッチパネルディスプレイ14が含まれる。記憶部としては、ハードディスクドライブ(HDD)や、メモリ(RAM、ROM等)が挙げられる。また、通信部としては、各種有線及び無線のインターフェース装置が挙げられる。   The server PC 30 includes a CPU as a control device, a storage unit as a storage device, a communication unit as a communication device, and a touch panel display 14 capable of handwriting input. Examples of the storage unit include a hard disk drive (HDD) and a memory (RAM, ROM, etc.). Examples of the communication unit include various wired and wireless interface devices.

なお、詳細な説明は省略するが、クライアントPC40もサーバーPC30と同様のハードウェア構成を有している。但し、クライアントPC40は、タッチパネルディスプレイ14が必ずしも必要ではないため、サーバーPC30により手書き入力された文字や絵を表示するための表示装置と、キーボード及び、マウス、トラッキングボール等のポインティングデバイスとを備える。表示装置としては、例えば、液晶ディスプレイ、プラズマディスプレイ等の各種ディスプレイが挙げられる。ハードディスクドライブには、本発明のハードウェアを構成する画像表示装置10として機能させるための各種プログラム等を記憶する。   Although detailed description is omitted, the client PC 40 has the same hardware configuration as that of the server PC 30. However, since the touch panel display 14 is not necessarily required, the client PC 40 includes a display device for displaying characters and pictures input by handwriting by the server PC 30, and a pointing device such as a keyboard, a mouse, and a tracking ball. Examples of the display device include various displays such as a liquid crystal display and a plasma display. The hard disk drive stores various programs for functioning as the image display device 10 constituting the hardware of the present invention.

[画像取得手順]
次に、図5を参照して、クライアントPC40側が、半透明提示映像を作成するのに必要な3枚の画像(背景画像17、情景画像18、コンピュータ表示画像19)を取得する手順について説明する。
[Image acquisition procedure]
Next, with reference to FIG. 5, a procedure in which the client PC 40 side acquires three images (background image 17, scene image 18, and computer display image 19) necessary for creating a translucent presentation video will be described. .

はじめに、クライアントPC40のCPUは、撮像手段としてのWebカメラ50により、背景画像17と情景画像18を撮影して取得する(ステップS11)。具体的には、クライアントPC40に接続されたWebカメラ50により、30fpsのフレームレートで、360x240のサイズの画像を取得する。   First, the CPU of the client PC 40 captures and acquires the background image 17 and the scene image 18 by the Web camera 50 as an imaging unit (step S11). Specifically, an image having a size of 360 × 240 is acquired by the web camera 50 connected to the client PC 40 at a frame rate of 30 fps.

次に、クライアントPC40のCPUは、Webカメラ50により取得された画像のキャプチャーをDirectShow(登録商標)を用いて行う(ステップS12)。このキャプチャーにより、背景画像17と情景画像18の取得を完了する(ステップS13)。このとき取得する背景画像17は、あらかじめ手書きが行われていない様子の画像を保存する。また、情景画像18は、背景画像17を撮影したときと同じアングルから、手書きが行われている様子を撮影して取得する。   Next, the CPU of the client PC 40 captures an image acquired by the Web camera 50 using DirectShow (registered trademark) (step S12). With this capture, the acquisition of the background image 17 and the scene image 18 is completed (step S13). The background image 17 acquired at this time stores an image in which handwriting is not performed in advance. In addition, the scene image 18 is obtained by photographing a state in which handwriting is performed from the same angle as when the background image 17 is photographed.

次に、図5を参照して、コンピュータ表示画像19の取得方法について説明する。はじめに、サーバーPC30のCPUは、コンピュータ表示画像19の情報を取得する(ステップS21)。具体的には、サーバーPC30であるタブレットPC13のタッチパネルディスプレイ14に表示されている文字16や絵の画像を取得する。コンピュータ表示画像19の取得にはWin32APIの機能を用いてBitmapクラスとして保持する。   Next, a method for acquiring the computer display image 19 will be described with reference to FIG. First, the CPU of the server PC 30 acquires information on the computer display image 19 (step S21). Specifically, the image of the character 16 and the picture displayed on the touch panel display 14 of the tablet PC 13 which is the server PC 30 is acquired. The computer display image 19 is acquired as a Bitmap class using the Win32 API function.

次に、サーバーPC30のCPUは、Bitmapクラスの画像データをbyte配列に変換する(ステップS22)。続いて、サーバーPC30のCPUは、byte配列に変換した画像データをリモートオブジェクトとして格納する(ステップS23)。   Next, the CPU of the server PC 30 converts the Bitmap class image data into a byte array (step S22). Subsequently, the CPU of the server PC 30 stores the image data converted into the byte array as a remote object (step S23).

サーバーPC30からクライアントPC40ヘの画像データの引き渡しは、.net frameworkの機能の1つである.net remotingを用いて行う。この.net remotingを用いることにより、ネットワーク間の通信が可能となり、他方のPC側のオブジェクトにアクセスすることができる。   Transfer of image data from the server PC 30 to the client PC 40 is as follows. This is one of the functions of the net framework. Use net remoting. this. By using net remoting, communication between networks becomes possible and an object on the other PC side can be accessed.

次に、クライアントPC40のCPUは、その画像データが格納されたサーバーPC30のリモートオブジェクトにアクセスする(ステップ31)。次に、クライアントPC40のCPUは、アクセスしたリモートオブジェクトの画像データを取得する(ステップS32)。次に、クライアントPC40のCPUは、byte配列の画像データを.net frameworkで処理が可能なImageクラスに変換する(ステップS33)。   Next, the CPU of the client PC 40 accesses the remote object of the server PC 30 in which the image data is stored (step 31). Next, the CPU of the client PC 40 acquires image data of the accessed remote object (step S32). Next, the CPU of the client PC 40 converts the image data in the byte array to. The image class is converted to an Image class that can be processed by the net framework (step S33).

以上の工程によって、手書きが行われているコンピュータであるサーバーPC30であるタブレットPC13のタッチパネルディスプレイ14上に表示されているコンピュータ表示画像19を、閲覧側であるクライアントPC40において取得することができる(ステップS34)。   Through the above steps, the computer display image 19 displayed on the touch panel display 14 of the tablet PC 13 that is the server PC 30 that is a computer on which handwriting is performed can be acquired in the client PC 40 that is the browsing side (step). S34).

[合成画像の合成手順]
次に、図6を参照して、取得した画像に基づき、合成画像を合成する手順について説明する。まず、背景画像17とコンピュータ表示画像19を合成して画面領域更新画像21を作成する方法について述べる。この合成では、背景画像17中の画面領域20に、コンピュータ表示画像19をはめ込む処理を行う。
[Compositing procedure of composite image]
Next, a procedure for synthesizing a synthesized image based on the acquired image will be described with reference to FIG. First, a method for creating the screen area update image 21 by combining the background image 17 and the computer display image 19 will be described. In this composition, processing for fitting the computer display image 19 into the screen area 20 in the background image 17 is performed.

はじめに、クライアントPC40のCPUは、前述の通り、背景画像17、情景画像18、及びコンピュータ表示画像19の3枚の画像を取得する(ステップS41)。次に、クライアントPC40のCPUは、背景画像17中のタグの認識を行う(ステップS42)。   First, as described above, the CPU of the client PC 40 acquires three images of the background image 17, the scene image 18, and the computer display image 19 (step S41). Next, the CPU of the client PC 40 recognizes the tag in the background image 17 (step S42).

この処理では、背景画像17中に存在する画面領域20を特定することができる。この画面領域20の特定は、ARアプリケーションの実装用ライブラリであるARToolKitの.net frameworkに対応したものであるNyARToolkitを用いて行う。このNyARToolkitにより、マーカーの位置と大きさの認識を行い、Direct3Dを用いて3Dオブジェクトを表示することができる。具体的には、画面領域20付近にマーカーを配置し、NyARToolkitによって取得したそのマーカーの情報をもとに、画面領域20の推定を行う(ステップS43)。また、NyARToolkitを用いることによって、カメラの位置が変わった場合には、はめ込み中画像の形状変換と画面領域20の特定を自動的に行う(ステップS44)。これにより、カメラの位置が変わっても、半透明提示手法を継続することができる。   In this process, the screen area 20 existing in the background image 17 can be specified. This screen area 20 is specified by ARToolKit of the AR application mounting library. This is performed using NyARTToolkit, which is compatible with the net framework. With this NyARTToolkit, the position and size of the marker can be recognized, and a 3D object can be displayed using Direct3D. Specifically, a marker is placed in the vicinity of the screen area 20, and the screen area 20 is estimated based on the marker information acquired by NyARTToolkit (step S43). If the camera position is changed by using NyARTToolkit, the shape conversion of the in-fitting image and the screen area 20 are automatically performed (step S44). Thereby, even if the position of a camera changes, a translucent presentation method can be continued.

したがって、自動で画面領域の特定を行うことができるため、手動で画面領域20のサイズや位置を操作者11が設定する必要もなく、操作者11の負担を軽減することができる。さらに、このライブラリを用いることにより、マーカーの傾きも認識することができることから、タッチパネルディスプレイ14の正面以外からのアングルでも半透明提示映像を作成することができる。次に、クライアントPC40のCPUは、コンピュータ表示画像19を背景画像17にはめ込む処理を行う(ステップS45)。そして、このはめ込み処理により画面領域更新画像21を完成する(ステップS46)。   Therefore, since the screen area can be automatically specified, it is not necessary for the operator 11 to manually set the size and position of the screen area 20, and the burden on the operator 11 can be reduced. Furthermore, since the inclination of the marker can be recognized by using this library, a translucent presentation video can be created even from an angle other than the front of the touch panel display 14. Next, the CPU of the client PC 40 performs processing for fitting the computer display image 19 into the background image 17 (step S45). Then, the screen area update image 21 is completed by this fitting process (step S46).

次に、クライアントPC40のCPUは、作成した画面領域更新画像21と情景画像18をDirect3Dによりアルファブレンディングする処理を行う(ステップS47)。この処理では、Direct3Dによりアルファブレンドを調整して情景画像18を半透明にしながら、画面領域更新画像21と合成する処理を行う。このとき、クライアントPC40のCPUは、アルファブレンドを調整することにより、情景画像18の透明度を自由に変更することができる。この処理が終了することにより、半透明提示映像23の1フレームを完成することができる。すなわち、ステップS41からステップS47の処理を繰り返し行うことにより、半透明提示映像23を完成することができる。   Next, the CPU of the client PC 40 performs a process of alpha blending the created screen area update image 21 and scene image 18 using Direct3D (step S47). In this process, alpha blending is adjusted by Direct3D to make the scene image 18 translucent and to synthesize it with the screen area update image 21. At this time, the CPU of the client PC 40 can freely change the transparency of the scene image 18 by adjusting the alpha blend. By completing this process, one frame of the translucent presentation video 23 can be completed. That is, the translucent presentation video 23 can be completed by repeatedly performing the processing from step S41 to step S47.

[合成画像の出力]
次に、完成した半透明提示映像23を出力する処理について説明する。クライアントPC40のCPUは、完成した半透明提示映像23をDirect3Dを用いてクライアントPCの表示装置に出力する。この半透明提示映像23の出力は、30fpsのフレーム間隔で行う。これにより、半透明提示映像23の動きは自然な動きを保持することができる。
[Output composite image]
Next, a process for outputting the completed translucent presentation video 23 will be described. The CPU of the client PC 40 outputs the completed translucent presentation video 23 to the display device of the client PC using Direct3D. The translucent presentation video 23 is output at a frame interval of 30 fps. Thereby, the movement of the semi-transparent presentation image 23 can hold a natural movement.

以上の構成によれば、タブレットを操作する操作者の腕等により表示画面が遮られて表示画面に表示されている内容を部分的に見て取れなくなるという問題を解消し、アノテーションによる聴衆の注意を集める機能を向上させ、操作者の使い勝手を向上させることができる。   According to the above configuration, the problem is that the display screen is blocked by the arm of the operator who operates the tablet and the contents displayed on the display screen cannot be partially seen, and the attention of the audience by annotation is collected. The function can be improved and the usability of the operator can be improved.

[第2の実施の形態]
第1の実施の形態における画像表示装置10を用いた半透明提示手法では、情景画像18中の操作体12すべてを半透明に表示する。つまり、手書きが行われる画面領域20外の操作体12も半透明に表示している。そこで、第2の実施の形態における画像表示装置10を用いた半透明提示手法では、手書きが行われている画面領域20に重なっている操作体12だけを半透明に表示して、画面領域20外の部分は半透明にしないで表示する。以下、第2の実施の形態について、第1の実施の形態と異なる点について説明する。
[Second Embodiment]
In the translucent presentation method using the image display device 10 according to the first embodiment, all the operating bodies 12 in the scene image 18 are displayed translucently. That is, the operation body 12 outside the screen area 20 where handwriting is performed is also displayed in a translucent manner. Therefore, in the translucent presentation method using the image display device 10 according to the second embodiment, only the operation body 12 overlapping the screen area 20 on which handwriting is performed is displayed translucently, and the screen area 20 The outer part is displayed without being translucent. Hereinafter, the second embodiment will be described while referring to differences from the first embodiment.

[第2の実施の形態の画像の合成]
次に、図7を参照して、取得した情景画像18、及びコンピュータ表示画像19を用いて、半透明提示手法に必要な、画像の合成方法について説明する。第2の実施の形態では、第1の実施の形態と異なり、情景画像18とコンピュータ表示画像19の2つの画像だけを用いることによって半透明提示映像23を作成することができる。
[Composition of Image of Second Embodiment]
Next, with reference to FIG. 7, an image composition method necessary for the translucent presentation method using the acquired scene image 18 and computer display image 19 will be described. In the second embodiment, unlike the first embodiment, the semi-transparent presentation video 23 can be created by using only two images of the scene image 18 and the computer display image 19.

具体的な処理としては、第1の実施の形態における半透明提示手法で使用した背景画像17の代わりに、情景画像18中のタッチパネルディスプレイ14の領域に相当する画面領域20に、コンピュータ表示画像19をはめ込む処理を行う。これにより、手書きが行われている画面領域20上の操作体12が消去された画像である画面領域更新画像(2)21aを作成する。   As specific processing, instead of the background image 17 used in the translucent presentation method in the first embodiment, a computer display image 19 is displayed in a screen area 20 corresponding to the area of the touch panel display 14 in the scene image 18. Perform the process of fitting. Thereby, the screen area update image (2) 21a which is an image in which the operation body 12 on the screen area 20 where handwriting is performed is deleted is created.

次に、作成された画面領域更新画像(2)21aと情景画像18のそれぞれの画素値を、一定の割合で重ねて合成する。第2の実施の形態の画像表示装置10を用いた合成方法により画像を合成することにより、画面領域20上の操作体12だけ半透明で表示され、画面領域20外の部分の操作者11は通常に表示される半透明提示映像23aの1フレームを作成することができる。   Next, the pixel values of the created screen area update image (2) 21a and the scene image 18 are superimposed and synthesized at a certain ratio. By synthesizing the image by the synthesis method using the image display device 10 of the second embodiment, only the operation body 12 on the screen area 20 is displayed in a translucent manner, and the operator 11 outside the screen area 20 One frame of the normally displayed translucent presentation video 23a can be created.

[第3の実施の形態]
第2の実施の形態では、背景画像17を取得する必要がなく、また、NyARToolkitを用いることによって、カメラの位置が変わっても画像中にはめ込中画像の形状変換と領域の特定を自動的に行うため、半透明提示手法を続けることができる。
[Third Embodiment]
In the second embodiment, it is not necessary to acquire the background image 17, and the NyARTToolkit is used to automatically change the shape of the in-fitting image and specify the area even if the camera position changes. To do so, the translucent presentation method can be continued.

そこで、第3の実施の形態では、クライアントPC40に通常の表示装置の代わりにヘッドマウントディスプレイとWebカメラ50を接続する。したがって、半透明提示映像23aを視聴している視聴者に、ヘッドマウントディスプレイとWebカメラ50を装着することにより、視聴者が移動しても第2の実施の形態に係る画像表示装置10を用いた半透明提示手法で見続けることができる。   Therefore, in the third embodiment, a head mounted display and a Web camera 50 are connected to the client PC 40 instead of a normal display device. Therefore, the image display device 10 according to the second embodiment can be used even if the viewer moves by attaching the head mounted display and the Web camera 50 to the viewer who is viewing the translucent presentation video 23a. You can keep watching with the semi-transparent presentation method.

また、サーバーPC30に半透明提示映像を出力可能なヘッドマウントディスプレイとWebカメラ50を接続する。その結果、操作者も同様にヘッドマウントディスプレイとWebカメラ50を装着することにより、操作者が移動しても第2の実施の形態に係る画像表示装置10を用いた半透明提示手法で見続けることができる。   In addition, a head mounted display capable of outputting a translucent presentation video and the Web camera 50 are connected to the server PC 30. As a result, the operator similarly wears the head mounted display and the web camera 50, so that even if the operator moves, he / she continues to see with the translucent presentation method using the image display device 10 according to the second embodiment. be able to.

[第4の実施の形態]
第1の実施の形態では、手書きが行われている画像を情景画像として撮影していたが、第4の実施の形態においては、文字16や絵が表示されていないタブレットPC13のタッチパネルディスプレイ14に手書きをしている情景を撮影する。
[Fourth Embodiment]
In the first embodiment, a handwritten image is taken as a scene image. However, in the fourth embodiment, the touch panel display 14 of the tablet PC 13 on which no characters 16 or pictures are displayed is displayed. Take a picture of a handwritten scene.

具体的には、タブレットPC13の表示なしタッチパネルディスプレイの画面領域20にコンピュータ表示画像19をはめ込み、半透明提示映像23を作成する。これにより、手書きを行っている操作者11は、ヘッドマウントディスプレイを通して作成した半透明提示映像を見ることによって、表示なしのタッチパネルディスプレイ上に表示されたコンピュータ表示画像19に直接的に書き込んでいる感覚を味わうことが可能となる。つまり、第4の実施の形態においては、入力表示一体型タブレットPC同様に直感的な手書きを可能になる、さらに、本発明の実施の形態に係る画像表示装置10による半透明提示手法の特徴である画面隠れの軽減の効果が得ることができる。   Specifically, the computer display image 19 is fitted into the screen area 20 of the touch panel display without display of the tablet PC 13 to create a translucent presentation video 23. As a result, the operator 11 who is performing handwriting feels that he / she is directly writing in the computer display image 19 displayed on the touch panel display without display by viewing the semi-transparent presentation video created through the head-mounted display. Can be tasted. That is, in the fourth embodiment, intuitive handwriting is possible like the tablet PC with integrated input display, and the translucent presentation method by the image display device 10 according to the embodiment of the present invention is characteristic. An effect of reducing certain screen hiding can be obtained.

なお本発明は、上述の実施の形態に限定されるものでは無く、その趣旨を逸脱しない範囲で、上述の実施の形態に種々の変形を加えた形態とすることができる。   In addition, this invention is not limited to the above-mentioned embodiment, It can be set as the form which added the various deformation | transformation to the above-mentioned embodiment in the range which does not deviate from the meaning.

具体的に、上述の実施の形態では、何ら情景画像を処理することなく、半透明化する場合について述べた。しかしながら本発明はこれに限らず、情景画像に各種の画像処理を施して半透明化してもよい。なおこのような画像処理は、エッジ強調処理、色相調整処理、講義している者の画像を特定キャラクタの画像に置き換える処理等を適用することができる。因みに、エッジ強調処理、色相調整処理は、各種の処理手法を広く適用することができ、一段とアノテーションの効果を増大させることができる。また講義している者の画像を特定キャラクタの画像に置き換える処理は、モーションキャプチャの手法を適用することができ、例えば子供等の特定の視聴者に人気のキャラクタの画像に、講義している者の画像を置き換えて、この特定の視聴者の注意を一段と喚起することができる。   Specifically, in the above-described embodiment, the case where the scene image is translucent without being processed has been described. However, the present invention is not limited to this, and the scene image may be made translucent by performing various image processing. Such image processing can be applied to edge enhancement processing, hue adjustment processing, processing for replacing a lecturer's image with an image of a specific character, and the like. Incidentally, various processing methods can be widely applied to the edge enhancement process and the hue adjustment process, and the effect of the annotation can be further increased. The process of replacing the image of the person being lectured with the image of a specific character can apply a motion capture technique. For example, a person who is giving a lecture to an image of a character popular with a specific viewer such as a child This particular viewer can be more alerted by substituting this image.

また上述の実施例においては、操作者11は、タッチパネルディスプレイ14に対し、ペン型ポインティングデバイスを用いて手書きを行っていたがこれに限られない。また、ペン型ポインティングデバイス15を用いてタッチパネルディスプレイ14に手書きを行っているが、ペン型ポインティングデバイス15の代わりに指により直接タッチパネルディスプレイ14に対し手書きする場合に適用してもよい。また、ペン型ポインティングデバイス15を用いてタッチパネルディスプレイ14に手書きを行っているが、マウスやトラックボール等により文字や絵を手書きする場合に適用して、操作中に腕等により遮られる画面を見て取ることができるようにしてもよい。また、サーバーPC30とクライアントPC40とが別々の装置に構成されているがこれに限られない。   In the above-described embodiment, the operator 11 performs handwriting on the touch panel display 14 using a pen-type pointing device, but the present invention is not limited to this. In addition, although handwriting is performed on the touch panel display 14 using the pen-type pointing device 15, the present invention may be applied when handwriting is directly performed on the touch panel display 14 with a finger instead of the pen-type pointing device 15. In addition, handwriting is performed on the touch panel display 14 using the pen-type pointing device 15, but this is applied to handwriting characters and pictures with a mouse, a trackball, or the like, and a screen that is blocked by an arm or the like during operation is seen. You may be able to do that. Further, although the server PC 30 and the client PC 40 are configured as separate devices, the present invention is not limited to this.

10 画像表示装置
11 操作者
12 操作体
13 タブレットPC
14 タッチパネルディスプレイ
15 ペン型ポインティングデバイス
16 文字
17 背景画像
18 情景画像
19 コンピュータ表示画像
20 画面領域
21 画面領域更新画像
23 半透明提示映像
30 サーバーPC
40 クライアントPC
50 Webカメラ
DESCRIPTION OF SYMBOLS 10 Image display apparatus 11 Operator 12 Operation body 13 Tablet PC
14 Touch panel display 15 Pen-type pointing device 16 Character 17 Background image 18 Scene image 19 Computer display image 20 Screen area 21 Screen area update image 23 Translucent presentation video 30 Server PC
40 Client PC
50 Web camera

Claims (6)

手書き入力可能な入力部と、
前記入力部の操作に応じて表示画像を更新する画像作成手段と、
前記画像作成手段により更新された表示画像を前記入力部の表示画面で表示し、前記表示画面上で手書き入力可能な入力手段として前記入力部を機能させる画像表示手段と、
前記入力部を操作する操作者の映像を前記入力部と共に撮影する撮像手段と、
前記撮像手段により撮影された情景画像と、前記画像作成手段により更新された表示画像とを画像合成し、少なくとも前記表示画面を遮る物体を半透明化した合成画像を出力する画像合成手段とを備える画像表示装置。
An input unit capable of handwriting input;
Image creating means for updating a display image in accordance with an operation of the input unit ;
An image display unit to function the input portion as said by Ri updated display image in the image production means and displayed on the display screen of the input unit, handwriting input can input means on the display screen,
Imaging means for photographing an operator of the video operating the input unit together with the input unit,
Image synthesis means for synthesizing the scene image taken by the imaging means and the display image updated by the image creation means, and outputting a composite image in which at least the object that obstructs the display screen is made translucent. Image display device.
前記画像表示手段により表示画像が表示されていない前記入力部を撮影した背景画像を取得する背景画像取得手段を備え、
前記画像合成手段は、
前記撮像手段により撮影された情景画像を半透明化する半透明化手段と、
前記背景画像取得手段により取得した背景画像に、前記画像作成手段により更新された表示画像をはめ込んだ更新画像を作成する更新画像作成手段と、
前記更新画像作成手段により作成された更新画像と、前記半透明化手段により半透明化した情景画像とを画像合成する合成手段と、
前記合成手段により画像合成した合成画像を出力する出力手段とを備えることを特徴とする請求項1に記載の画像表示装置。
A background image acquisition unit that acquires a background image obtained by photographing the input unit in which a display image is not displayed by the image display unit;
The image composition means includes
Translucent means for making the scene image photographed by the imaging means translucent;
Update image creation means for creating an update image in which the display image updated by the image creation means is embedded in the background image obtained by the background image acquisition means;
A synthesizing unit for synthesizing the update image created by the update image creating unit and the scene image made translucent by the translucent unit;
The image display apparatus according to claim 1, further comprising an output unit that outputs a synthesized image obtained by synthesizing the images by the synthesizing unit.
前記画像合成手段は、
前記撮像手段により撮影された情景画像を半透明化する半透明化手段と、
前記撮像手段により撮影された情景画像上に、前記画像作成手段により更新された表示画像をはめ込んだ更新画像を作成する更新画像作成手段と、
前記更新画像作成手段により作成された更新画像と、前記半透明化手段により半透明化した情景画像とを画像合成する合成手段と、
前記合成手段により画像合成した合成画像を出力する出力手段とを備えることを特徴とする請求項1に記載の画像表示装置。
The image composition means includes
Translucent means for making the scene image photographed by the imaging means translucent;
Update image creation means for creating an update image in which the display image updated by the image creation means is inserted on the scene image photographed by the imaging means;
A synthesizing unit for synthesizing the update image created by the update image creating unit and the scene image made translucent by the translucent unit;
The image display apparatus according to claim 1, further comprising an output unit that outputs a synthesized image obtained by synthesizing the images by the synthesizing unit.
前記半透明化手段は、前記撮像手段により撮影された情景画像を半透明化する透明度を変更する透明度変更手段を備えることを特徴とする請求項2又は3に記載の画像表示装置。   The image display apparatus according to claim 2, wherein the translucent unit includes a transparency changing unit that changes a translucency for translucent the scene image captured by the imaging unit. 請求項1乃至請求項4のいずれか1項に記載の画像表示装置における画像表示方法において、
手書き入力可能な前記入力部の操作に応じて表示画像を更新する画像作成ステップと、
前記表示画像を前記入力部の表示画面で表示し、前記表示画面上で手書き入力可能な入力手段として前記入力部を機能させる画像表示ステップと、
前記入力部を操作する操作者の映像を前記入力部と共に情景画像として撮影する撮像ステップと、
撮影された前記情景画像と、更新された前記表示画像とを画像合成し、少なくとも前記表示画面を遮る物体を半透明化した合成画像を出力する画像合成ステップとを有することを特徴とする画像表示方法。
In the image display method in the image display device according to any one of claims 1 to 4,
An image creation step of updating a display image in accordance with an operation of the input unit capable of handwriting input;
An image display step of the display image displayed in the display screen of the input unit, functions the input unit as a handwriting input can input means on the display screen,
An imaging step for capturing a scene image of the operator of the image operating the input unit together with the input unit,
An image display step comprising: combining an image of the photographed scene image and the updated display image, and outputting a composite image obtained by translucent at least an object blocking the display screen. Method.
操作者による手書き入力を受け付ける入力装置において、
前記入力装置は、
手書き入力可能な入力部と、
前記入力部の操作に応じて表示画像を更新する画像作成手段と、
前記画像作成手段により更新された表示画像を前記入力部の表示画面で表示し、前記表示画面上で手書き入力可能な入力手段として前記入力部を機能させる画像表示手段と、
前記入力部を操作する操作者の映像を前記入力部と共に撮影する撮像手段と、
前記撮像手段により撮影された情景画像と、前記画像作成手段により更新された表示画像とを画像合成し、少なくとも前記表示画面を遮る物体を半透明化した合成画像を出力する画像合成手段とを備える入力装置。
In an input device that accepts handwritten input by an operator,
The input device is:
An input unit capable of handwriting input;
Image creating means for updating a display image in accordance with an operation of the input unit ;
An image display unit to function the input portion as said by Ri updated display image in the image production means and displayed on the display screen of the input unit, handwriting input can input means on the display screen,
Imaging means for photographing an operator of the video operating the input unit together with the input unit,
Image synthesis means for synthesizing the scene image taken by the imaging means and the display image updated by the image creation means, and outputting a composite image in which at least the object that obstructs the display screen is made translucent. Input device.
JP2009192884A 2009-08-24 2009-08-24 Image display device, input device, and image display method Expired - Fee Related JP5083697B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009192884A JP5083697B2 (en) 2009-08-24 2009-08-24 Image display device, input device, and image display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009192884A JP5083697B2 (en) 2009-08-24 2009-08-24 Image display device, input device, and image display method

Publications (2)

Publication Number Publication Date
JP2011044061A JP2011044061A (en) 2011-03-03
JP5083697B2 true JP5083697B2 (en) 2012-11-28

Family

ID=43831438

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009192884A Expired - Fee Related JP5083697B2 (en) 2009-08-24 2009-08-24 Image display device, input device, and image display method

Country Status (1)

Country Link
JP (1) JP5083697B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6243112B2 (en) * 2011-12-09 2017-12-06 ソニー株式会社 Information processing apparatus, information processing method, and recording medium
JP5935529B2 (en) 2012-06-13 2016-06-15 ソニー株式会社 Image processing apparatus, image processing method, and program
JP6589604B2 (en) * 2015-12-01 2019-10-16 株式会社デンソーウェーブ Teaching result display system
EP3595289A4 (en) * 2017-03-08 2020-03-04 Sony Corporation Image processing device and image processing method
US10349022B2 (en) 2017-03-22 2019-07-09 Casio Computer Co., Ltd. Image processing apparatus, projector, image processing method, and storage medium storing image processing program
CN107682644A (en) * 2017-09-04 2018-02-09 广州美人信息技术有限公司 A kind of personalized image synthetic method, system and device

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04216124A (en) * 1990-12-14 1992-08-06 Matsushita Electric Works Ltd Display device with translucent screen
JPH05232861A (en) * 1991-06-11 1993-09-10 C S K Sogo Kenkyusho:Kk Orchestral accompaniment system
JP3242763B2 (en) * 1993-09-01 2001-12-25 日本電信電話株式会社 Video synthesis method and apparatus
JP2991938B2 (en) * 1993-12-10 1999-12-20 松下電器産業株式会社 Chroma key synthesis circuit
JPH11136577A (en) * 1997-10-24 1999-05-21 Degital:Kk Image super imposition display method
JP4596655B2 (en) * 2001-01-26 2010-12-08 株式会社キーエンス Display device
US7434153B2 (en) * 2004-01-21 2008-10-07 Fuji Xerox Co., Ltd. Systems and methods for authoring a media presentation
JP2005301479A (en) * 2004-04-08 2005-10-27 Akinori Yoshino Instruction input device based on projected action of presenter
JP2007156950A (en) * 2005-12-07 2007-06-21 Toyota Motor Corp Vehicle operating device
JP2007237954A (en) * 2006-03-09 2007-09-20 Xanavi Informatics Corp Navigation system
JP2008042785A (en) * 2006-08-10 2008-02-21 Sharp Corp Image display apparatus

Also Published As

Publication number Publication date
JP2011044061A (en) 2011-03-03

Similar Documents

Publication Publication Date Title
Fuhrmann et al. Occlusion in collaborative augmented environments
Schmalstieg et al. Augmented reality: principles and practice
US9584766B2 (en) Integrated interactive space
AU2021261950B2 (en) Virtual and augmented reality instruction system
Gauglitz et al. Integrating the physical environment into mobile remote collaboration
US9110512B2 (en) Interactive input system having a 3D input space
Li et al. Cognitive issues in mobile augmented reality: an embodied perspective
JP5083697B2 (en) Image display device, input device, and image display method
US20120280948A1 (en) Interactive whiteboard using disappearing writing medium
US7982751B2 (en) Methods and systems for controlling a computer using a video image and for combining the video image with a computer desktop
US20060092178A1 (en) Method and system for communicating through shared media
JP6683864B1 (en) Content control system, content control method, and content control program
US11475610B1 (en) Controlling interactivity of digital content overlaid onto displayed data via graphics processing circuitry using a frame buffer
US9977785B2 (en) Method and computer-readable medium for presenting displayable content to an audience
Wischgoll Display systems for visualization and simulation in virtual environments
KR20180071492A (en) Realistic contents service system using kinect sensor
JP2015184986A (en) Compound sense of reality sharing device
JP6892478B2 (en) Content control systems, content control methods, and content control programs
JP2021009351A (en) Content control system, content control method, and content control program
US20230334791A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
US20230334792A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
US20230334790A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
US20240094886A1 (en) Applying visual modifiers to objects of interest selected by a pointer from a video feed in a frame buffer via processing circuitry
US20230113359A1 (en) Full color spectrum blending and digital color filtering for transparent display screens
CN113587812B (en) Display equipment, measuring method and device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111017

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120731

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120824

R150 Certificate of patent or registration of utility model

Ref document number: 5083697

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150914

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150914

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees