JP7387653B2

JP7387653B2 - Presentation system and presentation method

Info

Publication number: JP7387653B2
Application number: JP2020572669A
Authority: JP
Inventors: キリアンタロテオドールジンガー，; サミュエルトーマスドーキンス，
Original assignee: Universitaet Kassel
Current assignee: Universitaet Kassel
Priority date: 2018-06-26
Filing date: 2019-06-26
Publication date: 2023-11-28
Anticipated expiration: 2039-06-26
Also published as: US11399154B2; CN112689994B; JP2021529466A; EP3815355A1; CN112689994A; WO2020002421A1; DE102018115302A1; US20210274127A1

Description

本発明は、ビデオカメラを使用して録画される、再生システムによるプレゼンターのモニター画像とカメラ画像の共同表示のためのプレゼンテーションシステムであって、再生システムによる表示のためにモニター画像とカメラ画像が、ミキサー内で重ね合わせられるプレゼンテーションシステムに関する。モニターの前にいるプレゼンターにモニター画像を表示するために、表示画面を有するモニターが設けられており、部分透過型鏡が、表示画面の前に配置されており、少なくとも１つのビデオカメラが、部分透過型鏡を介して反射されるプレゼンターを撮影するように配置されている。本発明はさらに、ビデオカメラを使用して録画されるプレゼンターのカメラ画像を、再生システムを使用してモニター画像と一緒に表示するための方法に関する。 The present invention is a presentation system for jointly displaying a monitor image of a presenter and a camera image by a playback system, which are recorded using a video camera. Concerning presentation systems that are superimposed within a mixer. A monitor having a display screen is provided for displaying a monitor image to a presenter in front of the monitor, a partially transmissive mirror is disposed in front of the display screen, and at least one video camera is partially transmissive. It is arranged to photograph the presenter reflected through a transmission mirror. The invention further relates to a method for displaying a camera image of a presenter recorded using a video camera together with a monitor image using a playback system.

より多くの聴衆の前のプレゼンテーションの場合に、プレゼンターは、しばしばビデオカメラを使用して録画され、ビデオカメラで撮影される画像は、再生システム、例えば付随投影スクリーンを有するプロジェクターを使用して表示される。典型的なプレゼンテーションまたは講義の状況では、プレゼンターは、例えば、テキストまたはグラフィックを含むモニター画像をしばしば参照する。モニター画像は、一般に、別々の再生システムを使用するコンピューター支援方式で、または上記の再生システムの背景ベース画像または前景ベース画像としてプレゼンターと一緒に講堂に表示される。 In the case of presentations in front of a larger audience, the presenter is often recorded using a video camera, and the images taken with the video camera are displayed using a playback system, for example a projector with an accompanying projection screen. Ru. In typical presentation or lecture situations, presenters often refer to monitor images containing text or graphics, for example. The monitor image is generally displayed in the auditorium along with the presenter in a computer-assisted manner using a separate playback system, or as a background-based or foreground-based image of the playback system described above.

プレゼンターがモニター画像を参照するために再生システムに目を向けるときに、プレゼンターは聴衆に背を向けるため、聴衆との接触を失う。これを防ぐために、プレゼンターは、しばしば例えばラップトップの形態の、自分の前にあるさらなるモニターを使用するため、プレゼンターは、モニターの画像を自分で見ていると同時に、聴衆の方を向くことができる。しかし、プレゼンターがこのモニターを見ていると、カメラを同時に覗き込むことができないため、プレゼンターのイライラさせる表示がモニター画像と一緒に再生システムに生じる。この現象は、モニター画像が、静止しておらず、例えば、プレゼンテーション中にプレゼンターのモニター上のタッチスクリーン入力またはデジタル鉛筆の使用で変更または展開される場合に、特に明確に生じる。 When the presenter turns to the playback system to refer to the monitor image, the presenter turns away from the audience and thus loses contact with the audience. To prevent this, presenters often use an additional monitor in front of them, for example in the form of a laptop, so that the presenter can look at the image on the monitor himself and at the same time turn towards the audience. can. However, when the presenter is looking at this monitor, he or she cannot look into the camera at the same time, resulting in a frustrating display for the presenter along with the monitor image on the playback system. This phenomenon occurs particularly clearly when the monitor image is not static and is modified or expanded during the presentation, for example with touch screen input or the use of a digital pencil on the presenter's monitor.

同様の状況が、スタジオテレビ放送において、モニターが、一方では、カメラを覗き込むことを望み、他方では、例えば天気図のように、実際にプレゼンターの前後に配置されているか、または単に観客のためだけにオーバーレイされているものを指さすことになっている場合に生じる。 A similar situation arises in studio television broadcasts, where monitors, on the one hand, wish to look into the camera and, on the other hand, are actually placed in front of and behind the presenter, e.g. weather maps, or simply for the audience. Occurs when you are supposed to point to something that is only overlaid.

テレビ会議の状況も、それと同様であり、参加者は、モニター上で遠隔参加者の画像を見ていると同時に、モニターに隣接して配置されるカメラで録画される。参加者が、モニターを見ていると、対話者が見えるが、この人は、参加者が彼とアイコンタクトをとるという感覚を持っていない。対話者は、参加者がカメラを覗き込んだ場合にのみこの感覚を持ち、その場合に、今度は参加者が、モニター上で対話者を見ていない。 The situation with video conferencing is similar, with participants viewing images of remote participants on a monitor while simultaneously being recorded by a camera placed adjacent to the monitor. When the participant looks at the monitor, he sees the interlocutor, but this person does not have the sense that the participant makes eye contact with him. The interlocutor has this feeling only if the participant looks into the camera, in which case the participant does not in turn see the interlocutor on the monitor.

このようなプレゼンテーションシステムは、テレビ会議の範囲内で使用して、対話形式で文書を共同で処理することもできる。この場合に、プレゼンテーションシステムは、少なくとも２回提供され、カメラとモニターは、各会議参加者に関連付けられており、モニターは、少なくとも１人の他の会議参加者のカメラ画像の再生システムとして同時に使用される。アイコンタクトの欠如の問題もこの場合に生じる。 Such presentation systems can also be used within videoconferencing to interactively and collaboratively process documents. In this case, the presentation system is provided at least twice, a camera and a monitor are associated with each conference participant, and the monitor is simultaneously used as a playback system for the camera images of at least one other conference participant. be done. The problem of lack of eye contact also arises in this case.

テレビ会議を行うための装置が、米国特許出願公開第２００４／０１９６３５９号明細書から知られており、そこでは、テレビ会議の参加者は、半透過型曲面鏡を介して対話者の画像を観察するが、彼を録画するカメラは、鏡の後ろに配置されており、鏡を通して少なくともユーザーの顔を録画する。 A device for conducting a video conference is known from US Patent Application Publication No. 2004/0196359, in which the participants of the video conference observe the image of the interlocutor via a semi-transparent curved mirror. However, the camera that records him is placed behind the mirror and records at least the user's face through the mirror.

曲面鏡を使用することにより、モニターがカメラの光軸上にないように、モニターを参加者の前に横方向に配置することができるため、カメラの視点がプレゼンターの顔に合わせられない。それにもかかわらず、モニターの画像は、参加者にとってカメラの方向から来ているように見えるため、参加者は、モニターを見ているときにもカメラを覗き込む。しかし、この装置では、モニターは、参加者の方を向いていないため、参加者は、モニター上で、対話形式で行動できず、例えば、モニター上でタッチ機能を使用することも、デジタル鉛筆を使用してモニター上で行動することもできない。 By using a curved mirror, the monitor can be placed laterally in front of the participant so that it is not on the camera's optical axis, so the camera's perspective is not aligned with the presenter's face. Nevertheless, the image on the monitor appears to the participant to be coming from the direction of the camera, so the participant also looks into the camera while looking at the monitor. However, in this device, the monitor is not facing the participant, so the participant cannot act interactively on the monitor, for example, cannot use touch functions on the monitor or use a digital pencil. You also cannot use it to act on the monitor.

独国特許出願公開第１１２０１０００１８１９号明細書は、プレゼンターが部分透過表示面の前に立ち、その裏側にモニター画像が投影され、それを通してプレゼンターがカメラで録画されるテレビ会議システムを説明しており、そこでは、本システムの構造サイズが、ここでは不利であり、これは、表示面上のモニター画像の背面投影の欠点である。 German Patent Application No. 112010001819 describes a video conference system in which a presenter stands in front of a partially transparent display surface, a monitor image is projected on the back side of the display surface, and the presenter is recorded by a camera through the screen. The structural size of the system is a disadvantage here, which is a disadvantage of rear projection of the monitor image on the display surface.

冒頭に記載したタイプのシステムは、米国特許第９，２７０，９３３号明細書から知られており、これは、参加者がモニター画像を見ているときに同時にカメラを覗き込むように撮影されるテレビ会議を可能にする。これは、モニターに反射面があり、ユーザーが、この面から反射されて、カメラで録画されるという点で実現される。カメラ録画でユーザーの画像をモニターの画像から分離することができるように、モニターは、定期的に繰り返される方法で一時的に暗く切り替えられ、暗スイッチング中は、カメラ録画のみが引き続き処理される。暗スイッチングの持続時間は、ユーザーのモニター画像がちらつくことがないように、ここでは十分に短く選択される。しかし、本システムには、カメラの録画時間が非常に短いため、高レベルのカメラ感度が必要であり、ノイズの入った画像が生じる可能性があり、または参加者が、まばゆいばかりになる可能性がある高光強度を使用して照明される必要があるという欠点がある。さらなる欠点は、既存のモニター、例えばラップトップの表示画面が、ハードウェアの介入なく、必要とされる矢継ぎ早に容易に暗く切り替えることができないため、本方法が、この目的のために別々に構成されるモニターシステムを使用してのみ行うことができるということである。 A system of the type mentioned at the outset is known from US Pat. No. 9,270,933, in which a participant is photographed looking into a camera while looking at a monitor image. Enable video conferencing. This is achieved in that the monitor has a reflective surface and the user is reflected off this surface and recorded by the camera. To allow the camera recording to separate the user's image from the monitor's image, the monitor is temporarily switched to dark in a periodically repeated manner, and during dark switching only the camera recording continues to be processed. The duration of the dark switching is here chosen short enough so that the user's monitor image does not flicker. However, this system requires a high level of camera sensitivity, as the camera recording time is very short, which can result in noisy images, or the possibility that participants may be exposed to glare. It has the disadvantage that it needs to be illuminated using a certain high light intensity. A further disadvantage is that the display screen of existing monitors, e.g. laptops, cannot be easily switched to dimming in rapid succession as required without hardware intervention, so the present method does not require a separate configuration for this purpose. This means that it can only be done using a monitoring system that has a

米国特許出願公開第２００４／０１９６３５９号明細書US Patent Application Publication No. 2004/0196359 独国特許出願公開第１１２０１０００１８１９号明細書German Patent Application No. 112010001819 米国特許第９，２７０，９３３号明細書US Patent No. 9,270,933

本発明の目的は、プレゼンターが、モニターを観察し、例えばデジタル鉛筆を使用してモニターの表面を対話形式で使用することもでき、同時に、プレゼンターが、モニターを見ているときにカメラを覗き込むことができるように、モニターで撮影することができる、冒頭に記載したタイプのコンパクトなプレゼンテーションシステムまたはプレゼンテーション方法を提供することである。この場合に、本システムは、そのハードウェアに介入しなくても、既存のモニターに簡単に後付けすることができるようにする必要がある。さらに、観客が、プレゼンターが表示画面上で見て指さしている場所を理解することができることが重要である。 It is an object of the present invention to enable the presenter to observe the monitor and also use the surface of the monitor interactively, for example using a digital pencil, while at the same time allowing the presenter to look into the camera while looking at the monitor. It is an object of the present invention to provide a compact presentation system or presentation method of the type mentioned at the outset, which can be photographed on a monitor so that it can be photographed. In this case, the system should be able to be easily retrofitted to existing monitors without intervention in its hardware. Additionally, it is important that the audience be able to understand where the presenter is looking and pointing on the display screen.

この目的は、各独立請求項の特徴を有するプレゼンテーションシステムおよびプレゼンテーション方法によって実現される。有利な実施形態および改良は、従属請求項の主題である。 This object is achieved by a presentation system and a presentation method having the features of the independent claims. Advantageous embodiments and refinements are the subject of the dependent claims.

冒頭に記載したタイプの本発明によるプレゼンテーションシステムは、少なくとも１つのビデオカメラが赤外線カメラであるという点で区別される。 The presentation system according to the invention of the type described at the outset is distinguished in that at least one video camera is an infrared camera.

赤外線カメラを、好ましくはシーンすなわちプレゼンターの赤外線照明と組み合わせて使用することによって、カメラ画像内でモニター画像が生じないか、またはごくわずかな強度でしか生じない。同時に、モニターの観察者が自画像の反射にイライラしないため、観察者にとって最適な印象が得られる。この効果は、好ましくは赤外線を反射するが可視光を透過する表示画面フィルムなどをモニター上でさらに使用することによって、さらに強化することができる。そうでなければ、例えば、先行技術から知られているモニターの一時的な暗スイッチングの場合とは対照的に、モニターの変更は必要ではない。 By using an infrared camera, preferably in combination with infrared illumination of the scene or presenter, no monitoring image occurs within the camera image, or only at a very low intensity. At the same time, the viewer of the monitor will not be irritated by reflections in the self-portrait, which will give the viewer an optimal impression. This effect can be further enhanced by further use on the monitor, such as a display screen film that preferably reflects infrared radiation but transmits visible light. Otherwise, no change of the monitor is necessary, in contrast to, for example, the case of temporary dark switching of the monitor known from the prior art.

赤外線カメラを使用しているため、プレゼンターとその周囲は、プレゼンターが光源自体や、光源の反射やモニター上の照明された周囲に邪魔されることなく、十分に照明することができる。アプリケーションの範囲では、赤外線カメラは、ビデオカメラとみなされ、赤外線波長範囲、すなわち約７８０ナノメートル（ｎｍ）を超える波長でのその強度は、可視光の範囲すなわち約４００ｎｍから７５０ｎｍの範囲の波長よりも大幅に高い。この感度分布は、例えば、ビデオカメラの対応するセンサーおよび／または前面に配置されるフィルターによって実現することができる。 The use of an infrared camera allows the presenter and his/her surroundings to be fully illuminated without the presenter being disturbed by the light source itself, reflections from the light source, or illuminated surroundings on the monitor. In a range of applications, an infrared camera is considered a video camera and its intensity in the infrared wavelength range, i.e., wavelengths greater than approximately 780 nanometers (nm), is greater than that of visible light, i.e., wavelengths in the range of approximately 400 nm to 750 nm. is also significantly higher. This sensitivity distribution can be realized, for example, by a corresponding sensor of the video camera and/or by a filter placed in front.

モニターで反射されたプレゼンターが録画されるため、プレゼンターは、モニター上の情報項目とカメラの方向の両方を見る。プレゼンターは、モニターを通してビデオカメラで録画されないため、フラットでコンパクトな構造を有する典型的なモニターを使用することができる。 Since the presenter's reflection on the monitor is recorded, the presenter sees both the information items on the monitor and the direction of the camera. The presenter can use a typical monitor with a flat and compact structure, since the video camera will not be recording through the monitor.

プレゼンテーションシステムの１つの有利な実施形態では、部分透過型鏡が、表示画面に平行に表示画面上にフラットに配置されている。それは、例えば、表示画面の保護ガラスとしてモニターに組み込むことができる。さらに、部分透過型鏡は、好ましくは、タッチセンサー方式センサー面を有しているため、モニターは、例えば、モニター上で、対話形式で描画するための「タッチスクリーン」として使用することができる。プレゼンテーションシステムは、その場合に、黒板または「ホワイトボード」として使用することができる。 In one advantageous embodiment of the presentation system, a partially transmissive mirror is arranged parallel to the display screen and flat on the display screen. It can be integrated into a monitor, for example as a protective glass for the display screen. Furthermore, the partially transmissive mirror preferably has a touch-sensitive sensor surface so that the monitor can be used as a "touch screen" for interactive drawing on the monitor, for example. The presentation system can then be used as a blackboard or "whiteboard".

プレゼンテーションシステムのさらなる有利な設計では、偏光フィルターが、少なくとも１つのビデオカメラの前に配置されている。この場合に、偏光フィルター、特に表示画面全体一面にフラットに延びている偏光フィルターフィルムが、モニターの表示画面と部分透過型鏡との間に配置されている。それに代替的に、その機能原理によって偏光を放射するモニターを使用することもできる。ビデオカメラの前にある偏光フィルターは、本来またはモニターの前に配置される偏光子によって偏光される光を遮断し、モニターから放射される光がビデオカメラに到達しないという効果を有する。したがって、プレゼンターが見ているモニター画像は、カメラ画像には表示されない。ビデオカメラと偏光子の前の偏光フィルターは、例えば、光の直線偏光を使用してモニター画像を隠す場合に、偏光面を交差させることができる。あるいは、モニター画像は、円偏光または楕円偏光を介して非表示にすることもできる。 In a further advantageous design of the presentation system, a polarizing filter is arranged in front of the at least one video camera. In this case, a polarizing filter, in particular a polarizing filter film extending flat over the entire display screen, is arranged between the display screen of the monitor and the partially transmitting mirror. Alternatively, it is also possible to use monitors that emit polarized light due to their functional principle. A polarizing filter in front of the video camera has the effect of blocking the light that is polarized originally or by the polarizer placed in front of the monitor, so that the light emitted by the monitor does not reach the video camera. Therefore, the monitor image that the presenter is viewing is not displayed on the camera image. Polarizing filters in front of the video camera and polarizer can have crossed planes of polarization, for example, if linear polarization of the light is used to obscure the monitor image. Alternatively, the monitor image can be hidden via circularly or elliptically polarized light.

それに代替のプレゼンテーションシステムの実施形態では、カラーフィルターまたは視野角フィルターが、モニターの表示画面と部分透過型鏡との間に配置されている。このように、モニター画像は、カメラ画像内でさらに抑制することもできる。時間領域内のモニター画像の追加の抑制も、例えば、モニター上の表示が、例えば、切り替え可能な鏡を介して、ストロボ効果的に行われるという点で可能である。モニター画像が表示されている間、ビデオカメラは、電子カメラシャッターによって電気的にオフになるか、またはモニター画像は、ビデオカメラの前に配置される切り替え可能な透過フィルターによって光学的に非表示である。 In an alternative presentation system embodiment, a color filter or viewing angle filter is placed between the display screen of the monitor and a partially transmitting mirror. In this way, the monitor image can also be further suppressed within the camera image. An additional suppression of the monitor image in the time domain is also possible, for example in that the display on the monitor is carried out in a stroboscopic manner, for example via a switchable mirror. While the monitor image is displayed, the video camera is either electrically turned off by an electronic camera shutter, or the monitor image is optically hidden by a switchable transmission filter placed in front of the video camera. be.

さらなる有利な実施形態では、画像処理ユニットを有する制御コンピューターを含み、これにより、リアルタイム画像処理がカメラ画像を均一化することができ、変更されたカメラ画像は、ミキサーに中継される。モニターに対するカメラの角度によって生じるカメラ画像の歪みは、再生システムでは、モニター画像とプレゼンターの両方が、相互に正しく配置されて再生されるように、画像処理ユニットによってリアルタイムに修正することができる。これは、プレゼンターが見ている、または指さしている出力画像から正しく推測することもできるように、プレゼンターがモニターを見ている、または指さしている場合に特に関連する。さらなる実施形態では、それに代替的または追加的に、プレゼンターが見ているモニター画像は、出力画像内の２つの画像（モニター画像とカメラ画像）の一致も、このように再び生じるように、事前に歪めることができる。 A further advantageous embodiment includes a control computer with an image processing unit, by means of which real-time image processing can homogenize the camera image, and the modified camera image is relayed to the mixer. Distortions in the camera image caused by the angle of the camera relative to the monitor can be corrected in real time by the image processing unit in the playback system so that both the monitor image and the presenter are played back correctly aligned with each other. This is particularly relevant if the presenter is looking at or pointing at the monitor, as can also be correctly inferred from the output image of what the presenter is looking at or pointing at. In a further embodiment, alternatively or additionally, the monitor image being viewed by the presenter is pre-defined so that the coincidence of the two images (monitor image and camera image) in the output image also occurs in this way again. It can be distorted.

さらなる有利な実施形態では、プレゼンテーションシステムは、変更されたカメラ画像がネットワークを介して遠隔ミキサーに中継されるように設計されている。遠隔ミキサーは、好ましくは遠隔モニターに接続されている。プレゼンターから遠隔にあるこのモニターは、一方では、再生システムとして機能し、他方では、さらなるプレゼンテーションシステムの一部であるため、プレゼンテーションシステムは、テレビ会議システムとして使用することができる。 In a further advantageous embodiment, the presentation system is designed such that the modified camera image is relayed via the network to a remote mixer. The remote mixer is preferably connected to a remote monitor. This monitor, which is remote from the presenter, on the one hand functions as a playback system and on the other hand is part of a further presentation system, so that the presentation system can be used as a video conference system.

プレゼンテーションシステムのさらなる有利な実施形態では、少なくとも１つのさらなる鏡が、少なくとも１つのビデオカメラと部分透過型鏡との間のビーム経路に配置されており、プレゼンターは、少なくとも１つのさらなる鏡を介して、そして部分透過型鏡を介して、少なくとも１つのビデオカメラによって反射して撮影される。ビデオカメラの位置決めにおけるより大きな柔軟性は、少なくとも１つのさらなる鏡によって実現される。 In a further advantageous embodiment of the presentation system, at least one further mirror is arranged in the beam path between the at least one video camera and the partially transmitting mirror, and the presenter can communicate via the at least one further mirror. , and reflected and photographed by at least one video camera through a partially transmitting mirror. Greater flexibility in positioning the video camera is achieved by at least one additional mirror.

プレゼンテーションシステムのさらなる有利な実施形態では、プレゼンターのカラー画像を録画するようにさらなるカメラが提供および配置されており、これに基づいて、カメラ画像および／またはモニター画像の着色を行うことができる。このように、天然色の再生を可能にするために、そうでなければ、プレゼンターの白黒またはグレースケールで再生される赤外線画像を再び着色することができる。さらなるカメラは、好ましくは、プレゼンターに直接向いている、すなわち、反射配置ではない。着色は、ここでは、アルゴリズムまたは人工知能、特に自己学習アルゴリズムを使用することができる。代替の実施形態では、さらなるカメラ画像の代わりに、静止カラー画像を使用することもでき、その色は、その場合に、赤外線動画に移る。 In a further advantageous embodiment of the presentation system, a further camera is provided and arranged to record a color image of the presenter, on the basis of which coloring of the camera image and/or the monitor image can be performed. In this way, infrared images that would otherwise be reproduced in black and white or grayscale of the presenter can be recolored to enable the reproduction of natural colors. The further camera preferably faces directly at the presenter, ie not in a reflective arrangement. Coloring can here use algorithms or artificial intelligence, in particular self-learning algorithms. In an alternative embodiment, instead of a further camera image, a still color image can also be used, the colors then transferring to the infrared animation.

本発明によるプレゼンテーション方法では、少なくとも１つのビデオカメラが、赤外線波長範囲内のカメラ画像内でモニター画像が表示されるモニターの表示画面の前に配置される部分透過型鏡を介して反射されるプレゼンターを撮影する。その場合、カメラ画像が画像処理ユニットによってリアルタイムに変更されたり、モニター画像がモニター上のその表示の前に歪められたりする。歪められる可能性のあるモニター画像と変更されたカメラ画像が、再生システムで表示するためにミキサー内で重ね合わせられる。プレゼンテーションシステムと組み合わせて記載した利点が得られる。 In the presentation method according to the invention, at least one video camera is provided with a presenter in which the monitor image is reflected in the camera image in the infrared wavelength range through a partially transmitting mirror placed in front of the display screen of the monitor. to photograph. In that case, the camera image is modified in real time by the image processing unit or the monitor image is distorted before its display on the monitor. The potentially distorted monitor image and the modified camera image are superimposed within the mixer for display on the playback system. The advantages described can be obtained in combination with a presentation system.

プレゼンテーション方法の１つの有利な改良では、変更するステップにおいて、カメラ画像が歪められたり、縁取りおよび／または詳細拡大および／または位置補正および／または回転補正および／または反射が行われたりする。 In one advantageous refinement of the presentation method, in the modifying step the camera image is distorted, bordered and/or detail enlarged and/or position corrected and/or rotation corrected and/or reflected.

プレゼンテーション方法のさらなる有利な改良では、再生システムは、さらなるプレゼンテーションシステムのモニターを含む。したがって、モニター画像およびそれと重ね合わされたプレゼンター（この場合は参加者と呼ばれる）の変更されたカメラ画像は、モニター上でモニター画像として表示され、これは、同様に、さらなるプレゼンテーションシステムの一部として、さらなる参加者によって使用される。そのカメラ画像は、２つのプレゼンテーションシステムの配置によりテレビ会議を行うことができるように、第１に記載した参加者のモニター画像に相当する方法で重ね合わされる。 In a further advantageous refinement of the presentation method, the playback system includes a further presentation system monitor. The monitor image and the modified camera image of the presenter (in this case referred to as participant) superimposed thereon are thus displayed as a monitor image on the monitor, which is likewise part of a further presentation system. Used by further participants. The camera images are superimposed in a manner corresponding to the monitor images of the participants described in the first place, so that the arrangement of the two presentation systems allows a video conference to take place.

本発明は、図を使用して、例示的な実施形態に基づいて、以下により詳細に説明される。 The invention will be explained in more detail below on the basis of exemplary embodiments using the figures.

プレゼンテーション方法を行うためのプレゼンテーションシステムの概略図を示す図である。1 is a diagram showing a schematic diagram of a presentation system for performing a presentation method; FIG. 図１に示されているプレゼンテーションシステムのいくつかのコンポーネントの配置の詳細を示す図である。2 shows details of the arrangement of some components of the presentation system shown in FIG. 1; FIG. 例えば図１のプレゼンテーションシステムを使用して行うことができるプレゼンテーション方法の概略図を示す図である。2 is a diagram showing a schematic diagram of a presentation method that can be performed using, for example, the presentation system of FIG. 1; FIG. テレビ会議を行うために設計されるプレゼンテーションシステムの概略図を示す図である。1 is a diagram showing a schematic diagram of a presentation system designed for conducting video conferences; FIG.

図１は、概略ブロック図の形態の、本アプリケーションによるプレゼンテーションシステムの例示的な実施形態を示している。図２は、プレゼンテーションシステムの一部の相互の幾何学的配置およびプレゼンテーションシステムを使用するプレゼンターに対する幾何学的配置を示している。 FIG. 1 shows an exemplary embodiment of a presentation system according to the present application in the form of a schematic block diagram. FIG. 2 shows the geometry of parts of the presentation system relative to each other and to a presenter using the presentation system.

プレゼンテーションシステムは、偏光フィルター１１が配置される光学ユニットの前にビデオカメラ１０（以下、カメラ１０とも呼ばれる）を含む。さらに、プレゼンテーションシステムは、表示画面（すなわち、表示面）上に、偏光子としての偏光フィルターフィルム２１と部分透過型鏡２２が配置されるモニター２０を含む。ビデオカメラ１０は、図示した例示的な実施形態では赤外線カメラであり、その感度は、可視範囲よりも赤外線範囲の波長でより大きい。 The presentation system includes a video camera 10 (hereinafter also referred to as camera 10) in front of an optical unit in which a polarizing filter 11 is arranged. Further, the presentation system includes a monitor 20 on which a polarizing filter film 21 as a polarizer and a partially transmitting mirror 22 are arranged on a display screen (ie, a display surface). Video camera 10 is an infrared camera in the illustrated exemplary embodiment, the sensitivity of which is greater at wavelengths in the infrared range than in the visible range.

偏光フィルターフィルム２１と部分透過型鏡２２は、モニター２０の表示面と同様に平面である。 The polarizing filter film 21 and the partially transmitting mirror 22 are flat like the display surface of the monitor 20.

以下、より詳細に説明されるように、モニター２０自体が偏光を放射する場合に、偏光フィルターフィルム２１は、省略することができる。一般に、バックライト付きＬＣＤ（液晶表示）モニターは、偏光を放射する。対照的に、モニター２０は、自己照明技術に基づいて構築されており、例えば（おそらく有機）発光ダイオードを有する場合に、偏光フィルターフィルム２１が有利に使用される。 As will be explained in more detail below, the polarizing filter film 21 can be omitted if the monitor 20 itself emits polarized light. Generally, backlit LCD (liquid crystal display) monitors emit polarized light. In contrast, a polarizing filter film 21 is advantageously used if the monitor 20 is built on self-illumination technology, for example with (possibly organic) light emitting diodes.

部分透過型鏡２２は、モニター２０の表示画面上に別々に配置することができるが、部分透過型鏡２２は、モニター２０の一体型コンポーネントであり得る。光が部分透過型鏡２２を通過することができることも部分透過型鏡２２に正面から入射する光の一部が反射されることも重要である。 Although the partially transmissive mirror 22 can be placed separately on the display screen of the monitor 20, the partially transmissive mirror 22 can be an integral component of the monitor 20. It is important that light can pass through the partially transmissive mirror 22 and that a portion of the light incident on the partially transmissive mirror 22 from the front is reflected.

図２は、カメラ１０とモニター２０の相互の配置およびプレゼンテーションシステムを使用するプレゼンター１に対する配置を示している。このプレゼンターは、有利にモニター２０によって出力される画像を観察することができるように、モニター２０の前の中央にいる。カメラ１０は、部分透過型鏡２２から反射されるプレゼンター１の画像がカメラ１０によって撮影されるように、プレゼンター１の上に傾斜して配置されている。アプリケーションの範囲では、「プレゼンター」は、プレゼンテーションシステムがどのような目的で使用されても、プレゼンテーションシステムのすべてのユーザーとして理解されるべきである。これらの用語では、テレビ会議の参加者または司会者も、「プレゼンター」とみなされる。プレゼンター１がモニター２０を見ている図示した観測角は、部分透過型鏡２２から反射されるプレゼンター１の画像を撮影することができるようにカメラ１０を配置および位置合わせすることができる限り、ここでは可変である。カメラ１０の後ろのオプションの暗い背景は、プレゼンター１のモニター２０上の反射を減らすため、読み取りを容易にする。 FIG. 2 shows the arrangement of the camera 10 and the monitor 20 relative to each other and to the presenter 1 using the presentation system. The presenter is advantageously centered in front of the monitor 20 so that the image output by the monitor 20 can be observed. The camera 10 is arranged obliquely above the presenter 1 so that the image of the presenter 1 reflected from the partially transmissive mirror 22 is captured by the camera 10. In the scope of the application, "presenter" is to be understood as any user of the presentation system, for whatever purpose the presentation system is used. A participant or moderator of a video conference is also considered a "presenter" under these terms. The illustrated viewing angle at which the presenter 1 is looking at the monitor 20 is here as long as the camera 10 can be positioned and positioned so that it can capture an image of the presenter 1 reflected from the partially transmissive mirror 22. It is variable. An optional dark background behind camera 10 reduces reflections on presenter 1's monitor 20, making it easier to read.

同様に、図１に見られるように、カメラ１０とモニター２０の両方が、制御コンピューター３０に接続されている。制御コンピューター３０は、モニター画像生成機３１、例えば、プレゼンテーション用の画像（「スライド」）を提供するプレゼンテーションプログラムを備えている。これらは、モニター２０に接続されており、モニター画像生成機３１によって出力される画像をモニター２０に表示する第１のグラフィックユニット３２（グラフィックカードとも呼ばれる）に中継される。図３は、モニター２０によって出力されるこのようなモニター画像２００を概略的に示している。モニター画像２００が、モニター画像生成機３１によって出力されるデータの形態で図１に示されている。 Similarly, as seen in FIG. 1, both camera 10 and monitor 20 are connected to control computer 30. The control computer 30 includes a monitor image generator 31, for example a presentation program that provides images ("slides") for presentation. These are connected to the monitor 20 and relayed to a first graphics unit 32 (also called a graphics card) which displays the images output by the monitor image generator 31 on the monitor 20. FIG. 3 schematically shows such a monitor image 200 output by monitor 20. FIG. A monitor image 200 is shown in FIG. 1 in the form of data output by monitor image generator 31. As shown in FIG.

プレゼンター１は、自分の前のモニター２０上のモニター画像２００を見て、指２でモニター画像２００の要素を指さすか、または自分の目３をモニター画像２００の一部に向けることができる。 The presenter 1 may look at the monitor image 200 on the monitor 20 in front of him and point with his finger 2 to an element of the monitor image 200 or direct his eyes 3 to a portion of the monitor image 200.

この間、プレゼンター１は、カメラ画像１００をリアルタイムに出力するカメラ１０によって撮影される。これは、図３にも示されている。図１では、カメラ画像１００は、カメラ１０から制御コンピューター３０に送信されるデータの形態で再び示されている。 During this time, the presenter 1 is photographed by the camera 10 which outputs the camera image 100 in real time. This is also shown in FIG. In FIG. 1, the camera image 100 is again shown in the form of data transmitted from the camera 10 to the control computer 30.

モニター２０と部分透過型鏡２２に対して斜めにカメラ１０が配置されているため、カメラ画像１００に再現されたモニター２０の縁部２３は、例えば台形のように歪んでいる。しかし、部分透過型鏡２２から反射されるカメラ画像１００の一部は、反射の物理的性質によって歪められていない。さらに、カメラ画像１００は、部分透過型鏡２２から反射されるよりも大きな部分を含むことができる。 Since the camera 10 is arranged diagonally with respect to the monitor 20 and the partially transmissive mirror 22, the edge 23 of the monitor 20 reproduced in the camera image 100 is distorted, for example, like a trapezoid. However, the portion of camera image 100 that is reflected from partially transmissive mirror 22 is not distorted by the physics of reflection. Additionally, camera image 100 may include a larger portion than is reflected from partially transmissive mirror 22.

ビデオカメラ１０として赤外線カメラを使用するため、モニター画像は、カメラ画像１００では非表示である。モニター２０の観察者にとっての最適な印象は、暗闇においても、赤外線カメラとシーンの赤外線照明と、場合によってはさらに、好ましくは赤外線を反射するが可視光を透過するモニター２０上の表示画面フィルムとの組合せによって実現することができる。 Since an infrared camera is used as the video camera 10, the monitor image is not displayed in the camera image 100. The optimum impression for the observer of the monitor 20, even in darkness, is achieved by the use of an infrared camera and infrared illumination of the scene, and possibly also with a display screen film on the monitor 20 that preferably reflects infrared radiation but transmits visible light. This can be realized by a combination of the following.

ビデオカメラ１０として赤外線カメラを使用することによって、プレゼンター１とその周囲は、プレゼンター１が光源自体によって、または光源の反射またはモニター上の照明された周囲によって邪魔されることなく、十分に照明することができる。その場合、カメラ画像１００のカラー印象は、さらなるカメラを使用することによって実現することができ、これは、低いピクセル解像度でトゥルーカラー画像を作成する可能性がある。このトゥルーカラー画像は、例えば人工知能を使用して、モニター画像２００の同時着色に使用することができる。プレゼンター１の静止カラー画像は、カメラ画像１００を着色するためのカラーテンプレートとしても使用することができる。 By using an infrared camera as the video camera 10, the presenter 1 and his surroundings are fully illuminated without the presenter 1 being disturbed by the light source itself or by the reflections of the light source or the illuminated surroundings on the monitor. Can be done. In that case, the color impression of the camera image 100 can be achieved by using a further camera, which may create a true color image with a lower pixel resolution. This true color image can be used for simultaneous coloring of the monitor image 200, for example using artificial intelligence. The still color image of presenter 1 can also be used as a color template for coloring camera image 100.

カメラは、プレゼンター１に焦点合わせされる。これは、カメラ１０の被写界深度範囲が、一般に通常の周囲照明ではこんなに遠くまでは及ばないため、部分透過型鏡２２の平面内の要素がカメラ１０によって鮮明に撮影することができないという結果になる。したがって、モニター２０の画像は、ぼやけてしか表示されないため、カメラ１０が、それを可能な限り録画しない場合に有利である。 The camera is focused on presenter 1. This results in elements in the plane of the partially transmitting mirror 22 not being clearly imaged by the camera 10 since the depth of field range of the camera 10 generally does not extend this far under normal ambient lighting. become. Therefore, it is advantageous if the camera 10 records as little of it as possible, since the image on the monitor 20 is displayed only blurred.

図示した例では、モニター画像２００をカメラ１０に到達させないように、偏光フィルター１１がカメラ１０の前にさらに配置されている。それは、本来または前面に配置される偏光フィルターフィルム２２によって偏光されるモニター２０によって放射される光がカメラ１０に到達するのではなく、むしろ偏光フィルター１１によって非表示になるように設定される。このため、プレゼンター１が見ているモニター画像２００は、カメラ画像１００では、さらに抑制されている。例えば、偏光フィルターフィルム２２が直線的に偏光する場合に、偏光フィルター１１が、偏光フィルターフィルム２２と偏光フィルター１１が相互に交差する偏光面を有するように位置合わせされる。 In the illustrated example, a polarizing filter 11 is further placed in front of the camera 10 to prevent the monitor image 200 from reaching the camera 10. It is set in such a way that the light emitted by the monitor 20, which is originally polarized by a polarizing filter film 22 arranged in front, does not reach the camera 10, but is rather hidden by the polarizing filter 11. Therefore, the monitor image 200 that the presenter 1 is viewing is further suppressed in the camera image 100. For example, when the polarizing filter film 22 linearly polarizes light, the polarizing filter 11 is aligned such that the polarizing filter film 22 and the polarizing filter 11 have polarization planes that intersect with each other.

この配置の１つの改良では、反射偏光フィルムを使用することができ、これは、損失を最小限に抑えて偏光フィルターフィルム２２と部分透過型鏡２２の特性を組み合わせるため、偏光フィルターフィルム２２と部分透過型鏡２２の両方を形成する。 In one refinement of this arrangement, a reflective polarizing film can be used, which combines the properties of the polarizing filter film 22 and the partially transmitting mirror 22 with minimal losses. Both transmission mirrors 22 are formed.

偏光フィルター１１と偏光フィルターフィルム２２との組合せの代わりに、視野角フィルターとも呼ばれる、表示画面に取り付けられた角度依存透過フィルターを使用して、モニター画像２００をカメラ画像１００から隠すことができる。 Instead of the combination of polarizing filter 11 and polarizing filter film 22, an angle-dependent transmission filter attached to the display screen, also called a viewing angle filter, can be used to hide the monitor image 200 from the camera image 100.

カメラ１０が、可能な限り鈍感であるか、または対応する上流フィルターによって鈍感にされる波長に対して、狭帯域カラーエミッターを有するモニター２０をさらに使用することもできる。 It is also possible to use a monitor 20 with narrowband color emitters to wavelengths to which the camera 10 is as insensitive as possible or desensitized by a corresponding upstream filter.

時間領域内のモニター画像２００の追加の抑制もまた、例えば、モニター２０上の表示が、例えば、切り替え可能な鏡を介して、ストロボ効果的に行われるという点で可能である。モニター画像２００が表示されている間、カメラ１０は、電子カメラシャッターによって電気的にオフになるか、またはモニター画像２０は、カメラ１０の前に配置される切り替え可能な透過フィルターによって光学的に非表示である。 An additional suppression of the monitor image 200 in the time domain is also possible, for example in that the display on the monitor 20 is strobed, for example via a switchable mirror. While the monitor image 200 is displayed, the camera 10 is turned off electrically by an electronic camera shutter, or the monitor image 20 is optically turned off by a switchable transmission filter placed in front of the camera 10. It is a display.

カメラ１０は、制御コンピューター３０内で画像処理ユニット３３に接続され、これは、カメラ画像１００の変換をリアルタイムに行い、これを使用して、例えば、カメラ１０の配置に起因するモニター２０の縁部２３の台形歪みが補償される（図３参照）。これは、２つの画像が出力画像４００において一致し、出力画像４００の観察者が、プレゼンター１がモニター画像２００内でどの点を実際に見ているかまたは指さしているかを理解することができるように、カメラ画像１００をモニター画像２００と重ね合わせることに特に関連する。 The camera 10 is connected within the control computer 30 to an image processing unit 33 which performs a transformation of the camera image 100 in real time and uses this to detect, for example, the edges of the monitor 20 due to the placement of the camera 10. 23 trapezoidal distortions are compensated for (see FIG. 3). This is done so that the two images match in the output image 400 and the viewer of the output image 400 can understand which point in the monitor image 200 the presenter 1 is actually looking at or pointing at. , is particularly relevant to superimposing the camera image 100 with the monitor image 200.

カメラ画像１００の変更に代替的または追加的に、プレゼンターにとってのモニター２０上のモニター画像２００の再生は、出力画像４００上の２つの画像の一致が再び得られるように事前に歪めることができる。 Alternatively or in addition to changing the camera image 100, the playback of the monitor image 200 on the monitor 20 for the presenter can be pre-distorted so that a match of the two images on the output image 400 is again obtained.

カメラ画像１００のこの変更および／またはモニター２０上のモニター画像２００の再生は、カメラ画像１００内のプレゼンターの画像の分離が赤外線カメラを使用することによって行われるのではなくむしろ、例えば、カメラの録画段階においてモニター２０の暗スイッチングによって行われるプレゼンテーションシステムで使用することもできることに留意されたい。 This modification of the camera image 100 and/or the reproduction of the monitor image 200 on the monitor 20 is such that the separation of the image of the presenter within the camera image 100 is not done by using an infrared camera, but rather, for example, by recording a camera. It should be noted that it can also be used in a presentation system where dark switching of the monitor 20 is performed in stages.

オプションで、縁取りまたは詳細拡大および／または位置補正および／または回転補正および／またはミラーリングをさらに行うことができる。図３に見られるように、画像処理ユニット３３は、それに応じて、変更されたカメラ画像３３０を出力する。上記の同時着色は、画像処理ユニット３３で行うこともできる。 Optionally, further edging or detail magnification and/or position correction and/or rotation correction and/or mirroring can be performed. As seen in FIG. 3, the image processing unit 33 outputs a modified camera image 330 accordingly. The above simultaneous coloring can also be performed by the image processing unit 33.

制御コンピューター３０はさらに、第２のグラフィックユニット３５（すなわち、さらなるグラフィックカード）を備えており、これに、モニター画像２００と変更されたカメラ画像３３０の両方が、ミキサー３４を介して供給される。ミキサー３４は、２つの画像を、おそらく調整可能な程度の明るさおよび／または透明度で重ね合わせる。モニター画像２００と変更されたカメラ画像３３０との重ね合わせが出力画像４００として表示される再生システム４０が、第２のグラフィックユニット３５に接続されている。 The control computer 30 further comprises a second graphics unit 35 (ie a further graphics card) to which both the monitor image 200 and the modified camera image 330 are supplied via the mixer 34 . Mixer 34 superimposes the two images, possibly with adjustable degrees of brightness and/or transparency. A playback system 40 is connected to the second graphics unit 35, in which a superposition of the monitor image 200 and the modified camera image 330 is displayed as an output image 400.

講義またはプレゼンテーションの場合に、再生システム４０は、例えば、プレゼンター１の後ろの投影面に出力画像４００を表示する投影システム（プロジェクター）であり得る。第２のグラフィックユニット３５は、追加的または代替的に、出力画像４００をデータフォーマットで送信（「流す」）または保存するように設計することもできる。 In the case of a lecture or presentation, the playback system 40 can be, for example, a projection system (projector) that displays the output image 400 on a projection surface behind the presenter 1. The second graphics unit 35 may additionally or alternatively be designed to transmit ("stream") or store the output image 400 in a data format.

示されているプレゼンテーションシステムまたは図３と組み合わせて説明されているプレゼンテーション方法は、プレゼンター１がモニター画像２００を観察でき、それにもかかわらず、プレゼンター１の正面録画を出力画像４００で聴衆に提示することができるという利点を提供する。さらに、再生システム４０上の出力画像４００はモニター画像２００を示しているため、再生システム４０は、プレゼンテーション、正面に見えるプレゼンターに必要な、または目的の眺めと、プレゼンター１が参照する資料の両方を１つの画像に一体化する。 The presentation system shown or the presentation method described in conjunction with FIG. provides the advantage of being able to Furthermore, since the output image 400 on the playback system 40 shows the monitor image 200, the playback system 40 can capture both the presentation, the required or desired view of the presenter in front, and the material to which the presenter 1 is referencing. Unify into one image.

プレゼンター１がモニター画像２０の特定の点または領域に目３を留めるか、またはそれらを指で指さす場合に、対応する目の動きと位置合わせまたは方向指示も、出力画像４００上で分かる。したがって、プレゼンター１は、モニター画像２００に対して完全に自然に振る舞うため、プレゼンター１の焦点が現在向けられている場所を聴衆が理解するのは容易である。 When the presenter 1 fixes the eyes 3 on or points at particular points or areas of the monitor image 20, the corresponding eye movements and alignment or orientation indications are also visible on the output image 400. The presenter 1 thus behaves completely naturally with respect to the monitor image 200, so that it is easy for the audience to understand where the presenter 1's focus is currently directed.

上記のプレゼンテーションシステムの１つの改良では、部分透過型鏡２２は、タッチセンサー方式面を備えることができるため、制御コンピューター３０の入力素子として使用することができる。好ましくは、指２またはデジタル入力鉛筆（ここでは図示せず）を使用して操作することができる、容量的に動作するタッチセンサー方式面が提供される。 In one refinement of the presentation system described above, the partially transmissive mirror 22 can be provided with a touch-sensitive surface so that it can be used as an input element for the control computer 30. Preferably, a capacitively operated touch sensitive surface is provided which can be operated using a finger 2 or a digital input pencil (not shown here).

この設計では、プレゼンター１は、タッチスクリーンのように指でモニター２０を操作することができ、または対応する対話型プログラムが使用される場合に、モニター画像２００に影響を与えることができる。プレゼンテーションシステムは、プレゼンター１が、部分透過型鏡ひいてはモニター２０上にデジタル入力鉛筆を使用してマーキングを配置するか、または書き込むという点で、タブレットのように使用することができる。聴衆は、得られる「タブレット画像」と同時に、再生モニター４０上の正面図でプレゼンターを見る。 In this design, the presenter 1 can manipulate the monitor 20 with his fingers like a touch screen or influence the monitor image 200 if a corresponding interactive program is used. The presentation system can be used like a tablet in that the presenter 1 places or writes markings on the partially transmissive mirror and thus on the monitor 20 using a digital input pencil. The audience sees the presenter in front view on the playback monitor 40 at the same time as the resulting "tablet image".

図１および図２に示されているプレゼンテーションシステムのさらなる変更では、カメラ１０は、人が表示画面の前の中央にいなくても、最適な画像印象を得るために、直接か、または鏡を介してかのいずれかで、動的に動かすことができる。 In a further modification of the presentation system shown in Figures 1 and 2, the camera 10 can be mounted either directly or through a mirror in order to obtain an optimal image impression, even if the person is not centered in front of the display screen. It can be moved dynamically, either through the

プレゼンテーションシステムのさらなる変更では、カメラ１０はまた、複数回実装することができ、例えば、横方向に取り付けることができ、そして各場合に、モニター２０上の反射を介してプレゼンター１を観察することができる。その場合、複数のカメラ１０の画像を組み立てて、１つの画像を形成することができ、これは、「仮想」カメラに由来するように見える。このような仮想カメラは、例えば３次元計算によって、他の方法ではアクセスできない位置に動かすことができる。本オプションは、赤外線カメラとして設計されている複数の、例えば２台のカメラ１０と組み合わせて可能である。その場合、これらのカメラ１０の画像は、好ましくは、第１に組み合わされて仮想カメラの画像を形成し、これは、その場合、仮想カメラは、追加のトゥルーカラーカメラの色情報項目に基づいて着色される。 In a further modification of the presentation system, the camera 10 can also be implemented multiple times, for example mounted laterally, and in each case the presenter 1 can be observed via the reflection on the monitor 20. can. In that case, the images of multiple cameras 10 can be assembled to form a single image, which appears to originate from a "virtual" camera. Such a virtual camera can be moved to otherwise inaccessible positions, for example by three-dimensional calculations. This option is possible in combination with several, for example two, cameras 10 designed as infrared cameras. In that case, the images of these cameras 10 are preferably first combined to form an image of a virtual camera, in which case the virtual camera is based on the color information items of the additional true color cameras. colored.

図１および図２に示されているプレゼンテーションシステムのさらなる変更では、カメラ１０と部分透過型鏡２２との間に配置される少なくとも１つの追加の鏡によって、カメラ１０の位置決めのより大きな柔軟性を実現することができる。この鏡は、干渉を少なくするために、特に可視光を透過させることもできる。 A further modification of the presentation system shown in FIGS. 1 and 2 provides greater flexibility in the positioning of the camera 10 by at least one additional mirror placed between the camera 10 and the partially transmissive mirror 22. It can be realized. This mirror can also be particularly transparent to visible light in order to reduce interference.

例えば、ラップトップコンピューターのモニターをモニター２０として使用することが可能である。ラップトップコンピューターは、しばしば、ラップトップのユーザーに向いている、モニター２０の上の中央に配置されるカメラを有している。プレゼンターからモニター２０の平面の前とモニター２０の上に配置される傾斜した追加の鏡を使用して、プレゼンターの画像は、部分透過型鏡２２上で反射されるラップトップコンピューターの一体型カメラによって録画することができ、その場合、追加の鏡上で反射される。追加の鏡は、例えば、ラップトップの上縁で留めるクランプを有する小型の伸縮式マウントまたはグースネック型マウントを使用して配置することができるため、ラップトップコンピューターは、プレゼンテーションシステムのカメラ、モニター、および制御コンピューターを表している。 For example, a laptop computer monitor can be used as monitor 20. Laptop computers often have a camera centrally located above the monitor 20, facing the laptop user. Using an additional tilted mirror placed in front of and above the plane of the monitor 20 from the presenter, the presenter's image is reflected by the laptop computer's integrated camera onto the partially transmissive mirror 22. It can be recorded and then reflected on an additional mirror. Additional mirrors can be placed, for example, using small telescoping or gooseneck mounts with clamps that fasten on the top edge of the laptop, so that the laptop computer can be used with the presentation system's camera, monitor, and Represents the control computer.

図１および図２に示されているプレゼンテーションシステムのさらなる変更では、可動性変形が、可能な、小型の、例えば無線カメラを使用することによってプレゼンターの本体に実装することができ、これにより、同様に、例えば、携帯電話やタブレットコンピューターのモニター上の反射を介して観察者が録画される。この場合に、遠近補正は、特定の状況下で、可変の幾何学的状況にリアルタイムに適応されるべきである。例えば、このために、モニターの輪郭を検出することができる。モニターとカメラとの間の適切な角度は、例えばサーボモーターによって手動または自動で追跡することができる。 In a further modification of the presentation system shown in Figures 1 and 2, mobile deformation can be implemented in the body of the presenter by using a possible, small, e.g. wireless camera, thereby making it possible to For example, the observer is recorded via the reflection on the monitor of a mobile phone or tablet computer. In this case, the perspective correction should be adapted in real time to the variable geometrical situation under certain circumstances. For example, the contour of the monitor can be detected for this purpose. The proper angle between the monitor and camera can be tracked manually or automatically, for example by a servo motor.

２つの相互接続されたプレゼンテーションシステムの配置が、図１と同様の概略図で図４に示されている。同一の参照記号は、上記の図と同様に、この図の同一要素または等しく機能する要素を識別する。 An arrangement of two interconnected presentation systems is shown in FIG. 4 in a schematic diagram similar to FIG. 1. Identical reference symbols identify identical or equivalently functional elements in this figure as in previous figures.

図４の配置は、ここでは例として、２人の参加者のためのテレビ会議システムとして設計されている。したがって、プレゼンテーションシステムのコンポーネントは２回提供され、各々第１または第２の参加者に関連付けられている。第２の参加者に関連付けられているコンポーネントの参照記号には、区別しやすいようにアポストロフィが付いている。 The arrangement of FIG. 4 is designed here as an example as a video conference system for two participants. Therefore, components of the presentation system are provided twice, each associated with a first or second participant. Reference symbols for components associated with the second participant are marked with an apostrophe for easy differentiation.

本配置は、各参加者のためにその前に偏光フィルター１１、１１’を有するカメラ１０、１０’を含む。さらに、偏光フィルターフィルム２１、２１’と部分透過型鏡２２、２２’を有するモニター２０、２０’が、各参加者のために提供される。本配置の各部分はさらに、制御コンピューター３０、３０’を有し、そこでは、カメラ１０、１０’によって供給されるデータは、画像処理ユニット３３、３３’で処理されて、変更されたカメラ画像３３０、３３０’を形成する。カメラ１０、１０’とモニター２０、２０'の幾何学的配置に対して、図１および図２の実施形態が参照される。図４による配置の２つの部分の各々において、対応するカメラ１０、１０’は、モニター２０、２０’、特に部分透過型鏡２２、２２’を介して反射されるプレゼンター（この例示的な実施形態では参加者と呼ばれる）の画像を録画する。 The arrangement includes a camera 10, 10' with a polarizing filter 11, 11' in front of it for each participant. Furthermore, a monitor 20, 20' with a polarizing filter film 21, 21' and a partially transmitting mirror 22, 22' is provided for each participant. Each part of the arrangement furthermore has a control computer 30, 30', in which the data supplied by the camera 10, 10' is processed in an image processing unit 33, 33' to produce a modified camera image. 330, 330' are formed. For the geometrical arrangement of the cameras 10, 10' and the monitors 20, 20', reference is made to the embodiments of FIGS. 1 and 2. In each of the two parts of the arrangement according to FIG. (referred to as participants).

上記の例示的な実施形態とは対照的に、この場合に、変更されたカメラ画像３３０、３３０’は、ミキサー３４を介して第２のグラフィックユニット３５に送信されるのではなく、むしろネットワークインターフェース３６を介して本配置の第２の部分のミキサー３４’に送信される。変更されたカメラ画像は、そこで、モニター画像生成機３１’によって提供されるモニター画像２００と共に、モニター画像２００と変更されたカメラ画像３３０との重ね合わせを第２の参加者に表示するために、モニター２０’に送信する第１のグラフィックユニット３２’に供給される。したがって、第２の参加者のモニター２０’は、この例示的な実施形態では、再生システム４０（図１参照）を形成する。モニター２０、２０’の全体、または各場合に、例えば窓の形態のその一部が、再生システムとして使用することができる。 In contrast to the above exemplary embodiment, in this case the modified camera image 330, 330' is not sent via the mixer 34 to the second graphics unit 35, but rather via the network interface 36 to the mixer 34' of the second part of the arrangement. The modified camera image is then combined with the monitor image 200 provided by the monitor image generator 31' to display to the second participant a superposition of the monitor image 200 and the modified camera image 330. A first graphics unit 32' is provided which transmits to a monitor 20'. The second participant's monitor 20' therefore forms a playback system 40 (see FIG. 1) in this exemplary embodiment. The entire monitor 20, 20' or in each case a part thereof, for example in the form of a window, can be used as a reproduction system.

逆に、第２の領域のカメラ画像１００’は、画像処理ユニット３３’によって均一化され、ネットワークインターフェース３６’を介して第２の参加者の変更されたカメラ画像３３０’として第１の参加者の制御コンピューター３０に送信される。ここでも、モニター画像生成機３１によって提供されるモニター画像２００との重ね合わせがミキサー３４内で行われる。重ね合わせられた画像は、第１の参加者のモニター２０の第１のグラフィックユニット３２を介して出力される。モニター画像生成機３１、３１’は、好ましくは、両方の場合に、同じモニター画像２００が各変更されたカメラ画像３３０、３３０’と混合されるように、両方の制御コンピューター３０、３０’内で同期される。このように、２つの相互接続されたプレゼンテーションシステムが形成され、一方のシステムのモニター２０、２０’は、他方のシステムの再生システムとしても機能する。 Conversely, the camera image 100' of the second region is homogenized by the image processing unit 33' and sent to the first participant as a modified camera image 330' of the second participant via the network interface 36'. control computer 30 of the computer. Again, superimposition with the monitor image 200 provided by the monitor image generator 31 takes place in the mixer 34 . The superimposed images are output via the first graphics unit 32 of the first participant's monitor 20. The monitor image generators 31, 31' are preferably arranged in both control computers 30, 30' so that in both cases the same monitor image 200 is mixed with each modified camera image 330, 330'. Synchronized. In this way, two interconnected presentation systems are formed, with the monitor 20, 20' of one system also serving as the playback system of the other system.

上記の方法によって、２人の参加者の各々は、モニター画像２００と対話者すなわち各他の参加者をモニター２０上に見ている。したがって、両方の参加者は、タッチセンサー方式のモニター２０、２０’を使用すると、モニター画像２００を同時に見て、場合によってはそれを処理することができる。さらに、カメラ１０、１０’またはモニター２０、２０’を適切に位置合わせすると、両方の参加者が互いをアイコンタクトで見ている。 With the method described above, each of the two participants sees the monitor image 200 and the interlocutor, ie each other participant, on the monitor 20. Thus, both participants can simultaneously view and potentially process the monitor image 200 using the touch-sensitive monitors 20, 20'. Furthermore, with the cameras 10, 10' or monitors 20, 20' properly aligned, both participants will be viewing each other with eye contact.

２つのモニター画像生成機３１、３１’の同期は、図４では破線矢印で表されている。このように制御コンピューター３０、３０’間に示されている合計３つの接続が、単一のネットワーク接続によって形成されていることは明らかである。しかし、もちろん、この場合に、より迅速に変化するカメラ画像１００、１００’を考慮に入れるために、変更されたカメラ画像３３０、３３０’とモニター画像２００の同期情報項目は、種々のデータ速度と待ち時間で送信することができる。 The synchronization of the two monitor image generators 31, 31' is represented in FIG. 4 by dashed arrows. It is thus clear that the total of three connections shown between the control computers 30, 30' are formed by a single network connection. But of course, in this case, in order to take into account the more rapidly changing camera images 100, 100', the synchronization information items of the modified camera images 330, 330' and the monitor image 200 may be modified at different data rates and It can be sent in the waiting time.

図４の図とは対照的に、変更されたカメラ画像３３０、３３０’とモニター画像２００との混合は、各他の制御コンピューター３０、３０’への送信が行われる前に、各制御コンピューター３０、３０'で行うこともできる。 In contrast to the illustration of FIG. 4, the mixing of the modified camera image 330, 330' and the monitor image 200 is performed at each control computer 30, 30' before the transmission to each other control computer 30, 30' takes place. , 30'.

１プレゼンター
２指
３目
１０、１０' ビデオカメラ
１００カメラ画像
１１、１１' 偏光フィルター
２０、２０' モニター
２００モニター画像
２１、２１' 偏光フィルターフィルム
２２、２２' 部分透過型鏡
２３縁部
３０、３０' 制御コンピューター
３１、３１' モニター画像生成機
３２、３２' 第１のグラフィックユニット
３３、３３' 画像処理ユニット
３３０変更されたカメラ画像
３４、３４' ミキサー
３５第２のグラフィックユニット
３６、３６' ネットワークインターフェース
４０再生システム
４００出力画像 1 Presenter 2 Finger 3 Eyes 10, 10' Video camera 100 Camera image 11, 11' Polarizing filter 20, 20' Monitor 200 Monitor image 21, 21' Polarizing filter film 22, 22' Partially transmitting mirror 23 Edge 30, 30 'Control computer 31, 31' Monitor image generator 32, 32' First graphics unit 33, 33' Image processing unit 330 Modified camera image 34, 34' Mixer 35 Second graphics unit 36, 36' Network interface 40 Playback system 400 Output image

Claims

A presentation system for joint display of a monitor image (200) and a camera image (100) of a presenter (1) by a playback system (40), recorded using at least one video camera (10), comprising:
the monitor image (200) and the camera image (100) are superimposed in a mixer (34) for display by the playback system (40);
A monitor (20) having a display screen is provided for displaying a monitor image (200) to a presenter (1) in front of said monitor (20);
A partially transmitting mirror (22) is placed in front of the display screen,
said at least one video camera (10) is arranged to film the presenter (1) reflected through said partially transmissive mirror (22);
Presentation system, characterized in that said at least one video camera (10) is an infrared camera.

Presentation system according to claim 1, wherein the partially transmitting mirror (22) is arranged flat on the display screen parallel to the display screen.

Presentation system according to claim 1 or 2, wherein the partially transmitting mirror (22) is integrated into the monitor (20) as a protective glass for the display screen.

A presentation system according to any one of claims 1 to 3, wherein the partially transmissive mirror (22) has a touch-sensitive sensor surface.

Presentation system according to any one of claims 1 to 4, wherein a polarizing filter is arranged in front of the at least one video camera (10).

Presentation system according to claim 5, wherein a polarizer is arranged between the display screen of the monitor (20) and the partially transmissive mirror (22).

The presentation system according to claim 6, wherein the polarizer is a polarizing filter film (21) extending flat over the entire display screen.

Presentation system according to any one of the preceding claims, wherein a color filter or a viewing angle filter is arranged between the display screen of the monitor (20) and the partially transmitting mirror (22).

Real-time image processing comprises a control computer (30) with an image processing unit (33) making it possible to homogenize said camera image (100), so that the modified camera image (330) Presentation system according to any one of claims 1 to 8, relayed to a mixer (34).

The presentation system of claim 9 , wherein the modified camera image (330) is relayed to a remote mixer (34') via a network.

Presentation system according to claim 10, wherein the remote mixer (34') acts as the playback system (40) and is connected to a remote monitor (20') and is also part of a further presentation system. .

at least one further mirror is arranged in the beam path between the at least one video camera (10) and the partially transmitting mirror (22);
1 . The presenter ( 1 ) is photographed in reflection by the at least one video camera ( 10 ) via the at least one further mirror and via the partially transmitting mirror ( 22 ). 12. The presentation system according to any one of 11 to 11.

A further camera is provided and arranged to record a color image of the presenter (1), based on which coloring of said camera image (100) and/or said monitor image (200) is performed. 13. A presentation system according to any one of claims 1 to 12, wherein the presentation system is capable of performing presentations.

A presentation method for the joint display of a monitor image (200) and a camera image recorded using at least one video camera (10) by a playback system (40), comprising:
a monitor (20) having a display screen is provided, said monitor image (200) being displayed to a presenter (1) in front of said monitor (20);
At least one video camera (10) is a presenter ( 10) Take a picture of
The camera image (100) is processed in real time by an image processing unit (33) to generate a modified camera image (330) and the monitor image (200) is displayed on the monitor (20). It may be homogenized before being
A method of presentation, wherein the monitor image (200) and the modified camera image (330) are superimposed in a mixer (34) for display by the playback system (40).

Presentation according to claim 14, wherein in said processing step said camera image (100) is distorted, fringed and/or detail magnified and/or position corrected and/or rotation corrected and/or reflected. Method.

A presentation method according to claim 14 or 15, wherein in the processing step the camera image (100) is colored using a color image of the presenter (1) by a further camera.

A presentation method according to any one of claims 14 to 16, wherein the playback system (40) comprises a further presentation system monitor (20').