JP7387653B2 - プレゼンテーションシステムおよびプレゼンテーション方法 - Google Patents

プレゼンテーションシステムおよびプレゼンテーション方法 Download PDF

Info

Publication number
JP7387653B2
JP7387653B2 JP2020572669A JP2020572669A JP7387653B2 JP 7387653 B2 JP7387653 B2 JP 7387653B2 JP 2020572669 A JP2020572669 A JP 2020572669A JP 2020572669 A JP2020572669 A JP 2020572669A JP 7387653 B2 JP7387653 B2 JP 7387653B2
Authority
JP
Japan
Prior art keywords
monitor
image
camera
presenter
presentation system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020572669A
Other languages
English (en)
Other versions
JP2021529466A (ja
Inventor
キリアン タロ テオドール ジンガー,
サミュエル トーマス ドーキンス,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universitaet Kassel
Original Assignee
Universitaet Kassel
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universitaet Kassel filed Critical Universitaet Kassel
Publication of JP2021529466A publication Critical patent/JP2021529466A/ja
Application granted granted Critical
Publication of JP7387653B2 publication Critical patent/JP7387653B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/288Filters employing polarising elements, e.g. Lyot or Solc filters
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/08Trick photography
    • G03B15/10Trick photography using back-projection, i.e. blending artificial background with real foreground
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Description

本発明は、ビデオカメラを使用して録画される、再生システムによるプレゼンターのモニター画像とカメラ画像の共同表示のためのプレゼンテーションシステムであって、再生システムによる表示のためにモニター画像とカメラ画像が、ミキサー内で重ね合わせられるプレゼンテーションシステムに関する。モニターの前にいるプレゼンターにモニター画像を表示するために、表示画面を有するモニターが設けられており、部分透過型鏡が、表示画面の前に配置されており、少なくとも1つのビデオカメラが、部分透過型鏡を介して反射されるプレゼンターを撮影するように配置されている。本発明はさらに、ビデオカメラを使用して録画されるプレゼンターのカメラ画像を、再生システムを使用してモニター画像と一緒に表示するための方法に関する。
より多くの聴衆の前のプレゼンテーションの場合に、プレゼンターは、しばしばビデオカメラを使用して録画され、ビデオカメラで撮影される画像は、再生システム、例えば付随投影スクリーンを有するプロジェクターを使用して表示される。典型的なプレゼンテーションまたは講義の状況では、プレゼンターは、例えば、テキストまたはグラフィックを含むモニター画像をしばしば参照する。モニター画像は、一般に、別々の再生システムを使用するコンピューター支援方式で、または上記の再生システムの背景ベース画像または前景ベース画像としてプレゼンターと一緒に講堂に表示される。
プレゼンターがモニター画像を参照するために再生システムに目を向けるときに、プレゼンターは聴衆に背を向けるため、聴衆との接触を失う。これを防ぐために、プレゼンターは、しばしば例えばラップトップの形態の、自分の前にあるさらなるモニターを使用するため、プレゼンターは、モニターの画像を自分で見ていると同時に、聴衆の方を向くことができる。しかし、プレゼンターがこのモニターを見ていると、カメラを同時に覗き込むことができないため、プレゼンターのイライラさせる表示がモニター画像と一緒に再生システムに生じる。この現象は、モニター画像が、静止しておらず、例えば、プレゼンテーション中にプレゼンターのモニター上のタッチスクリーン入力またはデジタル鉛筆の使用で変更または展開される場合に、特に明確に生じる。
同様の状況が、スタジオテレビ放送において、モニターが、一方では、カメラを覗き込むことを望み、他方では、例えば天気図のように、実際にプレゼンターの前後に配置されているか、または単に観客のためだけにオーバーレイされているものを指さすことになっている場合に生じる。
テレビ会議の状況も、それと同様であり、参加者は、モニター上で遠隔参加者の画像を見ていると同時に、モニターに隣接して配置されるカメラで録画される。参加者が、モニターを見ていると、対話者が見えるが、この人は、参加者が彼とアイコンタクトをとるという感覚を持っていない。対話者は、参加者がカメラを覗き込んだ場合にのみこの感覚を持ち、その場合に、今度は参加者が、モニター上で対話者を見ていない。
このようなプレゼンテーションシステムは、テレビ会議の範囲内で使用して、対話形式で文書を共同で処理することもできる。この場合に、プレゼンテーションシステムは、少なくとも2回提供され、カメラとモニターは、各会議参加者に関連付けられており、モニターは、少なくとも1人の他の会議参加者のカメラ画像の再生システムとして同時に使用される。アイコンタクトの欠如の問題もこの場合に生じる。
テレビ会議を行うための装置が、米国特許出願公開第2004/0196359号明細書から知られており、そこでは、テレビ会議の参加者は、半透過型曲面鏡を介して対話者の画像を観察するが、彼を録画するカメラは、鏡の後ろに配置されており、鏡を通して少なくともユーザーの顔を録画する。
曲面鏡を使用することにより、モニターがカメラの光軸上にないように、モニターを参加者の前に横方向に配置することができるため、カメラの視点がプレゼンターの顔に合わせられない。それにもかかわらず、モニターの画像は、参加者にとってカメラの方向から来ているように見えるため、参加者は、モニターを見ているときにもカメラを覗き込む。しかし、この装置では、モニターは、参加者の方を向いていないため、参加者は、モニター上で、対話形式で行動できず、例えば、モニター上でタッチ機能を使用することも、デジタル鉛筆を使用してモニター上で行動することもできない。
独国特許出願公開第112010001819号明細書は、プレゼンターが部分透過表示面の前に立ち、その裏側にモニター画像が投影され、それを通してプレゼンターがカメラで録画されるテレビ会議システムを説明しており、そこでは、本システムの構造サイズが、ここでは不利であり、これは、表示面上のモニター画像の背面投影の欠点である。
冒頭に記載したタイプのシステムは、米国特許第9,270,933号明細書から知られており、これは、参加者がモニター画像を見ているときに同時にカメラを覗き込むように撮影されるテレビ会議を可能にする。これは、モニターに反射面があり、ユーザーが、この面から反射されて、カメラで録画されるという点で実現される。カメラ録画でユーザーの画像をモニターの画像から分離することができるように、モニターは、定期的に繰り返される方法で一時的に暗く切り替えられ、暗スイッチング中は、カメラ録画のみが引き続き処理される。暗スイッチングの持続時間は、ユーザーのモニター画像がちらつくことがないように、ここでは十分に短く選択される。しかし、本システムには、カメラの録画時間が非常に短いため、高レベルのカメラ感度が必要であり、ノイズの入った画像が生じる可能性があり、または参加者が、まばゆいばかりになる可能性がある高光強度を使用して照明される必要があるという欠点がある。さらなる欠点は、既存のモニター、例えばラップトップの表示画面が、ハードウェアの介入なく、必要とされる矢継ぎ早に容易に暗く切り替えることができないため、本方法が、この目的のために別々に構成されるモニターシステムを使用してのみ行うことができるということである。
米国特許出願公開第2004/0196359号明細書 独国特許出願公開第112010001819号明細書 米国特許第9,270,933号明細書
本発明の目的は、プレゼンターが、モニターを観察し、例えばデジタル鉛筆を使用してモニターの表面を対話形式で使用することもでき、同時に、プレゼンターが、モニターを見ているときにカメラを覗き込むことができるように、モニターで撮影することができる、冒頭に記載したタイプのコンパクトなプレゼンテーションシステムまたはプレゼンテーション方法を提供することである。この場合に、本システムは、そのハードウェアに介入しなくても、既存のモニターに簡単に後付けすることができるようにする必要がある。さらに、観客が、プレゼンターが表示画面上で見て指さしている場所を理解することができることが重要である。
この目的は、各独立請求項の特徴を有するプレゼンテーションシステムおよびプレゼンテーション方法によって実現される。有利な実施形態および改良は、従属請求項の主題である。
冒頭に記載したタイプの本発明によるプレゼンテーションシステムは、少なくとも1つのビデオカメラが赤外線カメラであるという点で区別される。
赤外線カメラを、好ましくはシーンすなわちプレゼンターの赤外線照明と組み合わせて使用することによって、カメラ画像内でモニター画像が生じないか、またはごくわずかな強度でしか生じない。同時に、モニターの観察者が自画像の反射にイライラしないため、観察者にとって最適な印象が得られる。この効果は、好ましくは赤外線を反射するが可視光を透過する表示画面フィルムなどをモニター上でさらに使用することによって、さらに強化することができる。そうでなければ、例えば、先行技術から知られているモニターの一時的な暗スイッチングの場合とは対照的に、モニターの変更は必要ではない。
赤外線カメラを使用しているため、プレゼンターとその周囲は、プレゼンターが光源自体や、光源の反射やモニター上の照明された周囲に邪魔されることなく、十分に照明することができる。アプリケーションの範囲では、赤外線カメラは、ビデオカメラとみなされ、赤外線波長範囲、すなわち約780ナノメートル(nm)を超える波長でのその強度は、可視光の範囲すなわち約400nmから750nmの範囲の波長よりも大幅に高い。この感度分布は、例えば、ビデオカメラの対応するセンサーおよび/または前面に配置されるフィルターによって実現することができる。
モニターで反射されたプレゼンターが録画されるため、プレゼンターは、モニター上の情報項目とカメラの方向の両方を見る。プレゼンターは、モニターを通してビデオカメラで録画されないため、フラットでコンパクトな構造を有する典型的なモニターを使用することができる。
プレゼンテーションシステムの1つの有利な実施形態では、部分透過型鏡が、表示画面に平行に表示画面上にフラットに配置されている。それは、例えば、表示画面の保護ガラスとしてモニターに組み込むことができる。さらに、部分透過型鏡は、好ましくは、タッチセンサー方式センサー面を有しているため、モニターは、例えば、モニター上で、対話形式で描画するための「タッチスクリーン」として使用することができる。プレゼンテーションシステムは、その場合に、黒板または「ホワイトボード」として使用することができる。
プレゼンテーションシステムのさらなる有利な設計では、偏光フィルターが、少なくとも1つのビデオカメラの前に配置されている。この場合に、偏光フィルター、特に表示画面全体一面にフラットに延びている偏光フィルターフィルムが、モニターの表示画面と部分透過型鏡との間に配置されている。それに代替的に、その機能原理によって偏光を放射するモニターを使用することもできる。ビデオカメラの前にある偏光フィルターは、本来またはモニターの前に配置される偏光子によって偏光される光を遮断し、モニターから放射される光がビデオカメラに到達しないという効果を有する。したがって、プレゼンターが見ているモニター画像は、カメラ画像には表示されない。ビデオカメラと偏光子の前の偏光フィルターは、例えば、光の直線偏光を使用してモニター画像を隠す場合に、偏光面を交差させることができる。あるいは、モニター画像は、円偏光または楕円偏光を介して非表示にすることもできる。
それに代替のプレゼンテーションシステムの実施形態では、カラーフィルターまたは視野角フィルターが、モニターの表示画面と部分透過型鏡との間に配置されている。このように、モニター画像は、カメラ画像内でさらに抑制することもできる。時間領域内のモニター画像の追加の抑制も、例えば、モニター上の表示が、例えば、切り替え可能な鏡を介して、ストロボ効果的に行われるという点で可能である。モニター画像が表示されている間、ビデオカメラは、電子カメラシャッターによって電気的にオフになるか、またはモニター画像は、ビデオカメラの前に配置される切り替え可能な透過フィルターによって光学的に非表示である。
さらなる有利な実施形態では、画像処理ユニットを有する制御コンピューターを含み、これにより、リアルタイム画像処理がカメラ画像を均一化することができ、変更されたカメラ画像は、ミキサーに中継される。モニターに対するカメラの角度によって生じるカメラ画像の歪みは、再生システムでは、モニター画像とプレゼンターの両方が、相互に正しく配置されて再生されるように、画像処理ユニットによってリアルタイムに修正することができる。これは、プレゼンターが見ている、または指さしている出力画像から正しく推測することもできるように、プレゼンターがモニターを見ている、または指さしている場合に特に関連する。さらなる実施形態では、それに代替的または追加的に、プレゼンターが見ているモニター画像は、出力画像内の2つの画像(モニター画像とカメラ画像)の一致も、このように再び生じるように、事前に歪めることができる。
さらなる有利な実施形態では、プレゼンテーションシステムは、変更されたカメラ画像がネットワークを介して遠隔ミキサーに中継されるように設計されている。遠隔ミキサーは、好ましくは遠隔モニターに接続されている。プレゼンターから遠隔にあるこのモニターは、一方では、再生システムとして機能し、他方では、さらなるプレゼンテーションシステムの一部であるため、プレゼンテーションシステムは、テレビ会議システムとして使用することができる。
プレゼンテーションシステムのさらなる有利な実施形態では、少なくとも1つのさらなる鏡が、少なくとも1つのビデオカメラと部分透過型鏡との間のビーム経路に配置されており、プレゼンターは、少なくとも1つのさらなる鏡を介して、そして部分透過型鏡を介して、少なくとも1つのビデオカメラによって反射して撮影される。ビデオカメラの位置決めにおけるより大きな柔軟性は、少なくとも1つのさらなる鏡によって実現される。
プレゼンテーションシステムのさらなる有利な実施形態では、プレゼンターのカラー画像を録画するようにさらなるカメラが提供および配置されており、これに基づいて、カメラ画像および/またはモニター画像の着色を行うことができる。このように、天然色の再生を可能にするために、そうでなければ、プレゼンターの白黒またはグレースケールで再生される赤外線画像を再び着色することができる。さらなるカメラは、好ましくは、プレゼンターに直接向いている、すなわち、反射配置ではない。着色は、ここでは、アルゴリズムまたは人工知能、特に自己学習アルゴリズムを使用することができる。代替の実施形態では、さらなるカメラ画像の代わりに、静止カラー画像を使用することもでき、その色は、その場合に、赤外線動画に移る。
本発明によるプレゼンテーション方法では、少なくとも1つのビデオカメラが、赤外線波長範囲内のカメラ画像内でモニター画像が表示されるモニターの表示画面の前に配置される部分透過型鏡を介して反射されるプレゼンターを撮影する。その場合、カメラ画像が画像処理ユニットによってリアルタイムに変更されたり、モニター画像がモニター上のその表示の前に歪められたりする。歪められる可能性のあるモニター画像と変更されたカメラ画像が、再生システムで表示するためにミキサー内で重ね合わせられる。プレゼンテーションシステムと組み合わせて記載した利点が得られる。
プレゼンテーション方法の1つの有利な改良では、変更するステップにおいて、カメラ画像が歪められたり、縁取りおよび/または詳細拡大および/または位置補正および/または回転補正および/または反射が行われたりする。
プレゼンテーション方法のさらなる有利な改良では、再生システムは、さらなるプレゼンテーションシステムのモニターを含む。したがって、モニター画像およびそれと重ね合わされたプレゼンター(この場合は参加者と呼ばれる)の変更されたカメラ画像は、モニター上でモニター画像として表示され、これは、同様に、さらなるプレゼンテーションシステムの一部として、さらなる参加者によって使用される。そのカメラ画像は、2つのプレゼンテーションシステムの配置によりテレビ会議を行うことができるように、第1に記載した参加者のモニター画像に相当する方法で重ね合わされる。
本発明は、図を使用して、例示的な実施形態に基づいて、以下により詳細に説明される。
プレゼンテーション方法を行うためのプレゼンテーションシステムの概略図を示す図である。 図1に示されているプレゼンテーションシステムのいくつかのコンポーネントの配置の詳細を示す図である。 例えば図1のプレゼンテーションシステムを使用して行うことができるプレゼンテーション方法の概略図を示す図である。 テレビ会議を行うために設計されるプレゼンテーションシステムの概略図を示す図である。
図1は、概略ブロック図の形態の、本アプリケーションによるプレゼンテーションシステムの例示的な実施形態を示している。図2は、プレゼンテーションシステムの一部の相互の幾何学的配置およびプレゼンテーションシステムを使用するプレゼンターに対する幾何学的配置を示している。
プレゼンテーションシステムは、偏光フィルター11が配置される光学ユニットの前にビデオカメラ10(以下、カメラ10とも呼ばれる)を含む。さらに、プレゼンテーションシステムは、表示画面(すなわち、表示面)上に、偏光子としての偏光フィルターフィルム21と部分透過型鏡22が配置されるモニター20を含む。ビデオカメラ10は、図示した例示的な実施形態では赤外線カメラであり、その感度は、可視範囲よりも赤外線範囲の波長でより大きい。
偏光フィルターフィルム21と部分透過型鏡22は、モニター20の表示面と同様に平面である。
以下、より詳細に説明されるように、モニター20自体が偏光を放射する場合に、偏光フィルターフィルム21は、省略することができる。一般に、バックライト付きLCD(液晶表示)モニターは、偏光を放射する。対照的に、モニター20は、自己照明技術に基づいて構築されており、例えば(おそらく有機)発光ダイオードを有する場合に、偏光フィルターフィルム21が有利に使用される。
部分透過型鏡22は、モニター20の表示画面上に別々に配置することができるが、部分透過型鏡22は、モニター20の一体型コンポーネントであり得る。光が部分透過型鏡22を通過することができることも部分透過型鏡22に正面から入射する光の一部が反射されることも重要である。
図2は、カメラ10とモニター20の相互の配置およびプレゼンテーションシステムを使用するプレゼンター1に対する配置を示している。このプレゼンターは、有利にモニター20によって出力される画像を観察することができるように、モニター20の前の中央にいる。カメラ10は、部分透過型鏡22から反射されるプレゼンター1の画像がカメラ10によって撮影されるように、プレゼンター1の上に傾斜して配置されている。アプリケーションの範囲では、「プレゼンター」は、プレゼンテーションシステムがどのような目的で使用されても、プレゼンテーションシステムのすべてのユーザーとして理解されるべきである。これらの用語では、テレビ会議の参加者または司会者も、「プレゼンター」とみなされる。プレゼンター1がモニター20を見ている図示した観測角は、部分透過型鏡22から反射されるプレゼンター1の画像を撮影することができるようにカメラ10を配置および位置合わせすることができる限り、ここでは可変である。カメラ10の後ろのオプションの暗い背景は、プレゼンター1のモニター20上の反射を減らすため、読み取りを容易にする。
同様に、図1に見られるように、カメラ10とモニター20の両方が、制御コンピューター30に接続されている。制御コンピューター30は、モニター画像生成機31、例えば、プレゼンテーション用の画像(「スライド」)を提供するプレゼンテーションプログラムを備えている。これらは、モニター20に接続されており、モニター画像生成機31によって出力される画像をモニター20に表示する第1のグラフィックユニット32(グラフィックカードとも呼ばれる)に中継される。図3は、モニター20によって出力されるこのようなモニター画像200を概略的に示している。モニター画像200が、モニター画像生成機31によって出力されるデータの形態で図1に示されている。
プレゼンター1は、自分の前のモニター20上のモニター画像200を見て、指2でモニター画像200の要素を指さすか、または自分の目3をモニター画像200の一部に向けることができる。
この間、プレゼンター1は、カメラ画像100をリアルタイムに出力するカメラ10によって撮影される。これは、図3にも示されている。図1では、カメラ画像100は、カメラ10から制御コンピューター30に送信されるデータの形態で再び示されている。
モニター20と部分透過型鏡22に対して斜めにカメラ10が配置されているため、カメラ画像100に再現されたモニター20の縁部23は、例えば台形のように歪んでいる。しかし、部分透過型鏡22から反射されるカメラ画像100の一部は、反射の物理的性質によって歪められていない。さらに、カメラ画像100は、部分透過型鏡22から反射されるよりも大きな部分を含むことができる。
ビデオカメラ10として赤外線カメラを使用するため、モニター画像は、カメラ画像100では非表示である。モニター20の観察者にとっての最適な印象は、暗闇においても、赤外線カメラとシーンの赤外線照明と、場合によってはさらに、好ましくは赤外線を反射するが可視光を透過するモニター20上の表示画面フィルムとの組合せによって実現することができる。
ビデオカメラ10として赤外線カメラを使用することによって、プレゼンター1とその周囲は、プレゼンター1が光源自体によって、または光源の反射またはモニター上の照明された周囲によって邪魔されることなく、十分に照明することができる。その場合、カメラ画像100のカラー印象は、さらなるカメラを使用することによって実現することができ、これは、低いピクセル解像度でトゥルーカラー画像を作成する可能性がある。このトゥルーカラー画像は、例えば人工知能を使用して、モニター画像200の同時着色に使用することができる。プレゼンター1の静止カラー画像は、カメラ画像100を着色するためのカラーテンプレートとしても使用することができる。
カメラは、プレゼンター1に焦点合わせされる。これは、カメラ10の被写界深度範囲が、一般に通常の周囲照明ではこんなに遠くまでは及ばないため、部分透過型鏡22の平面内の要素がカメラ10によって鮮明に撮影することができないという結果になる。したがって、モニター20の画像は、ぼやけてしか表示されないため、カメラ10が、それを可能な限り録画しない場合に有利である。
図示した例では、モニター画像200をカメラ10に到達させないように、偏光フィルター11がカメラ10の前にさらに配置されている。それは、本来または前面に配置される偏光フィルターフィルム22によって偏光されるモニター20によって放射される光がカメラ10に到達するのではなく、むしろ偏光フィルター11によって非表示になるように設定される。このため、プレゼンター1が見ているモニター画像200は、カメラ画像100では、さらに抑制されている。例えば、偏光フィルターフィルム22が直線的に偏光する場合に、偏光フィルター11が、偏光フィルターフィルム22と偏光フィルター11が相互に交差する偏光面を有するように位置合わせされる。
この配置の1つの改良では、反射偏光フィルムを使用することができ、これは、損失を最小限に抑えて偏光フィルターフィルム22と部分透過型鏡22の特性を組み合わせるため、偏光フィルターフィルム22と部分透過型鏡22の両方を形成する。
偏光フィルター11と偏光フィルターフィルム22との組合せの代わりに、視野角フィルターとも呼ばれる、表示画面に取り付けられた角度依存透過フィルターを使用して、モニター画像200をカメラ画像100から隠すことができる。
カメラ10が、可能な限り鈍感であるか、または対応する上流フィルターによって鈍感にされる波長に対して、狭帯域カラーエミッターを有するモニター20をさらに使用することもできる。
時間領域内のモニター画像200の追加の抑制もまた、例えば、モニター20上の表示が、例えば、切り替え可能な鏡を介して、ストロボ効果的に行われるという点で可能である。モニター画像200が表示されている間、カメラ10は、電子カメラシャッターによって電気的にオフになるか、またはモニター画像20は、カメラ10の前に配置される切り替え可能な透過フィルターによって光学的に非表示である。
カメラ10は、制御コンピューター30内で画像処理ユニット33に接続され、これは、カメラ画像100の変換をリアルタイムに行い、これを使用して、例えば、カメラ10の配置に起因するモニター20の縁部23の台形歪みが補償される(図3参照)。これは、2つの画像が出力画像400において一致し、出力画像400の観察者が、プレゼンター1がモニター画像200内でどの点を実際に見ているかまたは指さしているかを理解することができるように、カメラ画像100をモニター画像200と重ね合わせることに特に関連する。
カメラ画像100の変更に代替的または追加的に、プレゼンターにとってのモニター20上のモニター画像200の再生は、出力画像400上の2つの画像の一致が再び得られるように事前に歪めることができる。
カメラ画像100のこの変更および/またはモニター20上のモニター画像200の再生は、カメラ画像100内のプレゼンターの画像の分離が赤外線カメラを使用することによって行われるのではなくむしろ、例えば、カメラの録画段階においてモニター20の暗スイッチングによって行われるプレゼンテーションシステムで使用することもできることに留意されたい。
オプションで、縁取りまたは詳細拡大および/または位置補正および/または回転補正および/またはミラーリングをさらに行うことができる。図3に見られるように、画像処理ユニット33は、それに応じて、変更されたカメラ画像330を出力する。上記の同時着色は、画像処理ユニット33で行うこともできる。
制御コンピューター30はさらに、第2のグラフィックユニット35(すなわち、さらなるグラフィックカード)を備えており、これに、モニター画像200と変更されたカメラ画像330の両方が、ミキサー34を介して供給される。ミキサー34は、2つの画像を、おそらく調整可能な程度の明るさおよび/または透明度で重ね合わせる。モニター画像200と変更されたカメラ画像330との重ね合わせが出力画像400として表示される再生システム40が、第2のグラフィックユニット35に接続されている。
講義またはプレゼンテーションの場合に、再生システム40は、例えば、プレゼンター1の後ろの投影面に出力画像400を表示する投影システム(プロジェクター)であり得る。第2のグラフィックユニット35は、追加的または代替的に、出力画像400をデータフォーマットで送信(「流す」)または保存するように設計することもできる。
示されているプレゼンテーションシステムまたは図3と組み合わせて説明されているプレゼンテーション方法は、プレゼンター1がモニター画像200を観察でき、それにもかかわらず、プレゼンター1の正面録画を出力画像400で聴衆に提示することができるという利点を提供する。さらに、再生システム40上の出力画像400はモニター画像200を示しているため、再生システム40は、プレゼンテーション、正面に見えるプレゼンターに必要な、または目的の眺めと、プレゼンター1が参照する資料の両方を1つの画像に一体化する。
プレゼンター1がモニター画像20の特定の点または領域に目3を留めるか、またはそれらを指で指さす場合に、対応する目の動きと位置合わせまたは方向指示も、出力画像400上で分かる。したがって、プレゼンター1は、モニター画像200に対して完全に自然に振る舞うため、プレゼンター1の焦点が現在向けられている場所を聴衆が理解するのは容易である。
上記のプレゼンテーションシステムの1つの改良では、部分透過型鏡22は、タッチセンサー方式面を備えることができるため、制御コンピューター30の入力素子として使用することができる。好ましくは、指2またはデジタル入力鉛筆(ここでは図示せず)を使用して操作することができる、容量的に動作するタッチセンサー方式面が提供される。
この設計では、プレゼンター1は、タッチスクリーンのように指でモニター20を操作することができ、または対応する対話型プログラムが使用される場合に、モニター画像200に影響を与えることができる。プレゼンテーションシステムは、プレゼンター1が、部分透過型鏡ひいてはモニター20上にデジタル入力鉛筆を使用してマーキングを配置するか、または書き込むという点で、タブレットのように使用することができる。聴衆は、得られる「タブレット画像」と同時に、再生モニター40上の正面図でプレゼンターを見る。
図1および図2に示されているプレゼンテーションシステムのさらなる変更では、カメラ10は、人が表示画面の前の中央にいなくても、最適な画像印象を得るために、直接か、または鏡を介してかのいずれかで、動的に動かすことができる。
プレゼンテーションシステムのさらなる変更では、カメラ10はまた、複数回実装することができ、例えば、横方向に取り付けることができ、そして各場合に、モニター20上の反射を介してプレゼンター1を観察することができる。その場合、複数のカメラ10の画像を組み立てて、1つの画像を形成することができ、これは、「仮想」カメラに由来するように見える。このような仮想カメラは、例えば3次元計算によって、他の方法ではアクセスできない位置に動かすことができる。本オプションは、赤外線カメラとして設計されている複数の、例えば2台のカメラ10と組み合わせて可能である。その場合、これらのカメラ10の画像は、好ましくは、第1に組み合わされて仮想カメラの画像を形成し、これは、その場合、仮想カメラは、追加のトゥルーカラーカメラの色情報項目に基づいて着色される。
図1および図2に示されているプレゼンテーションシステムのさらなる変更では、カメラ10と部分透過型鏡22との間に配置される少なくとも1つの追加の鏡によって、カメラ10の位置決めのより大きな柔軟性を実現することができる。この鏡は、干渉を少なくするために、特に可視光を透過させることもできる。
例えば、ラップトップコンピューターのモニターをモニター20として使用することが可能である。ラップトップコンピューターは、しばしば、ラップトップのユーザーに向いている、モニター20の上の中央に配置されるカメラを有している。プレゼンターからモニター20の平面の前とモニター20の上に配置される傾斜した追加の鏡を使用して、プレゼンターの画像は、部分透過型鏡22上で反射されるラップトップコンピューターの一体型カメラによって録画することができ、その場合、追加の鏡上で反射される。追加の鏡は、例えば、ラップトップの上縁で留めるクランプを有する小型の伸縮式マウントまたはグースネック型マウントを使用して配置することができるため、ラップトップコンピューターは、プレゼンテーションシステムのカメラ、モニター、および制御コンピューターを表している。
図1および図2に示されているプレゼンテーションシステムのさらなる変更では、可動性変形が、可能な、小型の、例えば無線カメラを使用することによってプレゼンターの本体に実装することができ、これにより、同様に、例えば、携帯電話やタブレットコンピューターのモニター上の反射を介して観察者が録画される。この場合に、遠近補正は、特定の状況下で、可変の幾何学的状況にリアルタイムに適応されるべきである。例えば、このために、モニターの輪郭を検出することができる。モニターとカメラとの間の適切な角度は、例えばサーボモーターによって手動または自動で追跡することができる。
2つの相互接続されたプレゼンテーションシステムの配置が、図1と同様の概略図で図4に示されている。同一の参照記号は、上記の図と同様に、この図の同一要素または等しく機能する要素を識別する。
図4の配置は、ここでは例として、2人の参加者のためのテレビ会議システムとして設計されている。したがって、プレゼンテーションシステムのコンポーネントは2回提供され、各々第1または第2の参加者に関連付けられている。第2の参加者に関連付けられているコンポーネントの参照記号には、区別しやすいようにアポストロフィが付いている。
本配置は、各参加者のためにその前に偏光フィルター11、11’を有するカメラ10、10’を含む。さらに、偏光フィルターフィルム21、21’と部分透過型鏡22、22’を有するモニター20、20’が、各参加者のために提供される。本配置の各部分はさらに、制御コンピューター30、30’を有し、そこでは、カメラ10、10’によって供給されるデータは、画像処理ユニット33、33’で処理されて、変更されたカメラ画像330、330’を形成する。カメラ10、10’とモニター20、20'の幾何学的配置に対して、図1および図2の実施形態が参照される。図4による配置の2つの部分の各々において、対応するカメラ10、10’は、モニター20、20’、特に部分透過型鏡22、22’を介して反射されるプレゼンター(この例示的な実施形態では参加者と呼ばれる)の画像を録画する。
上記の例示的な実施形態とは対照的に、この場合に、変更されたカメラ画像330、330’は、ミキサー34を介して第2のグラフィックユニット35に送信されるのではなく、むしろネットワークインターフェース36を介して本配置の第2の部分のミキサー34’に送信される。変更されたカメラ画像は、そこで、モニター画像生成機31’によって提供されるモニター画像200と共に、モニター画像200と変更されたカメラ画像330との重ね合わせを第2の参加者に表示するために、モニター20’に送信する第1のグラフィックユニット32’に供給される。したがって、第2の参加者のモニター20’は、この例示的な実施形態では、再生システム40(図1参照)を形成する。モニター20、20’の全体、または各場合に、例えば窓の形態のその一部が、再生システムとして使用することができる。
逆に、第2の領域のカメラ画像100’は、画像処理ユニット33’によって均一化され、ネットワークインターフェース36’を介して第2の参加者の変更されたカメラ画像330’として第1の参加者の制御コンピューター30に送信される。ここでも、モニター画像生成機31によって提供されるモニター画像200との重ね合わせがミキサー34内で行われる。重ね合わせられた画像は、第1の参加者のモニター20の第1のグラフィックユニット32を介して出力される。モニター画像生成機31、31’は、好ましくは、両方の場合に、同じモニター画像200が各変更されたカメラ画像330、330’と混合されるように、両方の制御コンピューター30、30’内で同期される。このように、2つの相互接続されたプレゼンテーションシステムが形成され、一方のシステムのモニター20、20’は、他方のシステムの再生システムとしても機能する。
上記の方法によって、2人の参加者の各々は、モニター画像200と対話者すなわち各他の参加者をモニター20上に見ている。したがって、両方の参加者は、タッチセンサー方式のモニター20、20’を使用すると、モニター画像200を同時に見て、場合によってはそれを処理することができる。さらに、カメラ10、10’またはモニター20、20’を適切に位置合わせすると、両方の参加者が互いをアイコンタクトで見ている。
2つのモニター画像生成機31、31’の同期は、図4では破線矢印で表されている。このように制御コンピューター30、30’間に示されている合計3つの接続が、単一のネットワーク接続によって形成されていることは明らかである。しかし、もちろん、この場合に、より迅速に変化するカメラ画像100、100’を考慮に入れるために、変更されたカメラ画像330、330’とモニター画像200の同期情報項目は、種々のデータ速度と待ち時間で送信することができる。
図4の図とは対照的に、変更されたカメラ画像330、330’とモニター画像200との混合は、各他の制御コンピューター30、30’への送信が行われる前に、各制御コンピューター30、30'で行うこともできる。
1 プレゼンター
2 指
3 目
10、10' ビデオカメラ
100 カメラ画像
11、11' 偏光フィルター
20、20' モニター
200 モニター画像
21、21' 偏光フィルターフィルム
22、22' 部分透過型鏡
23 縁部
30、30' 制御コンピューター
31、31' モニター画像生成機
32、32' 第1のグラフィックユニット
33、33' 画像処理ユニット
330 変更されたカメラ画像
34、34' ミキサー
35 第2のグラフィックユニット
36、36' ネットワークインターフェース
40 再生システム
400 出力画像

Claims (17)

  1. 少なくとも1つのビデオカメラ(10)を使用して録画される、再生システム(40)によるプレゼンター(1)のモニター画像(200)とカメラ画像(100)の共同表示のためのプレゼンテーションシステムであって、
    前記モニター画像(200)と前記カメラ画像(100)が、前記再生システム(40)による表示のためにミキサー(34)内で重ね合わせられており、
    表示画面を有するモニター(20)が、前記モニター(20)の前にいるプレゼンター(1)にモニター画像(200)を表示するために設けられており、
    部分透過型鏡(22)が、表示画面の前に配置されており、
    前記少なくとも1つのビデオカメラ(10)が、前記部分透過型鏡(22)を介して反射されるプレゼンター(1)を撮影するように配置されており、
    前記少なくとも1つのビデオカメラ(10)が赤外線カメラであることを特徴とする、プレゼンテーションシステム。
  2. 前記部分透過型鏡(22)が、表示画面に平行に表示画面上にフラットに配置されている、請求項1に記載のプレゼンテーションシステム。
  3. 前記部分透過型鏡(22)が、表示画面の保護ガラスとしてモニター(20)に組み込まれている、請求項1または2に記載のプレゼンテーションシステム。
  4. 前記部分透過型鏡(22)が、タッチセンサー方式センサー面を有している、請求項1から3のいずれか一項に記載のプレゼンテーションシステム。
  5. 偏光フィルターが、前記少なくとも1つのビデオカメラ(10)の前に配置されている、請求項1から4のいずれか一項に記載のプレゼンテーションシステム。
  6. 偏光子が、前記モニター(20)の表示画面と前記部分透過型鏡(22)との間に配置されている、請求項5に記載のプレゼンテーションシステム。
  7. 前記偏光子が、表示画面全体一面にフラットに延びている偏光フィルターフィルム(21)である、請求項6に記載のプレゼンテーションシステム。
  8. カラーフィルターまたは視野角フィルターが、前記モニター(20)の表示画面と前記部分透過型鏡(22)との間に配置されている、請求項1から4のいずれか一項に記載のプレゼンテーションシステム。
  9. リアルタイム画像処理が、前記カメラ画像(100)を均一化することを可能にする画像処理ユニット(33)を有する制御コンピューター(30)を有しており、変更されたカメラ画像(330)が、前記ミキサー(34)に中継される、請求項1から8のいずれか一項に記載のプレゼンテーションシステム。
  10. 前記変更されたカメラ画像(330)が、ネットワークを介して遠隔ミキサー(34’)に中継される、請求項に記載のプレゼンテーションシステム。
  11. 前記遠隔ミキサー(34’)が、前記再生システム(40)として機能し、遠隔モニター(20’)に接続されており、同様にさらなるプレゼンテーションシステムの一部である、請求項10に記載のプレゼンテーションシステム。
  12. 少なくとも1つのさらなる鏡が、前記少なくとも1つのビデオカメラ(10)と前記部分透過型鏡(22)との間のビーム経路に配置されており、
    前記プレゼンター(1)が、前記少なくとも1つのさらなる鏡を介して、そして前記部分透過型鏡(22)を介して、前記少なくとも1つのビデオカメラ(10)によって反射して撮影される、請求項1から11のいずれか一項に記載のプレゼンテーションシステム。
  13. さらなるカメラが提供および配置されており、プレゼンター(1)のカラー画像を録画するように配置されており、これに基づいて、前記カメラ画像(100)および/または前記モニター画像(200)の着色を行うことができる、請求項1から12のいずれか一項に記載のプレゼンテーションシステム。
  14. 再生システム(40)によって少なくとも1つのビデオカメラ(10)を使用して録画されるモニター画像(200)とカメラ画像の共同表示のためのプレゼンテーション方法であって、
    表示画面を有するモニター(20)が設けられており、前記モニター画像(200)が、前記モニター(20)の前にいるプレゼンター(1)に表示され、
    少なくとも1つのビデオカメラ(10)が、赤外線波長範囲のカメラ画像(100)内のモニター(20)の表示画面の前に配置される部分透過型鏡(22)を介して反射されるプレゼンター(10)を撮影し、
    前記カメラ画像(100)が、変更されたカメラ画像(330)を生成するために画像処理ユニット(33)によってリアルタイムに処理されたり、前記モニター画像(200)が、前記モニター(20)上に表示される前に均一化されたりし、
    前記モニター画像(200)と前記変更されたカメラ画像(330)が、前記再生システム(40)によって表示するためにミキサー(34)内で重ね合わせられる、プレゼンテーション方法。
  15. 前記処理するステップにおいて、前記カメラ画像(100)が歪められたり、縁取りおよび/または詳細拡大および/または位置補正および/または回転補正および/または反射が行われたりする、請求項14に記載のプレゼンテーション方法。
  16. 前記処理するステップにおいて、前記カメラ画像(100)が、さらなるカメラによって前記プレゼンター(1)のカラー画像を使用して着色される、請求項14または15に記載のプレゼンテーション方法。
  17. 前記再生システム(40)が、さらなるプレゼンテーションシステムのモニター(20’)を含む、請求項14から16のいずれか一項に記載のプレゼンテーション方法。
JP2020572669A 2018-06-26 2019-06-26 プレゼンテーションシステムおよびプレゼンテーション方法 Active JP7387653B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018115302.3A DE102018115302A1 (de) 2018-06-26 2018-06-26 Präsentationssystem und Präsentationsverfahren
DE102018115302.3 2018-06-26
PCT/EP2019/066983 WO2020002421A1 (de) 2018-06-26 2019-06-26 Präsentationssystem und präsentationsverfahren

Publications (2)

Publication Number Publication Date
JP2021529466A JP2021529466A (ja) 2021-10-28
JP7387653B2 true JP7387653B2 (ja) 2023-11-28

Family

ID=67539394

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020572669A Active JP7387653B2 (ja) 2018-06-26 2019-06-26 プレゼンテーションシステムおよびプレゼンテーション方法

Country Status (6)

Country Link
US (1) US11399154B2 (ja)
EP (1) EP3815355A1 (ja)
JP (1) JP7387653B2 (ja)
CN (1) CN112689994B (ja)
DE (1) DE102018115302A1 (ja)
WO (1) WO2020002421A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023218978A1 (ja) * 2022-05-12 2023-11-16 ソニーグループ株式会社 表示装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100188478A1 (en) 2009-01-28 2010-07-29 Robinson Ian N Methods and systems for performing visual collaboration between remotely situated participants
JP2012064214A (ja) 2010-09-15 2012-03-29 Sharp Corp 画像表示方法、共有ボードシステム
US20160227164A1 (en) 2015-01-29 2016-08-04 Samsung Electronics Co., Ltd. Electronic system with gaze alignment mechanism and method of operation thereof
JP2017032757A (ja) 2015-07-31 2017-02-09 キヤノン株式会社 表示制御装置、表示制御方法、表示制御システム、及び、プログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3292248B2 (ja) * 1991-05-29 2002-06-17 富士通株式会社 遠隔会議システム
JP3027065B2 (ja) 1992-07-31 2000-03-27 日本電信電話株式会社 表示・撮像装置
US6042235A (en) * 1996-11-08 2000-03-28 Videotronic Systems Videoconferencing eye contact spatial imaging display
WO2002067050A1 (en) * 2001-02-16 2002-08-29 Imatte, Inc. Interactive teleconferencing display system
US6783247B2 (en) * 2002-03-14 2004-08-31 White Peter Mcduffie Life-size communications systems with front projection
US7710391B2 (en) * 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US20040196359A1 (en) 2002-05-28 2004-10-07 Blackham Geoffrey Howard Video conferencing terminal apparatus with part-transmissive curved mirror
KR100588042B1 (ko) * 2004-01-14 2006-06-09 한국과학기술연구원 인터액티브 프레젠테이션 시스템
US7057637B2 (en) * 2004-04-21 2006-06-06 White Peter Mcduffie Reflected backdrop for communications systems
WO2007087142A2 (en) * 2006-01-12 2007-08-02 Children's Medical Center Corporation Video conference system with parallax correction and background reduction
US8831299B2 (en) * 2007-05-22 2014-09-09 Intellectual Ventures Fund 83 Llc Capturing data for individual physiological monitoring
US8154583B2 (en) * 2007-05-31 2012-04-10 Eastman Kodak Company Eye gazing imaging for video communications
US8488042B2 (en) 2009-01-28 2013-07-16 Hewlett-Packard Development Company, L.P. Systems for capturing images through a display
WO2011153358A2 (en) * 2010-06-02 2011-12-08 Futurity Ventures LLC Teleprompting system and method
US8780161B2 (en) * 2011-03-01 2014-07-15 Hewlett-Packard Development Company, L.P. System and method for modifying images
US20170039867A1 (en) * 2013-03-15 2017-02-09 Study Social, Inc. Mobile video presentation, digital compositing, and streaming techniques implemented via a computer network
US20150138303A1 (en) * 2013-11-20 2015-05-21 Telepresence Technologies, Llc Eye to Eye Camera Apparatus
US9270933B1 (en) 2013-11-23 2016-02-23 Yuan Qing Jiang System and method for face-to-face video communication

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100188478A1 (en) 2009-01-28 2010-07-29 Robinson Ian N Methods and systems for performing visual collaboration between remotely situated participants
JP2012064214A (ja) 2010-09-15 2012-03-29 Sharp Corp 画像表示方法、共有ボードシステム
US20160227164A1 (en) 2015-01-29 2016-08-04 Samsung Electronics Co., Ltd. Electronic system with gaze alignment mechanism and method of operation thereof
JP2017032757A (ja) 2015-07-31 2017-02-09 キヤノン株式会社 表示制御装置、表示制御方法、表示制御システム、及び、プログラム

Also Published As

Publication number Publication date
CN112689994B (zh) 2023-10-27
JP2021529466A (ja) 2021-10-28
DE102018115302A1 (de) 2020-01-02
CN112689994A (zh) 2021-04-20
EP3815355A1 (de) 2021-05-05
WO2020002421A1 (de) 2020-01-02
US20210274127A1 (en) 2021-09-02
US11399154B2 (en) 2022-07-26

Similar Documents

Publication Publication Date Title
US8488042B2 (en) Systems for capturing images through a display
TWI527461B (zh) 凝視精確的視訊會議
US5890787A (en) Desktop large image and eye-contact projection display
US8228371B2 (en) Projection screen and camera array
US8355038B2 (en) Systems for capturing images through a display
US7420585B2 (en) Image capture and display device
US7690795B2 (en) Projector/camera system
US20020030637A1 (en) Aremac-based means and apparatus for interaction with computer, or one or more other people, through a camera
US20070047043A1 (en) image projecting device and method
US5394198A (en) Large-screen display system
KR20040028919A (ko) 영상 투사 장치 및 방법
US10371998B2 (en) Display apparatus and method of displaying using polarizers and optical combiners
JP7387653B2 (ja) プレゼンテーションシステムおよびプレゼンテーション方法
US20210048683A1 (en) Apparatus and method for combining two image sources
WO2018228414A1 (en) Video conference system utilizing transparent screen
JP3171955B2 (ja) 表示撮像装置
US20200233233A1 (en) Reflective Surround Display System
JP4206765B2 (ja) パノラマ映像撮影装置
JPH11298779A (ja) 画像取り込み装置
JP4320264B2 (ja) ドライビングシミュレータ用後方表示装置
CN118450084A (zh) 一种用于视频会议和协作通信的系统
JPH11202258A (ja) 立体画像再生方法および立体画像再生装置
CA2316098A1 (en) Teleoperated pointing system and direct user interface for the teleoperated pointing system
TW200422765A (en) Projection system with the capability of projecting two images simultaneously

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231115

R150 Certificate of patent or registration of utility model

Ref document number: 7387653

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150