JP4039610B2 - 画像合成装置およびその方法ならびに画像表示装置およびその方法 - Google Patents
画像合成装置およびその方法ならびに画像表示装置およびその方法 Download PDFInfo
- Publication number
- JP4039610B2 JP4039610B2 JP2002102667A JP2002102667A JP4039610B2 JP 4039610 B2 JP4039610 B2 JP 4039610B2 JP 2002102667 A JP2002102667 A JP 2002102667A JP 2002102667 A JP2002102667 A JP 2002102667A JP 4039610 B2 JP4039610 B2 JP 4039610B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- composite
- self
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
- G09G5/026—Control of mixing and/or overlay of colours in general
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
- G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/14—Solving problems related to the presentation of information to be displayed
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Circuits (AREA)
- Processing Of Color Television Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、合成表示画像を撮影された画像の一部に含むテレビ番組制作に適用して有効に使用することができる画像合成装置およびその方法ならびに画像表示装置およびその方法に関するものである。
【０００２】
【従来の技術】
一般に、天気予報、解説番組、教育番組などのテレビ番組においては、出演者の演技とは別取りしたＣＧ画像などを合成した合成画像を使用して番組を制作する場合がある。この合成画像を用いる場合は、出演者が青色背景の中で演技を行い、クロマキー処理を用いて青色背景に所望の画像を合成している。この青色背景を使用して撮影するとき、出演者は、ＣＧ画像に連動して演技を行う必要があることから、これまでは、出演者の足元等に設置したモニタに合成映像を表示して、その合成映像を直視して演技する方法を取っている。
【０００３】
また、番組の進行や番組内容についてのコメントの指示事項等、撮影用カメラには写らないように出演者に指示するために表示する必要があり、この表示を行う場合は、カメラの視野外の位置で出演者にメモを見せるようにして行われていることが現状である。
【０００４】
【発明が解決しようとする課題】
しかし、従来の画像合成装置あるいは画像表示装置では、以下に示す問題点が存在した。
（１）従来の画像合成装置あるいは画像表示装置では、出演者は、足元のモニタ画面を見ながら演技を行うので、出演者の手や身体全体の動作は比較的連動して見えるものの、目線が足元のモニタ画面の方に向くことになり不自然な状態で演技することになる。
【０００５】
（２）画像合成装置あるいは画像表示装置では、出演者自身にとっては、実空間に合成画像が見えない中で演技することになり、自然な演技が難しいという難点があった。
（３）画像合成装置あるいは画像表示装置では、出演者にコメント等を表示して番組の残り時間等の指示をしようとする場合には、紙による指示書にて表示しているが、出演者にとって指示書にて指示を視認することは難しい場合が多く、特に照明が暗い環境での撮影ではますます紙による指示書では視認するのが困難であった。
【０００６】
なお、前記（１）〜（３）に示す問題を解決するため、本願出願人により、撮影カメラの撮影期間と非撮影期間とを利用して、同期信号により前記非撮影期間内において投影装置（プロジェクタ）やあるいは照明装置からの投影画像または照明光を投射する照明装置も提案されている。
【０００７】
しかし、この照明装置では、投射光あるいは照射光を使用するため、撮影カメラの位置と、投影装置あるいは照明装置の位置と、出演者の位置との関係に対して制限があり、また、高輝度光源を使用する必要から冷却ファンを用いる騒音対策をしなければならず、あるいは、液晶シャッタを高速で動作させるために高温にする必要がある等、さらに改良する余地があった。
【０００８】
また、キャスターあるいは出演者等の自然な視線状態を維持して、ニュース、台詞等の文章を読む場合や、コメント等を出演者に表示させることが望まれていた。
【０００９】
本発明は、前記問題点に鑑み創案されたもので、出演者、撮影カメラ等の位置の制限がなく、また、撮影環境に対して付加的な設備を必要とせず、さらに、出演者の自然な視線状態を維持して演技することができる画像合成装置および画像表示装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明に係る画像合成装置は、前記目的を達成するため、以下に示すように構成した。すなわち、画像合成装置は、少なくとも一部に合成画像を含む画像を撮影カメラにより撮影する際に、前記合成画像となる位置に配置される自発光ディスプレイと、この自発光ディスプレイに表示画像を表示するための画像生成表示手段と、この画像生成表示手段により自発光ディスプレイに表示される表示画像を前記撮影カメラの基準同期信号に基づいて切り替える画像切替手段と、この画像切替手段により前記自発光ディスプレイに表示する表示画像、および、前記撮影カメラが撮影した画像を合成する画像抽出合成処理手段と、を備え、前記自発光ディスプレイに表示させる表示画像は、前記基準同期信号に基づいて、前記撮影カメラの１フィールド内において非撮影期間に同期して表示される嵌め込み合成用の合成表示画像と、前記基準同期信号に基づいて、前記撮影カメラの１フィールド内において撮影期間に同期して表示される嵌め込み合成領域用の合成領域画像とであり、前記合成表示画像が、前記出演者が認識できる画像である構成とした。
【００１１】
このように構成されることにより、画像合成装置は、撮影カメラの基準同期信号に基づいて画像切替手段が表示画像を切り替えて画像生成表示手段により生成した表示画像を自発光ディスプレイに表示するため、例えば、所定タイミングである撮影カメラの非撮影期間と撮影期間において自発光ディスプレイに表示される表示画像を変えることができる。そのため、撮影カメラの非撮影期間と撮影期間にあらかじめ用意した表示画像を表示させることができる。
また、画像合成装置において、画像抽出合成処理手段により合成される合成表示画像を、その撮影カメラの１フィールド内において非撮影期間に同期して実際の撮影中に自発光ディスプレイに表示しても撮影カメラには撮影されることはない。また、撮影カメラが実際に撮影している画像には、嵌め込み合成領域用の合成領域画像が撮影されており、画像抽出合成処理手段により画像生成表示手段から送られてくる合成表示画像を、撮影された画像上の合成領域画像に嵌め込み合成処理することができる。このとき、出演者等の撮影関係者には、自発光ディスプレイに表示される合成表示画像を視認できる。
【００１４】
さらに、前記画像合成装置において、前記合成領域画像と前記合成表示画像は、その自発光ディスプレイの発光体の残光時間の間隔をあけて表示される構成とした。
このように構成されることにより、撮影カメラの非撮影期間に表示される合成表示画像と、撮影期間に表示される合成領域画像との各々の画像による残像の影響が一方の画像に及ばないため区分けがはっきりされる。
【００１５】
また、前記画像合成装置において、前記自発光ディスプレイで表示する合成領域画像は、被写体と補色関係にある色彩として表示され、前記画像抽出合成処理手段は、クロマキー処理を行うと都合がよい。このように構成されることにより、画像合成装置は、画像合成処理を行う場合に、例えば、出演者の肌色と補色関係にある青色を、合成領域画像としてのブルーバックとして画像表示することで分離しやすい。
【００１６】
そして、前記画像合成装置において、前記自発光ディスプレイは、透明体により表示面が形成されている構成とした。このように構成されることにより、画像合成装置は、自発光ディスプレイが撮影カメラの視野内に存在しても撮影された画像として認識され難いため、自発光ディスプレイの後ろ側に撮影セットの一部を配置しても良く透過して認識でき、さらに、自発光ディスプレイの表示画像に出演者に対するメッセージや、解説文章を表示画像として表示することもできる。なお、画像切替手段では、表示画像の表示と非表示を切り替えることになる。
【００１７】
また、本発明に係る画像表示装置は、撮影カメラにより少なくとも一部に合成画像を含む画像を撮影する際に、その合成画像となる位置に配置される自発光ディスプレイを備える画像表示装置であって、前記撮影カメラにより撮影する際の基準同期信号により前記自発光ディスプレイの表示画像を切り替える画像切替手段と、この画像切替手段により切り替えられる前記表示画像を表示する画像生成表示手段とを備え、前記自発光ディスプレイに表示させる表示画像は、前記基準同期信号に基づいて、前記撮影カメラの１フィールド内において非撮影期間に同期して表示される嵌め込み用の合成表示画像と、前記基準同期信号に基づいて、前記撮影カメラの１フィールド内において撮影期間に同期して表示される嵌め込み合成領域用の合成領域画像とであり、前記合成表示画像が、前記出演者が認識できる画像である構成とした。
【００１８】
このように構成されることにより、画像表示装置は、画像切替手段により撮影カメラの基準同期信号に基づいて自発光ディスプレイに表示される、出演者が認識できる合成画像用表示画面と、背景用合成画面とを切り替えて表示することができる。そして、画像表示装置は、撮影カメラの非撮影期間に嵌め込み用の合成表示画像を自発光ディスプレイに表示しても撮影カメラでは撮影することがなく、出演者等の撮影関係者には認識できる。また、撮影カメラの撮影期間に自発光ディスプレイに表示される合成領域画像が、撮影カメラに撮影される。
【００２１】
さらに、前記画像表示装置において、前記合成領域画像と前記合成表示画像は、その自発光ディスプレイの発光体の残光時間の間隔をあけて表示する構成とした。このように構成されることにより、画像表示装置は、撮影カメラの非撮影期間に表示される合成表示画面と、撮影カメラの撮影期間に表示される合成領域画像との各々の画像による残像の影響が一方の画像に及ばないため、区分けが明確となる。
【００２２】
さらに、前記画像表示装置において、前記自発光ディスプレイが透明の部材により形成されている構成とした。このように構成されることにより、画像表示装置は、撮影カメラと出演者などの撮影対象の間に配置することができる。そして、その自発光ディスプレイに撮影カメラの非撮影期間内に画像切替手段により出演者に対するメッセージ等を表示画像として表示することもできる。なお、画像切替手段では、表示画像の表示と非表示を切り替えることになる。
【００２３】
また、本発明に係る画像合成方法としては、合成画像となる位置に自発光ディスプレイを配置して撮影カメラにより撮影した画像と、前記自発光ディスプレイに画像生成表示手段を介して表示される嵌め込み合成用の合成表示画像ならびに嵌め込み合成領域を示す合成領域画像とを画像抽出合成処理手段により合成する画像合成方法において、前記撮影カメラの基準同期信号を画像生成手段に送る第１ステップと、送られた前記基準同期信号に同期した前記自発光ディスプレイのディスプレイ同期信号を生成させると共に、前記自発光ディスプレイに合成表示画像ならびに合成領域画像を表示するための書込信号を生成する第２ステップと、前記撮影カメラの１フィールドを撮影期間と非撮影期間に分割したカメラ駆動信号に同期させた前記ディスプレイ同期信号に基づいて、前記撮影期間に前記書込信号により前記自発光ディスプレイに前記合成領域画像を表示すると共に、前記非撮影期間に前記書込信号により前記自発光ディスプレイに前記出演者が認識できる画像である前記合成表示画像を表示する第３ステップと、前記撮影期間に撮影される画像の前記合成領域画像に、前記非撮影期間に表示される前記合成表示画像を合成する第４ステップと、を含むこととした。
【００２４】
このように構成されることにより、画像合成方法では、撮影カメラの基準同期信号に同期した自発光ディスプレイのディスプレイ同期信号を生成し、自発光ディスプレイに撮影カメラの１フィールド内において非撮影期間と撮影期間を分割したカメラ駆動信号に基づいて合成表示画像と合成領域画像とを、自発光ディスプレイに表示している。そのため、撮影カメラでは合成表示画像は撮影されず、合成領域画像が撮影されることで、その合成領域画像に画像生成表示手段から画像抽出合成処理手段に送られる合成表示画像により合成することができる。
【００２５】
また、本発明に係る画像表示方法は、合成画像となる位置に自発光ディスプレイを配置して撮影カメラにより合成画像を含む画像を撮影する場合に、前記自発光ディスプレイに画像生成表示手段を介して表示される合成表示画像ならびに合成領域画像を表示する画像表示方法において、前記撮影カメラの基準同期信号を画像生成手段に送る第１ステップと、送られた前記基準同期信号に同期した前記自発光ディスプレイのディスプレイ同期信号を生成させると共に、前記自発光ディスプレイに合成表示画像ならびに合成領域画像を表示するための書込信号を生成する第２ステップと、前記撮影カメラの１フィールドを撮影期間と非撮影期間に分割したカメラ駆動信号に同期させた前記ディスプレイ同期信号に基づいて、前記撮影期間に前記書込信号により前記自発光ディスプレイに前記合成領域画像を表示すると共に、前記非撮影期間に前記書込信号により前記自発光ディスプレイに前記出演者が認識できる画像である前記合成表示画像を表示する第３ステップと、を含むこととした。
【００２６】
このように構成されることにより、画像表示方法では、撮影カメラの撮影した画像には合成表示画像を撮影することなく合成領域画像を撮影し、その合成領域画像に本来嵌め込まれる合成表示画像を出演者には画像として表示することが可能となる。
【００２７】
さらに、本発明に係る画像表示方法は、自発光ディスプレイである透明体ディスプレイを配置して撮影カメラにより合成画像を含む画像を撮影する場合に、前記透明体ディスプレイに画像生成表示手段を介して表示される前記出演者への表示画像を表示する画像表示方法において、前記撮影カメラの基準同期信号を画像生成手段に送る第１ステップと、送られた前記基準同期信号に同期した前記透明体ディスプレイのディスプレイ同期信号を生成させると共に、その透明体ディスプレイに表示画像を表示するための書込信号を生成する第２ステップと、前記撮影カメラの１フィールドを撮影期間と非撮影期間に分割したカメラ駆動信号に同期させた前記ディスプレイ同期信号に基づいて、前記撮影期間に前記書込信号により前記透明体ディスプレイに前記表示画像を非表示とすると共に、前記非撮影期間に前記透明体ディスプレイに前記表示画像を表示する第３ステップと、を含むこととした。
【００２８】
このように構成されることにより、画像表示方法では、透明体ディスプレイに撮影カメラの非撮影期間に表示される合成表示画像が、撮影カメラの撮影した画像では撮影されることなく、出演者に画像として認識できるように表示することが可能となる。
【００２９】
【発明の実施の形態】
以下、本発明に係る画像表示装置および画像合成装置の実施の形態について図面を参照して説明する。図１は画像合成装置の全体を模式的に示すブロック構成図、図２は画像合成装置の撮影カメラの基準同期信号に基づく非撮影期間と撮影期間を示すタイムチャート図、図３（ａ）は出演者が視認できる状態の画像を示す模式図、（ｂ）は撮影カメラが撮影した状態の画像を示す模式図、（ｃ）は撮影カメラで撮影した画像と、画像生成表示手段により生成した画像を合成して出力される合成出力画像を示す模式図である。
【００３０】
図１ないし図３に示すように、画像合成装置１は、少なくとも１部に合成画像を含む画像Ｗｋを撮影カメラ２により撮影する際に、基準同期信号Ａ１に基づいて表示画像を表示する自発光ディスプレイ３と、この自発光ディスプレイ３に表示画像を生成して表示するための画像生成表示手段４と、この画像生成表示手段４により生成して表示する表示画像を撮影カメラ２の基準同期信号に基づいて切り替えるための画像切替手段５と、撮影カメラ２により撮影した画像Ｗｋと自発光ディスプレイ３に表示される表示画像を合成する画像抽出合成処理手段６とを備えている。
【００３１】
自発光ディスプレイ３は、放電管としての表示セルを格子状に配列して表示セル毎の明るさを制御して画像を表示するプラズマディスプレイ（PDP：Plasma Display Panel）、また、液晶ディスプレイ（LCD：Liquid Crystal Display）、さらに、ブラウン管型ディスプレイ（CRT：Cathode Ray Tube）、そして、電場発光型（EL：Electro Luminescent）ディスプレイなど直視型ディスプレイを用いることができる。
【００３２】
この自発光ディスプレイ３は、図１ないし図３に示すように、撮影カメラ２の撮影した画像Ｗｋの内、合成画像として合成される位置に配置されている。ここでは、４台の自発光ディスプレイ３Ａ，３Ｂ，３Ｃ，３Ｄを隣接して配置して一つの大きなディスプレイとして設置している。なお、４台の自発光ディスプレイ３に備わる表面枠３ａは、表面に露出する状態であっても、後記する画像抽出合成処理手段６により合成処理して自発光ディスプレイ３の画像表示面に支障のないようにブルーバックと同じ色調となる状態にしている。この表面枠３ａは、直接ペイントすることや、テープを貼る等でブルーバックと同じ色調にしている。
【００３３】
また、自発光ディスプレイ３は、図１では、撮影カメラの撮影位置に対して正面（撮影面と平行）に設置されているが、合成画像となる位置であれば、撮影セットのどの位置に、所定角度に配置することや、複数を離間させて配置させること、あるいは湾曲させた状態で配置する等、特に限定されるものではない。
【００３４】
さらに、自発光ディスプレイ３は、その表示面を透明体で構成する有機ＥＬディスプレイや、無機ＥＬディスプレイあるいは液晶ディスプレイであっても良い。そして、この透明体により形成されるディスプレイである場合は、例えば、表面側からカバーガラス、透明電極、発光層、透明電極を形成したガラス基板等を設けることで構成され、画面に文字等の画像を表示しない場合は、透過して向こう側が見える状態のものである。
【００３５】
図１および図２に示すように、画像生成表示手段４は、自発光ディスプレイ３に表示する表示画像を生成して表示すると共に、撮影カメラ２からの基準同期信号Ａ１およびカメラ駆動信号Ａ２に基づいて、ディスプレイ同期信号Ｄ１を同期させ、書き込み信号Ｗを、カメラ駆動信号Ａ２の所定タイミングで発生させている。ここでは画像生成表示手段４は、自発光ディスプレイ３に表示させる表示画像を生成できる構成としているが、すでに生成された表示画像を再生させる構成であっても構わない。
【００３６】
画像生成表示手段４により生成される表示画像は、ここでは、天気予報に用いられる日本地図を示す表示画像としての合成表示画像Ｗｇと、この合成表示画像Ｗｇを合成画像を生成するときに嵌め込む領域を示す表示画像としての合成領域用の合成領域画像Ｗｂとを生成している。もちろん合成表示画像Ｗｇは、撮影して合成する画像の種類により様々な絵柄、動画、文字、線画、写真など、自発光ディスプレイ３で表示できる画像であれば限定されるものではない。また、合成領域画像Ｗｂは、ここでは合成処理としてクロマキー処理を例として説明するために、ブルーバックとして説明する。
【００３７】
そして、画像生成表示手段４により生成される合成表示画像Ｗｇは、撮影カメラ２の１フィールド（１／６０秒（約１７ミリ秒））内において、カメラ駆動信号Ａ２の非撮影期間ＦＴに自発光ディスプレイ３に表示される。また、画像生成表示手段４により生成される合成領域画像Ｗｂは、撮影カメラ２の１フィールド内において、カメラ駆動信号Ａ２の撮影期間ＳＴに自発光ディスプレイ３に表示される。
【００３８】
なお、図１および図３に示すように、画像生成表示手段４により生成された合成表示画像Ｗｇは、画像抽出合成処理手段６により、撮影カメラ２で撮影した画像Ｗｋ（図３（ｂ）参照）に対して合成領域画像Ｗｂの領域（位置）に合成される。そして、合成領域画像Ｗｂに合成表示画像Ｗｇが合成されることで合成出力画像Ｗｏとなる。この画像生成表示手段４は、ハードディスク等を備えるパーソナルコンピュータを使用してもよく、撮影された画像Ｗｋに合成することができる画像を作成して所定タイミングで自発光ディスプレイ３に表示することができるものであれば、特に限定されるものではない。
【００３９】
図１および図２に示すように、画像切替手段５は、生成された書き込み信号Ｗを用いて自発光ディスプレイ３に表示される表示画像を切り替えるためのものである。この画像切替手段５は、スイッチャ等の切り替え作業と共に編集作業を行うことができるものであっても構わない。なお、画像切替手段５が、編集作業を行うことができるものである場合は、画像抽出合成処理手段６の機能を備えることになる。
【００４０】
そして、ここでは、画像切替手段５は、書込信号Ｗの第１書込信号Ｗ１により表示される合成領域画像Ｗｂ（図３参照）と、書込信号Ｗの第２書込信号Ｗ２により表示される合成表示画像Ｗｇ（図３参照）とを、撮影カメラ２の１フィールド内で、自発光ディスプレイ３の発光体における残光時間をあけた間隔Ｄで切り替えるように構成されている。なお、残光時間（強度が１／１０に減衰する時間）は、例えば自発光ディスプレイ３がＰＤＰを用いる場合であれば、ＰＤＰ用蛍光体には、通常３〜５ミリ秒程度となる。もちろん、画像切替手段５は、間隔Ｄをあけることなく合成表示画像Ｗｇと合成領域画像Ｗｂを切り替えても構わない。
【００４１】
この画像切替手段５の切り替えタイミングは、撮影カメラ２の１フィールド内において任意なタイミングで行うことが可能である。そして、出演者ＭＣに対して自然な画像を視認できる状態にするには、合成表示画像Ｗｇの表示時間を１フィールド内で、合成領域画像Ｗｂに比較してできるだけ長く設定し、かつ、合成表示画像Ｗｇの輝度を、合成領域画像Ｗｂの輝度に対して高く設定することが望ましい。
【００４２】
図１および図２に示すように、この画像切替手段５により切り替えられる自発光ディスプレイ３が、プラズマディスプレイであった場合は、合成表示画像Ｗｇ用サブフィールドパルスを、撮影カメラ２の非撮影期間ＦＴに圧縮して供給し、また、撮影期間ＳＴに合成領域画像Ｗｂ用サブフィールドパルスを圧縮して供給している。また、自発光ディスプレイ３が、液晶ディスプレイであった場合は、撮影カメラ２の基準同期信号Ａ１に同期して液晶を高速駆動させ、その撮影カメラ２の１フィールド内の前半（あるいは後半）を非撮影期間ＦＴとして画面上に合成表示画像Ｗｇを表示させ、また、１フィールド内の後半（あるいは前半）を撮影期間ＳＴとして画面上に合成領域画像Ｗｂを表示させるようにする。
【００４３】
また、画像切替手段５により透明体ディスプレイ２３（図４参照）の表示画像を切り替える場合は、その透明体ディスプレイ２３に表示される文字等の表示画像の表示と、非表示を撮影カメラ２の１フィールド内において非撮影期間と撮影期間に合わせて行うことになる。
【００４４】
画像抽出合成処理手段６は、撮影カメラ２からの映像信号による画像Ｗｋと、画像生成表示手段４により生成された書込信号Ｗの第１書込信号Ｗ１による合成表示画像Ｗｇとを第２書込信号Ｗ２の合成領域画像Ｗｂに合成して合成出力画像Ｗｏとするためのものである。この画像抽出合成処理手段６は、ここではクロマキー処理により画像Ｗｋ内では合成領域画像Ｗｂであるブルーバックの位置を出演者ＭＣ等から切り離して抽出してそのブルーバックの位置に合成表示画像Ｗｇを合成している。
【００４５】
画像抽出合成処理手段６は、レベルキー処理や、あるいは、マット手法等により撮影された画像Ｗｋに合成表示画像Ｗｇを合成することができるものであっても良く、特にクロマキー処理に限定されるものではない。なお、この画像抽出合成処理手段６は、リアルタイム放送であっても録画放送であっても、合成処理が行える構成である。
【００４６】
撮影カメラ２は、自発光ディスプレイ３と同期が取れる構成であれば良く、テレビ撮影用に使用されるニュース取材用小型カメラ、スタジオ用大型カメラ、ハイビジョン用カメラなど基準同期信号Ａ１およびカメラ駆動信号Ａ２を送ることができるものや、あるいは、基準同期信号Ａ１およびカメラ駆動信号Ａ２からディスプレイ同期信号Ｄ１を生成してこのディスプレイ同期信号Ｄ１により同期をとれる構成であれば、特に限定されるものではない。
【００４７】
また、撮影カメラ２は、出演者などの被写体の奥行き距離を測定する赤外線照射受光などの距離測定手段１０と、この距離測定手段１０の距離情報と奥行き基準となる距離を示す閾値との大小関係から、前記被写体と前記閾値との奥行きの前後関係を示すキー信号を発生する信号発生手段１１と、この信号発生手段により発生したキー信号に基づいて前記奥行き距離情報に同期して入力される画像データの一部を抽出する抽出手段１２とを備えることで、撮影距離に応じて撮影された画像を抽出することが可能となる。
【００４８】
この撮影カメラ２は、撮影距離に応じて撮影される画像を抽出して映し出すことで、奥行き距離に対して被写体を映し出す場合と映し出さない場合とを制御することができる構成であれば、さらに都合が良い。
【００４９】
なお、画像表示装置は、以上説明した自発光ディスプレイ３と、画像生成表示手段４と、画像切替手段５とにより構成されるものであり、画像合成装置１の中で画像表示装置についてすでに説明したので、ここでは画像表示装置としての説明は省略する。
【００５０】
つぎに、画像合成装置１の作用について図３を中心に説明する。ここでは天気予報のスタジオセットを一例として説明する。
はじめに、自発光ディスプレイ３を撮影するスタジオセットの配置のなかで、合成画像を嵌め込む位置に配置する。すなわち、図３に示すように、天気予報のスタジオセットでは、植木８と、椅子、机９と共に、地図上で各地の天気の状態を適宜変化させて表示するために嵌め込み用の合成表示画像Ｗｇを用いる位置にＰＤＰなどの自発光ディスプレイ３を配置する。
【００５１】
このとき自発光ディスプレイ３は、撮影カメラ２から視認できる表面枠３ａをブルーバックと同じ色調となるようにしている。そして、自発光ディスプレイ３に表示される合成領域画像Ｗｂとしてのブルーバックと、合成表示画像Ｗｇとして天気予報で使用する日本地図および各地の天気の情報としてのＣＧ画像を画像生成表示手段４により生成して記憶手段（図示せず）等に記憶しておく。
【００５２】
そして、図１および図２に示すように、撮影カメラ２からの基準同期信号Ａ１とカメラ駆動信号Ａ２を画像生成表示手段４に送り（ステップ１）、この基準同期信号Ａ１に同期させるように、画像生成表示手段４がディスプレイ同期信号Ｄ１を生成させると共に、そのディスプレイ同期信号Ｄ１に基づいて書込信号Ｗの第１書込信号Ｗ１および第２書込信号Ｗ２を生成する（ステップ２）。さらに、第１書込信号Ｗ１によりブルーバックを、かつ、第２書込信号Ｗ２によりＣＧ画像を、画像切替手段５により切り替えて、画像生成表示手段４により自発光ディスプレイ３に表示させる（ステップ３）。
【００５３】
そのため、出演者ＭＣは、本来ブルーバックである位置に天気予報に使用するためのＣＧ画像が認識できるため、モニタ画面を見る必要がなく、実際に視認できるＣＧ画像を見ながら放送解説することができる。したがって、出演者ＭＣは、視線や、また、指し示す画像の位置に対するズレや違和感がない自然な状態で演技、解説等を行うことができる。そして、自発光ディスプレイ３に表示画像を表示しているときは、音も静かで、発熱量も少ないので、音や発熱に対する対応手段を特に設ける必要がない。
【００５４】
なお、撮影カメラ２には、図３（ｂ）に示すように、出演者ＭＣに認識している合成表示画像ＷｇであるＣＧ画像が非撮影期間ＦＴに表示させているため映し出されることはなく、撮影期間ＳＴに自発光ディスプレイ３に表示されている合成領域画像Ｗｂであるブルーバックのみが認識される状態となる。
【００５５】
そして、画像合成装置１は、画像抽出合成処理手段６に入力される撮影カメラ２からの画像Ｗｋと、画像生成表示手段４からの合成表示画像Ｗｇとを、クロマキー処理等の画像合成処理により編集を行うことで合成して合成出力画像Ｗｏを得ることができる（ステップ４）。
【００５６】
なお、リアルタイム放送と録画放送のどちらの画像合成処理による編集を行う場合であってもアセンブル編集や、インサート編集、ノンリニア編集などを行い合成出力画像Ｗｏを生成することができる。また、自発光ディスプレイ３に、より自然なカラーＣＧ画像を表示するには、合成表示画像Ｗｇの表示時間を１フィールド内で、合成領域画像Ｗｂに比較してできるだけ長く設定し、かつ、合成表示画像Ｗｇの輝度を、合成領域画像Ｗｂの輝度に対して高く設定することが望ましい。
【００５７】
なお、ここでは画像抽出合成処理手段６としてクロマキー処理を一例として説明したので、合成領域画像Ｗｂであるブルーバックとして説明したが、抽出したい被写体と補色関係にある色彩であれば、グリーンバックその他の色彩であっても構わないことはもちろんである。
【００５８】
つぎに、図４を参照して、自発光ディスプレイである透明体ディスプレイ２３を出演者ＭＣと撮影カメラ２の間に配置した状態の画像合成装置１ａについて説明する。なお、前記した構成と同じ部材は、同じ符号を付して説明は省略する。
【００５９】
図４に示すように、透明体ディスプレイ２３は、透明な部材により構成されており、ここでは、表示面を透明体で構成する有機ＥＬディスプレイや、無機ＥＬディスプレイあるいは液晶ディスプレイとして構成されている。そして、この透明体により形成される透明体ディスプレイ２３は、例えば、表面側から基板ガラス、透明電極、発光層、透明電極を形成したガラス基板等を設けることで構成され、画面に文字等の画像を表示しない場合は、透過して向こう側が見える状態のものである。
【００６０】
したがって、画像合成装置１ａは、図２に示すように、撮影カメラ２の非撮影期間ＦＴである第２書込信号Ｗ２のタイミングで、透明体ディスプレイ２３に、文字、図形等の表示画像を表示している。そして、撮影カメラ２の撮影期間ＳＴでは、透明体ディスプレイ２３に表示画像は表示しないように画像切替手段５により切り替えを行っている。
【００６１】
例えば、語学教育番組において、二人の出演者ＭＣが発音の練習あるいは文章の解説を撮影カメラ２に向かって行う場合に、透明体ディスプレイ２３には、撮影カメラ２の非撮影期間に画像切替手段５により切り替えて画像生成表示手段４により作成した表示画像を表示している。そのため、出演者ＭＣには表示画像を認識することができ、撮影カメラ２では、自発光ディスプレイである透明体ディスプレイ２３に表示されている表示画像は撮影されていない。したがって、画像抽出合成処理手段６から出力される合成出力画像Ｗｏには、出演者ＭＣの二人が自然な目線、自然な演技状態で、撮影カメラ２に向かっている状態が映し出されることになる。
【００６２】
なお、図１に示す自発光ディスプレイ３と、図４に示す透明体ディスプレイ２３とを大きさを変え、あるいは同じ大きさで並存して使用しても構わない。また、自発光ディスプレイ３、あるいは、出演者ＭＣと撮影カメラ２の間に配置した透明体ディスプレイ２３は、プロデューサ等からのメッセージ、原稿文章、解説文章などを、図２で示す第２書込信号Ｗ２のタイミングで表示することにより、撮影カメラ２の撮影期間ＳＴには表示することなく出演者ＭＣに伝達することができる。
【００６３】
【発明の効果】
本発明は、以上説明してきたような画像合成装置、画像合成方法および画像表示装置、画像表示方法に係る構成であるため、以下に示すような優れた効果を奏する。
画像表示装置は、撮影カメラの非撮影期間と撮影期間において自発光ディスプレイに表示される表示画像を変えることができるため、撮影カメラの非撮影期間に合成表示画像を表示して、撮影期間にブルーバックなどの合成領域画像を表示させることができ、出演者の立ち位置等の制限がなく、本来視聴者が視聴する合成出力画面と同じ画像を出演者が認識した状態で自然な演技を行うことができる。このとき、自発光ディスプレイの位置に出演者が重なっても、表示画面の表示は出演者から必ず確認できると共に、熱や音に対する措置を取る必要がなく静寂なスタジオ環境を維持することができる。なお、出演者が認識できる画像は、動画、静止画のどちらでも可能である。
【００６４】
また、この画像表示装置に画像抽出合成処理手段を備える画像合成装置であれば、合成出力画像を生成する場合には、リアルタイム放送、録画放送の如何にかかわらず、適切な合成画像を作成することができると共に、出演者には表示画像を認識できる状態となる。
【００６５】
画像表示装置は、撮影カメラの１フィールド内において、撮影カメラの基準同期信号に画像生成表示手段により自発光ディスプレイを同期させ、その撮影カメラの非撮影期間に合成表示画像を画像切替手段により切り替えて自発光ディスプレイに表示し、また、撮影カメラの撮影期間にブルーバックとなる合成領域画像を画像切替手段により切り替えて自発光ディスプレイに表示することができるため、実際に自発光ディスプレイに表示される表示画像を見ながら出演者が演技することが可能となる。
【００６６】
また、画像合成装置では、１フィールド内の非撮影期間および撮影期間において、自在に合成表示画像と合成領域画像とを切り替えて表示させることが可能であるため、合成するための合成表示画像の設定時間を長くとり、かつ、撮影された画像上では合成処理されるための合成領域画像の設定時間を短くすることで、出演者に明瞭な表示画像を認識させることが可能となると共に、合成出力画像を的確に合成処理することも可能となる。
【００６７】
画像表示装置は、撮影カメラの非撮影期間と撮影期間とに表示する合成表示画像と合成領域画像とを、自発光ディスプレイの発光体の残光時間をあけた間隔で表示しているため、自発光ディスプレイの表示画像を撮影カメラには撮影せずに出演者が明確に視認できるように表示することが可能となる。さらに、画像合成装置では、合成出力画像を合成処理する場合に、ゴーストなどの画像上の不都合を排除して、確実に合成領域画像の部分に画像生成表示手段から送られて来る合成表示画像を嵌め込み合成することが可能となる。
【００６８】
そして、画像表示装置は、自発光ディスプレイの表示面を透明な部材により形成されることにより、非撮影期間に自発光ディスプレイに表示画像を表示し、また、撮影期間に自発光ディスプレイには何も表示しない状態とすることで、出演者にメッセージ等の表示画像を認識させることができる。そして、画像合成装置では、画像抽出合成処理手段により合成処理を行う場合に、自発光ディスプレイに表示される表示画面は全く排除された状態で合成出力画像を作成することができる。
【００６９】
なお、画像合成装置は、クロマキー処理を行うことで、合成領域画像となる位置に、合成表示画像を合成することができると共に、出演者の肌色と補色関係にある青色を、合成領域画像としてのブルーバックとして画像表示することで分離しやすい。
【００７０】
また、画像合成方法では、撮影カメラの基準同期信号に基づいて、撮影カメラの１フィールド内において非撮影期間と撮影期間を分割したカメラ駆動信号により合成表示画像と合成領域画像とを、自発光ディスプレイに表示している。そのため、画像抽出合成処理手段により、撮影カメラでは撮影されない合成表示画像と、撮影カメラでは撮影される合成領域画像とを合成して合成出力画像とすることができ、かつ、出演者には合成表示画像を画像として認識して表示することができる。
【００７１】
さらに、画像表示方法では、撮影カメラの画像には合成表示画像を撮影することなく合成領域画像を撮影し、その合成領域画像に本来嵌め込まれる合成表示画像を出演者には画像として表示することが可能となる。また、透明体ディスプレイの場合では、撮影カメラの非撮影期間に表示される合成表示画像が、撮影カメラの撮影した画像では表示されることなく、出演者に画像として認識できるように表示することが可能となる。そのため、出演者は自然な目線で自然な演技が可能となる。
【図面の簡単な説明】
【図１】 本発明に係る画像合成装置の全体を模式的に示すブロック構成図である。
【図２】 本発明に係る画像合成装置の撮影カメラの基準同期信号に基づく非撮影期間と撮影期間を示すタイムチャート図である。
【図３】 （ａ）は本発明に係る画像合成装置において出演者が視認できる状態の画像を示す模式図、（ｂ）は撮影カメラが撮影した状態の画像を示す模式図、（ｃ）は撮影カメラで撮影した画像と、画像生成表示手段により生成した画像を合成して出力される合成出力画像を示す模式図である。（ａ）、（ｂ）、（ｃ）は画像合成装置において撮影カメラで撮影している状態を示す模式図である。
【図４】 本発明に係る画像合成装置の他の構成を模式的に示すブロック構成図である。
【符号の説明】
１ 画像合成装置
２ 撮影カメラ
３ 自発光ディスプレイ
４ 画像生成表示手段
５ 画像切替手段
６ 画像抽出合成処理手段
８ 植木
９ 椅子、机
２３ 透明体ディスプレイ
Ａ１ 基準同期信号
Ａ２ カメラ駆動信号
Ｄ１ ディスプレイ同期信号
ＦＴ 非撮影期間
ＳＴ 撮影期間
Ｗ 書込信号
Ｗ１ 第１書込信号
Ｗ２ 第２書込信号
Ｗｂ 合成領域画像（表示画像）
Ｗｇ 合成表示画像（表示画像）
Ｗｋ 画像
Ｗｏ 合成出力画像
【発明の属する技術分野】
本発明は、合成表示画像を撮影された画像の一部に含むテレビ番組制作に適用して有効に使用することができる画像合成装置およびその方法ならびに画像表示装置およびその方法に関するものである。
【０００２】
【従来の技術】
一般に、天気予報、解説番組、教育番組などのテレビ番組においては、出演者の演技とは別取りしたＣＧ画像などを合成した合成画像を使用して番組を制作する場合がある。この合成画像を用いる場合は、出演者が青色背景の中で演技を行い、クロマキー処理を用いて青色背景に所望の画像を合成している。この青色背景を使用して撮影するとき、出演者は、ＣＧ画像に連動して演技を行う必要があることから、これまでは、出演者の足元等に設置したモニタに合成映像を表示して、その合成映像を直視して演技する方法を取っている。
【０００３】
また、番組の進行や番組内容についてのコメントの指示事項等、撮影用カメラには写らないように出演者に指示するために表示する必要があり、この表示を行う場合は、カメラの視野外の位置で出演者にメモを見せるようにして行われていることが現状である。
【０００４】
【発明が解決しようとする課題】
しかし、従来の画像合成装置あるいは画像表示装置では、以下に示す問題点が存在した。
（１）従来の画像合成装置あるいは画像表示装置では、出演者は、足元のモニタ画面を見ながら演技を行うので、出演者の手や身体全体の動作は比較的連動して見えるものの、目線が足元のモニタ画面の方に向くことになり不自然な状態で演技することになる。
【０００５】
（２）画像合成装置あるいは画像表示装置では、出演者自身にとっては、実空間に合成画像が見えない中で演技することになり、自然な演技が難しいという難点があった。
（３）画像合成装置あるいは画像表示装置では、出演者にコメント等を表示して番組の残り時間等の指示をしようとする場合には、紙による指示書にて表示しているが、出演者にとって指示書にて指示を視認することは難しい場合が多く、特に照明が暗い環境での撮影ではますます紙による指示書では視認するのが困難であった。
【０００６】
なお、前記（１）〜（３）に示す問題を解決するため、本願出願人により、撮影カメラの撮影期間と非撮影期間とを利用して、同期信号により前記非撮影期間内において投影装置（プロジェクタ）やあるいは照明装置からの投影画像または照明光を投射する照明装置も提案されている。
【０００７】
しかし、この照明装置では、投射光あるいは照射光を使用するため、撮影カメラの位置と、投影装置あるいは照明装置の位置と、出演者の位置との関係に対して制限があり、また、高輝度光源を使用する必要から冷却ファンを用いる騒音対策をしなければならず、あるいは、液晶シャッタを高速で動作させるために高温にする必要がある等、さらに改良する余地があった。
【０００８】
また、キャスターあるいは出演者等の自然な視線状態を維持して、ニュース、台詞等の文章を読む場合や、コメント等を出演者に表示させることが望まれていた。
【０００９】
本発明は、前記問題点に鑑み創案されたもので、出演者、撮影カメラ等の位置の制限がなく、また、撮影環境に対して付加的な設備を必要とせず、さらに、出演者の自然な視線状態を維持して演技することができる画像合成装置および画像表示装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明に係る画像合成装置は、前記目的を達成するため、以下に示すように構成した。すなわち、画像合成装置は、少なくとも一部に合成画像を含む画像を撮影カメラにより撮影する際に、前記合成画像となる位置に配置される自発光ディスプレイと、この自発光ディスプレイに表示画像を表示するための画像生成表示手段と、この画像生成表示手段により自発光ディスプレイに表示される表示画像を前記撮影カメラの基準同期信号に基づいて切り替える画像切替手段と、この画像切替手段により前記自発光ディスプレイに表示する表示画像、および、前記撮影カメラが撮影した画像を合成する画像抽出合成処理手段と、を備え、前記自発光ディスプレイに表示させる表示画像は、前記基準同期信号に基づいて、前記撮影カメラの１フィールド内において非撮影期間に同期して表示される嵌め込み合成用の合成表示画像と、前記基準同期信号に基づいて、前記撮影カメラの１フィールド内において撮影期間に同期して表示される嵌め込み合成領域用の合成領域画像とであり、前記合成表示画像が、前記出演者が認識できる画像である構成とした。
【００１１】
このように構成されることにより、画像合成装置は、撮影カメラの基準同期信号に基づいて画像切替手段が表示画像を切り替えて画像生成表示手段により生成した表示画像を自発光ディスプレイに表示するため、例えば、所定タイミングである撮影カメラの非撮影期間と撮影期間において自発光ディスプレイに表示される表示画像を変えることができる。そのため、撮影カメラの非撮影期間と撮影期間にあらかじめ用意した表示画像を表示させることができる。
また、画像合成装置において、画像抽出合成処理手段により合成される合成表示画像を、その撮影カメラの１フィールド内において非撮影期間に同期して実際の撮影中に自発光ディスプレイに表示しても撮影カメラには撮影されることはない。また、撮影カメラが実際に撮影している画像には、嵌め込み合成領域用の合成領域画像が撮影されており、画像抽出合成処理手段により画像生成表示手段から送られてくる合成表示画像を、撮影された画像上の合成領域画像に嵌め込み合成処理することができる。このとき、出演者等の撮影関係者には、自発光ディスプレイに表示される合成表示画像を視認できる。
【００１４】
さらに、前記画像合成装置において、前記合成領域画像と前記合成表示画像は、その自発光ディスプレイの発光体の残光時間の間隔をあけて表示される構成とした。
このように構成されることにより、撮影カメラの非撮影期間に表示される合成表示画像と、撮影期間に表示される合成領域画像との各々の画像による残像の影響が一方の画像に及ばないため区分けがはっきりされる。
【００１５】
また、前記画像合成装置において、前記自発光ディスプレイで表示する合成領域画像は、被写体と補色関係にある色彩として表示され、前記画像抽出合成処理手段は、クロマキー処理を行うと都合がよい。このように構成されることにより、画像合成装置は、画像合成処理を行う場合に、例えば、出演者の肌色と補色関係にある青色を、合成領域画像としてのブルーバックとして画像表示することで分離しやすい。
【００１６】
そして、前記画像合成装置において、前記自発光ディスプレイは、透明体により表示面が形成されている構成とした。このように構成されることにより、画像合成装置は、自発光ディスプレイが撮影カメラの視野内に存在しても撮影された画像として認識され難いため、自発光ディスプレイの後ろ側に撮影セットの一部を配置しても良く透過して認識でき、さらに、自発光ディスプレイの表示画像に出演者に対するメッセージや、解説文章を表示画像として表示することもできる。なお、画像切替手段では、表示画像の表示と非表示を切り替えることになる。
【００１７】
また、本発明に係る画像表示装置は、撮影カメラにより少なくとも一部に合成画像を含む画像を撮影する際に、その合成画像となる位置に配置される自発光ディスプレイを備える画像表示装置であって、前記撮影カメラにより撮影する際の基準同期信号により前記自発光ディスプレイの表示画像を切り替える画像切替手段と、この画像切替手段により切り替えられる前記表示画像を表示する画像生成表示手段とを備え、前記自発光ディスプレイに表示させる表示画像は、前記基準同期信号に基づいて、前記撮影カメラの１フィールド内において非撮影期間に同期して表示される嵌め込み用の合成表示画像と、前記基準同期信号に基づいて、前記撮影カメラの１フィールド内において撮影期間に同期して表示される嵌め込み合成領域用の合成領域画像とであり、前記合成表示画像が、前記出演者が認識できる画像である構成とした。
【００１８】
このように構成されることにより、画像表示装置は、画像切替手段により撮影カメラの基準同期信号に基づいて自発光ディスプレイに表示される、出演者が認識できる合成画像用表示画面と、背景用合成画面とを切り替えて表示することができる。そして、画像表示装置は、撮影カメラの非撮影期間に嵌め込み用の合成表示画像を自発光ディスプレイに表示しても撮影カメラでは撮影することがなく、出演者等の撮影関係者には認識できる。また、撮影カメラの撮影期間に自発光ディスプレイに表示される合成領域画像が、撮影カメラに撮影される。
【００２１】
さらに、前記画像表示装置において、前記合成領域画像と前記合成表示画像は、その自発光ディスプレイの発光体の残光時間の間隔をあけて表示する構成とした。このように構成されることにより、画像表示装置は、撮影カメラの非撮影期間に表示される合成表示画面と、撮影カメラの撮影期間に表示される合成領域画像との各々の画像による残像の影響が一方の画像に及ばないため、区分けが明確となる。
【００２２】
さらに、前記画像表示装置において、前記自発光ディスプレイが透明の部材により形成されている構成とした。このように構成されることにより、画像表示装置は、撮影カメラと出演者などの撮影対象の間に配置することができる。そして、その自発光ディスプレイに撮影カメラの非撮影期間内に画像切替手段により出演者に対するメッセージ等を表示画像として表示することもできる。なお、画像切替手段では、表示画像の表示と非表示を切り替えることになる。
【００２３】
また、本発明に係る画像合成方法としては、合成画像となる位置に自発光ディスプレイを配置して撮影カメラにより撮影した画像と、前記自発光ディスプレイに画像生成表示手段を介して表示される嵌め込み合成用の合成表示画像ならびに嵌め込み合成領域を示す合成領域画像とを画像抽出合成処理手段により合成する画像合成方法において、前記撮影カメラの基準同期信号を画像生成手段に送る第１ステップと、送られた前記基準同期信号に同期した前記自発光ディスプレイのディスプレイ同期信号を生成させると共に、前記自発光ディスプレイに合成表示画像ならびに合成領域画像を表示するための書込信号を生成する第２ステップと、前記撮影カメラの１フィールドを撮影期間と非撮影期間に分割したカメラ駆動信号に同期させた前記ディスプレイ同期信号に基づいて、前記撮影期間に前記書込信号により前記自発光ディスプレイに前記合成領域画像を表示すると共に、前記非撮影期間に前記書込信号により前記自発光ディスプレイに前記出演者が認識できる画像である前記合成表示画像を表示する第３ステップと、前記撮影期間に撮影される画像の前記合成領域画像に、前記非撮影期間に表示される前記合成表示画像を合成する第４ステップと、を含むこととした。
【００２４】
このように構成されることにより、画像合成方法では、撮影カメラの基準同期信号に同期した自発光ディスプレイのディスプレイ同期信号を生成し、自発光ディスプレイに撮影カメラの１フィールド内において非撮影期間と撮影期間を分割したカメラ駆動信号に基づいて合成表示画像と合成領域画像とを、自発光ディスプレイに表示している。そのため、撮影カメラでは合成表示画像は撮影されず、合成領域画像が撮影されることで、その合成領域画像に画像生成表示手段から画像抽出合成処理手段に送られる合成表示画像により合成することができる。
【００２５】
また、本発明に係る画像表示方法は、合成画像となる位置に自発光ディスプレイを配置して撮影カメラにより合成画像を含む画像を撮影する場合に、前記自発光ディスプレイに画像生成表示手段を介して表示される合成表示画像ならびに合成領域画像を表示する画像表示方法において、前記撮影カメラの基準同期信号を画像生成手段に送る第１ステップと、送られた前記基準同期信号に同期した前記自発光ディスプレイのディスプレイ同期信号を生成させると共に、前記自発光ディスプレイに合成表示画像ならびに合成領域画像を表示するための書込信号を生成する第２ステップと、前記撮影カメラの１フィールドを撮影期間と非撮影期間に分割したカメラ駆動信号に同期させた前記ディスプレイ同期信号に基づいて、前記撮影期間に前記書込信号により前記自発光ディスプレイに前記合成領域画像を表示すると共に、前記非撮影期間に前記書込信号により前記自発光ディスプレイに前記出演者が認識できる画像である前記合成表示画像を表示する第３ステップと、を含むこととした。
【００２６】
このように構成されることにより、画像表示方法では、撮影カメラの撮影した画像には合成表示画像を撮影することなく合成領域画像を撮影し、その合成領域画像に本来嵌め込まれる合成表示画像を出演者には画像として表示することが可能となる。
【００２７】
さらに、本発明に係る画像表示方法は、自発光ディスプレイである透明体ディスプレイを配置して撮影カメラにより合成画像を含む画像を撮影する場合に、前記透明体ディスプレイに画像生成表示手段を介して表示される前記出演者への表示画像を表示する画像表示方法において、前記撮影カメラの基準同期信号を画像生成手段に送る第１ステップと、送られた前記基準同期信号に同期した前記透明体ディスプレイのディスプレイ同期信号を生成させると共に、その透明体ディスプレイに表示画像を表示するための書込信号を生成する第２ステップと、前記撮影カメラの１フィールドを撮影期間と非撮影期間に分割したカメラ駆動信号に同期させた前記ディスプレイ同期信号に基づいて、前記撮影期間に前記書込信号により前記透明体ディスプレイに前記表示画像を非表示とすると共に、前記非撮影期間に前記透明体ディスプレイに前記表示画像を表示する第３ステップと、を含むこととした。
【００２８】
このように構成されることにより、画像表示方法では、透明体ディスプレイに撮影カメラの非撮影期間に表示される合成表示画像が、撮影カメラの撮影した画像では撮影されることなく、出演者に画像として認識できるように表示することが可能となる。
【００２９】
【発明の実施の形態】
以下、本発明に係る画像表示装置および画像合成装置の実施の形態について図面を参照して説明する。図１は画像合成装置の全体を模式的に示すブロック構成図、図２は画像合成装置の撮影カメラの基準同期信号に基づく非撮影期間と撮影期間を示すタイムチャート図、図３（ａ）は出演者が視認できる状態の画像を示す模式図、（ｂ）は撮影カメラが撮影した状態の画像を示す模式図、（ｃ）は撮影カメラで撮影した画像と、画像生成表示手段により生成した画像を合成して出力される合成出力画像を示す模式図である。
【００３０】
図１ないし図３に示すように、画像合成装置１は、少なくとも１部に合成画像を含む画像Ｗｋを撮影カメラ２により撮影する際に、基準同期信号Ａ１に基づいて表示画像を表示する自発光ディスプレイ３と、この自発光ディスプレイ３に表示画像を生成して表示するための画像生成表示手段４と、この画像生成表示手段４により生成して表示する表示画像を撮影カメラ２の基準同期信号に基づいて切り替えるための画像切替手段５と、撮影カメラ２により撮影した画像Ｗｋと自発光ディスプレイ３に表示される表示画像を合成する画像抽出合成処理手段６とを備えている。
【００３１】
自発光ディスプレイ３は、放電管としての表示セルを格子状に配列して表示セル毎の明るさを制御して画像を表示するプラズマディスプレイ（PDP：Plasma Display Panel）、また、液晶ディスプレイ（LCD：Liquid Crystal Display）、さらに、ブラウン管型ディスプレイ（CRT：Cathode Ray Tube）、そして、電場発光型（EL：Electro Luminescent）ディスプレイなど直視型ディスプレイを用いることができる。
【００３２】
この自発光ディスプレイ３は、図１ないし図３に示すように、撮影カメラ２の撮影した画像Ｗｋの内、合成画像として合成される位置に配置されている。ここでは、４台の自発光ディスプレイ３Ａ，３Ｂ，３Ｃ，３Ｄを隣接して配置して一つの大きなディスプレイとして設置している。なお、４台の自発光ディスプレイ３に備わる表面枠３ａは、表面に露出する状態であっても、後記する画像抽出合成処理手段６により合成処理して自発光ディスプレイ３の画像表示面に支障のないようにブルーバックと同じ色調となる状態にしている。この表面枠３ａは、直接ペイントすることや、テープを貼る等でブルーバックと同じ色調にしている。
【００３３】
また、自発光ディスプレイ３は、図１では、撮影カメラの撮影位置に対して正面（撮影面と平行）に設置されているが、合成画像となる位置であれば、撮影セットのどの位置に、所定角度に配置することや、複数を離間させて配置させること、あるいは湾曲させた状態で配置する等、特に限定されるものではない。
【００３４】
さらに、自発光ディスプレイ３は、その表示面を透明体で構成する有機ＥＬディスプレイや、無機ＥＬディスプレイあるいは液晶ディスプレイであっても良い。そして、この透明体により形成されるディスプレイである場合は、例えば、表面側からカバーガラス、透明電極、発光層、透明電極を形成したガラス基板等を設けることで構成され、画面に文字等の画像を表示しない場合は、透過して向こう側が見える状態のものである。
【００３５】
図１および図２に示すように、画像生成表示手段４は、自発光ディスプレイ３に表示する表示画像を生成して表示すると共に、撮影カメラ２からの基準同期信号Ａ１およびカメラ駆動信号Ａ２に基づいて、ディスプレイ同期信号Ｄ１を同期させ、書き込み信号Ｗを、カメラ駆動信号Ａ２の所定タイミングで発生させている。ここでは画像生成表示手段４は、自発光ディスプレイ３に表示させる表示画像を生成できる構成としているが、すでに生成された表示画像を再生させる構成であっても構わない。
【００３６】
画像生成表示手段４により生成される表示画像は、ここでは、天気予報に用いられる日本地図を示す表示画像としての合成表示画像Ｗｇと、この合成表示画像Ｗｇを合成画像を生成するときに嵌め込む領域を示す表示画像としての合成領域用の合成領域画像Ｗｂとを生成している。もちろん合成表示画像Ｗｇは、撮影して合成する画像の種類により様々な絵柄、動画、文字、線画、写真など、自発光ディスプレイ３で表示できる画像であれば限定されるものではない。また、合成領域画像Ｗｂは、ここでは合成処理としてクロマキー処理を例として説明するために、ブルーバックとして説明する。
【００３７】
そして、画像生成表示手段４により生成される合成表示画像Ｗｇは、撮影カメラ２の１フィールド（１／６０秒（約１７ミリ秒））内において、カメラ駆動信号Ａ２の非撮影期間ＦＴに自発光ディスプレイ３に表示される。また、画像生成表示手段４により生成される合成領域画像Ｗｂは、撮影カメラ２の１フィールド内において、カメラ駆動信号Ａ２の撮影期間ＳＴに自発光ディスプレイ３に表示される。
【００３８】
なお、図１および図３に示すように、画像生成表示手段４により生成された合成表示画像Ｗｇは、画像抽出合成処理手段６により、撮影カメラ２で撮影した画像Ｗｋ（図３（ｂ）参照）に対して合成領域画像Ｗｂの領域（位置）に合成される。そして、合成領域画像Ｗｂに合成表示画像Ｗｇが合成されることで合成出力画像Ｗｏとなる。この画像生成表示手段４は、ハードディスク等を備えるパーソナルコンピュータを使用してもよく、撮影された画像Ｗｋに合成することができる画像を作成して所定タイミングで自発光ディスプレイ３に表示することができるものであれば、特に限定されるものではない。
【００３９】
図１および図２に示すように、画像切替手段５は、生成された書き込み信号Ｗを用いて自発光ディスプレイ３に表示される表示画像を切り替えるためのものである。この画像切替手段５は、スイッチャ等の切り替え作業と共に編集作業を行うことができるものであっても構わない。なお、画像切替手段５が、編集作業を行うことができるものである場合は、画像抽出合成処理手段６の機能を備えることになる。
【００４０】
そして、ここでは、画像切替手段５は、書込信号Ｗの第１書込信号Ｗ１により表示される合成領域画像Ｗｂ（図３参照）と、書込信号Ｗの第２書込信号Ｗ２により表示される合成表示画像Ｗｇ（図３参照）とを、撮影カメラ２の１フィールド内で、自発光ディスプレイ３の発光体における残光時間をあけた間隔Ｄで切り替えるように構成されている。なお、残光時間（強度が１／１０に減衰する時間）は、例えば自発光ディスプレイ３がＰＤＰを用いる場合であれば、ＰＤＰ用蛍光体には、通常３〜５ミリ秒程度となる。もちろん、画像切替手段５は、間隔Ｄをあけることなく合成表示画像Ｗｇと合成領域画像Ｗｂを切り替えても構わない。
【００４１】
この画像切替手段５の切り替えタイミングは、撮影カメラ２の１フィールド内において任意なタイミングで行うことが可能である。そして、出演者ＭＣに対して自然な画像を視認できる状態にするには、合成表示画像Ｗｇの表示時間を１フィールド内で、合成領域画像Ｗｂに比較してできるだけ長く設定し、かつ、合成表示画像Ｗｇの輝度を、合成領域画像Ｗｂの輝度に対して高く設定することが望ましい。
【００４２】
図１および図２に示すように、この画像切替手段５により切り替えられる自発光ディスプレイ３が、プラズマディスプレイであった場合は、合成表示画像Ｗｇ用サブフィールドパルスを、撮影カメラ２の非撮影期間ＦＴに圧縮して供給し、また、撮影期間ＳＴに合成領域画像Ｗｂ用サブフィールドパルスを圧縮して供給している。また、自発光ディスプレイ３が、液晶ディスプレイであった場合は、撮影カメラ２の基準同期信号Ａ１に同期して液晶を高速駆動させ、その撮影カメラ２の１フィールド内の前半（あるいは後半）を非撮影期間ＦＴとして画面上に合成表示画像Ｗｇを表示させ、また、１フィールド内の後半（あるいは前半）を撮影期間ＳＴとして画面上に合成領域画像Ｗｂを表示させるようにする。
【００４３】
また、画像切替手段５により透明体ディスプレイ２３（図４参照）の表示画像を切り替える場合は、その透明体ディスプレイ２３に表示される文字等の表示画像の表示と、非表示を撮影カメラ２の１フィールド内において非撮影期間と撮影期間に合わせて行うことになる。
【００４４】
画像抽出合成処理手段６は、撮影カメラ２からの映像信号による画像Ｗｋと、画像生成表示手段４により生成された書込信号Ｗの第１書込信号Ｗ１による合成表示画像Ｗｇとを第２書込信号Ｗ２の合成領域画像Ｗｂに合成して合成出力画像Ｗｏとするためのものである。この画像抽出合成処理手段６は、ここではクロマキー処理により画像Ｗｋ内では合成領域画像Ｗｂであるブルーバックの位置を出演者ＭＣ等から切り離して抽出してそのブルーバックの位置に合成表示画像Ｗｇを合成している。
【００４５】
画像抽出合成処理手段６は、レベルキー処理や、あるいは、マット手法等により撮影された画像Ｗｋに合成表示画像Ｗｇを合成することができるものであっても良く、特にクロマキー処理に限定されるものではない。なお、この画像抽出合成処理手段６は、リアルタイム放送であっても録画放送であっても、合成処理が行える構成である。
【００４６】
撮影カメラ２は、自発光ディスプレイ３と同期が取れる構成であれば良く、テレビ撮影用に使用されるニュース取材用小型カメラ、スタジオ用大型カメラ、ハイビジョン用カメラなど基準同期信号Ａ１およびカメラ駆動信号Ａ２を送ることができるものや、あるいは、基準同期信号Ａ１およびカメラ駆動信号Ａ２からディスプレイ同期信号Ｄ１を生成してこのディスプレイ同期信号Ｄ１により同期をとれる構成であれば、特に限定されるものではない。
【００４７】
また、撮影カメラ２は、出演者などの被写体の奥行き距離を測定する赤外線照射受光などの距離測定手段１０と、この距離測定手段１０の距離情報と奥行き基準となる距離を示す閾値との大小関係から、前記被写体と前記閾値との奥行きの前後関係を示すキー信号を発生する信号発生手段１１と、この信号発生手段により発生したキー信号に基づいて前記奥行き距離情報に同期して入力される画像データの一部を抽出する抽出手段１２とを備えることで、撮影距離に応じて撮影された画像を抽出することが可能となる。
【００４８】
この撮影カメラ２は、撮影距離に応じて撮影される画像を抽出して映し出すことで、奥行き距離に対して被写体を映し出す場合と映し出さない場合とを制御することができる構成であれば、さらに都合が良い。
【００４９】
なお、画像表示装置は、以上説明した自発光ディスプレイ３と、画像生成表示手段４と、画像切替手段５とにより構成されるものであり、画像合成装置１の中で画像表示装置についてすでに説明したので、ここでは画像表示装置としての説明は省略する。
【００５０】
つぎに、画像合成装置１の作用について図３を中心に説明する。ここでは天気予報のスタジオセットを一例として説明する。
はじめに、自発光ディスプレイ３を撮影するスタジオセットの配置のなかで、合成画像を嵌め込む位置に配置する。すなわち、図３に示すように、天気予報のスタジオセットでは、植木８と、椅子、机９と共に、地図上で各地の天気の状態を適宜変化させて表示するために嵌め込み用の合成表示画像Ｗｇを用いる位置にＰＤＰなどの自発光ディスプレイ３を配置する。
【００５１】
このとき自発光ディスプレイ３は、撮影カメラ２から視認できる表面枠３ａをブルーバックと同じ色調となるようにしている。そして、自発光ディスプレイ３に表示される合成領域画像Ｗｂとしてのブルーバックと、合成表示画像Ｗｇとして天気予報で使用する日本地図および各地の天気の情報としてのＣＧ画像を画像生成表示手段４により生成して記憶手段（図示せず）等に記憶しておく。
【００５２】
そして、図１および図２に示すように、撮影カメラ２からの基準同期信号Ａ１とカメラ駆動信号Ａ２を画像生成表示手段４に送り（ステップ１）、この基準同期信号Ａ１に同期させるように、画像生成表示手段４がディスプレイ同期信号Ｄ１を生成させると共に、そのディスプレイ同期信号Ｄ１に基づいて書込信号Ｗの第１書込信号Ｗ１および第２書込信号Ｗ２を生成する（ステップ２）。さらに、第１書込信号Ｗ１によりブルーバックを、かつ、第２書込信号Ｗ２によりＣＧ画像を、画像切替手段５により切り替えて、画像生成表示手段４により自発光ディスプレイ３に表示させる（ステップ３）。
【００５３】
そのため、出演者ＭＣは、本来ブルーバックである位置に天気予報に使用するためのＣＧ画像が認識できるため、モニタ画面を見る必要がなく、実際に視認できるＣＧ画像を見ながら放送解説することができる。したがって、出演者ＭＣは、視線や、また、指し示す画像の位置に対するズレや違和感がない自然な状態で演技、解説等を行うことができる。そして、自発光ディスプレイ３に表示画像を表示しているときは、音も静かで、発熱量も少ないので、音や発熱に対する対応手段を特に設ける必要がない。
【００５４】
なお、撮影カメラ２には、図３（ｂ）に示すように、出演者ＭＣに認識している合成表示画像ＷｇであるＣＧ画像が非撮影期間ＦＴに表示させているため映し出されることはなく、撮影期間ＳＴに自発光ディスプレイ３に表示されている合成領域画像Ｗｂであるブルーバックのみが認識される状態となる。
【００５５】
そして、画像合成装置１は、画像抽出合成処理手段６に入力される撮影カメラ２からの画像Ｗｋと、画像生成表示手段４からの合成表示画像Ｗｇとを、クロマキー処理等の画像合成処理により編集を行うことで合成して合成出力画像Ｗｏを得ることができる（ステップ４）。
【００５６】
なお、リアルタイム放送と録画放送のどちらの画像合成処理による編集を行う場合であってもアセンブル編集や、インサート編集、ノンリニア編集などを行い合成出力画像Ｗｏを生成することができる。また、自発光ディスプレイ３に、より自然なカラーＣＧ画像を表示するには、合成表示画像Ｗｇの表示時間を１フィールド内で、合成領域画像Ｗｂに比較してできるだけ長く設定し、かつ、合成表示画像Ｗｇの輝度を、合成領域画像Ｗｂの輝度に対して高く設定することが望ましい。
【００５７】
なお、ここでは画像抽出合成処理手段６としてクロマキー処理を一例として説明したので、合成領域画像Ｗｂであるブルーバックとして説明したが、抽出したい被写体と補色関係にある色彩であれば、グリーンバックその他の色彩であっても構わないことはもちろんである。
【００５８】
つぎに、図４を参照して、自発光ディスプレイである透明体ディスプレイ２３を出演者ＭＣと撮影カメラ２の間に配置した状態の画像合成装置１ａについて説明する。なお、前記した構成と同じ部材は、同じ符号を付して説明は省略する。
【００５９】
図４に示すように、透明体ディスプレイ２３は、透明な部材により構成されており、ここでは、表示面を透明体で構成する有機ＥＬディスプレイや、無機ＥＬディスプレイあるいは液晶ディスプレイとして構成されている。そして、この透明体により形成される透明体ディスプレイ２３は、例えば、表面側から基板ガラス、透明電極、発光層、透明電極を形成したガラス基板等を設けることで構成され、画面に文字等の画像を表示しない場合は、透過して向こう側が見える状態のものである。
【００６０】
したがって、画像合成装置１ａは、図２に示すように、撮影カメラ２の非撮影期間ＦＴである第２書込信号Ｗ２のタイミングで、透明体ディスプレイ２３に、文字、図形等の表示画像を表示している。そして、撮影カメラ２の撮影期間ＳＴでは、透明体ディスプレイ２３に表示画像は表示しないように画像切替手段５により切り替えを行っている。
【００６１】
例えば、語学教育番組において、二人の出演者ＭＣが発音の練習あるいは文章の解説を撮影カメラ２に向かって行う場合に、透明体ディスプレイ２３には、撮影カメラ２の非撮影期間に画像切替手段５により切り替えて画像生成表示手段４により作成した表示画像を表示している。そのため、出演者ＭＣには表示画像を認識することができ、撮影カメラ２では、自発光ディスプレイである透明体ディスプレイ２３に表示されている表示画像は撮影されていない。したがって、画像抽出合成処理手段６から出力される合成出力画像Ｗｏには、出演者ＭＣの二人が自然な目線、自然な演技状態で、撮影カメラ２に向かっている状態が映し出されることになる。
【００６２】
なお、図１に示す自発光ディスプレイ３と、図４に示す透明体ディスプレイ２３とを大きさを変え、あるいは同じ大きさで並存して使用しても構わない。また、自発光ディスプレイ３、あるいは、出演者ＭＣと撮影カメラ２の間に配置した透明体ディスプレイ２３は、プロデューサ等からのメッセージ、原稿文章、解説文章などを、図２で示す第２書込信号Ｗ２のタイミングで表示することにより、撮影カメラ２の撮影期間ＳＴには表示することなく出演者ＭＣに伝達することができる。
【００６３】
【発明の効果】
本発明は、以上説明してきたような画像合成装置、画像合成方法および画像表示装置、画像表示方法に係る構成であるため、以下に示すような優れた効果を奏する。
画像表示装置は、撮影カメラの非撮影期間と撮影期間において自発光ディスプレイに表示される表示画像を変えることができるため、撮影カメラの非撮影期間に合成表示画像を表示して、撮影期間にブルーバックなどの合成領域画像を表示させることができ、出演者の立ち位置等の制限がなく、本来視聴者が視聴する合成出力画面と同じ画像を出演者が認識した状態で自然な演技を行うことができる。このとき、自発光ディスプレイの位置に出演者が重なっても、表示画面の表示は出演者から必ず確認できると共に、熱や音に対する措置を取る必要がなく静寂なスタジオ環境を維持することができる。なお、出演者が認識できる画像は、動画、静止画のどちらでも可能である。
【００６４】
また、この画像表示装置に画像抽出合成処理手段を備える画像合成装置であれば、合成出力画像を生成する場合には、リアルタイム放送、録画放送の如何にかかわらず、適切な合成画像を作成することができると共に、出演者には表示画像を認識できる状態となる。
【００６５】
画像表示装置は、撮影カメラの１フィールド内において、撮影カメラの基準同期信号に画像生成表示手段により自発光ディスプレイを同期させ、その撮影カメラの非撮影期間に合成表示画像を画像切替手段により切り替えて自発光ディスプレイに表示し、また、撮影カメラの撮影期間にブルーバックとなる合成領域画像を画像切替手段により切り替えて自発光ディスプレイに表示することができるため、実際に自発光ディスプレイに表示される表示画像を見ながら出演者が演技することが可能となる。
【００６６】
また、画像合成装置では、１フィールド内の非撮影期間および撮影期間において、自在に合成表示画像と合成領域画像とを切り替えて表示させることが可能であるため、合成するための合成表示画像の設定時間を長くとり、かつ、撮影された画像上では合成処理されるための合成領域画像の設定時間を短くすることで、出演者に明瞭な表示画像を認識させることが可能となると共に、合成出力画像を的確に合成処理することも可能となる。
【００６７】
画像表示装置は、撮影カメラの非撮影期間と撮影期間とに表示する合成表示画像と合成領域画像とを、自発光ディスプレイの発光体の残光時間をあけた間隔で表示しているため、自発光ディスプレイの表示画像を撮影カメラには撮影せずに出演者が明確に視認できるように表示することが可能となる。さらに、画像合成装置では、合成出力画像を合成処理する場合に、ゴーストなどの画像上の不都合を排除して、確実に合成領域画像の部分に画像生成表示手段から送られて来る合成表示画像を嵌め込み合成することが可能となる。
【００６８】
そして、画像表示装置は、自発光ディスプレイの表示面を透明な部材により形成されることにより、非撮影期間に自発光ディスプレイに表示画像を表示し、また、撮影期間に自発光ディスプレイには何も表示しない状態とすることで、出演者にメッセージ等の表示画像を認識させることができる。そして、画像合成装置では、画像抽出合成処理手段により合成処理を行う場合に、自発光ディスプレイに表示される表示画面は全く排除された状態で合成出力画像を作成することができる。
【００６９】
なお、画像合成装置は、クロマキー処理を行うことで、合成領域画像となる位置に、合成表示画像を合成することができると共に、出演者の肌色と補色関係にある青色を、合成領域画像としてのブルーバックとして画像表示することで分離しやすい。
【００７０】
また、画像合成方法では、撮影カメラの基準同期信号に基づいて、撮影カメラの１フィールド内において非撮影期間と撮影期間を分割したカメラ駆動信号により合成表示画像と合成領域画像とを、自発光ディスプレイに表示している。そのため、画像抽出合成処理手段により、撮影カメラでは撮影されない合成表示画像と、撮影カメラでは撮影される合成領域画像とを合成して合成出力画像とすることができ、かつ、出演者には合成表示画像を画像として認識して表示することができる。
【００７１】
さらに、画像表示方法では、撮影カメラの画像には合成表示画像を撮影することなく合成領域画像を撮影し、その合成領域画像に本来嵌め込まれる合成表示画像を出演者には画像として表示することが可能となる。また、透明体ディスプレイの場合では、撮影カメラの非撮影期間に表示される合成表示画像が、撮影カメラの撮影した画像では表示されることなく、出演者に画像として認識できるように表示することが可能となる。そのため、出演者は自然な目線で自然な演技が可能となる。
【図面の簡単な説明】
【図１】 本発明に係る画像合成装置の全体を模式的に示すブロック構成図である。
【図２】 本発明に係る画像合成装置の撮影カメラの基準同期信号に基づく非撮影期間と撮影期間を示すタイムチャート図である。
【図３】 （ａ）は本発明に係る画像合成装置において出演者が視認できる状態の画像を示す模式図、（ｂ）は撮影カメラが撮影した状態の画像を示す模式図、（ｃ）は撮影カメラで撮影した画像と、画像生成表示手段により生成した画像を合成して出力される合成出力画像を示す模式図である。（ａ）、（ｂ）、（ｃ）は画像合成装置において撮影カメラで撮影している状態を示す模式図である。
【図４】 本発明に係る画像合成装置の他の構成を模式的に示すブロック構成図である。
【符号の説明】
１ 画像合成装置
２ 撮影カメラ
３ 自発光ディスプレイ
４ 画像生成表示手段
５ 画像切替手段
６ 画像抽出合成処理手段
８ 植木
９ 椅子、机
２３ 透明体ディスプレイ
Ａ１ 基準同期信号
Ａ２ カメラ駆動信号
Ｄ１ ディスプレイ同期信号
ＦＴ 非撮影期間
ＳＴ 撮影期間
Ｗ 書込信号
Ｗ１ 第１書込信号
Ｗ２ 第２書込信号
Ｗｂ 合成領域画像（表示画像）
Ｗｇ 合成表示画像（表示画像）
Ｗｋ 画像
Ｗｏ 合成出力画像
Claims (10)
- 少なくとも一部に合成画像を含む画像を撮影カメラにより撮影する際に、前記合成画像となる位置に配置される自発光ディスプレイと、この自発光ディスプレイに表示画像を表示するための画像生成表示手段と、この画像生成表示手段により自発光ディスプレイに表示される表示画像を前記撮影カメラの基準同期信号に基づいて切り替える画像切替手段と、この画像切替手段により前記自発光ディスプレイに表示する表示画像、および、前記撮影カメラが撮影した画像を合成する画像抽出合成処理手段と、を備え、
前記自発光ディスプレイに表示させる表示画像は、前記基準同期信号に基づいて、前記撮影カメラの１フィールド内において非撮影期間に同期して表示される嵌め込み合成用の合成表示画像と、前記基準同期信号に基づいて、前記撮影カメラの１フィールド内において撮影期間に同期して表示される嵌め込み合成領域用の合成領域画像とであり、前記合成表示画像が、前記出演者が認識できる画像であることを特徴とする画像合成装置。 - 前記画像切替手段は、前記合成領域画像と前記合成表示画像とを、その自発光ディスプレイの発光体における残光時間をあけた間隔で表示させることを特徴とする請求項１に記載の画像合成装置。
- 前記自発光ディスプレイで表示する合成領域画像は、被写体と補色関係にある色彩として表示され、
前記画像抽出合成処理手段は、クロマキー処理を行うことを特徴とする請求項１または請求項２に記載の画像合成装置。 - 前記自発光ディスプレイは、透明体により表示面が形成されていることを特徴とする請求項１に記載の画像合成装置。
- 撮影カメラにより少なくとも一部に合成画像を含む画像を撮影する際に、その合成画像となる位置に配置される自発光ディスプレイを備える画像表示装置であって、
前記撮影カメラにより撮影する際の基準同期信号により前記自発光ディスプレイの表示画像を切り替える画像切替手段と、この画像切替手段により切り替えられる前記表示画像を表示する画像生成表示手段とを備え、
前記自発光ディスプレイに表示させる表示画像は、前記基準同期信号に基づいて、前記撮影カメラの１フィールド内において非撮影期間に同期して表示される嵌め込み用の合成表示画像と、前記基準同期信号に基づいて、前記撮影カメラの１フィールド内において撮影期間に同期して表示される嵌め込み合成領域用の合成領域画像とであり、前記合成表示画像が、前記出演者が認識できる画像であることを特徴とする画像表示装置。 - 前記画像切替手段は、前記合成領域画像と前記合成表示画像とを、その自発光ディスプレイの発光体における残光時間をあけた間隔で表示させることを特徴とする請求項５に記載の画像表示装置。
- 前記自発光ディスプレイが透明の部材により表示面が形成されていることを特徴とする請求項５または請求項６に記載の画像表示装置。
- 合成画像となる位置に自発光ディスプレイを配置して撮影カメラにより撮影した画像と、前記自発光ディスプレイに画像生成表示手段を介して表示される嵌め込み合成用の合成表示画像ならびに嵌め込み合成領域を示す合成領域画像とを画像抽出合成処理手段により合成する画像合成方法において、
前記撮影カメラの基準同期信号を画像生成手段に送る第１ステップと、
送られた前記基準同期信号に同期した前記自発光ディスプレイのディスプレイ同期信号を生成させると共に、前記自発光ディスプレイに合成表示画像ならびに合成領域画像を表示するための書込信号を生成する第２ステップと、
前記撮影カメラの１フィールドを撮影期間と非撮影期間に分割したカメラ駆動信号に同期させた前記ディスプレイ同期信号に基づいて、前記撮影期間に前記書込信号により前記自発光ディスプレイに前記合成領域画像を表示すると共に、前記非撮影期間に前記書込信号により前記自発光ディスプレイに前記出演者が認識できる画像である前記合成表示画像を表示する第３ステップと、
前記撮影期間に撮影される画像の前記合成領域画像に、前記非撮影期間に表示される前記合成表示画像を合成する第４ステップと、を含む画像合成方法。 - 合成画像となる位置に自発光ディスプレイを配置して撮影カメラにより合成画像を含む画像を撮影する場合に、前記自発光ディスプレイに画像生成表示手段を介して表示される合成表示画像ならびに合成領域画像を表示する画像表示方法において、
前記撮影カメラの基準同期信号を画像生成手段に送る第１ステップと、
送られた前記基準同期信号に同期した前記自発光ディスプレイのディスプレイ同期信号を生成させると共に、前記自発光ディスプレイに合成表示画像ならびに合成領域画像を表示するための書込信号を生成する第２ステップと、
前記撮影カメラの１フィールドを撮影期間と非撮影期間に分割したカメラ駆動信号に同期させた前記ディスプレイ同期信号に基づいて、前記撮影期間に前記書込信号により前記自発光ディスプレイに前記合成領域画像を表示すると共に、前記非撮影期間に前記書込信号により前記自発光ディスプレイに前記出演者が認識できる画像である前記合成表示画像を表示する第３ステップと、を含む画像表示方法。 - 自発光ディスプレイである透明体ディスプレイを配置して撮影カメラにより合成画像を含む画像を撮影する場合に、前記透明体ディスプレイに画像生成表示手段を介して表示される前記出演者への表示画像を表示する画像表示方法において、
前記撮影カメラの基準同期信号を画像生成手段に送る第１ステップと、
送られた前記基準同期信号に同期した前記透明体ディスプレイのディスプレイ同期信号を生成させると共に、その透明体ディスプレイに合成表示画像を表示するための書込信号を生成する第２ステップと、
前記撮影カメラの１フィールドを撮影期間と非撮影期間に分割したカメラ駆動信号に同期させた前記ディスプレイ同期信号に基づいて、前記撮影期間に前記書込信号により前記透明体ディスプレイに前記表示画像を非表示とすると共に、前記非撮影期間に前記透明体ディスプレイに前記表示画像を表示する第３ステップと、を含む画像表示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002102667A JP4039610B2 (ja) | 2002-04-04 | 2002-04-04 | 画像合成装置およびその方法ならびに画像表示装置およびその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002102667A JP4039610B2 (ja) | 2002-04-04 | 2002-04-04 | 画像合成装置およびその方法ならびに画像表示装置およびその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003298936A JP2003298936A (ja) | 2003-10-17 |
| JP4039610B2 true JP4039610B2 (ja) | 2008-01-30 |
Family
ID=29389007
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002102667A Expired - Fee Related JP4039610B2 (ja) | 2002-04-04 | 2002-04-04 | 画像合成装置およびその方法ならびに画像表示装置およびその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4039610B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4933837B2 (ja) * | 2006-05-23 | 2012-05-16 | 日本放送協会 | 時分割表示装置および映像撮影システム |
| JP2008097191A (ja) * | 2006-10-10 | 2008-04-24 | Fujifilm Corp | 画像合成システム |
| JP5279078B2 (ja) * | 2009-03-11 | 2013-09-04 | 日本電信電話株式会社 | 画像撮影・表示方法、画像撮影・表示装置、およびプログラム |
| JP6281857B2 (ja) * | 2012-01-13 | 2018-02-21 | 株式会社ドワンゴ | 映像システム、および撮影方法 |
| CN104488024B (zh) * | 2012-07-20 | 2016-05-11 | 吴丰嘉 | 影像产生方法 |
| JP7547994B2 (ja) | 2020-12-22 | 2024-09-10 | トヨタ自動車株式会社 | 撮影システム、その撮影方法及びプログラム |
| DE102021126309B3 (de) * | 2021-10-11 | 2022-12-01 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Hintergrund-Wiedergabeeinrichtung, Kamera und Verfahren zum Wiedergeben einer Darstellung eines virtuellen Hintergrunds |
| WO2023223758A1 (ja) * | 2022-05-20 | 2023-11-23 | ソニーグループ株式会社 | スイッチャー装置、制御方法、撮影システム |
-
2002
- 2002-04-04 JP JP2002102667A patent/JP4039610B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003298936A (ja) | 2003-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5737031A (en) | System for producing a shadow of an object in a chroma key environment | |
| US5448287A (en) | Spatial video display system | |
| JP7434288B2 (ja) | デジタル写真用カメラと物理ディスプレイ上に示される代替画像コンテンツを同期させるための方法およびデバイス | |
| US8291328B2 (en) | System and method for synchronizing a real-time performance with a virtual object | |
| MY122949A (en) | Interactive teleconferencing display system | |
| EP2926626B1 (en) | Method for creating ambience lighting effect based on data derived from stage performance | |
| US5886747A (en) | Prompting guide for chroma keying | |
| US20060197851A1 (en) | Positioning a subject with respect to a background scene in a digital camera | |
| JP4039610B2 (ja) | 画像合成装置およびその方法ならびに画像表示装置およびその方法 | |
| JP2006262328A (ja) | 画像プリント装置およびその画像処理方法 | |
| EP0878099B1 (en) | Chroma keying studio system | |
| JP2022058501A (ja) | ホール用表示システム及びこれを用いて行うイベントの実施方法 | |
| TW571595B (en) | Interactive teleconferencing display system | |
| MY131918A (en) | Visible-invisible background prompter | |
| KR20100029095A (ko) | 사진의 소리 열을 생성하기 위한 방법 및 그러한 소리 열을 생성하고 재생하기 위한 장치 | |
| KR20160130966A (ko) | 영상 인식을 이용한 노래방 시스템 및 그 시스템에서의 배경 영상 표시 방법 | |
| US20240305738A1 (en) | Method and system for capturing images | |
| GB2456727A (en) | System and method for producing and displaying images | |
| Fukaya et al. | An effective interaction tool for performance in the virtual studio-invisible light projection system | |
| JP2000270261A (ja) | 撮像装置及び画像合成方法並びに記録媒体 | |
| KR20220132936A (ko) | 프로젝터를 활용한 동영상 촬영을 위한 장치 및 방법 | |
| JP4266154B2 (ja) | 自動写真作成装置および自動写真作成方法 | |
| JP5013203B2 (ja) | 写真シール作成装置および方法、並びにプログラム | |
| JP2003298937A (ja) | 画像合成装置および画像合成方法 | |
| CN219802409U (zh) | 一种xr虚拟制片实时合成系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070518 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070530 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070730 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071031 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071102 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111116 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121116 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |