JPH1173491A - フォアグランド画像生成装置 - Google Patents
フォアグランド画像生成装置Info
- Publication number
- JPH1173491A JPH1173491A JP9249534A JP24953497A JPH1173491A JP H1173491 A JPH1173491 A JP H1173491A JP 9249534 A JP9249534 A JP 9249534A JP 24953497 A JP24953497 A JP 24953497A JP H1173491 A JPH1173491 A JP H1173491A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- photographing
- light
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Studio Circuits (AREA)
- Processing Of Color Television Signals (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 物理的に青色等の壁を必要とせず、被写体を
取り込んだフォアグランド画像を簡単に生成しするシス
テムを提供すること。 【解決手段】実施例のフォアグランド画像生成装置１０
０の前記撮影画像供給手段１１０は逆光状態と非逆光状
態の２つの状態の被写体１０を同時に撮影することがで
きる。第１および第２のカメラ３０，３２はハーフミラ
ー４０を介して、互いに光軸が一致するように直交配置
されている。第１のカメラ３０の光軸には赤外線透過フ
ィルタ３４が設けられている。第２のカメラ３２の光軸
上には赤外線カットフィルタ３６が設けられている。被
写体１０へ向け、特定波長である赤外線を投光するため
に、赤外線透光機２０が設けられている。撮影画像供給
手段１１０からは、背景・被写体を含む第二の画像と被
写体を抽出するためのマスク（キー）画像である第一の
画像が出力される。フォアグランド画像生成手段１２０
は、この２つの画像から、被写体を背景から抽出した画
像であるフォアグランド画像を生成する。
取り込んだフォアグランド画像を簡単に生成しするシス
テムを提供すること。 【解決手段】実施例のフォアグランド画像生成装置１０
０の前記撮影画像供給手段１１０は逆光状態と非逆光状
態の２つの状態の被写体１０を同時に撮影することがで
きる。第１および第２のカメラ３０，３２はハーフミラ
ー４０を介して、互いに光軸が一致するように直交配置
されている。第１のカメラ３０の光軸には赤外線透過フ
ィルタ３４が設けられている。第２のカメラ３２の光軸
上には赤外線カットフィルタ３６が設けられている。被
写体１０へ向け、特定波長である赤外線を投光するため
に、赤外線透光機２０が設けられている。撮影画像供給
手段１１０からは、背景・被写体を含む第二の画像と被
写体を抽出するためのマスク（キー）画像である第一の
画像が出力される。フォアグランド画像生成手段１２０
は、この２つの画像から、被写体を背景から抽出した画
像であるフォアグランド画像を生成する。
Description
【０００１】
【発明の属する技術分野】本発明は、フォアグランド画
像生成装置、特に被写体を撮影してフォアグランド画像
を生成するフォアグランド画像生成装置に関する。
像生成装置、特に被写体を撮影してフォアグランド画像
を生成するフォアグランド画像生成装置に関する。
【０００２】
【背景技術及び発明が解決しようとする課題】従来フォ
アグランド画像を生成する際には、クロマキー処理を用
いていた。一般的に“クロマキー処理”とは、フォアグ
ランド画像の特定の色を基準にしてキー信号を取り出
し、フォアグランド画像の一部をバックグランド画像に
置き換える（画面合成）手法である。
アグランド画像を生成する際には、クロマキー処理を用
いていた。一般的に“クロマキー処理”とは、フォアグ
ランド画像の特定の色を基準にしてキー信号を取り出
し、フォアグランド画像の一部をバックグランド画像に
置き換える（画面合成）手法である。
【０００３】このクロマキー手法を用い、人物等をゲー
ム画面にはめ込むためには、以下のような処理を行う。
人物の背後に特定の色、通常は青色の壁（ブルーバッ
ク）を設け、このブルーバックの前に被写体を置き、Ｃ
ＣＤカメラなどで撮影してフォアグランド画像を生成す
る。次にこのフォアグランド画像から、前記特定の色で
ある青色を回路側で識別し、この特定の色（キーカラ
ー）を画像合成するゲーム画像へ置き換えて、人物とゲ
ーム画面とが合成された画像を生成している。
ム画面にはめ込むためには、以下のような処理を行う。
人物の背後に特定の色、通常は青色の壁（ブルーバッ
ク）を設け、このブルーバックの前に被写体を置き、Ｃ
ＣＤカメラなどで撮影してフォアグランド画像を生成す
る。次にこのフォアグランド画像から、前記特定の色で
ある青色を回路側で識別し、この特定の色（キーカラ
ー）を画像合成するゲーム画像へ置き換えて、人物とゲ
ーム画面とが合成された画像を生成している。
【０００４】しかし、このような手法は、次のような問
題があった。
題があった。
【０００５】被写体の背景に物理的な色の付いた壁を
設ける必要がある。
設ける必要がある。
【０００６】この時、被写体の背景にある青い壁は間接
光によって発色させるためライティングが難しく、背景
となるシート（壁）はライトが均一に当たるよう平面で
構成されており、ライトも必要十分に設置されているこ
とが必要となる。従って、精度の良い画像を得るために
はコストの増大を招くという問題があった。
光によって発色させるためライティングが難しく、背景
となるシート（壁）はライトが均一に当たるよう平面で
構成されており、ライトも必要十分に設置されているこ
とが必要となる。従って、精度の良い画像を得るために
はコストの増大を招くという問題があった。
【０００７】また、アミューズメントに応用する場合、
背景は凹凸であることが多く、設置スペース等の制限に
よってライティングも十分に行えない場合が多い。
背景は凹凸であることが多く、設置スペース等の制限に
よってライティングも十分に行えない場合が多い。
【０００８】特にゲーム機などにおいては、このような
壁は邪魔なものとなる場合が多く、青の背景を用意する
ことは、筐体設計の自由度、デザインを制限してしまう
ことにつながる。
壁は邪魔なものとなる場合が多く、青の背景を用意する
ことは、筐体設計の自由度、デザインを制限してしまう
ことにつながる。
【０００９】また、合成上必要であるキーカラーと、
被写体の色とが同じ色である場合には、これら両者を正
確に分離することができないため、被写体の色の制限と
言った問題が発生する。しかし、アミューズメントに応
用する場合、被写体の服の色等を制限することは不可能
である。
被写体の色とが同じ色である場合には、これら両者を正
確に分離することができないため、被写体の色の制限と
言った問題が発生する。しかし、アミューズメントに応
用する場合、被写体の服の色等を制限することは不可能
である。
【００１０】本発明は、このような問題を解決し、物理
的な青色等の壁を必要とせず、被写体を取り込んだフォ
アグランド画像を簡単に生成しするシステムを提供する
ことにある。
的な青色等の壁を必要とせず、被写体を取り込んだフォ
アグランド画像を簡単に生成しするシステムを提供する
ことにある。
【００１１】
【課題を解決するための手段】本発明は、可視光領域以
外の特定波長によって被写体を撮影した第一の画像及び
可視光領域の波長によって被写体を撮影した第二の画像
を供給する撮影画像供給手段と、前記第一の画像に基づ
き被写体の輪郭を決定し、前記第二の画像から被写体の
輪郭内の画像を切り出し、フォアグランド画像を生成す
るフォアグランド画像生成手段と、を含むことを特徴と
する。
外の特定波長によって被写体を撮影した第一の画像及び
可視光領域の波長によって被写体を撮影した第二の画像
を供給する撮影画像供給手段と、前記第一の画像に基づ
き被写体の輪郭を決定し、前記第二の画像から被写体の
輪郭内の画像を切り出し、フォアグランド画像を生成す
るフォアグランド画像生成手段と、を含むことを特徴と
する。
【００１２】フォアグランド画像とは、被写体と背景か
ら成る通常の画像から被写体のみを抽出した画像のこと
である。前記フォアグランド画像は複数の画像を合成す
る処理に用いられる。例えば前記フォアグランド画像を
異なる背景の画像（バックグランド画像）に重ねること
で、ある画像の被写体を異なる画像の背景と合成した画
像を得ることができる。
ら成る通常の画像から被写体のみを抽出した画像のこと
である。前記フォアグランド画像は複数の画像を合成す
る処理に用いられる。例えば前記フォアグランド画像を
異なる背景の画像（バックグランド画像）に重ねること
で、ある画像の被写体を異なる画像の背景と合成した画
像を得ることができる。
【００１３】撮影画像供給手段は、第一の画像及び第二
の画像の２種類の画像を供給する。
の画像の２種類の画像を供給する。
【００１４】第二の画像は通常の可視領域における被写
体の画像を得るためのものであるのに対し、第一の画像
は被写体の輪郭をえるためのものである。
体の画像を得るためのものであるのに対し、第一の画像
は被写体の輪郭をえるためのものである。
【００１５】前記２種類の画像は、同一の対象及び同一
のアングルで被写体を撮影した画像であることが好まし
い。前記フォアグランド画像の合成が容易になるからで
ある。
のアングルで被写体を撮影した画像であることが好まし
い。前記フォアグランド画像の合成が容易になるからで
ある。
【００１６】本発明では従来のクロマキー処理と異な
り、被写体の輪郭をえるために可視光領域以外の特定波
長によって撮影した画像を用いている。従って、クロマ
キー処理のように被写体の背後に物理的な色（キーカラ
ー）のついた壁（ブルーマット）を必要としない。ま
た、被写体の画像を抽出する際に、キーカラーと被写体
の分離を必要としないため、被写体の色に制限がない等
の利点を有している。
り、被写体の輪郭をえるために可視光領域以外の特定波
長によって撮影した画像を用いている。従って、クロマ
キー処理のように被写体の背後に物理的な色（キーカラ
ー）のついた壁（ブルーマット）を必要としない。ま
た、被写体の画像を抽出する際に、キーカラーと被写体
の分離を必要としないため、被写体の色に制限がない等
の利点を有している。
【００１７】本発明は、前記撮影画像供給手段が、前記
第一の画像を撮影する第一の撮影手段と、前記第二の画
像を撮影する第二の撮影手段と、前記被写体からの反射
光を前記第一の撮影手段と前記第二の撮影手段とに分光
するように配置されたハーフミラーとを含むことを特徴
とする。
第一の画像を撮影する第一の撮影手段と、前記第二の画
像を撮影する第二の撮影手段と、前記被写体からの反射
光を前記第一の撮影手段と前記第二の撮影手段とに分光
するように配置されたハーフミラーとを含むことを特徴
とする。
【００１８】第一の撮影手段には少なくとも前記特定波
長を撮影できるカメラ、第二の撮影手段には可視光を撮
影できるカメラを用いると良い。
長を撮影できるカメラ、第二の撮影手段には可視光を撮
影できるカメラを用いると良い。
【００１９】ハーフミラーは、前記第一の撮影手段と前
記第二の撮影手段の撮影範囲を等しくするために使用す
るものであり、可視光と前記特定波長光を分離する機能
を有する。
記第二の撮影手段の撮影範囲を等しくするために使用す
るものであり、可視光と前記特定波長光を分離する機能
を有する。
【００２０】前記撮影画像供給手段は、ハーフミラーに
よって被写体からの反射光を可視光を含む光軸と前記特
定波長を含む光軸に分岐させる。そしてそれぞれの光軸
上に配置した第一の撮影手段と第二の撮影手段とにより
前記第一の画像と前記第二の画像を撮影する。
よって被写体からの反射光を可視光を含む光軸と前記特
定波長を含む光軸に分岐させる。そしてそれぞれの光軸
上に配置した第一の撮影手段と第二の撮影手段とにより
前記第一の画像と前記第二の画像を撮影する。
【００２１】このようにして得られた前記第一の画像と
前記第二の画像は同一時刻において被写体の同一の撮影
範囲を写した物となる。従って、前記第一の画像に基づ
き決定した被写体の輪郭で、前記第二の画像から被写体
の輪郭内の画像を切り出す処理をするのに適した画像を
得ることができる。
前記第二の画像は同一時刻において被写体の同一の撮影
範囲を写した物となる。従って、前記第一の画像に基づ
き決定した被写体の輪郭で、前記第二の画像から被写体
の輪郭内の画像を切り出す処理をするのに適した画像を
得ることができる。
【００２２】本発明は、前記撮影画像供給手段が、前記
第一の撮影手段とハーフミラーの間に配置された可視光
をカットするフィルターと、前記第二の撮影手段とハー
フミラーの間に配置された特定波長の光をカットするフ
ィルターとを含むことを特徴とする。
第一の撮影手段とハーフミラーの間に配置された可視光
をカットするフィルターと、前記第二の撮影手段とハー
フミラーの間に配置された特定波長の光をカットするフ
ィルターとを含むことを特徴とする。
【００２３】ハーフミラーで分光することにより第一の
撮影手段には特定波長の光を、第二の撮影手段には可視
光を入光することができる。しかし、ハーフミラーの分
光精度や透過率の誤差、その他の原因で第一の撮影手段
に前記特定波長以外の光が、第二の撮影手段に可視光以
外の入光する可能性もある。そこで本発明のように予定
外の波長の光の入光をカットするフィルターを設けるこ
とで、より精度のよい第一の画像及び第二の画像を得る
ことができる。
撮影手段には特定波長の光を、第二の撮影手段には可視
光を入光することができる。しかし、ハーフミラーの分
光精度や透過率の誤差、その他の原因で第一の撮影手段
に前記特定波長以外の光が、第二の撮影手段に可視光以
外の入光する可能性もある。そこで本発明のように予定
外の波長の光の入光をカットするフィルターを設けるこ
とで、より精度のよい第一の画像及び第二の画像を得る
ことができる。
【００２４】本発明は、前記撮影画像供給手段が、前記
第一の画像及び前記第二の画像を撮影する撮影手段と、
前記被写体と前記撮影手段との光軸上に配置され、所定
のタイミングで特定波長の光のみを通過させるように機
能するフィルタ手段とを含み、前記撮影手段は、前記フ
ィルタ手段が特定波長の光のみを通過させるように機能
している時に前記第一の画像を撮影することを特徴とす
る。
第一の画像及び前記第二の画像を撮影する撮影手段と、
前記被写体と前記撮影手段との光軸上に配置され、所定
のタイミングで特定波長の光のみを通過させるように機
能するフィルタ手段とを含み、前記撮影手段は、前記フ
ィルタ手段が特定波長の光のみを通過させるように機能
している時に前記第一の画像を撮影することを特徴とす
る。
【００２５】本発明によれば、前記フィルタ手段を用い
て特定波長の光と可視光を交互に前記撮影手段に入光す
ることができる。従って第一の画像及び前記第二の画像
を１つの撮影手段で撮影することができるため、コンパ
クトな構成で、安価に作成することができる。
て特定波長の光と可視光を交互に前記撮影手段に入光す
ることができる。従って第一の画像及び前記第二の画像
を１つの撮影手段で撮影することができるため、コンパ
クトな構成で、安価に作成することができる。
【００２６】本発明は、前記撮影画像供給手段が、被写
体に向け特定波長の光を照射する光源を含むことを特徴
とする。
体に向け特定波長の光を照射する光源を含むことを特徴
とする。
【００２７】前記光源は、被写体の前面においてもよい
し、被写体の背後においてもよい。
し、被写体の背後においてもよい。
【００２８】被写体の背後においた場合、よく写真機等
で問題になる逆光状態を作り出すことができる。この状
態の時、画像は真っ白になった背景に真っ黒の被写体が
写ったものになる。即ち、真っ黒な部分は被写体の輪郭
を表しており、被写体型のマスク（キー）画像が得られ
たことになる。この被写体型に、逆光状態でない同じ画
像を置き換えると被写体だけの画像が得られると考えら
れる。
で問題になる逆光状態を作り出すことができる。この状
態の時、画像は真っ白になった背景に真っ黒の被写体が
写ったものになる。即ち、真っ黒な部分は被写体の輪郭
を表しており、被写体型のマスク（キー）画像が得られ
たことになる。この被写体型に、逆光状態でない同じ画
像を置き換えると被写体だけの画像が得られると考えら
れる。
【００２９】逆に、前記光源を被写体の前面においた場
合には、カメラマンが被写体にライトを当てるライトア
ップ状態を作り出すことができる。そしてその光量を上
げていくと被写体は白く飛んだ映像になることを利用し
て、被写体のマスク（キー）画像が得ることができる。
この状態の時、画像は真っ黒になった背景に真っ白の被
写体が写ったものになる。
合には、カメラマンが被写体にライトを当てるライトア
ップ状態を作り出すことができる。そしてその光量を上
げていくと被写体は白く飛んだ映像になることを利用し
て、被写体のマスク（キー）画像が得ることができる。
この状態の時、画像は真っ黒になった背景に真っ白の被
写体が写ったものになる。
【００３０】本発明によれば、意識的に逆行状態及びラ
イトアップ状態を作成することにより、より鮮明な輪郭
画像を得ることができる。またこのような状態は、特定
波長の光で作成するため可視光の画像には影響を与え
ず、輪郭内の画像も鮮明なものとなる。
イトアップ状態を作成することにより、より鮮明な輪郭
画像を得ることができる。またこのような状態は、特定
波長の光で作成するため可視光の画像には影響を与え
ず、輪郭内の画像も鮮明なものとなる。
【００３１】本発明は、前記特定波長は赤外線領域の波
長であることを特徴とする。
長であることを特徴とする。
【００３２】赤外線は、可視光との分離、撮影、投射が
容易かつ安価であり、被写体に悪影響を及ぼす可能性が
低いため、前記特定波長の光に適している。
容易かつ安価であり、被写体に悪影響を及ぼす可能性が
低いため、前記特定波長の光に適している。
【００３３】本発明は、前記撮影画像供給手段と被写体
とを結ぶ光軸上に配置され、前記光軸が通過する撮像用
の孔が設けられた凸ミラーを更に含み、前記撮影画像供
給手段と凸ミラーがユニット化されていることを特徴と
する。
とを結ぶ光軸上に配置され、前記光軸が通過する撮像用
の孔が設けられた凸ミラーを更に含み、前記撮影画像供
給手段と凸ミラーがユニット化されていることを特徴と
する。
【００３４】本発明のフォアグランド画像生成装置を用
いると、人間の被写体を撮影する際に、被写体が位置あ
わせや姿勢、表情等の確認を行うことと撮影機の方向に
目線を合わせることを両立させることが可能となる。
いると、人間の被写体を撮影する際に、被写体が位置あ
わせや姿勢、表情等の確認を行うことと撮影機の方向に
目線を合わせることを両立させることが可能となる。
【００３５】またハーフミラーを用いた物に比べてロー
コストで構成も簡単である。更に、凸ミラーの局率を変
更するだけで設置スペースの調整が可能である。また、
被写体がごく自然に目線を合わせることも可能である。
コストで構成も簡単である。更に、凸ミラーの局率を変
更するだけで設置スペースの調整が可能である。また、
被写体がごく自然に目線を合わせることも可能である。
【００３６】
【発明の実施の形態】図１は、本発明のフォアグランド
画像生成装置を用いて被写体とゲーム画像とを合成した
合成画像を生成する画像生成システムの機能ブロック図
である。
画像生成装置を用いて被写体とゲーム画像とを合成した
合成画像を生成する画像生成システムの機能ブロック図
である。
【００３７】本システムは、被写体と背景から成る通常
の画像から被写体のみを抽出した画像を生成するフォア
グランド画像生成装置１００と、被写体と合成するゲー
ム画像を生成するバックグランド画像生成手段１３０
と、得られたフォアグランド画像とバックグランド画像
を合成する合成画像供給手段１４０と、合成された画像
をディスプレイに表示する画像表示手段１５０とを含
む。
の画像から被写体のみを抽出した画像を生成するフォア
グランド画像生成装置１００と、被写体と合成するゲー
ム画像を生成するバックグランド画像生成手段１３０
と、得られたフォアグランド画像とバックグランド画像
を合成する合成画像供給手段１４０と、合成された画像
をディスプレイに表示する画像表示手段１５０とを含
む。
【００３８】フォアグランド画像生成装置１００は、撮
影画像供給手段１１０とフォアグランド画像生成手段１
２０を含む。
影画像供給手段１１０とフォアグランド画像生成手段１
２０を含む。
【００３９】撮影画像供給手段１１０は、被写体の画像
を撮影するＣＣＤカメラ等の撮影手段と赤外線投光器等
で構成されている。撮影画像供給手段１１０からは、背
景・被写体を含む第二の画像と被写体を抽出するための
マスク（キー）画像である第一の画像が出力される。
を撮影するＣＣＤカメラ等の撮影手段と赤外線投光器等
で構成されている。撮影画像供給手段１１０からは、背
景・被写体を含む第二の画像と被写体を抽出するための
マスク（キー）画像である第一の画像が出力される。
【００４０】フォアグランド画像生成手段１２０は、こ
の２つの画像から、被写体を背景から抽出した画像であ
るフォアグランド画像を生成する。
の２つの画像から、被写体を背景から抽出した画像であ
るフォアグランド画像を生成する。
【００４１】具体的には、第一の画像であるマスク（キ
ー）画像の輝度信号の大きさに基づき被写体の輪郭を抽
出して、第二の画像である背景、被写体を含む画像と置
き換える等の処理をして、被写体が抽出された画像をつ
くる。
ー）画像の輝度信号の大きさに基づき被写体の輪郭を抽
出して、第二の画像である背景、被写体を含む画像と置
き換える等の処理をして、被写体が抽出された画像をつ
くる。
【００４２】尚、この処理で生成されるフォアグランド
画像の背景は、透明色扱いとなるよう生成することが好
ましい。なぜなら一般的にゲームＰＣＢ等には、透明色
という概念があるので、得られたフォアグランド画像を
他の画像と重ね合わす場合や、被写体のみをテクスチャ
ーとして扱いたい時に都合が良いからである。
画像の背景は、透明色扱いとなるよう生成することが好
ましい。なぜなら一般的にゲームＰＣＢ等には、透明色
という概念があるので、得られたフォアグランド画像を
他の画像と重ね合わす場合や、被写体のみをテクスチャ
ーとして扱いたい時に都合が良いからである。
【００４３】フォアグランド画像生成手段１２０の処理
は市販のクロマキー装置等用いて行うこともできる。市
販のクロマキー装置では、画像背景が透明色にできない
こともあるがこのような場合、背景色は被写体の色情報
が含まれない色に設定するとよい。
は市販のクロマキー装置等用いて行うこともできる。市
販のクロマキー装置では、画像背景が透明色にできない
こともあるがこのような場合、背景色は被写体の色情報
が含まれない色に設定するとよい。
【００４４】本実施例はフォアグランド画像ををゲーム
画像と合成してディスプレイに表示する画像生成システ
ムの例であるが、本発明のフォアグランド画像生成装置
は、生成されたフォアグランド画像をゲームシステムで
テクスチャーとして扱うシステムにも用いることができ
る。
画像と合成してディスプレイに表示する画像生成システ
ムの例であるが、本発明のフォアグランド画像生成装置
は、生成されたフォアグランド画像をゲームシステムで
テクスチャーとして扱うシステムにも用いることができ
る。
【００４５】次に前記撮影画像供給手段１１０の具体的
構成について説明する。前記撮影画像供給手段１１０
は、第一の画像（以下ＩＲ ｉｍａｇｅ ｏｕｔｐｕｔ
という）と第二の画像（以下ＶＲ ｉｍａｇｅ ｏｕｔ
ｐｕｔという）の２種類の画像を作り出さなければなら
ない。
構成について説明する。前記撮影画像供給手段１１０
は、第一の画像（以下ＩＲ ｉｍａｇｅ ｏｕｔｐｕｔ
という）と第二の画像（以下ＶＲ ｉｍａｇｅ ｏｕｔ
ｐｕｔという）の２種類の画像を作り出さなければなら
ない。
【００４６】ＩＲ ｉｍａｇｅ ｏｕｔｐｕｔは、被写
体の輪郭を切り出すため情報を得るための画像である。
本実施例では、よく写真機等で問題になる逆光状態の
時、真っ白になった背景に真っ黒の被写体が写った画像
になる性質に着目して、逆光状態の被写体の画像をＩＲ
ｉｍａｇｅ ｏｕｔｐｕｔとして用いるよう構成して
いる。なお、ライトアップ状態に、真っ黒になった背景
に真っ白の被写体が写った画像になる性質に着目して、
ライトアップ状態の被写体の画像をＩＲ ｉｍａｇｅ
ｏｕｔｐｕｔとして用いるよう構成しても良い。
体の輪郭を切り出すため情報を得るための画像である。
本実施例では、よく写真機等で問題になる逆光状態の
時、真っ白になった背景に真っ黒の被写体が写った画像
になる性質に着目して、逆光状態の被写体の画像をＩＲ
ｉｍａｇｅ ｏｕｔｐｕｔとして用いるよう構成して
いる。なお、ライトアップ状態に、真っ黒になった背景
に真っ白の被写体が写った画像になる性質に着目して、
ライトアップ状態の被写体の画像をＩＲ ｉｍａｇｅ
ｏｕｔｐｕｔとして用いるよう構成しても良い。
【００４７】また、ＶＲ ｉｍａｇｅ ｏｕｔｐｕｔと
しては被写体の鮮明な画像が必要であるため、逆光状態
やライトアップ状態ではなく通常の状態で撮影されたも
のである必要がある。即ち、例えば逆光状態と非逆光状
態の２つの状態を同時に作り出さなくてはならないが、
この相反する２つの状態の映像を同時に撮影することは
困難である。
しては被写体の鮮明な画像が必要であるため、逆光状態
やライトアップ状態ではなく通常の状態で撮影されたも
のである必要がある。即ち、例えば逆光状態と非逆光状
態の２つの状態を同時に作り出さなくてはならないが、
この相反する２つの状態の映像を同時に撮影することは
困難である。
【００４８】そこで本実施例のフォアグランド画像生成
装置の前記撮影画像供給手段１１０では、以下のような
構成を採用している。
装置の前記撮影画像供給手段１１０では、以下のような
構成を採用している。
【００４９】図２には、実施例のフォアグランド画像生
成装置１００の前記撮影画像供給手段１１０の一例が示
されている。
成装置１００の前記撮影画像供給手段１１０の一例が示
されている。
【００５０】実施例の装置は被写体１０のフォアグラン
ド画像を生成するものであり、本実施例では特定波長と
して赤外線を用いている。
ド画像を生成するものであり、本実施例では特定波長と
して赤外線を用いている。
【００５１】第１および第２のカメラ３０，３２はハー
フミラー４０を介して、互いに光軸が一致するように直
交配置されている。
フミラー４０を介して、互いに光軸が一致するように直
交配置されている。
【００５２】第１のカメラ３０の光軸には赤外線透過フ
ィルタ３４が設けられている。第２のカメラ３２の光軸
上には赤外線カットフィルタ３６が設けられている。
ィルタ３４が設けられている。第２のカメラ３２の光軸
上には赤外線カットフィルタ３６が設けられている。
【００５３】さらに、被写体１０へ向け、特定波長であ
る赤外線を投光するために、赤外線透光機２０が設けら
れている。
る赤外線を投光するために、赤外線透光機２０が設けら
れている。
【００５４】第１のカメラ３０は、モノクロＣＣＤカメ
ラであり、赤外線領域における被写体１０の輪郭を画像
化するために使用する。赤外線を効率よく捕らえるに
は、モノクロの方が有利であり、価格もカラーより安い
ため本実施例ではモノクロＣＣＤカメラを用いている。
ラであり、赤外線領域における被写体１０の輪郭を画像
化するために使用する。赤外線を効率よく捕らえるに
は、モノクロの方が有利であり、価格もカラーより安い
ため本実施例ではモノクロＣＣＤカメラを用いている。
【００５５】赤外線透過フィルタ３４は、可視光線を遮
断する目的のフィルタである。赤外線透過フィルタ３４
を第一のカメラ３０のレンズ部の前におくことで、前記
ハーフミラー４０を透過してきた可視光あるいは外部か
ら差し込む可視光が前記第一のカメラ３０に入光するの
を遮断する。
断する目的のフィルタである。赤外線透過フィルタ３４
を第一のカメラ３０のレンズ部の前におくことで、前記
ハーフミラー４０を透過してきた可視光あるいは外部か
ら差し込む可視光が前記第一のカメラ３０に入光するの
を遮断する。
【００５６】第２のカメラ３０は、カラーＣＣＤカメラ
であり、可視光領域における被写体１０を画像化するた
めに使用する。
であり、可視光領域における被写体１０を画像化するた
めに使用する。
【００５７】赤外線カットフィルタ３６は、赤外線を遮
断する目的の光学フィルタである。微弱な赤外線でも画
像に影響を与えてしまうので、赤外線カットフィルタ３
６を第一のカメラ３２のレンズの前におくことで、ハー
フミラーを通過してきた赤外線をカットする。
断する目的の光学フィルタである。微弱な赤外線でも画
像に影響を与えてしまうので、赤外線カットフィルタ３
６を第一のカメラ３２のレンズの前におくことで、ハー
フミラーを通過してきた赤外線をカットする。
【００５８】赤外線投光器２０は、赤外線を出す投光器
である。ここから赤外線が被写体に向けて照射される。
赤外線なので、肉眼ではその存在は確認できない。例え
ば、ハロゲンライトに赤外線透過フィルタを取り付ける
等する等して赤外線投光器２０を作成することができ
る。なおハロゲンライトを用いる場合は、遠赤外線もか
なり発生するので赤外線透過フィルタとして、遠赤外線
領域も遮断するバンドパスフィルタにすることが好まし
い。
である。ここから赤外線が被写体に向けて照射される。
赤外線なので、肉眼ではその存在は確認できない。例え
ば、ハロゲンライトに赤外線透過フィルタを取り付ける
等する等して赤外線投光器２０を作成することができ
る。なおハロゲンライトを用いる場合は、遠赤外線もか
なり発生するので赤外線透過フィルタとして、遠赤外線
領域も遮断するバンドパスフィルタにすることが好まし
い。
【００５９】ハーフミラー４０は、第一のカメラ３０と
第二のカメラ３２を同じ画像（投影範囲）にするために
使用する。一般にハーフミラーは、光源に対して４５°
に配置した時の透過率で（反射率）決定され、この透過
率は可視光線から赤外線領域にわたって効いてくる。
第二のカメラ３２を同じ画像（投影範囲）にするために
使用する。一般にハーフミラーは、光源に対して４５°
に配置した時の透過率で（反射率）決定され、この透過
率は可視光線から赤外線領域にわたって効いてくる。
【００６０】本実施例の構成では、より効率よく被写体
からの反射光を捕らえるために、コールドミラーを使用
している。コールドミラーは赤外線を透過し可視光線を
反射するミラーである。
からの反射光を捕らえるために、コールドミラーを使用
している。コールドミラーは赤外線を透過し可視光線を
反射するミラーである。
【００６１】図３（Ａ）（Ｂ）は、光軸に対するコール
ドミラーの配置とコールドミラーの分光透過率特性を表
した図である。コールドミラー３４０を図３（Ａ）に示
すように光軸３１０に対して４５度に傾けて配置した場
合、コールドミラーに入光する光はその波長によって、
図３（Ｂ）に示すような透過率を示すことになる。即ち
可視光領域では、１０パーセント以下の透過率を示すの
に対し、赤外線領域では約９０パーセントの透過率とな
る。従って図３（Ａ）に示すように、可視光（ＶＲ）及
び赤外線（ＩＲ）を含む光軸３１０上の光は、コールド
ミラー３４０を介して、光軸３２０と光軸３３０に分光
される。光軸３２０上の光は、可視光（ＩＲ）が１０パ
ーセント以下で、赤外線（ＶＲ）が９０パーセント以上
で含まれている。光軸３３０上の光は、赤外線（ＶＲ）
が１０パーセント以下で可視光（ＩＲ）が９０パーセン
ト以上含まれている。
ドミラーの配置とコールドミラーの分光透過率特性を表
した図である。コールドミラー３４０を図３（Ａ）に示
すように光軸３１０に対して４５度に傾けて配置した場
合、コールドミラーに入光する光はその波長によって、
図３（Ｂ）に示すような透過率を示すことになる。即ち
可視光領域では、１０パーセント以下の透過率を示すの
に対し、赤外線領域では約９０パーセントの透過率とな
る。従って図３（Ａ）に示すように、可視光（ＶＲ）及
び赤外線（ＩＲ）を含む光軸３１０上の光は、コールド
ミラー３４０を介して、光軸３２０と光軸３３０に分光
される。光軸３２０上の光は、可視光（ＩＲ）が１０パ
ーセント以下で、赤外線（ＶＲ）が９０パーセント以上
で含まれている。光軸３３０上の光は、赤外線（ＶＲ）
が１０パーセント以下で可視光（ＩＲ）が９０パーセン
ト以上含まれている。
【００６２】図２を用いてＩＲ ｉｍａｇｅ ｏｕｔｐ
ｕｔとＶＲ ｉｍａｇｅ ｏｕｔｐｕｔを撮影する過程
を説明する。
ｕｔとＶＲ ｉｍａｇｅ ｏｕｔｐｕｔを撮影する過程
を説明する。
【００６３】被写体１０は、赤外線投光器２０から赤外
線の照射を受ける。従って被写体及び背景の反射光たる
光軸９０上の光は、赤外線及び可視光線を含む光であ
る。光軸９０上の光は、コールドミラーで構成されたハ
ーフミラー４０により、光軸９２上の反射光と光軸９４
上の透過光に分光される。コールドミラーは可視光を反
射し、赤外線を透過する性質を有するため、光軸９２上
の反射光は赤外線が１０パーセント以下で可視光が９０
パーセント以上含まれている光であり、光軸９４上の光
は、可視光が１０パーセント以下で赤外線が９０パーセ
ント以上含まれている光である。
線の照射を受ける。従って被写体及び背景の反射光たる
光軸９０上の光は、赤外線及び可視光線を含む光であ
る。光軸９０上の光は、コールドミラーで構成されたハ
ーフミラー４０により、光軸９２上の反射光と光軸９４
上の透過光に分光される。コールドミラーは可視光を反
射し、赤外線を透過する性質を有するため、光軸９２上
の反射光は赤外線が１０パーセント以下で可視光が９０
パーセント以上含まれている光であり、光軸９４上の光
は、可視光が１０パーセント以下で赤外線が９０パーセ
ント以上含まれている光である。
【００６４】第一のカメラの前におかれた赤外線透過フ
ィルタ３４は、ハーフミラー４０を透過した可視光やそ
の他隙間から入ってきた可視光をカットする。このた
め、第一のカメラ３０には赤外線が入光され、赤外線領
域の映像であるＩＲ ｉｍａｇｅ ｏｕｔｐｕｔが撮影
される。
ィルタ３４は、ハーフミラー４０を透過した可視光やそ
の他隙間から入ってきた可視光をカットする。このた
め、第一のカメラ３０には赤外線が入光され、赤外線領
域の映像であるＩＲ ｉｍａｇｅ ｏｕｔｐｕｔが撮影
される。
【００６５】第二のカメラの前におかれた赤外線カット
フィルタ３６は、ハーフミラー４０に反射された赤外線
やその他隙間から入ってきた赤外線をカットする。この
ため、第二のカメラ３２には可視光が入光され、可視光
領域の映像であるＶＲ ｉｍａｇｅ ｏｕｔｐｕｔが撮
影される。
フィルタ３６は、ハーフミラー４０に反射された赤外線
やその他隙間から入ってきた赤外線をカットする。この
ため、第二のカメラ３２には可視光が入光され、可視光
領域の映像であるＶＲ ｉｍａｇｅ ｏｕｔｐｕｔが撮
影される。
【００６６】このようにすることで撮影画像供給手段
は、同一のタイミング、同一の角度、同一の光軸線上で
逆光状態と非逆光状態の２つの状態の被写体１０の画像
を撮影することができる。
は、同一のタイミング、同一の角度、同一の光軸線上で
逆光状態と非逆光状態の２つの状態の被写体１０の画像
を撮影することができる。
【００６７】これら図２に示す装置はユニット化して構
成されている。
成されている。
【００６８】なお、第１，第２のカメラ３０，３２の配
置を入れ替えて、ハーフミラー４０としてホットミラー
を用いることもできる。ホットミラーは赤外線を反射、
可視光を透過するために、コールドミラーの場合と同様
に対象とする画像を効率よく撮影することができる。
置を入れ替えて、ハーフミラー４０としてホットミラー
を用いることもできる。ホットミラーは赤外線を反射、
可視光を透過するために、コールドミラーの場合と同様
に対象とする画像を効率よく撮影することができる。
【００６９】図４は、図１の画像生成システムの各プロ
セスにおいて出力される画像を模式的に示した図であ
る。
セスにおいて出力される画像を模式的に示した図であ
る。
【００７０】前記撮影画像供給手段１１０の第１のカメ
ラ３０からは、赤外線波長で撮影された被写体１０の画
像であるＩＲ ｉｍａｇｅ ｏｕｔｐｕｔ２１０が出力
される。また第２のカメラ３２からは、可視光の波長で
撮影された被写体画像であるＶＲ ｉｍａｇｅ ｏｕｔ
ｐｕｔ２２０が出力される。両画像とも、同一のタイミ
ング、同一の角度、同一の光軸線上で被写体１０を撮影
したものである。
ラ３０からは、赤外線波長で撮影された被写体１０の画
像であるＩＲ ｉｍａｇｅ ｏｕｔｐｕｔ２１０が出力
される。また第２のカメラ３２からは、可視光の波長で
撮影された被写体画像であるＶＲ ｉｍａｇｅ ｏｕｔ
ｐｕｔ２２０が出力される。両画像とも、同一のタイミ
ング、同一の角度、同一の光軸線上で被写体１０を撮影
したものである。
【００７１】ＶＲ ｉｍａｇｅ ｏｕｔｐｕｔ２２０
は、背景・被写体１０を含む可視光領域の通常の画像で
ある。ＩＲ ｉｍａｇｅ ｏｕｔｐｕｔ２１０は、赤外
線領域の画像であり、図４に示すように、背景が黒く被
写体１０は輝度を持つ白い画像となっており、被写体１
０を抽出するためのマスク（キー）画像である。
は、背景・被写体１０を含む可視光領域の通常の画像で
ある。ＩＲ ｉｍａｇｅ ｏｕｔｐｕｔ２１０は、赤外
線領域の画像であり、図４に示すように、背景が黒く被
写体１０は輝度を持つ白い画像となっており、被写体１
０を抽出するためのマスク（キー）画像である。
【００７２】フォアグランド画像生成手段１２０は、前
記ＩＲ ｉｍａｇｅ ｏｕｔｐｕｔ２１０の、一定以上
の輝度の画素を被写体１０の表示領域と判別し、前記Ｖ
Ｒｉｍａｇｅ ｏｕｔｐｕｔ２２０からその被写体１０
の表示領域の画像を切り出し、フォアグランド画像２３
０を生成する。このとき、前記被写体１０の表示領域以
外の領域は、その後に行われる画像の重ね合わせ処理を
より簡単に行うために、透明色として扱う。すなわち、
映像領域２１０から切り出された領域以外の領域は、透
明色として取り扱われた、フォアグランド画像２３０が
生成される。このようにして生成されたフォアグランド
画像２３０は、画像合成手段１４０へ出力される。
記ＩＲ ｉｍａｇｅ ｏｕｔｐｕｔ２１０の、一定以上
の輝度の画素を被写体１０の表示領域と判別し、前記Ｖ
Ｒｉｍａｇｅ ｏｕｔｐｕｔ２２０からその被写体１０
の表示領域の画像を切り出し、フォアグランド画像２３
０を生成する。このとき、前記被写体１０の表示領域以
外の領域は、その後に行われる画像の重ね合わせ処理を
より簡単に行うために、透明色として扱う。すなわち、
映像領域２１０から切り出された領域以外の領域は、透
明色として取り扱われた、フォアグランド画像２３０が
生成される。このようにして生成されたフォアグランド
画像２３０は、画像合成手段１４０へ出力される。
【００７３】一方バックグランド画像生成手段１３０は
前記フォアグランド画像２３０とゲーム画像２４０を合
成し、合成画像２５０を出力する。
前記フォアグランド画像２３０とゲーム画像２４０を合
成し、合成画像２５０を出力する。
【００７４】この画像合成手段１４０は、フォアグラン
ド画像２３０と、前記ゲーム画像２４０とを合成し、図
４に示すような合成画像２５０を生成する。図４に示す
ように合成画像２５０は、背景たる前記ゲーム画像２４
０にＶＲ ｉｍａｇｅ ｏｕｔｐｕｔ２２０から切り出
した被写体１０が配置された画像となっている。
ド画像２３０と、前記ゲーム画像２４０とを合成し、図
４に示すような合成画像２５０を生成する。図４に示す
ように合成画像２５０は、背景たる前記ゲーム画像２４
０にＶＲ ｉｍａｇｅ ｏｕｔｐｕｔ２２０から切り出
した被写体１０が配置された画像となっている。
【００７５】このようにすることより、本実施例のシス
テムでは、ブルーマットのような背景の壁を必要とせ
ず、簡単な構成で被写体のフォアグランド画像を生成す
ることができる。
テムでは、ブルーマットのような背景の壁を必要とせ
ず、簡単な構成で被写体のフォアグランド画像を生成す
ることができる。
【００７６】なお、フォアグランド画像２３０をゲーム
システムでテクスチャーとして扱うようにしても良い。
システムでテクスチャーとして扱うようにしても良い。
【００７７】また、撮影画像供給手段は、図５〜図７の
ような構成にしてもよい。
ような構成にしてもよい。
【００７８】図５は、赤外線の逆光状態により被写体の
キー（マスク）画像を得る撮影画像供給手段１１２の構
成を示している。
キー（マスク）画像を得る撮影画像供給手段１１２の構
成を示している。
【００７９】図２の撮影画像供給手段１１２と同様の構
成については同じ番号を付しており、同様の機能を有す
る部分については説明を省略する。図２の撮影画像供給
手段１１２と異なるのは、赤外線投光器２０が被写体１
０の背後にある点である。被写体の背後から、前記赤外
線投光器２０で被写体に向けて赤外線を投光して、赤外
線の逆光状態を作り出すよう構成されている。
成については同じ番号を付しており、同様の機能を有す
る部分については説明を省略する。図２の撮影画像供給
手段１１２と異なるのは、赤外線投光器２０が被写体１
０の背後にある点である。被写体の背後から、前記赤外
線投光器２０で被写体に向けて赤外線を投光して、赤外
線の逆光状態を作り出すよう構成されている。
【００８０】本構成の撮影画像供給手段１１２から出力
されるＩＲ ｉｍａｇｅ ｏｕｔｐｕｔ２１０は、図２
の撮影画像供給手段１１０から出力されるＩＲ ｉｍａ
ｇｅｏｕｔｐｕｔ２１０とは逆に、被写体が黒く背景は
輝度を持つ白い画像となっている。即ち赤外線の逆光状
態のなかで、被写体の輪郭が黒く浮かび上がって被写体
を抽出するためのマスク（キー）画像となっている。
されるＩＲ ｉｍａｇｅ ｏｕｔｐｕｔ２１０は、図２
の撮影画像供給手段１１０から出力されるＩＲ ｉｍａ
ｇｅｏｕｔｐｕｔ２１０とは逆に、被写体が黒く背景は
輝度を持つ白い画像となっている。即ち赤外線の逆光状
態のなかで、被写体の輪郭が黒く浮かび上がって被写体
を抽出するためのマスク（キー）画像となっている。
【００８１】このような構成の撮影画像供給手段１１２
を採用した場合、前記フォアグランド画像生成手段１２
０は、前記ＩＲ ｉｍａｇｅ ｏｕｔｐｕｔ２１０の、
一定以下の輝度の画素を被写体の表示領域と判別し、前
記ＶＲ ｉｍａｇｅ ｏｕｔｐｕｔ２２０からその被写
体の表示領域の画像を切り出し、フォアグランド画像を
生成することになる。
を採用した場合、前記フォアグランド画像生成手段１２
０は、前記ＩＲ ｉｍａｇｅ ｏｕｔｐｕｔ２１０の、
一定以下の輝度の画素を被写体の表示領域と判別し、前
記ＶＲ ｉｍａｇｅ ｏｕｔｐｕｔ２２０からその被写
体の表示領域の画像を切り出し、フォアグランド画像を
生成することになる。
【００８２】図６の撮影画像供給手段１１４も、図５の
撮影画像供給手段１１２と同様に赤外線の逆光状態によ
りキー（マスク）画像を得る構成を有している。図５の
撮影画像供給手段１１２と同様の構成については同じ番
号を付しており、同様の機能を有する部分については説
明を省略する。図５の撮影画像供給手段１１２と異なる
のは、被写体１０の背後にある赤外線投光器２０が、図
６に示すように赤外線を発光するシートになっている点
である。図５ように赤外線投光器２０で赤外線を投光す
る場合には逆光状態を作り出すのに多量の赤外線光量が
必要であるのに対し、図６のように赤外線を発光するシ
ートを用いる場合少ない光量で効率良く逆光状態を作り
出すことができる。
撮影画像供給手段１１２と同様に赤外線の逆光状態によ
りキー（マスク）画像を得る構成を有している。図５の
撮影画像供給手段１１２と同様の構成については同じ番
号を付しており、同様の機能を有する部分については説
明を省略する。図５の撮影画像供給手段１１２と異なる
のは、被写体１０の背後にある赤外線投光器２０が、図
６に示すように赤外線を発光するシートになっている点
である。図５ように赤外線投光器２０で赤外線を投光す
る場合には逆光状態を作り出すのに多量の赤外線光量が
必要であるのに対し、図６のように赤外線を発光するシ
ートを用いる場合少ない光量で効率良く逆光状態を作り
出すことができる。
【００８３】本構成の撮影画像供給手段１１４から出力
されるＩＲ ｉｍａｇｅ ｏｕｔｐｕｔ２１０は、図２
の撮影画像供給手段１１０から出力されるＩＲ ｉｍａ
ｇｅｏｕｔｐｕｔ２１０とは逆に、被写体が黒く背景は
輝度を持つ白い画像となっている。
されるＩＲ ｉｍａｇｅ ｏｕｔｐｕｔ２１０は、図２
の撮影画像供給手段１１０から出力されるＩＲ ｉｍａ
ｇｅｏｕｔｐｕｔ２１０とは逆に、被写体が黒く背景は
輝度を持つ白い画像となっている。
【００８４】このような構成の撮影画像供給手段１１４
を採用した場合、前記フォアグランド画像生成手段１２
０は、前記ＩＲ ｉｍａｇｅ ｏｕｔｐｕｔ２１０の、
一定以下の輝度の画素を被写体の表示領域と判別し、前
記ＶＲ ｉｍａｇｅ ｏｕｔｐｕｔ２２０からその被写
体の表示領域の画像を切り出し、フォアグランド画像を
生成することになる。
を採用した場合、前記フォアグランド画像生成手段１２
０は、前記ＩＲ ｉｍａｇｅ ｏｕｔｐｕｔ２１０の、
一定以下の輝度の画素を被写体の表示領域と判別し、前
記ＶＲ ｉｍａｇｅ ｏｕｔｐｕｔ２２０からその被写
体の表示領域の画像を切り出し、フォアグランド画像を
生成することになる。
【００８５】図７（Ａ）（Ｂ）は、図２、図５、図６に
示された撮影画像供給手段の撮影部１１６を、１つのＣ
ＣＤカメラで実現する場合の構成を示している。図７
（Ａ）は、前記撮影部１１６の正面図をあらわしてお
り、図７（Ｂ）は、前記撮影部１１６の側面図を表して
いる。
示された撮影画像供給手段の撮影部１１６を、１つのＣ
ＣＤカメラで実現する場合の構成を示している。図７
（Ａ）は、前記撮影部１１６の正面図をあらわしてお
り、図７（Ｂ）は、前記撮影部１１６の側面図を表して
いる。
【００８６】被写体とカメラ３０の間には、図７（Ａ）
に示す用に光学フィルタスリット枠６０が設けられてい
る。カメラ３０には図２、図５、図６の場合と同様に可
視光領域から赤外線領域まで撮影できるＣＣＤカメラが
適している。該光学フィルタスリット枠６０には、赤外
線を透過するフィルタである赤外線透過フィルタ３４と
赤外線をカットするフィルタである赤外線カットフィル
タ３６が図７（Ａ）に示すように半分ずつ取り付けられ
ており、モータ５０により回転自在に構成されている。
前記モータの回転は、垂直同期信号によって制御され、
カメラ５０のレンズ前面に配置される光学フィルタが、
赤外線透過フィルタ３４と赤外線カットフィルタ３６と
で交互に切り替わるよう構成されている。従って前記カ
メラ３０のレンズの前面に赤外線透過フィルタ３４がく
る場合には、前記カメラ３０は赤外線映像が撮影される
赤外線カメラとして機能し、前記カメラ３０のレンズの
前面に赤外線カットフィルタ３４がくる場合には、前記
カメラ３０は可視光領域の映像が撮影される可視光線カ
メラとして機能する。
に示す用に光学フィルタスリット枠６０が設けられてい
る。カメラ３０には図２、図５、図６の場合と同様に可
視光領域から赤外線領域まで撮影できるＣＣＤカメラが
適している。該光学フィルタスリット枠６０には、赤外
線を透過するフィルタである赤外線透過フィルタ３４と
赤外線をカットするフィルタである赤外線カットフィル
タ３６が図７（Ａ）に示すように半分ずつ取り付けられ
ており、モータ５０により回転自在に構成されている。
前記モータの回転は、垂直同期信号によって制御され、
カメラ５０のレンズ前面に配置される光学フィルタが、
赤外線透過フィルタ３４と赤外線カットフィルタ３６と
で交互に切り替わるよう構成されている。従って前記カ
メラ３０のレンズの前面に赤外線透過フィルタ３４がく
る場合には、前記カメラ３０は赤外線映像が撮影される
赤外線カメラとして機能し、前記カメラ３０のレンズの
前面に赤外線カットフィルタ３４がくる場合には、前記
カメラ３０は可視光領域の映像が撮影される可視光線カ
メラとして機能する。
【００８７】前記カメラ３０が可視光カメラとして機能
する場合に、前記赤外線投光器２０をＯＦＦにすれば赤
外線をカットするための赤外線カットフィルタ３６は不
要である。
する場合に、前記赤外線投光器２０をＯＦＦにすれば赤
外線をカットするための赤外線カットフィルタ３６は不
要である。
【００８８】なお、該光学フィルタスリット枠６０、赤
外線透過フィルタ３４、赤外線カットフィルタ３６、モ
ータ５０がフィルタ手段として機能する。
外線透過フィルタ３４、赤外線カットフィルタ３６、モ
ータ５０がフィルタ手段として機能する。
【００８９】図７（Ｃ）は、図７（Ａ）（Ｂ）の撮影部
１１６における垂直同信号出力４１０とＣＣＤカメラ属
性４２０と赤外線投光器出力４３０のタイミングチャー
トを示している。垂直同信号出力４１０は、所定のタイ
ミングで前記光学フィルタを切り替えるよう同期をとる
ための信号であり、Ｆｒａｍｅ（ｔ）、Ｆｒａｍｅ（ｔ
＋１）、Ｆｒａｍｅ（ｔ＋２）が各フレームを表してい
る。そして前記各フレーム毎に前記垂直同信号出力４１
０に同期して、ＣＣＤカメラ属性４２０が赤外線カメラ
ＩＲ（ｔ）、ＩＲ（ｔ＋１）、可視光カメラＶＲ
（ｔ）、ＶＲ（ｔ＋１）と切り替わる。また、前述した
ように可視光カメラとして機能する場合には、赤外線投
光器をＯＦＦにすればよいため、赤外線投光器出力４３
０は、ＣＣＤカメラ属性４２０が赤外線カメラ属性にあ
る時のみＯＮになるよう構成されている。
１１６における垂直同信号出力４１０とＣＣＤカメラ属
性４２０と赤外線投光器出力４３０のタイミングチャー
トを示している。垂直同信号出力４１０は、所定のタイ
ミングで前記光学フィルタを切り替えるよう同期をとる
ための信号であり、Ｆｒａｍｅ（ｔ）、Ｆｒａｍｅ（ｔ
＋１）、Ｆｒａｍｅ（ｔ＋２）が各フレームを表してい
る。そして前記各フレーム毎に前記垂直同信号出力４１
０に同期して、ＣＣＤカメラ属性４２０が赤外線カメラ
ＩＲ（ｔ）、ＩＲ（ｔ＋１）、可視光カメラＶＲ
（ｔ）、ＶＲ（ｔ＋１）と切り替わる。また、前述した
ように可視光カメラとして機能する場合には、赤外線投
光器をＯＦＦにすればよいため、赤外線投光器出力４３
０は、ＣＣＤカメラ属性４２０が赤外線カメラ属性にあ
る時のみＯＮになるよう構成されている。
【００９０】図８（Ａ）（Ｂ）には、この本発明のフォ
アグランド画像生成装置を利用した撮影画像取り込み装
置の正面図及び側面図の一例が示されている。本実施例
の画像取り込み装置は、モニター１５２の上面にユニッ
ト化された本実施例の撮影部１１２を取り付け固定した
構成となっている。ユニット化された本実施例の撮影部
１１２の前面には鏡１６０を設けておき、その鏡の中央
付近に開けられた撮影用の穴１６２を介して撮影部１１
２のカメラの光軸が覗くように構成される。
アグランド画像生成装置を利用した撮影画像取り込み装
置の正面図及び側面図の一例が示されている。本実施例
の画像取り込み装置は、モニター１５２の上面にユニッ
ト化された本実施例の撮影部１１２を取り付け固定した
構成となっている。ユニット化された本実施例の撮影部
１１２の前面には鏡１６０を設けておき、その鏡の中央
付近に開けられた撮影用の穴１６２を介して撮影部１１
２のカメラの光軸が覗くように構成される。
【００９１】図９（Ａ）（Ｂ）は、鏡と撮影部１１２の
部分の正面図、側面図を表した図ある。同図に示すよう
に、鏡１６０としては凸ミラーを用い、その真ん中に撮
影用の穴１６２を設けることが好ましい。凸ミラーを用
いることにより、使用するミラーが小さくても、被写体
の顔等を効率よく映し出すことができ、システム全体を
コンパクトにすることができる。これに加えて、被写体
は凸ミラーの中央に顔を映し出すようにするため、自然
に顔の位置合わせ等を行うことができ、特にマーカ７０
を用いることにより、より自然に顔等の位置合わせを行
うことができる。
部分の正面図、側面図を表した図ある。同図に示すよう
に、鏡１６０としては凸ミラーを用い、その真ん中に撮
影用の穴１６２を設けることが好ましい。凸ミラーを用
いることにより、使用するミラーが小さくても、被写体
の顔等を効率よく映し出すことができ、システム全体を
コンパクトにすることができる。これに加えて、被写体
は凸ミラーの中央に顔を映し出すようにするため、自然
に顔の位置合わせ等を行うことができ、特にマーカ７０
を用いることにより、より自然に顔等の位置合わせを行
うことができる。
【００９２】また、図９（Ｃ）に示すように、凸ミラー
６０の表面に、撮影位置、大きさ調整用のマーカ１７０
を描いてもよい。
６０の表面に、撮影位置、大きさ調整用のマーカ１７０
を描いてもよい。
【００９３】なお、本実施例のシステムは、ミラー含め
て全体をユニット化することにより、ゲーム機のみなら
ず、これ以外の用途に広く適用できる。
て全体をユニット化することにより、ゲーム機のみなら
ず、これ以外の用途に広く適用できる。
【００９４】また、本実施例のフォアグランド画像生成
装置では、ブルーマットを用いた場合のように、色の種
別等を判断せずに、単に輝度のみを判定し被写体のフォ
アグランド画像を形成することができるため、ＣＰＵの
負担を大幅に軽減することができる。
装置では、ブルーマットを用いた場合のように、色の種
別等を判断せずに、単に輝度のみを判定し被写体のフォ
アグランド画像を形成することができるため、ＣＰＵの
負担を大幅に軽減することができる。
【００９５】本発明の用途としては、ゲーム機のみなら
ず、例えばシール印刷機、テレビ電話、テレビ会議シス
テムなど、被写体を取り込んでフォアグランド画像を生
成し、これを画像合成する機種に対し幅広く適用するこ
とができる。
ず、例えばシール印刷機、テレビ電話、テレビ会議シス
テムなど、被写体を取り込んでフォアグランド画像を生
成し、これを画像合成する機種に対し幅広く適用するこ
とができる。
【００９６】
【図１】本発明のフォアグランド画像生成装置を用いて
被写体とゲーム画像とを合成した合成画像を生成する画
像生成システムの機能ブロック図である。
被写体とゲーム画像とを合成した合成画像を生成する画
像生成システムの機能ブロック図である。
【図２】実施例のフォアグランド画像生成装置の撮影画
像供給手段の一例を示した図でる。
像供給手段の一例を示した図でる。
【図３】同図（Ａ）（Ｂ）は、光軸に対するコールドミ
ラーの配置とコールドミラーの分光透過率特性を表した
図である。
ラーの配置とコールドミラーの分光透過率特性を表した
図である。
【図４】画像生成システムの各プロセスにおいて出力さ
れる画像を模式的に示した図である。
れる画像を模式的に示した図である。
【図５】赤外線の逆光状態により被写体のキー（マス
ク）画像を得る撮影画像供給手段の構成を示している。
ク）画像を得る撮影画像供給手段の構成を示している。
【図６】赤外線の逆光状態により被写体のキー（マス
ク）画像を得る撮影画像供給手段の構成を示している。
ク）画像を得る撮影画像供給手段の構成を示している。
【図７】同図（Ａ）（Ｂ）（Ｃ）は、撮影画像供給手段
の撮影部を、１つのＣＣＤカメラで実現する場合の構成
を示した図及びタイミングチャートである。
の撮影部を、１つのＣＣＤカメラで実現する場合の構成
を示した図及びタイミングチャートである。
【図８】同図（Ａ）（Ｂ）には、本発明のフォアグラン
ド画像生成装置を利用した撮影画像取り込み装置の正面
図及び側面図の一例を表した図である。
ド画像生成装置を利用した撮影画像取り込み装置の正面
図及び側面図の一例を表した図である。
【図９】同図（Ａ）（Ｂ）（Ｃ）は、鏡と撮影部の部分
の正面図、側面図、及び凸ミラーの表面を表した図あ
る。
の正面図、側面図、及び凸ミラーの表面を表した図あ
る。
１０ 被写体 ２０ 赤外線投光器 ３０、３２ 第一のカメラ、第二のカメラ ３４ 赤外線透過フィルタ ３６ 赤外線カットフィルタ ４０ ハーフミラー ５０ モータ ６０ 光学フィルタスリット枠 ８０ フィルタ手段 ４０ ハーフミラー １００ フォアグランド画像生成装置 １１０ 撮影画像供給手段 １１２ 撮影部 １２０ フォアグランド画像生成手段 １３０ バックグランド画像生成手段 １４０ 合成画像生成手段 １５０ 画像表示手段 １５２ モニタ １６０ 鏡 １６２ 撮影用の穴 ２１０ ＩＲ ｉｍａｇｅ ｏｕｔｐｕｔ ２２０ ＶＲ ｉｍａｇｅ ｏｕｔｐｕｔ ２３０ フォアグランド画像 ２４０ ゲーム画像 ２４０ 合成画像
フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｈ０４Ｎ 5/272 Ｈ０４Ｎ 5/272 9/75 9/75
Claims (7)
- 【請求項１】 可視光領域以外の特定波長によって被写
体を撮影した第一の画像及び可視光領域の波長によって
被写体を撮影した第二の画像を供給する撮影画像供給手
段と、 前記第一の画像に基づき被写体の輪郭を決定し、前記第
二の画像から被写体の輪郭内の画像を切り出し、フォア
グランド画像を生成するフォアグランド画像生成手段
と、を含むことを特徴とするフォアグランド画像生成装
置。 - 【請求項２】 請求項１において、 前記撮影画像供給手段が、 前記第一の画像を撮影する第一の撮影手段と、前記第二
の画像を撮影する第二の撮影手段と、前記被写体からの
反射光を前記第一の撮影手段と前記第二の撮影手段とに
分光するように配置されたハーフミラーとを含むことを
特徴とするフォアグランド画像生成装置。 - 【請求項３】 請求項２において、 前記撮影画像供給手段が、 前記第一の撮影手段とハーフミラーの間に配置された可
視光をカットするフィルターと、前記第二の撮影手段と
ハーフミラーの間に配置された特定波長の光をカットす
るフィルターとを含むことを特徴とするフォアグランド
画像生成装置。 - 【請求項４】 請求項１において、 前記撮影画像供給手段が、 前記第一の画像及び前記第二の画像を撮影する撮影手段
と、前記被写体と前記撮影手段との光軸上に配置され、
所定のタイミングで特定波長の光のみを通過させるよう
に機能するフィルタ手段とを含み、 前記撮影手段は、前記フィルタ手段が特定波長の光のみ
を通過させるように機能している時に前記第一の画像を
撮影することを特徴とするフォアグランド画像生成装
置。 - 【請求項５】 請求項１〜４のいずれかにおいて、 前記撮影画像供給手段が、 被写体に向け特定波長の光を照射する光源を含むことを
特徴とするフォアグランド画像生成装置。 - 【請求項６】 請求項１〜５のいずれかにおいて、 前記特定波長は赤外線領域の波長であることを特徴とす
るフォアグランド画像生成装置。 - 【請求項７】 請求項１〜６のいずれかにおいて、 前記撮影画像供給手段と被写体とを結ぶ光軸上に配置さ
れ、前記光軸が通過する撮像用の孔が設けられた凸ミラ
ーを更に含み、 前記撮影画像供給手段と凸ミラーがユニット化されてい
ることを特徴とするフォアグランド画像生成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9249534A JPH1173491A (ja) | 1997-08-29 | 1997-08-29 | フォアグランド画像生成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9249534A JPH1173491A (ja) | 1997-08-29 | 1997-08-29 | フォアグランド画像生成装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3211898A Division JPH1172840A (ja) | 1998-01-29 | 1998-01-29 | 画像生成装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1173491A true JPH1173491A (ja) | 1999-03-16 |
Family
ID=17194425
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9249534A Pending JPH1173491A (ja) | 1997-08-29 | 1997-08-29 | フォアグランド画像生成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1173491A (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002207999A (ja) * | 2001-01-11 | 2002-07-26 | Omron Corp | 個人識別装置 |
| JP2003058873A (ja) * | 2001-08-13 | 2003-02-28 | Olympus Optical Co Ltd | 形状抽出装置および方法、並びに画像切り出し装置および方法 |
| US7253832B2 (en) | 2001-08-13 | 2007-08-07 | Olympus Corporation | Shape extraction system and 3-D (three dimension) information acquisition system using the same |
| JP2008205839A (ja) * | 2007-02-20 | 2008-09-04 | Canon Inc | 映像装置および画像通信装置 |
| JP2008252639A (ja) * | 2007-03-30 | 2008-10-16 | Fujifilm Corp | 撮像装置及び方法 |
| JP2009147823A (ja) * | 2007-12-17 | 2009-07-02 | Taito Corp | 異種カメラによる画像形成方法，該画像形成方法を用いたマルチカメラ装置および該マルチカメラ装置を備えたプリントシール機 |
| JP2009181211A (ja) * | 2008-01-29 | 2009-08-13 | Panasonic Electric Works Co Ltd | 顔認証装置 |
| US7834894B2 (en) | 2007-04-03 | 2010-11-16 | Lifetouch Inc. | Method and apparatus for background replacement in still photographs |
| GB2473503A (en) * | 2009-09-15 | 2011-03-16 | Metail Ltd | Image processing with keying of foreground objects |
| WO2012110828A1 (en) | 2011-02-17 | 2012-08-23 | Metail Limited | Computer implemented methods and systems for generating virtual body models for garment fit visualisation |
| JP2013506868A (ja) * | 2009-10-01 | 2013-02-28 | マイクロソフト コーポレーション | カラー画像及び奥行き画像を構築する撮像装置 |
| US10412280B2 (en) | 2016-02-10 | 2019-09-10 | Microsoft Technology Licensing, Llc | Camera with light valve over sensor array |
| JP2019212104A (ja) * | 2018-06-06 | 2019-12-12 | 任天堂株式会社 | 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法 |
| CN115023941A (zh) * | 2020-09-29 | 2022-09-06 | 索尼集团公司 | 用于提高摄影机灵敏度和相同视角的匹配的光学装置 |
| JP2022554407A (ja) * | 2019-12-13 | 2022-12-28 | ソニーグループ株式会社 | 背景からの被写体の抽出 |
-
1997
- 1997-08-29 JP JP9249534A patent/JPH1173491A/ja active Pending
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002207999A (ja) * | 2001-01-11 | 2002-07-26 | Omron Corp | 個人識別装置 |
| JP2003058873A (ja) * | 2001-08-13 | 2003-02-28 | Olympus Optical Co Ltd | 形状抽出装置および方法、並びに画像切り出し装置および方法 |
| US7253832B2 (en) | 2001-08-13 | 2007-08-07 | Olympus Corporation | Shape extraction system and 3-D (three dimension) information acquisition system using the same |
| JP2008205839A (ja) * | 2007-02-20 | 2008-09-04 | Canon Inc | 映像装置および画像通信装置 |
| JP2008252639A (ja) * | 2007-03-30 | 2008-10-16 | Fujifilm Corp | 撮像装置及び方法 |
| US7961229B2 (en) | 2007-03-30 | 2011-06-14 | Fujifilm Corporation | Image pickup apparatus and method using visible light and infrared |
| US8134576B2 (en) | 2007-04-03 | 2012-03-13 | Lifetouch Inc. | Method and apparatus for background replacement in still photographs |
| US7834894B2 (en) | 2007-04-03 | 2010-11-16 | Lifetouch Inc. | Method and apparatus for background replacement in still photographs |
| US8319797B2 (en) | 2007-04-03 | 2012-11-27 | Lifetouch Inc. | Method and apparatus for background replacement in still photographs |
| JP2009147823A (ja) * | 2007-12-17 | 2009-07-02 | Taito Corp | 異種カメラによる画像形成方法，該画像形成方法を用いたマルチカメラ装置および該マルチカメラ装置を備えたプリントシール機 |
| JP2009181211A (ja) * | 2008-01-29 | 2009-08-13 | Panasonic Electric Works Co Ltd | 顔認証装置 |
| US10037618B2 (en) | 2009-09-15 | 2018-07-31 | Metail Limited | System and method for image processing and generating a body model |
| GB2473503A (en) * | 2009-09-15 | 2011-03-16 | Metail Ltd | Image processing with keying of foreground objects |
| WO2011033258A1 (en) | 2009-09-15 | 2011-03-24 | Metail Limited | System and method for image processing and generating a body model |
| US9591236B2 (en) | 2009-09-15 | 2017-03-07 | Metail Limited | System and method for image processing and generating a body model |
| US8605148B2 (en) | 2009-09-15 | 2013-12-10 | Metail Limited | System and method for image processing and generating a body model |
| GB2473503B (en) * | 2009-09-15 | 2015-02-11 | Metail Ltd | System and method for image processing |
| JP2013506868A (ja) * | 2009-10-01 | 2013-02-28 | マイクロソフト コーポレーション | カラー画像及び奥行き画像を構築する撮像装置 |
| WO2012110828A1 (en) | 2011-02-17 | 2012-08-23 | Metail Limited | Computer implemented methods and systems for generating virtual body models for garment fit visualisation |
| US10412280B2 (en) | 2016-02-10 | 2019-09-10 | Microsoft Technology Licensing, Llc | Camera with light valve over sensor array |
| JP2019212104A (ja) * | 2018-06-06 | 2019-12-12 | 任天堂株式会社 | 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法 |
| US10861414B2 (en) | 2018-06-06 | 2020-12-08 | Nintendo Co., Ltd. | Storage medium, information processing system, information processing apparatus and information processing method |
| JP2022554407A (ja) * | 2019-12-13 | 2022-12-28 | ソニーグループ株式会社 | 背景からの被写体の抽出 |
| US11765309B2 (en) | 2019-12-13 | 2023-09-19 | Sony Group Corporation | Video capturing subject using IR light |
| CN115023941A (zh) * | 2020-09-29 | 2022-09-06 | 索尼集团公司 | 用于提高摄影机灵敏度和相同视角的匹配的光学装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7420585B2 (en) | Image capture and display device | |
| US5956180A (en) | Optical viewing system for asynchronous overlaid images | |
| EP0696145B1 (en) | Stereoscopic display | |
| JPH1173491A (ja) | フォアグランド画像生成装置 | |
| KR101862043B1 (ko) | 멀티 카메라 | |
| JP2000105348A (ja) | 画像観察装置 | |
| JP3386082B2 (ja) | 撮影装置におけるビューファインダー | |
| JPH1172840A (ja) | 画像生成装置 | |
| JP4807003B2 (ja) | 投影装置及び投影方法 | |
| JPH11134505A (ja) | 画像抽出装置およびこれを用いた画像表示装置 | |
| JPH07212680A (ja) | 画像表示装置 | |
| JP2957883B2 (ja) | 立体効果発生メガネ | |
| US7693316B2 (en) | Apparatus and method for displaying hologram of a mobile communication terminal | |
| JP3108388B2 (ja) | ビデオカメラを用いる画像処理装置 | |
| JPH11136703A (ja) | 画像抽出装置およびこれを用いた画像表示装置 | |
| KR100257333B1 (ko) | 입체디지탈스틸카메라 | |
| JP2865616B2 (ja) | 立体映像表示装置 | |
| JP3708174B2 (ja) | 立体映像表示装置 | |
| JPH08160354A (ja) | 立体画像表示装置 | |
| JP2000101981A (ja) | 撮像表示装置 | |
| JPH05103282A (ja) | パーソナル映像器 | |
| JPH114381A (ja) | 画像合成装置 | |
| JP2002027494A (ja) | 立体実写映像撮影提示システム | |
| JPH05103238A (ja) | 広視野角映像撮影装置 | |
| WO2000079779A2 (en) | System and method for differentiating between image foreground and background in an image based on an invisible keying signal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040407 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040407 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070420 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070502 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070905 |