JP3193930B2 - 画像入力合成装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は複数の画像を合成する方
法と、その入力画像を得るための画像入力装置に関す
る。

【０００２】

【従来の技術】従来の画像合成方法の例として、放送な
どの分野で広く用いられているクロマキーと呼ばれる方
法について説明をする。クロマキーの原理については、
例えば、「放送技術双書 カラーテレビジョン」日本放
送協会編（１９６１年）ｐｐ．５３９〜５４０に詳しく
示されている。クロマキーは放送における特殊効果技術
の１つであり、基本的にはカメラなどの画像入力装置で
撮影した２つの画像の一方に、もう一方の画像をはめ込
んだ合成画像を作成するための手法である。

【０００３】クロマキーの原理を用いた、従来の画像合
成方法の例を図６に示す。図６において、６０１と６０
２は合成の対象となる２つの画像、６０３は画像合成装
置、６０４は合成された画像である。画像合成装置６０
３は入力されてくる２つの画像６０１と６０２の信号の
うち、どちらか一方の画像の中の特定の色や信号レベル
をキーとし、キーを検出したときにその部分の信号をも
う一方の画像の信号で置き換え、合成画像を生成する。

【０００４】なお、コンピュータの表示画面上に外部か
ら取り込んだ画像を表示する場合も、このクロマキーの
原理が応用されている。即ち、コンピュータ側の画像デ
ータを格納するフレームバッファ上に、取り込んだ画像
を表示するための領域を指定し、その領域内を予めキー
となる色で塗りつぶしておくことにより、クロマキーと
同様にキーの部分のみを外部から取り込んだ画像に置き
換えて、合成画像を生成する。

【０００５】

【発明が解決しようとする課題】しかしながら、従来の
画像合成方法では、合成の対象としている入力画像が奥
行きに関する情報をもっていないため、一方の画像をも
う一方の画像に対して、常に前に配置するか、常に後ろ
に配置するかの、いずれかに見えるような効果をもつよ
うな画像合成しかできなかった。例えば、図７（ａ）お
よび（ｂ）に示す２つの画像を合成するとき、図７
（ａ）の手前の建物と後ろの建物の間を、図７（ｂ）の
車が通過していくという図７（ｃ）に示したような、２
つの画像中の物体が互いに入り組んで前後するような画
像を、それらの物体の前後関係を正しく保ちながら合成
することができず、不自然な画像しか得られなかった。

【０００６】本発明はかかる点に鑑み、入力した画像中
の個々の物体相互間の前後関係を保ちながら合成するよ
うな画像入力装置と画像合成方法を提供することを目的
とする。

【０００７】

【課題を解決するための手段】前記の課題を解決するた
めに本発明の画像入力合成装置は、画像を撮像し画像の
画素データを出力する撮像部と、前記撮像部が出力する
画像の画素データから複数の被写体の画素領域を抽出す
る画像処理部と、前記撮像部から、前記画像処理部が抽
出した前記複数の被写体毎に、被写体上の点までの距離
を各被写体毎に計測する距離計測部と、前記距離計測部
が各被写体毎に計測した前記距離に基づき、前記被写体
上の点を含む平面の方程式を決定し、前記方程式に画素
位置を代入して各被写体毎の奥行きデータを付与する距
離算出部と、前記撮像部から出力された画素データおよ
び前記距離算出部で算出された奥行きデータを少なくと
も１つの入力とし、画素毎の画素データと奥行きデータ
をもつ画像を別の入力とし、各入力された画像の対応す
る画素位置の画素毎に奥行きデータを比較する奥行き比
較手段と、前記比較の結果、最も小さい奥行きデータを
もつ画素を合成後の画像のその画素位置の画素として選
択する画素選択手段を備えます。

【０００８】

【０００９】

【作用】本発明は前記の構成により、撮像部が画像を撮
像して画像の画素データを出力し、前記の画像処理部が
前記撮像部が出力する画像の画素データから複数の被写
体の画素領域を抽出し、前記距離計測部が、前記撮像部
から、前記画像処理部が抽出の対象とする複数の被写体
毎に指示された被写体上の点までの距離を各被写体毎に
計測し、距離算出部が、撮像部から計測された点を通る
平面上の各画素までの距離を算出することにより、前記
画像処理部が出力する個々の被写体の画素データに奥行
きデータを付与して出力することができる。

【００１０】さらに、前記画素データおよび前記奥行き
データを少なくとも１つの入力とし、画素毎の画素デー
タと奥行きデータをもつ１つまたは複数の画像を別の入
力とし、入力されたすべての画像の対応する画素位置の
画素毎に奥行きデータを比較して最も近い、即ち最も小
さい奥行きデータをもつ画素を合成後の画像のその画素
位置の画素として出力することにより、複数の画像中の
個々の物体相互の前後関係を正しく保存した合成画像を
生成することができる。

【００１１】

【実施例】以下、本発明の実施例について図面を用いて
詳細に説明する。

【００１２】

【実施例】以下、本発明の実施例について図面を用いて
詳細に説明する。 （実施例１） 図１は本発明（請求項１）の画像入力装置の一実施例を
示すブロック図である。図１において、１０１は画像入
力対象となる１つまたは複数の被写体、１０２はカメラ
などで構成された撮像部、１０３は撮像部１０２で撮像
された画像の画素データ、１０４は画素データ１０３か
ら、指示された１つまたは複数の被写体１０１に相当す
る画素領域を抽出する画像処理部、１０５はどの画素が
どの被写体１０１の画素であるか、またはいずれの被写
体１０１にも相当しない画素であるかを示す信号、１０
６は抽出対象となる１つまたは複数の被写体１０１毎に
それぞれの被写体１０１上の１つないし３つの点までの
距離を測定する距離計測部、１０７は距離計測部１０６
で計測された距離データ、１０８は信号１０５に従って
被写体毎に対応する奥行きデータを算出し、画素データ
１０３に対応付けて出力する距離算出部、１０９は距離
算出部１０８が出力する奥行きデータである。

【００１３】図２および図３は、図１に示した本実施例
の画像入力装置の動作を説明するための図であり、図２
は画像入力時における本実施例の画像入力装置と被写体
の例を示す配置図、図３は図２に示した画像入力装置か
ら入力された画像である。なお、図２および図３は後記
の別の実施例の説明においても使用する。

【００１４】図２において、２０１は撮像部１０２を構
成するカメラ、２０２は距離計測部１０６を構成する距
離計、２０３は抽出の対象となる被写体の例の１つであ
る直方体、２０４は抽出の対象となる別の被写体の例で
ある円柱、２０５、２０６、２０７は被写体２０３上の
ある３点、２０８、２０９、２１０は被写体２０４上の
ある３点を示している。なお、被写体の数はこの限りで
はない。

【００１５】以下の説明のため、カメラ２０１の光軸方
向（即ち、レンズ面に垂直な方向）をＺ軸、床面に垂直
な方向をＹ軸、床面に平行な方向をＸ軸とし、カメラ２
０１が原点となるような左手座標系を想定する。

【００１６】図３において、斜線部３０１は被写体２０
３に相当する画素領域を、横線部３０２は被写体２０４
に相当する画素領域を、３０３は点２０５に対応する画
素を、３０４は点２０６に対応する画素を、３０５は点
２０７に対応する画素を、３０６は点２０８に対応する
画素を、３０７は点２０９に対応する画素を、３０８は
点２１０に対応する画素を、３０９は斜線部３０１と横
線部３０２のいずれにも含まれない画素領域を示す。

【００１７】画像処理部１０４は図３に示された画像か
ら、各種の特徴量（例えば、色、形状、テクスチャな
ど）を抽出し、被写体２０３および２０４のもつ特性と
照合することにより各々の被写体２０３と２０４に対応
する画素領域３０１と３０２を抽出し、各画素毎にいず
れの被写体２０３または２０４に対応する画素である
か、またはいずれの被写体２０３と２０４にも対応しな
い画素３０９であるかを識別する信号１０５を生成し、
距離算出部１０８に送る。

【００１８】以下の画像入力装置の各々において異なる
３モードの動作について説明する。まず、第１のモード
の画像入力装置においては、距離計測部１０６は距離計
２０２を用いて被写体２０３上の１点（ここでは点２０
５を例にとる。）および被写体２０４上の１点（ここで
は点２０８を例にとる。）までのＺ軸に沿った距離を計
測する。距離計２０２の測距法としては超音波やレーザ
光の反射パルスの応答時間や位相差などを用いる方法が
利用できる。距離算出部１０８は、距離計測部１０６か
ら入力された距離データ１０７と画像処理部１０４から
入力された画素識別信号１０５に従って、点２０５まで
の距離を画素領域３０１に含まれるすべての画素の奥行
きデータ１０９として、点２０８までの距離を画素領域
３０２に含まれるすべての画素の奥行きデータ１０９と
して出力するとともに、いずれの画素領域３０１および
３０２にも含まれない領域の画素３０９については予め
定められた一定の値（通常は無限遠を示す最大の値）を
奥行きデータ１０９として出力する。

【００１９】次に、第２のモードの画像入力装置におい
ては、距離計測部１０６は距離計２０２を用いて被写体
２０３上の２点（ここでは点２０５と点２０６を例にと
る。）および被写体２０４上の２点（ここでは点２０８
と点２０９を例にとる。）までのＺ軸に沿った距離を計
測する。距離算出部１０８は、距離計測部１０６から入
力された距離データ１０７に従って、各々の被写体２０
３と２０４毎に以下に示す内挿／外挿演算によって距離
を算出する。算出方法は各被写体２０３と２０４につい
て共通であるため被写体２０３についてのみ説明する。

【００２０】まず、被写体２０３が床面（Ｘ−Ｚ平面）
に垂直な平面であると仮定すると、この平面の方程式は
ＡＸ＋ＢＺ＋Ｃ＝０で与えられる。点２０５に対応する
画素３０３の画像中での画素位置から得られる座標（Ｘ
１，Ｙ１）と距離計測部１０６で計測された点２０５ま
での距離（Ｚ１）と、点２０６に対応する画素３０４の
画像中での画素位置から得られる座標（Ｘ２，Ｙ２）と
距離計測部１０６で計測された点２０６までの距離（Ｚ
２）から、２点（Ｘ１，Ｙ１，Ｚ１）と（Ｘ２，Ｙ２，
Ｚ２）がこの平面上の点であるとして、平面の方程式の
係数Ａ，Ｂ，Ｃを求める。

【００２１】この２点のＸ座標とＺ座標がともに等しく
ない限りは、係数Ａ，Ｂ，Ｃは一意に決定される。また
両者のＸ座標とＺ座標がともに等しい場合には係数Ａ，
Ｂ，Ｃは一意には決まらないが、その場合にはこの平面
がＺ軸に対しても垂直であるという仮定を更に加えるこ
とにより、平面の方程式をＺ＝Ｚ１＝Ｚ２とする。座標
算出部１０８は、画素領域３０１に含まれる画素につい
ては、以上のようにして決定された平面の方程式に、そ
の画素の画素位置（Ｘ，Ｙ）を代入して得られるＺ座標
の値を、その画素に対する奥行きデータ１０９として出
力する。

【００２２】また、被写体２０４に対応する画素領域３
０２に含まれる画素については、点２０８に対応する画
素３０６の画像中での画素位置から得られる座標（Ｘ
４，Ｙ４）と距離計測部１０６で計測された点２０８ま
での距離（Ｚ４）と、点２０９に対応する画素３０７の
画像中での画素位置から得られる座標（Ｘ５，Ｙ５）と
距離計測部１０６で計測された点２０９までの距離（Ｚ
５）から、被写体２０３の場合と同様にして決定された
平面の方程式に、その画素の画素位置（Ｘ，Ｙ）を代入
して得られるＺ座標の値を、その画素に対する奥行きデ
ータ１０９として出力する。

【００２３】また、いずれの画素領域３０１および３０
２にも含まれない領域の画素３０９については予め定め
られた一定の値（通常は無限遠を示す最大の値）を奥行
きデータ１０９として出力する。

【００２４】また、第３のモードの画像入力装置におい
ては、距離計測部１０６は距離計２０２を用いて被写体
２０３上の３点２０５、２０６および２０７、および被
写体２０４上の３点２０８、２０９および２１０までの
Ｚ軸に沿った距離を計測する。距離算出部１０８は、距
離計測部１０６から入力された距離データ１０７に従っ
て、各々の被写体２０３と２０４毎に以下に示す内挿／
外挿演算によって距離を算出する。算出方法は各被写体
２０３と２０４について共通であるため被写体２０３に
ついてのみ説明する。

【００２５】まず、被写体２０３が平面であると仮定す
ると、この平面の方程式はＡＸ＋ＢＺ＋ＣＺ＋Ｄ＝０で
与えられる。点２０５に対応する画素３０３の画像中で
の画素位置から得られる座標（Ｘ１，Ｙ１）と距離計測
部１０６で計測された点２０５までの距離（Ｚ１）と、
点２０６に対応する画素３０４の画像中での画素位置か
ら得られる座標（Ｘ２，Ｙ２）と距離計測部１０６で計
測された点２０６までの距離（Ｚ２）と、点２０７に対
応する画素３０５の画像中での画素位置から得られる座
標（Ｘ３，Ｙ３）と距離計測部１０６で計測された点２
０７までの距離（Ｚ３）から、３点（Ｘ１，Ｙ１，Ｚ
１）、（Ｘ２，Ｙ２，Ｚ２）および（Ｘ３，Ｙ３，Ｚ
３）がこの平面上の点であるとして、平面の方程式の係
数Ａ，Ｂ，Ｃ，Ｄを求める。この３点が同一直線上にな
い限りは、係数Ａ，Ｂ，Ｃ，Ｄは一意に決定される。

【００２６】またこの３点が同一直線上にある場合には
係数Ａ，Ｂ，Ｃ，Ｄは一意には決まらないが、その場合
にはこの平面がＸ−Ｚ平面に対しても垂直であるという
仮定を更に加えることにより、平面の方程式を決定す
る。更にこの仮定を加えても平面の方程式が決定できな
い場合、即ちこの３点がＸ−Ｚ平面に垂直な同一直線上
にある場合には、この平面がＺ軸に対しても垂直である
という仮定を更に加えることにより、平面の方程式をＺ
＝Ｚ１＝Ｚ２＝Ｚ３とする。座標算出部１０８は、画素
領域３０１に含まれる画素については、以上のようにし
て決定された平面の方程式に、その画素の画素位置
（Ｘ，Ｙ）を代入して得られるＺ座標の値を、その画素
に対する奥行きデータ１０９として出力する。

【００２７】また、被写体２０４に対応する画素領域３
０２に含まれる画素については、点２０８に対応する画
素３０６の画像中での画素位置から得られる座標（Ｘ
４，Ｙ４）と距離計測部１０６で計測された点２０８ま
での距離（Ｚ４）と、点２０９に対応する画素３０７の
画像中での画素位置から得られる座標（Ｘ５，Ｙ５）と
距離計測部１０６で計測された点２０９までの距離（Ｚ
５）と、点２１０に対応する画素３０８の画像中での画
素位置から得られる座標（Ｘ６，Ｙ６）と距離計測部１
０６で計測された点２１０までの距離（Ｚ６）から、被
写体２０３の場合と同様にして決定された平面の方程式
に、その画素の画素位置（Ｘ，Ｙ）を代入して得られる
Ｚ座標の値を、その画素に対する奥行きデータ１０９と
して出力する。

【００２８】また、いずれの画素領域３０１および３０
２にも含まれない領域の画素３０９については予め定め
られた一定の値（通常は無限遠を示す最大の値）を奥行
きデータ１０９として出力する。

【００２９】（実施例２）図４は本発明（請求項４）の
画像入力装置の実施例２を示すブロック図である。図４
において、４０１は画像入力対象となる１つまたは複数
の被写体、４０２はカメラなどで構成された撮像部、４
０３は撮像部４０２で撮像された画像の画素データ、４
０４は画素データ４０３から、指示された１つまたは複
数の被写体４０１に相当する画素領域を抽出する画像処
理部、４０５はどの画素がどの被写体４０１の画素であ
るか、またはいずれの被写体４０１にも相当しない画素
であるかを示す信号、４０６は抽出対象となる１つまた
は複数の被写体４０１毎にそれぞれの被写体４０１上の
１つないし３つの点までの距離を測定する距離計測部、
４０７は距離計測部４０６で計測された距離データ、４
０８は信号４０５に従って被写体毎に対応する奥行きデ
ータを算出し、画素データ４０３に対応付けて出力する
距離算出部、４０９は距離算出部４０８が出力する奥行
きデータである。

【００３０】図４において、距離計測部４０６を除く各
構成要素の機能は、前記実施例１の図１における同名の
構成要素に同じである。距離計測部４０６は撮像部４０
２によって入力された画像の画素データを入力として距
離を計算によって求める。

【００３１】（実施例３）図５は本発明（請求項５〜
７）の画像合成方法を用いた画像合成システムの一実施
例を示すブロック図である。図５において、５０１から
５０３は２つ以上の任意個数（Ｎとする。）の画像入力
装置、５０４から５０６は前記各画像入力装置５０１か
ら５０３によって入力された画像の画素毎の奥行きデー
タ、５０７は奥行き比較手段、５０８は奥行き比較手段
５０７によって最も近いと判定された画素がいずれの画
像入力装置から得られた画像の画素であるかを識別する
信号、５０９は奥行き比較手段５０７によって最も近
い、即ち最も小さい奥行きデータをもつと判定された画
素の奥行きデータ、５１０から５１２は画像入力装置５
０１から５０３によって入力された画素データ、５１３
は識別信号５０８に従って、対応する画像の画素を選択
する画素選択手段、５１４は画素選択手段５１３によっ
て選択され、出力された合成後の画像の画素データであ
る。

【００３２】本実施例の第１の画像合成方法において
は、Ｎ個の画像入力装置５０１から５０３のうち少なく
とも１つが実施例１または２の画像入力装置で構成され
る。

【００３３】また、第２の画像合成方法においては、Ｎ
個の画像入力装置５０１から５０３のうち少なくとも１
つが実施例１または２の画像入力装置で構成され、それ
以外の画像入力装置５０１から５０３のうちの少なくと
も１つが数値データをもとにして計算によって生成され
た画素データおよび奥行きデータを出力する画像入力装
置で構成される。

【００３４】

【発明の効果】以上述べてきたように、本発明によれば
カメラなどから入力された奥行き情報を持たない画像に
対して、撮像された各被写体の画素毎に奥行きデータを
付加することができ、他の画像入力装置から入力した奥
行きデータをもつ画像や、３次元コンピュータグラフィ
ックスによって生成された奥行きデータをもつ画像と
を、それぞれの画像中に含まれる各被写体相互の位置関
係を保存しながら合成できるため、映画やテレビなどの
映像制作における映像表現力の自由度が増し、またコン
ピュータグラフィックス画像の応用の拡大が期待でき
る。

【図面の簡単な説明】

【図１】本発明の実施例１の画像入力装置の構成を示す
ブロック図

【図２】本発明の実施例１の画像入力装置の説明図

【図３】本発明の実施例１の画像入力装置の別の説明図

【図４】本発明の実施例２の画像入力装置の構成を示す
ブロック図

【図５】本発明の実施例３の画像合成システムの構成を
示すブロック図

【図６】従来の画像合成装置の構成を示すブロック図

【図７】（ａ）は従来の画像合成装置の手前の建物と後
ろの建物の画像を示す図 （ｂ）は車の画像を示す図 （ｃ）は２つの画像中の物体が互いに入り組んで前後す
るような画像を示す図

【符号の説明】

１０１ 被写体 １０２ 撮像部 １０３ 画素データ １０４ 画像処理部 １０５ 画素識別信号 １０６ 距離計測部 １０７ 距離データ １０８ 距離算出部 １０９ 奥行きデータ ２０１ カメラ ２０２ 距離計 ２０３、２０４ 被写体 ２０５〜２１０ 被写体上の点 ３０１、３０２ 被写体に対応する画素領域 ３０３〜３０８ 被写体の点に対応する画素 ３０９ 被写体に対応しない画素領域 ４０１ 被写体 ４０２ 撮像部 ４０３ 画素データ ４０４ 画像処理部 ４０５ 画素識別信号 ４０６ 距離計測部 ４０７ 距離データ ４０８ 距離算出部 ４０９ 奥行きデータ ５０１〜５０３ 画像入力装置 ５０４〜５０６ 奥行きデータ ５０７ 奥行き比較手段 ５０８ 画素選択信号 ５０９ 奥行きデータ ５１０〜５１２ 画素データ ５１３ 画素選択手段 ５１４ 画素データ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 堀内 香寿 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 (72)発明者 永峰 聡 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 (72)発明者 小林 忠司 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 (56)参考文献 特開 平３−205976（ＪＰ，Ａ)

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】画像を撮像し画像の画素データを出力する
   撮像部と、 前記撮像部が出力する画像データから複数の被写体の画
   素領域を抽出する画像処理部と、 前記撮像部から、前記画像処理部が抽出した前記複数の
   被写体毎に、被写体上の点までの距離を各被写体毎に計
   測する距離計測部と、 前記距離計測部が各被写体毎に計測した前記距離に基づ
   き、前記被写体に対する平面の方程式を決定し、前記方
   程式に画素位置を代入して各被写体毎の奥行きデータを
   付与する距離算出部と、 前記撮像部から出力された画素データおよび前記距離算
   出部で算出された奥行きデータを少なくとも１つの入力
   とし、画素毎の画素データと奥行きデータをもつ画像を
   別の入力とし、各入力された画像の対応する画素位置の
   画素毎に奥行きデータを比較する奥行き比較手段と、 前記比較の結果、最も小さい奥行きデータをもつ画素を
   合成後の画像のその画素位置の画素として選択する画素
   選択手段を備える画像入力合成装置。
2. 【請求項２】前記別の入力画像のうち少なくとも１つが
   数値データをもとにして計算によって生成された画素デ
   ータおよび奥行きデータから成ることを特徴とする請求
   項１記載の画像入力合成装置。