JPH0630336A - 画像入力装置と画像合成方法 - Google Patents
画像入力装置と画像合成方法Info
- Publication number
- JPH0630336A JPH0630336A JP18085292A JP18085292A JPH0630336A JP H0630336 A JPH0630336 A JP H0630336A JP 18085292 A JP18085292 A JP 18085292A JP 18085292 A JP18085292 A JP 18085292A JP H0630336 A JPH0630336 A JP H0630336A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- data
- distance
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
Abstract
(57)【要約】
【目的】 従来の一方の画像を他方の画像に対して、常
に前か後ろのいずれかに配置するような画像合成しかで
きないという課題を解決し、画像中にある個々の物体間
の前後関係を保ちながら合成する画像合成方法とその入
力画像を得るための画像入力装置を提供する。 【構成】 撮像部１０２から入力された画像から画像処
理部１０４が被写体に対応する画素領域を抽出し、距離
計測部１０６は被写体上の点までの距離を計測し、距離
算出部１０８は計測された距離データから被写体に対応
する画素領域内の画素の距離を内挿または外挿によって
算出し、奥行きデータ１０９として画素データ１０３に
付加して出力する。これにより、他の奥行きデータをも
つ画像との奥行きを比較しながらの画像合成と、そのた
めの画像入力が可能となる。
に前か後ろのいずれかに配置するような画像合成しかで
きないという課題を解決し、画像中にある個々の物体間
の前後関係を保ちながら合成する画像合成方法とその入
力画像を得るための画像入力装置を提供する。 【構成】 撮像部１０２から入力された画像から画像処
理部１０４が被写体に対応する画素領域を抽出し、距離
計測部１０６は被写体上の点までの距離を計測し、距離
算出部１０８は計測された距離データから被写体に対応
する画素領域内の画素の距離を内挿または外挿によって
算出し、奥行きデータ１０９として画素データ１０３に
付加して出力する。これにより、他の奥行きデータをも
つ画像との奥行きを比較しながらの画像合成と、そのた
めの画像入力が可能となる。
Description
【０００１】
【産業上の利用分野】本発明は複数の画像を合成する方
法と、その入力画像を得るための画像入力装置に関す
る。
法と、その入力画像を得るための画像入力装置に関す
る。
【０００２】
【従来の技術】従来の画像合成方法の例として、放送な
どの分野で広く用いられているクロマキーと呼ばれる方
法について説明をする。クロマキーの原理については、
例えば、「放送技術双書 カラーテレビジョン」日本放
送協会編（１９６１年）ｐｐ．５３９〜５４０に詳しく
示されている。クロマキーは放送における特殊効果技術
の１つであり、基本的にはカメラなどの画像入力装置で
撮影した２つの画像の一方に、もう一方の画像をはめ込
んだ合成画像を作成するための手法である。
どの分野で広く用いられているクロマキーと呼ばれる方
法について説明をする。クロマキーの原理については、
例えば、「放送技術双書 カラーテレビジョン」日本放
送協会編（１９６１年）ｐｐ．５３９〜５４０に詳しく
示されている。クロマキーは放送における特殊効果技術
の１つであり、基本的にはカメラなどの画像入力装置で
撮影した２つの画像の一方に、もう一方の画像をはめ込
んだ合成画像を作成するための手法である。
【０００３】クロマキーの原理を用いた、従来の画像合
成方法の例を図６に示す。図６において、６０１と６０
２は合成の対象となる２つの画像、６０３は画像合成装
置、６０４は合成された画像である。画像合成装置６０
３は入力されてくる２つの画像６０１と６０２の信号の
うち、どちらか一方の画像の中の特定の色や信号レベル
をキーとし、キーを検出したときにその部分の信号をも
う一方の画像の信号で置き換え、合成画像を生成する。
成方法の例を図６に示す。図６において、６０１と６０
２は合成の対象となる２つの画像、６０３は画像合成装
置、６０４は合成された画像である。画像合成装置６０
３は入力されてくる２つの画像６０１と６０２の信号の
うち、どちらか一方の画像の中の特定の色や信号レベル
をキーとし、キーを検出したときにその部分の信号をも
う一方の画像の信号で置き換え、合成画像を生成する。
【０００４】なお、コンピュータの表示画面上に外部か
ら取り込んだ画像を表示する場合も、このクロマキーの
原理が応用されている。即ち、コンピュータ側の画像デ
ータを格納するフレームバッファ上に、取り込んだ画像
を表示するための領域を指定し、その領域内を予めキー
となる色で塗りつぶしておくことにより、クロマキーと
同様にキーの部分のみを外部から取り込んだ画像に置き
換えて、合成画像を生成する。
ら取り込んだ画像を表示する場合も、このクロマキーの
原理が応用されている。即ち、コンピュータ側の画像デ
ータを格納するフレームバッファ上に、取り込んだ画像
を表示するための領域を指定し、その領域内を予めキー
となる色で塗りつぶしておくことにより、クロマキーと
同様にキーの部分のみを外部から取り込んだ画像に置き
換えて、合成画像を生成する。
【０００５】
【発明が解決しようとする課題】しかしながら、従来の
画像合成方法では、合成の対象としている入力画像が奥
行きに関する情報をもっていないため、一方の画像をも
う一方の画像に対して、常に前に配置するか、常に後ろ
に配置するかの、いずれかに見えるような効果をもつよ
うな画像合成しかできなかった。例えば、図７（ａ）お
よび（ｂ）に示す２つの画像を合成するとき、図７
（ａ）の手前の建物と後ろの建物の間を、図７（ｂ）の
車が通過していくという図７（ｃ）に示したような、２
つの画像中の物体が互いに入り組んで前後するような画
像を、それらの物体の前後関係を正しく保ちながら合成
することができず、不自然な画像しか得られなかった。
画像合成方法では、合成の対象としている入力画像が奥
行きに関する情報をもっていないため、一方の画像をも
う一方の画像に対して、常に前に配置するか、常に後ろ
に配置するかの、いずれかに見えるような効果をもつよ
うな画像合成しかできなかった。例えば、図７（ａ）お
よび（ｂ）に示す２つの画像を合成するとき、図７
（ａ）の手前の建物と後ろの建物の間を、図７（ｂ）の
車が通過していくという図７（ｃ）に示したような、２
つの画像中の物体が互いに入り組んで前後するような画
像を、それらの物体の前後関係を正しく保ちながら合成
することができず、不自然な画像しか得られなかった。
【０００６】本発明はかかる点に鑑み、入力した画像中
の個々の物体相互間の前後関係を保ちながら合成するよ
うな画像入力装置と画像合成方法を提供することを目的
とする。
の個々の物体相互間の前後関係を保ちながら合成するよ
うな画像入力装置と画像合成方法を提供することを目的
とする。
【０００７】
【課題を解決するための手段】前記の課題を解決するた
めに本発明の画像入力装置は、画像を撮像し画像の画素
データを出力する撮像部と、前記撮像部が出力する画像
の画素データから１つまたは複数の被写体の画素領域を
抽出する画像処理部と、前記撮像部から、前記画像処理
部が抽出の対象とする１つまたは複数の被写体毎に指示
された被写体上の１つないし３つの点までの、前記撮像
部の光軸方向に沿った距離を各被写体毎に計測する距離
計測部と、計測された１つないし３つの点に対応する画
素までの距離を必要に応じて内挿または外挿して、各画
素の奥行きを算出し、算出された距離の値を前記画像処
理部が出力する個々の被写体の画素データに付与して出
力し、その他の領域の画素データに対しては予め定めら
れた一定値を奥行きデータとして付与して出力する距離
算出部とを具備する構成である。
めに本発明の画像入力装置は、画像を撮像し画像の画素
データを出力する撮像部と、前記撮像部が出力する画像
の画素データから１つまたは複数の被写体の画素領域を
抽出する画像処理部と、前記撮像部から、前記画像処理
部が抽出の対象とする１つまたは複数の被写体毎に指示
された被写体上の１つないし３つの点までの、前記撮像
部の光軸方向に沿った距離を各被写体毎に計測する距離
計測部と、計測された１つないし３つの点に対応する画
素までの距離を必要に応じて内挿または外挿して、各画
素の奥行きを算出し、算出された距離の値を前記画像処
理部が出力する個々の被写体の画素データに付与して出
力し、その他の領域の画素データに対しては予め定めら
れた一定値を奥行きデータとして付与して出力する距離
算出部とを具備する構成である。
【０００８】また本発明の画像合成方法は、本発明の画
像入力装置が出力する画像の画素データおよび奥行きデ
ータを少なくとも１つの入力とし、画素毎の画素データ
と奥行きデータをもつ１つまたは複数の画像を別の入力
とし、入力されたすべての画像の対応する画素位置の画
素毎に奥行きデータを比較して最も近い、即ち最も小さ
い奥行きデータをもつ画素を合成後の画像のその画素位
置の画素として出力するものである。
像入力装置が出力する画像の画素データおよび奥行きデ
ータを少なくとも１つの入力とし、画素毎の画素データ
と奥行きデータをもつ１つまたは複数の画像を別の入力
とし、入力されたすべての画像の対応する画素位置の画
素毎に奥行きデータを比較して最も近い、即ち最も小さ
い奥行きデータをもつ画素を合成後の画像のその画素位
置の画素として出力するものである。
【０００９】
【作用】本発明は前記の構成により、撮像部が画像を撮
像して画像の画素データを出力し、前記の画像処理部が
前記撮像部が出力する画像の画素データから１つまたは
複数の被写体の画素領域を抽出し、前記距離計測部が、
前記撮像部から、前記画像処理部が抽出の対象とする１
つまたは複数の被写体毎に指示された被写体上の１つな
いし３つの点までの、前記撮像部の光軸方向に沿った距
離を各被写体毎に計測し、計測する点の数に応じて前記
の距離算出部が内挿または外挿によって距離を算出し
て、前記画像処理部が出力する個々の被写体の画素デー
タに奥行きデータを付与して出力することができる。
像して画像の画素データを出力し、前記の画像処理部が
前記撮像部が出力する画像の画素データから１つまたは
複数の被写体の画素領域を抽出し、前記距離計測部が、
前記撮像部から、前記画像処理部が抽出の対象とする１
つまたは複数の被写体毎に指示された被写体上の１つな
いし３つの点までの、前記撮像部の光軸方向に沿った距
離を各被写体毎に計測し、計測する点の数に応じて前記
の距離算出部が内挿または外挿によって距離を算出し
て、前記画像処理部が出力する個々の被写体の画素デー
タに奥行きデータを付与して出力することができる。
【００１０】また、本発明の画像入力装置が出力する画
像の画素データおよび奥行きデータを少なくとも１つの
入力とし、画素毎の画素データと奥行きデータをもつ１
つまたは複数の画像を別の入力とし、入力されたすべて
の画像の対応する画素位置の画素毎に奥行きデータを比
較して最も近い、即ち最も小さい奥行きデータをもつ画
素を合成後の画像のその画素位置の画素として出力する
ことにより、複数の画像中の個々の物体相互の前後関係
を正しく保存した合成画像を生成することができる。
像の画素データおよび奥行きデータを少なくとも１つの
入力とし、画素毎の画素データと奥行きデータをもつ１
つまたは複数の画像を別の入力とし、入力されたすべて
の画像の対応する画素位置の画素毎に奥行きデータを比
較して最も近い、即ち最も小さい奥行きデータをもつ画
素を合成後の画像のその画素位置の画素として出力する
ことにより、複数の画像中の個々の物体相互の前後関係
を正しく保存した合成画像を生成することができる。
【００１１】
【実施例】以下、本発明の実施例について図面を用いて
詳細に説明する。
詳細に説明する。
【００１２】（実施例１）図１は本発明（請求項１〜
３）の画像入力装置の一実施例を示すブロック図であ
る。図１において、１０１は画像入力対象となる１つま
たは複数の被写体、１０２はカメラなどで構成された撮
像部、１０３は撮像部１０２で撮像された画像の画素デ
ータ、１０４は画素データ１０３から、指示された１つ
または複数の被写体１０１に相当する画素領域を抽出す
る画像処理部、１０５はどの画素がどの被写体１０１の
画素であるか、またはいずれの被写体１０１にも相当し
ない画素であるかを示す信号、１０６は抽出対象となる
１つまたは複数の被写体１０１毎にそれぞれの被写体１
０１上の１つないし３つの点までの距離を測定する距離
計測部、１０７は距離計測部１０６で計測された距離デ
ータ、１０８は信号１０５に従って被写体毎に対応する
奥行きデータを算出し、画素データ１０３に対応付けて
出力する距離算出部、１０９は距離算出部１０８が出力
する奥行きデータである。
３）の画像入力装置の一実施例を示すブロック図であ
る。図１において、１０１は画像入力対象となる１つま
たは複数の被写体、１０２はカメラなどで構成された撮
像部、１０３は撮像部１０２で撮像された画像の画素デ
ータ、１０４は画素データ１０３から、指示された１つ
または複数の被写体１０１に相当する画素領域を抽出す
る画像処理部、１０５はどの画素がどの被写体１０１の
画素であるか、またはいずれの被写体１０１にも相当し
ない画素であるかを示す信号、１０６は抽出対象となる
１つまたは複数の被写体１０１毎にそれぞれの被写体１
０１上の１つないし３つの点までの距離を測定する距離
計測部、１０７は距離計測部１０６で計測された距離デ
ータ、１０８は信号１０５に従って被写体毎に対応する
奥行きデータを算出し、画素データ１０３に対応付けて
出力する距離算出部、１０９は距離算出部１０８が出力
する奥行きデータである。
【００１３】図２および図３は、図１に示した本実施例
の画像入力装置の動作を説明するための図であり、図２
は画像入力時における本実施例の画像入力装置と被写体
の例を示す配置図、図３は図２に示した画像入力装置か
ら入力された画像である。なお、図２および図３は後記
の別の実施例の説明においても使用する。
の画像入力装置の動作を説明するための図であり、図２
は画像入力時における本実施例の画像入力装置と被写体
の例を示す配置図、図３は図２に示した画像入力装置か
ら入力された画像である。なお、図２および図３は後記
の別の実施例の説明においても使用する。
【００１４】図２において、２０１は撮像部１０２を構
成するカメラ、２０２は距離計測部１０６を構成する距
離計、２０３は抽出の対象となる被写体の例の１つであ
る直方体、２０４は抽出の対象となる別の被写体の例で
ある円柱、２０５、２０６、２０７は被写体２０３上の
ある３点、２０８、２０９、２１０は被写体２０４上の
ある３点を示している。なお、被写体の数はこの限りで
はない。
成するカメラ、２０２は距離計測部１０６を構成する距
離計、２０３は抽出の対象となる被写体の例の１つであ
る直方体、２０４は抽出の対象となる別の被写体の例で
ある円柱、２０５、２０６、２０７は被写体２０３上の
ある３点、２０８、２０９、２１０は被写体２０４上の
ある３点を示している。なお、被写体の数はこの限りで
はない。
【００１５】以下の説明のため、カメラ２０１の光軸方
向（即ち、レンズ面に垂直な方向）をＺ軸、床面に垂直
な方向をＹ軸、床面に平行な方向をＸ軸とし、カメラ２
０１が原点となるような左手座標系を想定する。
向（即ち、レンズ面に垂直な方向）をＺ軸、床面に垂直
な方向をＹ軸、床面に平行な方向をＸ軸とし、カメラ２
０１が原点となるような左手座標系を想定する。
【００１６】図３において、斜線部３０１は被写体２０
３に相当する画素領域を、横線部３０２は被写体２０４
に相当する画素領域を、３０３は点２０５に対応する画
素を、３０４は点２０６に対応する画素を、３０５は点
２０７に対応する画素を、３０６は点２０８に対応する
画素を、３０７は点２０９に対応する画素を、３０８は
点２１０に対応する画素を、３０９は斜線部３０１と横
線部３０２のいずれにも含まれない画素領域を示す。
３に相当する画素領域を、横線部３０２は被写体２０４
に相当する画素領域を、３０３は点２０５に対応する画
素を、３０４は点２０６に対応する画素を、３０５は点
２０７に対応する画素を、３０６は点２０８に対応する
画素を、３０７は点２０９に対応する画素を、３０８は
点２１０に対応する画素を、３０９は斜線部３０１と横
線部３０２のいずれにも含まれない画素領域を示す。
【００１７】画像処理部１０４は図３に示された画像か
ら、各種の特徴量（例えば、色、形状、テクスチャな
ど）を抽出し、被写体２０３および２０４のもつ特性と
照合することにより各々の被写体２０３と２０４に対応
する画素領域３０１と３０２を抽出し、各画素毎にいず
れの被写体２０３または２０４に対応する画素である
か、またはいずれの被写体２０３と２０４にも対応しな
い画素３０９であるかを識別する信号１０５を生成し、
距離算出部１０８に送る。
ら、各種の特徴量（例えば、色、形状、テクスチャな
ど）を抽出し、被写体２０３および２０４のもつ特性と
照合することにより各々の被写体２０３と２０４に対応
する画素領域３０１と３０２を抽出し、各画素毎にいず
れの被写体２０３または２０４に対応する画素である
か、またはいずれの被写体２０３と２０４にも対応しな
い画素３０９であるかを識別する信号１０５を生成し、
距離算出部１０８に送る。
【００１８】以下の画像入力装置の各々において異なる
３モードの動作について説明する。まず、第１のモード
の画像入力装置においては、距離計測部１０６は距離計
２０２を用いて被写体２０３上の１点（ここでは点２０
５を例にとる。）および被写体２０４上の１点（ここで
は点２０８を例にとる。）までのＺ軸に沿った距離を計
測する。距離計２０２の測距法としては超音波やレーザ
光の反射パルスの応答時間や位相差などを用いる方法が
利用できる。距離算出部１０８は、距離計測部１０６か
ら入力された距離データ１０７と画像処理部１０４から
入力された賀祖識別信号１０５に従って、点２０５まで
の距離を画素領域３０１に含まれるすべての画素の奥行
きデータ１０９として、点２０８までの距離を画素領域
３０２に含まれるすべての画素の奥行きデータ１０９と
して出力するとともに、いずれの画素領域３０１および
３０２にも含まれない領域の画素３０９については予め
定められた一定の値（通常は無限遠を示す最大の値）を
奥行きデータ１０９として出力する。
３モードの動作について説明する。まず、第１のモード
の画像入力装置においては、距離計測部１０６は距離計
２０２を用いて被写体２０３上の１点（ここでは点２０
５を例にとる。）および被写体２０４上の１点（ここで
は点２０８を例にとる。）までのＺ軸に沿った距離を計
測する。距離計２０２の測距法としては超音波やレーザ
光の反射パルスの応答時間や位相差などを用いる方法が
利用できる。距離算出部１０８は、距離計測部１０６か
ら入力された距離データ１０７と画像処理部１０４から
入力された賀祖識別信号１０５に従って、点２０５まで
の距離を画素領域３０１に含まれるすべての画素の奥行
きデータ１０９として、点２０８までの距離を画素領域
３０２に含まれるすべての画素の奥行きデータ１０９と
して出力するとともに、いずれの画素領域３０１および
３０２にも含まれない領域の画素３０９については予め
定められた一定の値（通常は無限遠を示す最大の値）を
奥行きデータ１０９として出力する。
【００１９】次に、第２のモードの画像入力装置におい
ては、距離計測部１０６は距離計２０２を用いて被写体
２０３上の２点（ここでは点２０５と点２０６を例にと
る。）および被写体２０４上の２点（ここでは点２０８
と点２０９を例にとる。）までのＺ軸に沿った距離を計
測する。距離算出部１０８は、距離計測部１０６から入
力された距離データ１０７に従って、各々の被写体２０
３と２０４毎に以下に示す内挿／外挿演算によって距離
を算出する。算出方法は各被写体２０３と２０４につい
て共通であるため被写体２０３についてのみ説明する。
ては、距離計測部１０６は距離計２０２を用いて被写体
２０３上の２点（ここでは点２０５と点２０６を例にと
る。）および被写体２０４上の２点（ここでは点２０８
と点２０９を例にとる。）までのＺ軸に沿った距離を計
測する。距離算出部１０８は、距離計測部１０６から入
力された距離データ１０７に従って、各々の被写体２０
３と２０４毎に以下に示す内挿／外挿演算によって距離
を算出する。算出方法は各被写体２０３と２０４につい
て共通であるため被写体２０３についてのみ説明する。
【００２０】まず、被写体２０３が床面（Ｘ−Ｚ平面）
に垂直な平面であると仮定すると、この平面の方程式は
ＡＸ＋ＢＺ＋Ｃ＝０で与えられる。点２０５に対応する
画素３０３の画像中での画素位置から得られる座標（Ｘ
１，Ｙ１）と距離計測部１０６で計測された点２０５ま
での距離（Ｚ１）と、点２０６に対応する画素３０４の
画像中での画素位置から得られる座標（Ｘ２，Ｙ２）と
距離計測部１０６で計測された点２０６までの距離（Ｚ
２）から、２点（Ｘ１，Ｙ１，Ｚ１）と（Ｘ２，Ｙ２，
Ｚ２）がこの平面上の点であるとして、平面の方程式の
係数Ａ，Ｂ，Ｃを求める。
に垂直な平面であると仮定すると、この平面の方程式は
ＡＸ＋ＢＺ＋Ｃ＝０で与えられる。点２０５に対応する
画素３０３の画像中での画素位置から得られる座標（Ｘ
１，Ｙ１）と距離計測部１０６で計測された点２０５ま
での距離（Ｚ１）と、点２０６に対応する画素３０４の
画像中での画素位置から得られる座標（Ｘ２，Ｙ２）と
距離計測部１０６で計測された点２０６までの距離（Ｚ
２）から、２点（Ｘ１，Ｙ１，Ｚ１）と（Ｘ２，Ｙ２，
Ｚ２）がこの平面上の点であるとして、平面の方程式の
係数Ａ，Ｂ，Ｃを求める。
【００２１】この２点のＸ座標とＺ座標がともに等しく
ない限りは、係数Ａ，Ｂ，Ｃは一意に決定される。また
両者のＸ座標とＺ座標がともに等しい場合には係数Ａ，
Ｂ，Ｃは一意には決まらないが、その場合にはこの平面
がＺ軸に対しても垂直であるという仮定を更に加えるこ
とにより、平面の方程式をＺ＝Ｚ１＝Ｚ２とする。座標
算出部１０８は、画素領域３０１に含まれる画素につい
ては、以上のようにして決定された平面の方程式に、そ
の画素の画素位置（Ｘ，Ｙ）を代入して得られるＺ座標
の値を、その画素に対する奥行きデータ１０９として出
力する。
ない限りは、係数Ａ，Ｂ，Ｃは一意に決定される。また
両者のＸ座標とＺ座標がともに等しい場合には係数Ａ，
Ｂ，Ｃは一意には決まらないが、その場合にはこの平面
がＺ軸に対しても垂直であるという仮定を更に加えるこ
とにより、平面の方程式をＺ＝Ｚ１＝Ｚ２とする。座標
算出部１０８は、画素領域３０１に含まれる画素につい
ては、以上のようにして決定された平面の方程式に、そ
の画素の画素位置（Ｘ，Ｙ）を代入して得られるＺ座標
の値を、その画素に対する奥行きデータ１０９として出
力する。
【００２２】また、被写体２０４に対応する画素領域３
０２に含まれる画素については、点２０８に対応する画
素３０６の画像中での画素位置から得られる座標（Ｘ
４，Ｙ４）と距離計測部１０６で計測された点２０８ま
での距離（Ｚ４）と、点２０９に対応する画素３０７の
画像中での画素位置から得られる座標（Ｘ５，Ｙ５）と
距離計測部１０６で計測された点２０９までの距離（Ｚ
５）から、被写体２０３の場合と同様にして決定された
平面の方程式に、その画素の画素位置（Ｘ，Ｙ）を代入
して得られるＺ座標の値を、その画素に対する奥行きデ
ータ１０９として出力する。
０２に含まれる画素については、点２０８に対応する画
素３０６の画像中での画素位置から得られる座標（Ｘ
４，Ｙ４）と距離計測部１０６で計測された点２０８ま
での距離（Ｚ４）と、点２０９に対応する画素３０７の
画像中での画素位置から得られる座標（Ｘ５，Ｙ５）と
距離計測部１０６で計測された点２０９までの距離（Ｚ
５）から、被写体２０３の場合と同様にして決定された
平面の方程式に、その画素の画素位置（Ｘ，Ｙ）を代入
して得られるＺ座標の値を、その画素に対する奥行きデ
ータ１０９として出力する。
【００２３】また、いずれの画素領域３０１および３０
２にも含まれない領域の画素３０９については予め定め
られた一定の値（通常は無限遠を示す最大の値）を奥行
きデータ１０９として出力する。
２にも含まれない領域の画素３０９については予め定め
られた一定の値（通常は無限遠を示す最大の値）を奥行
きデータ１０９として出力する。
【００２４】また、第３のモードの画像入力装置におい
ては、距離計測部１０６は距離計２０２を用いて被写体
２０３上の３点２０５、２０６および２０７、および被
写体２０４上の３点２０８、２０９および２１０までの
Ｚ軸に沿った距離を計測する。距離算出部１０８は、距
離計測部１０６から入力された距離データ１０７に従っ
て、各々の被写体２０３と２０４毎に以下に示す内挿／
外挿演算によって距離を算出する。算出方法は各被写体
２０３と２０４について共通であるため被写体２０３に
ついてのみ説明する。
ては、距離計測部１０６は距離計２０２を用いて被写体
２０３上の３点２０５、２０６および２０７、および被
写体２０４上の３点２０８、２０９および２１０までの
Ｚ軸に沿った距離を計測する。距離算出部１０８は、距
離計測部１０６から入力された距離データ１０７に従っ
て、各々の被写体２０３と２０４毎に以下に示す内挿／
外挿演算によって距離を算出する。算出方法は各被写体
２０３と２０４について共通であるため被写体２０３に
ついてのみ説明する。
【００２５】まず、被写体２０３が平面であると仮定す
ると、この平面の方程式はＡＸ＋ＢＺ＋ＣＺ＋Ｄ＝０で
与えられる。点２０５に対応する画素３０３の画像中で
の画素位置から得られる座標（Ｘ１，Ｙ１）と距離計測
部１０６で計測された点２０５までの距離（Ｚ１）と、
点２０６に対応する画素３０４の画像中での画素位置か
ら得られる座標（Ｘ２，Ｙ２）と距離計測部１０６で計
測された点２０６までの距離（Ｚ２）と、点２０７に対
応する画素３０５の画像中での画素位置から得られる座
標（Ｘ３，Ｙ３）と距離計測部１０６で計測された点２
０７までの距離（Ｚ３）から、３点（Ｘ１，Ｙ１，Ｚ
１）、（Ｘ２，Ｙ２，Ｚ２）および（Ｘ３，Ｙ３，Ｚ
３）がこの平面上の点であるとして、平面の方程式の係
数Ａ，Ｂ，Ｃ，Ｄを求める。この３点が同一直線上にな
い限りは、係数Ａ，Ｂ，Ｃ，Ｄは一意に決定される。
ると、この平面の方程式はＡＸ＋ＢＺ＋ＣＺ＋Ｄ＝０で
与えられる。点２０５に対応する画素３０３の画像中で
の画素位置から得られる座標（Ｘ１，Ｙ１）と距離計測
部１０６で計測された点２０５までの距離（Ｚ１）と、
点２０６に対応する画素３０４の画像中での画素位置か
ら得られる座標（Ｘ２，Ｙ２）と距離計測部１０６で計
測された点２０６までの距離（Ｚ２）と、点２０７に対
応する画素３０５の画像中での画素位置から得られる座
標（Ｘ３，Ｙ３）と距離計測部１０６で計測された点２
０７までの距離（Ｚ３）から、３点（Ｘ１，Ｙ１，Ｚ
１）、（Ｘ２，Ｙ２，Ｚ２）および（Ｘ３，Ｙ３，Ｚ
３）がこの平面上の点であるとして、平面の方程式の係
数Ａ，Ｂ，Ｃ，Ｄを求める。この３点が同一直線上にな
い限りは、係数Ａ，Ｂ，Ｃ，Ｄは一意に決定される。
【００２６】またこの３点が同一直線上にある場合には
係数Ａ，Ｂ，Ｃ，Ｄは一意には決まらないが、その場合
にはこの平面がＸ−Ｚ平面に対しても垂直であるという
仮定を更に加えることにより、平面の方程式を決定す
る。更にこの仮定を加えても平面の方程式が決定できな
い場合、即ちこの３点がＸ−Ｚ平面に垂直な同一直線上
にある場合には、この平面がＺ軸に対しても垂直である
という仮定を更に加えることにより、平面の方程式をＺ
＝Ｚ１＝Ｚ２＝Ｚ３とする。座標算出部１０８は、画素
領域３０１に含まれる画素については、以上のようにし
て決定された平面の方程式に、その画素の画素位置
（Ｘ，Ｙ）を代入して得られるＺ座標の値を、その画素
に対する奥行きデータ１０９として出力する。
係数Ａ，Ｂ，Ｃ，Ｄは一意には決まらないが、その場合
にはこの平面がＸ−Ｚ平面に対しても垂直であるという
仮定を更に加えることにより、平面の方程式を決定す
る。更にこの仮定を加えても平面の方程式が決定できな
い場合、即ちこの３点がＸ−Ｚ平面に垂直な同一直線上
にある場合には、この平面がＺ軸に対しても垂直である
という仮定を更に加えることにより、平面の方程式をＺ
＝Ｚ１＝Ｚ２＝Ｚ３とする。座標算出部１０８は、画素
領域３０１に含まれる画素については、以上のようにし
て決定された平面の方程式に、その画素の画素位置
（Ｘ，Ｙ）を代入して得られるＺ座標の値を、その画素
に対する奥行きデータ１０９として出力する。
【００２７】また、被写体２０４に対応する画素領域３
０２に含まれる画素については、点２０８に対応する画
素３０６の画像中での画素位置から得られる座標（Ｘ
４，Ｙ４）と距離計測部１０６で計測された点２０８ま
での距離（Ｚ４）と、点２０９に対応する画素３０７の
画像中での画素位置から得られる座標（Ｘ５，Ｙ５）と
距離計測部１０６で計測された点２０９までの距離（Ｚ
５）と、点２１０に対応する画素３０８の画像中での画
素位置から得られる座標（Ｘ６，Ｙ６）と距離計測部１
０６で計測された点２１０までの距離（Ｚ６）から、被
写体２０３の場合と同様にして決定された平面の方程式
に、その画素の画素位置（Ｘ，Ｙ）を代入して得られる
Ｚ座標の値を、その画素に対する奥行きデータ１０９と
して出力する。
０２に含まれる画素については、点２０８に対応する画
素３０６の画像中での画素位置から得られる座標（Ｘ
４，Ｙ４）と距離計測部１０６で計測された点２０８ま
での距離（Ｚ４）と、点２０９に対応する画素３０７の
画像中での画素位置から得られる座標（Ｘ５，Ｙ５）と
距離計測部１０６で計測された点２０９までの距離（Ｚ
５）と、点２１０に対応する画素３０８の画像中での画
素位置から得られる座標（Ｘ６，Ｙ６）と距離計測部１
０６で計測された点２１０までの距離（Ｚ６）から、被
写体２０３の場合と同様にして決定された平面の方程式
に、その画素の画素位置（Ｘ，Ｙ）を代入して得られる
Ｚ座標の値を、その画素に対する奥行きデータ１０９と
して出力する。
【００２８】また、いずれの画素領域３０１および３０
２にも含まれない領域の画素３０９については予め定め
られた一定の値（通常は無限遠を示す最大の値）を奥行
きデータ１０９として出力する。
２にも含まれない領域の画素３０９については予め定め
られた一定の値（通常は無限遠を示す最大の値）を奥行
きデータ１０９として出力する。
【００２９】（実施例２）図４は本発明（請求項４）の
画像入力装置の実施例２を示すブロック図である。図４
において、４０１は画像入力対象となる１つまたは複数
の被写体、４０２はカメラなどで構成された撮像部、４
０３は撮像部４０２で撮像された画像の画素データ、４
０４は画素データ４０３から、指示された１つまたは複
数の被写体４０１に相当する画素領域を抽出する画像処
理部、４０５はどの画素がどの被写体４０１の画素であ
るか、またはいずれの被写体４０１にも相当しない画素
であるかを示す信号、４０６は抽出対象となる１つまた
は複数の被写体４０１毎にそれぞれの被写体４０１上の
１つないし３つの点までの距離を測定する距離計測部、
４０７は距離計測部４０６で計測された距離データ、４
０８は信号４０５に従って被写体毎に対応する奥行きデ
ータを算出し、画素データ４０３に対応付けて出力する
距離算出部、４０９は距離算出部４０８が出力する奥行
きデータである。
画像入力装置の実施例２を示すブロック図である。図４
において、４０１は画像入力対象となる１つまたは複数
の被写体、４０２はカメラなどで構成された撮像部、４
０３は撮像部４０２で撮像された画像の画素データ、４
０４は画素データ４０３から、指示された１つまたは複
数の被写体４０１に相当する画素領域を抽出する画像処
理部、４０５はどの画素がどの被写体４０１の画素であ
るか、またはいずれの被写体４０１にも相当しない画素
であるかを示す信号、４０６は抽出対象となる１つまた
は複数の被写体４０１毎にそれぞれの被写体４０１上の
１つないし３つの点までの距離を測定する距離計測部、
４０７は距離計測部４０６で計測された距離データ、４
０８は信号４０５に従って被写体毎に対応する奥行きデ
ータを算出し、画素データ４０３に対応付けて出力する
距離算出部、４０９は距離算出部４０８が出力する奥行
きデータである。
【００３０】図４において、距離計測部４０６を除く各
構成要素の機能は、前記実施例１の図１における同名の
構成要素に同じである。距離計測部４０６は撮像部４０
２によって入力された画像の画素データを入力として距
離を計算によって求める。
構成要素の機能は、前記実施例１の図１における同名の
構成要素に同じである。距離計測部４０６は撮像部４０
２によって入力された画像の画素データを入力として距
離を計算によって求める。
【００３１】（実施例３）図５は本発明（請求項５〜
７）の画像合成方法を用いた画像合成システムの一実施
例を示すブロック図である。図５において、５０１から
５０３は２つ以上の任意個数（Ｎとする。）の画像入力
装置、５０４から５０６は前記各画像入力装置５０１か
ら５０３によって入力された画像の画素毎の奥行きデー
タ、５０７は奥行き比較手段、５０８は奥行き比較手段
５０７によって最も近いと判定された画素がいずれの画
像入力装置から得られた画像の画素であるかを識別する
信号、５０９は奥行き比較手段５０７によって最も近
い、即ち最も小さい奥行きデータをもつと判定された画
素の奥行きデータ、５１０から５１２は画像入力装置５
０１から５０３によって入力された画素データ、５１３
は識別信号５０８に従って、対応する画像の画素を選択
する画素選択手段、５１４は画素選択手段５１３によっ
て選択され、出力された合成後の画像の画素データであ
る。
７）の画像合成方法を用いた画像合成システムの一実施
例を示すブロック図である。図５において、５０１から
５０３は２つ以上の任意個数（Ｎとする。）の画像入力
装置、５０４から５０６は前記各画像入力装置５０１か
ら５０３によって入力された画像の画素毎の奥行きデー
タ、５０７は奥行き比較手段、５０８は奥行き比較手段
５０７によって最も近いと判定された画素がいずれの画
像入力装置から得られた画像の画素であるかを識別する
信号、５０９は奥行き比較手段５０７によって最も近
い、即ち最も小さい奥行きデータをもつと判定された画
素の奥行きデータ、５１０から５１２は画像入力装置５
０１から５０３によって入力された画素データ、５１３
は識別信号５０８に従って、対応する画像の画素を選択
する画素選択手段、５１４は画素選択手段５１３によっ
て選択され、出力された合成後の画像の画素データであ
る。
【００３２】本実施例の第１の画像合成方法において
は、Ｎ個の画像入力装置５０１から５０３のうち少なく
とも１つが実施例１または２の画像入力装置で構成され
る。
は、Ｎ個の画像入力装置５０１から５０３のうち少なく
とも１つが実施例１または２の画像入力装置で構成され
る。
【００３３】また、第２の画像合成方法においては、Ｎ
個の画像入力装置５０１から５０３のうち少なくとも１
つが実施例１または２の画像入力装置で構成され、それ
以外の画像入力装置５０１から５０３のうちの少なくと
も１つが数値データをもとにして計算によって生成され
た画素データおよび奥行きデータを出力する画像入力装
置で構成される。
個の画像入力装置５０１から５０３のうち少なくとも１
つが実施例１または２の画像入力装置で構成され、それ
以外の画像入力装置５０１から５０３のうちの少なくと
も１つが数値データをもとにして計算によって生成され
た画素データおよび奥行きデータを出力する画像入力装
置で構成される。
【００３４】
【発明の効果】以上述べてきたように、本発明によれば
カメラなどから入力した画像に対して画素毎の奥行きデ
ータを付加することができ、他の画像入力装置から入力
した奥行きデータをもつ画像や、３次元コンピュータグ
ラフィックスによって生成された奥行きデータをもつ画
像を、それぞれの画像中に含まれる被写体相互の位置関
係を保存しながら合成できるため、映画やテレビなどの
映像制作における映像表現力の自由度が増し、またコン
ピュータグラフィックス画像の応用の拡大が期待でき
る。
カメラなどから入力した画像に対して画素毎の奥行きデ
ータを付加することができ、他の画像入力装置から入力
した奥行きデータをもつ画像や、３次元コンピュータグ
ラフィックスによって生成された奥行きデータをもつ画
像を、それぞれの画像中に含まれる被写体相互の位置関
係を保存しながら合成できるため、映画やテレビなどの
映像制作における映像表現力の自由度が増し、またコン
ピュータグラフィックス画像の応用の拡大が期待でき
る。
【図１】本発明の実施例１の画像入力装置の構成を示す
ブロック図
ブロック図
【図２】本発明の実施例１の画像入力装置の説明図
【図３】本発明の実施例１の画像入力装置の別の説明図
【図４】本発明の実施例２の画像入力装置の構成を示す
ブロック図
ブロック図
【図５】本発明の実施例３の画像合成システムの構成を
示すブロック図
示すブロック図
【図６】従来の画像合成装置の構成を示すブロック図
【図７】（ａ）は従来の画像合成装置の手前の建物と後
ろの建物の画像を示す図 （ｂ）は車の画像を示す図 （ｃ）は２つの画像中の物体が互いに入り組んで前後す
るような画像を示す図
ろの建物の画像を示す図 （ｂ）は車の画像を示す図 （ｃ）は２つの画像中の物体が互いに入り組んで前後す
るような画像を示す図
１０１ 被写体 １０２ 撮像部 １０３ 画素データ １０４ 画像処理部 １０５ 画素識別信号 １０６ 距離計測部 １０７ 距離データ １０８ 距離算出部 １０９ 奥行きデータ ２０１ カメラ ２０２ 距離計 ２０３、２０４ 被写体 ２０５〜２１０ 被写体上の点 ３０１、３０２ 被写体に対応する画素領域 ３０３〜３０８ 被写体の点に対応する画素 ３０９ 被写体に対応しない画素領域 ４０１ 被写体 ４０２ 撮像部 ４０３ 画素データ ４０４ 画像処理部 ４０５ 画素識別信号 ４０６ 距離計測部 ４０７ 距離データ ４０８ 距離算出部 ４０９ 奥行きデータ ５０１〜５０３ 画像入力装置 ５０４〜５０６ 奥行きデータ ５０７ 奥行き比較手段 ５０８ 画素選択信号 ５０９ 奥行きデータ ５１０〜５１２ 画素データ ５１３ 画素選択手段 ５１４ 画素データ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 永峰 聡 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 小林 忠司 大阪府門真市大字門真1006番地 松下電器 産業株式会社内
Claims (6)
- 【請求項１】画像を撮像し画像の画素データを出力する
撮像部と、前記撮像部が出力する画像の画素データから
１つまたは複数の被写体の画素領域を抽出する画像処理
部と、前記撮像部から、前記画像処理部が抽出の対象と
する１つまたは複数の被写体毎に指示された被写体上の
１つの点までの、前記撮像部の光軸方向に沿った距離を
各被写体毎に計測する距離計測部と、前記距離計測部が
計測した値を前記画像処理部が出力する個々の被写体の
画素データすべてに共通な奥行きデータとして付与して
出力し、その他の領域の画素データに対しては予め定め
られた一定値を奥行きデータとして付与して出力する距
離算出部とを具備することを特徴とする画像入力装置。 - 【請求項２】画像を撮像し画像の画素データを出力する
撮像部と、前記撮像部が出力する画像の画素データから
１つまたは複数の被写体の画素領域を抽出する画像処理
部と、前記撮像部から、前記画像処理部が抽出の対象と
する１つまたは複数の被写体毎に指示された被写体上の
２つの点までの、前記撮像部の光軸方向に沿った距離を
各被写体毎に計測する距離計測部と、前記画像処理部が
抽出の対象とする個々の被写体を床面に対して垂直な平
面と仮定し、計測された２つの点に対応する画素までの
距離を内挿または外挿して、その平面上の各画素の奥行
きを算出し、算出された距離の値を前記画像処理部が出
力する個々の被写体の画素データに付与して出力し、そ
の他の領域の画素データに対しては予め定められた一定
値を奥行きデータとして付与して出力する距離算出部と
を具備することを特徴とする画像入力装置。 - 【請求項３】画像を撮像し画像の画素データを出力する
撮像部と、前記撮像部が出力する画像の画素データから
１つまたは複数の被写体の画素領域を抽出する画像処理
部と、前記撮像部から、前記画像処理部が抽出の対象と
する１つまたは複数の被写体毎に指示された被写体上の
３つの点までの、前記撮像部の光軸方向に沿った距離を
各被写体毎に計測する距離計測部と、前記画像処理部が
抽出の対象とする個々の被写体を平面と仮定し、計測さ
れた３つの点に対応する画素までの距離を内挿または外
挿して、その平面上の各画素の奥行きを算出し、算出さ
れた距離の値を前記画像処理部が出力する個々の被写体
の画素データに付与して出力し、その他の領域の画素デ
ータに対しては予め定められた一定値を奥行きデータと
して付与して出力する距離算出部とを具備することを特
徴とする画像入力装置。 - 【請求項４】距離計測部が、撮像部が出力する画像の画
素データを用いて距離を計算によって求めることを特徴
とする請求項１、２または３のいずれかに記載の画像入
力装置。 - 【請求項５】請求項１、２、３または４のいずれかに記
載の画像入力装置が出力する画像の画素データおよび奥
行きデータを少なくとも１つの入力とし、画素毎の画素
データと奥行きデータをもつ１つまたは複数の画像を別
の入力とし、入力されたすべての画像の対応する画素位
置の画素毎に奥行きデータを比較して最も前記の撮像部
に近い、即ち最も小さい奥行きデータをもつ画素を合成
後の画像のその画素位置の画素として出力することを特
徴とする画像合成方法。 - 【請求項６】別の入力画像のうち少なくとも１つが数値
データをもとにして計算によって生成された画素データ
および奥行きデータから成ることを特徴とする請求項５
記載の画像合成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18085292A JP3193930B2 (ja) | 1992-07-08 | 1992-07-08 | 画像入力合成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18085292A JP3193930B2 (ja) | 1992-07-08 | 1992-07-08 | 画像入力合成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0630336A true JPH0630336A (ja) | 1994-02-04 |
| JP3193930B2 JP3193930B2 (ja) | 2001-07-30 |
Family
ID=16090492
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18085292A Expired - Fee Related JP3193930B2 (ja) | 1992-07-08 | 1992-07-08 | 画像入力合成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3193930B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0818858A (ja) * | 1994-07-01 | 1996-01-19 | Matsushita Electric Ind Co Ltd | 画像合成装置 |
| WO2006001506A1 (en) * | 2004-06-25 | 2006-01-05 | Ssd Company Limited | Image mixing apparatus and pixel mixer |
| US7212687B2 (en) | 2002-03-29 | 2007-05-01 | Canon Kabushiki Kaisha | Method and apparatus for processing information |
| JP2010224607A (ja) * | 2009-03-19 | 2010-10-07 | Casio Computer Co Ltd | 画像合成装置及びプログラム |
| US8022967B2 (en) | 2004-06-03 | 2011-09-20 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101658576B1 (ko) * | 2010-01-15 | 2016-09-22 | 삼성전자주식회사 | 이미지 데이터를 이용한 거리 측정 장치 및 방법 |
-
1992
- 1992-07-08 JP JP18085292A patent/JP3193930B2/ja not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0818858A (ja) * | 1994-07-01 | 1996-01-19 | Matsushita Electric Ind Co Ltd | 画像合成装置 |
| US7212687B2 (en) | 2002-03-29 | 2007-05-01 | Canon Kabushiki Kaisha | Method and apparatus for processing information |
| US8022967B2 (en) | 2004-06-03 | 2011-09-20 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
| WO2006001506A1 (en) * | 2004-06-25 | 2006-01-05 | Ssd Company Limited | Image mixing apparatus and pixel mixer |
| JP2008503795A (ja) * | 2004-06-25 | 2008-02-07 | 新世代株式会社 | 画像合成装置及びピクセルミキサ |
| JP2010224607A (ja) * | 2009-03-19 | 2010-10-07 | Casio Computer Co Ltd | 画像合成装置及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3193930B2 (ja) | 2001-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0758515B1 (en) | Improved chromakeying system | |
| US6081273A (en) | Method and system for building three-dimensional object models | |
| JP3054681B2 (ja) | 画像処理方法 | |
| US20070252833A1 (en) | Information processing method and information processing apparatus | |
| JP2010128799A (ja) | 複合メディア合成装置及び複合メディア表示システム及び複合メディア合成方法及び複合メディア合成プログラム | |
| JPH05303629A (ja) | 形状合成方法 | |
| US6549659B1 (en) | Method and apparatus for determining the location of a reflective object within a video field | |
| KR100335617B1 (ko) | 3차원 입체영상 합성방법 | |
| JP4108171B2 (ja) | 画像合成装置 | |
| JPH0630336A (ja) | 画像入力装置と画像合成方法 | |
| JPH09245195A (ja) | 画像処理方法およびその装置 | |
| JP4236705B2 (ja) | 直前の原フレームのみに基づく１つ以上の中間フレームを合成することにより原フレームの系列からディスプレイフレームを発生させる方法及びデバイス | |
| WO2023112971A1 (ja) | 三次元モデル生成装置、三次元モデル生成方法及び三次元モデル生成プログラム | |
| JPH08201941A (ja) | ３次元画像形成方法 | |
| JP3957343B2 (ja) | ２次元映像を３次元映像に変換する装置および方法 | |
| JP2000092516A (ja) | ２次元映像を３次元映像に変換する装置および方法 | |
| Skulimowski et al. | Refinement of depth from stereo camera ego-motion parameters | |
| JPH10255071A (ja) | 画像処理システム | |
| JP3331752B2 (ja) | 画像合成装置 | |
| JPH04329484A (ja) | 画像合成装置 | |
| JPH04372079A (ja) | 画像表示装置 | |
| JP3135162B2 (ja) | 距離測定装置 | |
| JPH11259682A (ja) | 画像処理装置および方法、並びに提供媒体 | |
| JP2963991B1 (ja) | 面補間距離取得装置 | |
| JPH05183808A (ja) | 画像情報入力装置と画像合成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090525 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100525 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120525 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |