JPH0795467A - 画像処理装置 - Google Patents

画像処理装置

Info

Publication number
JPH0795467A
JPH0795467A JP5237702A JP23770293A JPH0795467A JP H0795467 A JPH0795467 A JP H0795467A JP 5237702 A JP5237702 A JP 5237702A JP 23770293 A JP23770293 A JP 23770293A JP H0795467 A JPH0795467 A JP H0795467A
Authority
JP
Japan
Prior art keywords
image
images
corresponding point
unit
synthetic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5237702A
Other languages
English (en)
Other versions
JP2883265B2 (ja
Inventor
Katsumi Iijima
克己 飯島
Masakazu Matsugi
優和 真繼
Kotaro Yano
光太郎 矢野
Toshiaki Kondo
俊明 近藤
Katsuhiko Mori
克彦 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP5237702A priority Critical patent/JP2883265B2/ja
Priority to EP94306967A priority patent/EP0645926B1/en
Priority to DE69432692T priority patent/DE69432692T2/de
Publication of JPH0795467A publication Critical patent/JPH0795467A/ja
Priority to US08/775,265 priority patent/US5973726A/en
Application granted granted Critical
Publication of JP2883265B2 publication Critical patent/JP2883265B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Circuits (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【目的】 パノラマ画像を構成する画像間に良好な連続
性があり、パノラマ感も充分な画像表示できる画像処理
装置を提供する。 【構成】 ２つの画像を入力する左右撮像系１０L，１
０Rを含む複眼撮像装置１０と、 左右撮像系１０L，１
０Rから入力された左右の画像を記憶する左右画像メモ
リ３１L，３１Rと、左右画像メモリが記憶した左右の画
像から互いに共通した部分画像を判定する対応点抽出部
３３と、対応点抽出部が判定したの結果に基づいて、左
右の画像を繋ぎ合わせて１つの画像を合成する合成変換
部４１０および合成画像メモリ３９と、合成変換部によ
り合成され合成画像メモリに格納された画像を分割し
て、パノラマ画像を構成する各画像として出力する画像
出力部４０とを有する。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明はＣＣＤ（電荷結合素子）
等の撮像素子を用いた撮像装置、特には複数の撮像素子
及びレンズ等の結像光学系を含む複眼撮像装置を用いた
画像処理装置に関する。
【０００２】
【従来の技術】近年、ワイドパノラマ画像生成あるいは
高精細画像生成の目的で、結像光学系と撮像素子からな
る複数の撮像系を有し、共通の被写体を撮像することに
より各撮像素子からそれぞれ入力した画像信号を用い
て、１つの合成画像を生成出力する複眼撮像装置が提案
されている。
【０００３】パノラマ画像を得る方式とは、複数の撮像
系によりそれぞれ被写体領域の異なる複数の画像を同時
に撮像し、これらの各画像内に存在する同一被写体を抽
出し、その被写体の画像間における相対位置情報に基づ
いて各画像を接続することにより、合成パノラマ画像を
得るものである。一方、高精細画像を得る方式とは、パ
ノラマ画像と同様に、各画像内に存在する同一被写体を
抽出し、その画像内での相対位置情報に基づいて補間処
理を行なって新たに高精細な１つの画像を得るものであ
る。
【０００４】なお、高精細画像を得る方式の原理に基づ
く複眼撮像装置は、例えば第１２図に示すように、左撮
像系１０１０L と右撮像系１０１０R とを用意し、左撮
像系１０１０L と右撮像系１０１０R とで被写体１１０
１を撮像するものがある。この場合、左撮像系１０１０
L で得られた左側画像ＩL と、右撮像系１０１０R で得
られた右側画像ＩR とを画像処理装置１１２０で対象点
抽出を行ない合成処理することにより、１つの撮像系で
被写体を撮像したときに比べて高精細な１つの出力画像
Ｉout を得ている。
【０００５】
【発明が解決しようとしている課題】しかるに、上述し
た複眼撮像装置には、以下に示す問題点があった。パノ
ラマ画像を得るものでは、複数の画像を接続する物なの
で１つの撮像系の最大画角内に制限されず、更に同一タ
イミングで撮像した複数の画像から１つのパノラマ画像
を再構成するので、動物体を含む所望の被写体領域をカ
バーできるだけの撮像系を複数組み合わせた構成等のフ
レキシブルな撮像装置を実現することができるものの各
画像は一部重複部を除いて並列して撮像する形態となる
ので、むしろ殆どの画像域が対応点のない複写体とな
る。この場合、画像接続部で互いに対応する被写体が、
生成画像上で一致せず二重に存在するいわゆる二重像と
して表れることがあり、これにより画像の連続性が失わ
れ、画像品位の劣化を招くという点があり、そのつなぎ
目処理に注目して、議論されることが多かった。これら
問題は解決され画像の連続性が得られたとしても、１つ
の撮像系より得られる画角以上のパノラマ画像をディス
プレイ上に表示する方法に関して、パノラマ感を失わず
表示することが容易ではないという問題があった。
【０００６】本発明は上記問題に鑑み、パノラマ画像を
構成する画像間に良好な連続性があり、パノラマ感も充
分な画像処理装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】本発明の画像処理装置
は、複数の画像を入力する画像入力手段と、前記画像入
力手段から入力された複数の画像を記憶する記憶手段
と、前記記憶手段が記憶した複数の画像から互いに共通
した部分画像を判定する判定手段と、前記判定手段が判
定したの結果に基づいて、前記複数の画像を繋ぎ合わせ
て１つの画像を合成する画像合成手段と、前記画像合成
手段により合成された画像を分割して、複数の画像とし
て出力する画像出力手段とを有する。
【０００８】また、前記画像入力手段は、複眼カメラで
あり、前記画像合成手段は、前記記憶手段が記憶した画
像から被写体の同一部分に対応する対応点対をそれぞれ
抽出し、抽出した各対応点対から１つの画像を合成する
ことにより、２つの画像の接続近傍を良好にし、前記画
像出力手段は、分割される各画像が相互に同一の領域を
有するように、合成画像を分割するのが好ましい。
【０００９】
【作用】画像合成手段は、画像入力手段より入力した複
数の画像について、判定手段の判定に基づき適宜合成画
像を形成する。画像合成手段が形成した合成画像を、画
像出力手段が自然なパノラマ画像を形成できるように分
割して、パノラマ画像を構成する各画像として出力す
る。したがって、分割された各画像を合成すれば自然な
パノラマ画像が構成されることとなる。
【００１０】
【実施例】次に、本発明の実施例について図面を参照し
て説明する。図１は本発明の画像処理装置の第１の実施
例を示すブロック図、図２は図１の実施例の複眼撮像装
置の構造を示す構成図である。図１から明らかなように
本実施例は、左撮像系１０ Lおよび右撮像系１０Rからそ
れぞれビデオ信号を出力する複眼撮像装置１０と、複眼
撮像装置１０が出力するビデオ信号を処理し出力する画
像処理部３０と、画像処理部３０が出力する画像を分割
処理する分割画像処理出力部４０とから構成され、右撮
像系１０R および左撮像系１０L の２つの撮像系を用い
て被写体を撮像して得られる２つの画像を並列に接続す
ることにより１つのパノラマ合成画像を得るものであ
る。
【００１１】複眼撮像装置１０について図２を参照して
説明する。まず、左撮像系１０L について説明する。左
撮像系１０L は、鏡筒内（不図示）に組み込まれた結像
光学系としての撮像レンズ群１１L と、撮像レンズ群１
１L に装着された、被写体からの光を３原色に分解する
ための色分解プリズム１２L と、色分解プリズム１２ L
によって分解された光毎に設けられた撮像素子として
の、それぞれ矩形の有効受光部を持つ３つのＣＣＤセン
サ１３L （１つのみ図示）とを有する。
【００１２】撮像レンズ群１１L は、フォーカスモータ
１４L により駆動される合焦レンズ群１５L と、ズーム
モータ１６L により駆動される変倍レンズ群１７L とを
含む複数のレンズで構成され、各モータ１４L ，１６L
は、光学系を制御する制御ユニット２０内の全系制御部
２１及びフォーカス・ズーム制御部２２からの制御信号
に応じてそれぞれ駆動される。
【００１３】一方、右撮像系１０R も左側撮像系１０L
と同様に構成されており、右撮像系１０R の撮像レンズ
群１１R の光軸ＬR は、左撮像系１０L の撮像レンズ群
１１ L の光軸ＬL が含まれる平面と同一の平面に含まれ
るように構成されている。
【００１４】また、各撮像レンズ群１１L,１１R が組み
込まれた各鏡筒は、それぞれ制御ユニット２０の輻輳角
制御部２３からの制御信号に応じて駆動される輻輳角モ
ータ１８L ，１８R の回転軸に結合されている。輻輳角
モータ１８L ，１８R の回転軸は、それぞれ両撮像レン
ズ群１１L ，１１R の光軸ＬL ，ＬR を含む平面に対し
垂直方向に延びており、各輻輳角モータ１８L ，１８R
を駆動させることにより、各撮像レンズ群１１L ，１１
R はそれぞれに設けられた色分解プリズム１２ L ，１２
R およびＣＣＤセンサ１３L ，１３R と一体となって回
転され、各撮像レンズ群１１L ，１１R の光軸ＬL ，Ｌ
R の互いに成す角（輻輳角）が設定される。
【００１５】また、各撮像系１０L ，１０R には、各合
焦レンズ群１５L ，１５R の位置を検出するためのフォ
ーカスエンコーダ２４L ，２４R 、各変倍レンズ群１７
L ，１７R の位置を検出するためのズームエンコーダ２
５L ，２５R 、および輻輳角を検出するための輻輳角エ
ンコーダ２６L ，２６R が設けられている。これらは、
例えばポテンショメータのような外付けの部材を用いて
もよいし、パルスモータのような駆動系自身の持つ信号
情報によりそれぞれの位置や角度を検出するものを用い
てもよい。
【００１６】次に本発明の特徴をもたらす画像処理部３
０および画像出力部４０について図１を参照して説明す
る。画像入力部３２は、撮像系１０L ，１０R のＣＣＤ
センサ１３L ，１３R （図２参照）からの画像信号であ
るビデオ信号を、それぞれ左画像メモリ３１L および右
画像メモリ３１R に格納する。画像変換部３８は、画像
入力部３２の左画像メモリ３１L および右画像メモリ３
１R に格納された左右の画像に基づいて１つの合成画像
を生成する。合成画像メモリ３９は、画像変換部３８が
合成した画像を保持し、画像出力部４０に出力する。な
お、本実施例における画像変換部３８は、画像入力部３
２に入力された両画像のうち、両画像間の対応点対の抽
出を行なう対応点抽出部３３と、対応点対抽出の結果か
ら各対応点対の、３次元位置（距離情報）を算出し、そ
の情報により、画像を合成する合成変換部４１０とから
構成されている。
【００１７】図３は図２に示した複眼撮像装置の光学系
の主要部を、撮像レンズ群１１L ，１１R の光軸ＬL ，
ＬR を含む平面に垂直な方向から見た図である。ただ
し、説明を簡略にするために、各色分解プリズム１２
L ，１２R （図２参照）部分は省略すると共に、各ＣＣ
Ｄセンサ１３L ，１３R についても左右それぞれ１つず
つのみ示した。図３に示すように、右撮像系１０R の撮
像レンズ群１１R およびＣＣＤセンサ１３R は合焦物対
面５０R を有するとともに、撮像可能な領域が、ＣＣＤ
センサ１３R の有効受光部により端面５１R と５２R と
で挟まれる領域に制限され、この合焦物体面５０R が端
面５１R および端面５２R とそれぞれ交わる交線ＢR か
ら交線Ａまでの領域が、有効被写体領域となる。左撮像
系１０L についても同様に、合焦物対面５０L 上の交線
Ａから交線ＢL までの領域が有効被写体領域となってい
る。
【００１８】左右撮像系１０L 、１０R のフォーカスモ
ータ１４L ，１４R （図２参照）およびズームモータ１
６L ，１６R （図２参照）は、それぞれの合焦物体面５
０L、５０R とＣＣＤセンサ１３L ，１３R との距離、
および結像倍率が左右互いに等しくなるように制御す
る。また、輻輳角モータ１８L ，１８R （図２参照）は
それぞれ撮像系１０L ，１０R の有効被写体領域の端部
が互いに交線Ａで一致するように制御する。各モータ１
４L ，１４R ，１６L ，１６R ，１８L ，１８Rの制御
は、各エンコーダ２４L ，２４R ，２５L ，２５R ，２
６L ，２６R （図２参照）からの信号を受けた制御ユニ
ット２０（図２参照）を通じて行われる。特に輻輳角モ
ータ１８L ，１８R については、フォーカスエンコーダ
２４L ，２４R およびズームエンコーダ２５L ，２５R
からの出力信号から算出される合焦物体面５０L ，５０
R の位置および有効被写体領域の端部位置の信号に連動
して制御される。
【００１９】次に合成処理の部分の手順を簡単に触れて
行く。図１に示した対応点抽出部３３において各画像の
対応点対を抽出する。これを行う代表的な手法として
は、テンプレートマッチング法がある。この方法は、例
えば左画像中のある１点を囲むテンプレートを考え、そ
のテンプレートの画像に対する右画像中での類似性の比
較によって対応点を決定するものである。類似性の比較
の一方法である相関法は、テンプレートの画像中の画素
値と探索画像中の画素値との相互相関をとり、最大値と
なった座標を対応点とするものであり、その関係は下記
の式（１）により示される。
【００２０】
【数１】 式（１）において、Ｒ（ｍR ，ｎR ）、Ｌ（ｍL ，ｎ
L ）は左右の画像の画素値であり、σ（ｍR ，ｎR ，ｍ
L ，ｎL ）は、相関の度合いを表すものである。また、
ｍR ，ｎR ，ｍL ，ｎL は画素座標値を示す。なお、二
乗和または積和計算でｉ，ｊの前の符合が左右画像で逆
になるのは、図４（Ｂ）で示される画素座標軸は左右対
象になるように定義されているからである。そして、式
（１）の正規化相互相関では最大値は１となる。
【００２１】得られた対応点情報から、各対応点対の３
次元、空間内での位置を三角測量法により求める。図５
に示すように、左右の撮像レンズ群１１L ，１１R （図
３参照）の物体側主平面の中心点ＯL ，ＯR をそれぞれ
Ｘ軸上でＺ軸に対して線対称に配置し、その中心点Ｏ
L ，ＯR 間を結ぶ基線の長さを基線長ｂとすると、各中
心点ＯL ，ＯR の座標はそれぞれ（−ｂ／２，０，
０）、（ｂ／２，０，０）で表される。
【００２２】また、３次元空間内の１点Ｐを各中心点Ｏ
L ，ＯR に向けて投影したときの、左右各ＣＣＤセンサ
１３L ，１３R 上での投影点はそれぞれＰL ，ＰR とな
り、点Ｐ，ＰL ，ＰR の座標をそれぞれ（Ｘ，Ｙ，
Ｚ）、（ＸL ，ＹL ，ＺL ）、（ＸR ，ＹR ，ＺR ）で
表す。ここで３次元空間中の点Ｐ，ＰL ，ＰR の３点を
結んでできる平面をエピポーラ面といい、エポポーラ面
とＣＣＤセンサ面との交線をエピポーララインという。
このとき点Ｐの座標（Ｘ，Ｙ，Ｚ）はそれぞれ以下に示
す式（２），（３），（４）により与えられる。
【００２３】
【数２】
【００２４】
【数３】
【００２５】
【数４】 一方、左右各撮像レンズ群１１L ，１１R の光軸ＬL ，
ＬR が、それぞれその物体側主平面の中心点ＯL ，ＯR
を通り、かつＺ軸に平行な直線に対してなす角度（これ
を輻輳角という）をθとすると共に、各撮像レンズ群１
１L ，１１R の焦点距離をｆとすると、下記の式
（５），（６）の関係が成り立つ。
【００２６】 ＺR ＝｛ＸR −(b/2)＋ｆ・sin (θ)｝tan (θ)＋ｆ・cos (θ) ・・（５） ＺL ＝−｛ＸL ＋(b/2)−ｆ・sin(θ)｝tan (θ)＋ｆ・cos (θ) ・・（６） 以上の式（２）〜（６）により点Ｐの座標（Ｘ，Ｙ，
Ｚ）が求められる。これらの座標をもとに、ある視点か
ら見た画像例えばここでは２つのカメラの中間点から見
た画像に座標変換を行い。これは並進変換と回転変換の
組み合わせで行い合成画像を得る。
【００２７】以上のようにして合成画像が得られるわけ
だが、次にこの得られた画像を適切に、例えば複数のデ
ィスプレイを有するヘッドマウンテッドディスプレイ
（ＨＭＤ）に出力することについて説明する。この説明
においては、２つの画像は仮にＮＴＳＣのフォーマット
で構成されているものとする。代表的なＮＴＳＣ信号と
しては画素数が５２５×９１０，４８０×６４０，４８
０×７２０，４８０×７６８等と様々なものがあるが、
ここではこれら全てを総称してＮＴＳＣ信号と呼ぶ。
【００２８】仮に４８０×６４０を例にとり、次に撮影
時の重複部の領域の大きさが水平方向にα画素分だけ重
複していたとする。この場合、合成画像のアスペクトは
概略図６に示すごとく４８０：（６４０＋６４０−
α’）である。ここでαは合成処理によって多少変動す
るのでα’とした。一番の極端な例としてピッタリと接
合部が合致するように撮像され、なにも失うものがない
場合α’＝α＝０となり４８０：６４０＋６４０−α＝
３：８となる。
【００２９】これをＨＭＤ等のディスプレイに表示する
方法としては、図７に示すようにまず得られた合成画像
５０１を画像出力部４０によって複数の画像に分割する
必要がある。分割された画像は画像信号４１１，４１２
として出力される。
【００３０】例えば、上記の例では図８に示すように
４：３の比の画像を２つ作成し、すなわち８：３の画像
を２等分し、２つの４：３のＮＴＳＣ画像信号を生成
し、ＨＭＤ等のディスプレイに伝送する。この結果２つ
の画面を用いて、画角が広がった臨場感あふれる画像を
表示することが可能である。
【００３１】上記例では重複部がα＝０のときを想定し
たが一般にはα＞０である。この場合は、４８０：６４
０＋６４０−α’の画像から図９に示すように画像信号
を２つ作成する。このとき生成された画像のアスペクト
比は３：４になっている。すなわち４８０：６４０の画
像である。
【００３２】ただし、誤解がないようにさらに説明する
と、この得られた２つの画像信号は、２つの撮像系から
得られた生の画像信号と比較した場合、合成処理部を経
た結果、重複撮像部の像に関して変換されているので異
なる信号となっている。もちろん、ある条件下の撮影条
件、例えば平面被写体を無限遠設定で撮影した場合変換
処理を行っても像は変化しないという場合も存在し得
る。
【００３３】この得られた４８０：６４０の画像信号を
２つのＨＭＤ等のディスプレイに表示することによりパ
ノラマ画像として表示することが可能である。このと
き、２つの画像に同じものが一部表示されることになる
がこの２つの画像の重複部（図４（ａ）の斜線部）はさ
きの合成処理により立体視差情報がなくなっているの
で、２つの重複部からの像による立体感は知覚されず平
面としてとらえられるよう融合され、あたかも重複して
いない部分の画像と融合して画角を広げ、全体がパノラ
マ画像として表示される。ＨＭＤ等のディスプレイで
は、図４中の同一部（斜線部）をむしろ設けた上で表示
する方が、より視覚的につなぎ目にエッジ等を感じず、
所望の画像を表示できる。
【００３４】第２の実施例としては、図１０に示すよう
な２つの画像信号を生成することが挙げられる。この場
合は２つの画像にあえて同一部分を設けないで表示する
よう分割信号画像処理部で画像信号を発生するようにな
っている。したがって、１つの画像中に図１０中斜線部
４８０×α’／２の領域は例えば黒レベル等の画像が挿
入され、４８０×６４０−α’／２の部分に合成画像の
２分の１を表示する形である。
【００３５】本実施例の場合、実施例１のα’＝α＝０
のときと同じ形で重複部が表示されることとなる。２つ
のディスプレイの間に同一画像でないので、人が知覚す
る際に、融合領域部分がなく多少この境目が気にするこ
とはあるものの画角を広げる作用をもたらすことは同じ
である。
【００３６】第３の実施例としては、２つのディスプレ
イに同一の領域を積極的に取り入れることが挙げられ
る。すなわち、分割画像信号処理部では、入力された合
成画像４８０×（６４０＋６４０−α’）を２つの画像
信号２４０×｛（６４０＋６４０−α’）／２｝に分割
するアスペクト比は同じであるが画素数的には１つのデ
ィスプレイ内におさまる形である。図１１にその様子を
示す。図１１（Ａ）が入力合成画像、図１１（Ｂ）が分
割出力される２つの画像信号で、図１１（Ｂ）の斜線部
は例えば黒レベルの画像信号を挿入する処理をする。
【００３７】以上説明した例はＮＴＳＣ信号の６４０×
４８０の画像を代表的な例として説明し、図においても
これを使用したが、本発明は、これに限定されないこと
は言うまでもない。また、ＰＡＬのフォーマット、ＥＤ
ＴＶ、ＨＤＴＶのフォーマットに対しても同様のことが
言える。また、これ以外のフォーマットにも言えること
である。またＨＭＤといったディスプレイを例にとりあ
げて説明したがこれに限定されるものでもない。
【００３８】
【発明の効果】以上説明したように本発明は、パノラマ
画像を合成する画像合成手段と、合成されたパノラマ画
像を適宜分割出力する画像出力手段とを有することによ
り、以下に記載する効果を奏する。
【００３９】各画像信号から被写体の同一部分に対応す
る対応点対をそれぞれ抽出し、抽出した各対応点対から
合成変換することにより２つの画像の接続近傍が良好な
画像が得られる。さらに、前記画像を画像出力部を通し
て、所望の画像に分割することにより、分割した画像を
複数のディスプレイに表示し、円滑なパノラマ画像を提
示できるという効果がある。
【図面の簡単な説明】
【図１】本発明の画像処理装置の一実施例を示すブロッ
ク図である。
【図２】図１の実施例の複眼撮像装置の構造を示す構成
図である。
【図３】図２に示した複眼撮像装置の光学系の主要部
を、各撮像レンズ群の光軸を含む平面に垂直な方向から
見た図である。
【図４】（Ａ）は、図２に示した複眼撮像装置により物
体を撮像したときの物体の位置関係を説明する図であっ
て、各撮像レンズ群の光軸を含む平面に垂直な方向から
物体を見たときの物体の位置を示す図である。（Ｂ）
は、（Ａ）の左右のＣＣＤセンサの有効受光部を撮像レ
ンズ群側から見た図である。
【図５】三角測量法を説明するための図である。
【図６】合成画像を示す概略図である。
【図７】画像出力部の入出力を説明するブロック図であ
る。
【図８】合成画像が図７の画像出力部により分割された
分割出力について説明する図である。
【図９】合成処理の際に重複部α’を考慮してできた合
成画像の分割出力方法を説明する図である。
【図１０】図９と同じく分割出力方法を説明する図であ
るが表示画像に重複部がない場合を説明する図である。
【図１１】合成画像を２画面にアスペクト比を変えずに
２つの分割画像として表示する例を説明する図である。
【図１２】２つの撮像系を用いて共通の被写体を撮像し
て得られる２つの画像を合成することにより高精細な１
つの画像を得る複眼撮像装置の原理を説明するための図
である。
【符号の説明】
１０ 複眼撮像装置 １０L 左撮像系 １０R 右撮像系 １１L ，１１R 撮像レンズ群 １２L ，１２R 色分解プリズム １３L ，１３R ＣＣＤセンサ １４L ，１４R フォーカスモータ １５L ，１５R 合焦レンズ群 １６L ，１６R ズームモータ １７L ，１７R 変倍レンズ群 １８L ，１８R 輻輳角モータ ２０ 制御ユニット ２１ 全系制御部 ２２ フォーカス・ズーム制御部 ２３ 輻輳制御部 ２４L ，２４R フォーカスエンコーダ ２５L ，２５R ズームエンコーダ ２６L ，２６R 輻輳角エンコーダ ３０ 画像処理部 ３１L 左画像メモリ ３１R 右画像メモリ ３２ 画像入力部 ３３ 対応点抽出部 ３８ 画像変換部 ３９ 合成画像メモリ ４０ 画像出力部 ４１０ 合成変換部 ４１１，４１２ 画像信号 ５００，５０１ 合成画像
───────────────────────────────────────────────────── フロントページの続き (72)発明者 近藤 俊明 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 (72)発明者 森 克彦 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内

Claims (4)

    【特許請求の範囲】
  1. 【請求項１】 複数の画像を入力する画像入力手段と、 前記画像入力手段から入力された複数の画像を記憶する
    記憶手段と、 前記記憶手段が記憶した複数の画像から互いに共通した
    部分画像を判定する判定手段と、 前記判定手段が判定したの結果に基づいて、前記複数の
    画像を繋ぎ合わせて１つの画像を合成する画像合成手段
    と、 前記画像合成手段により合成された画像を分割して、複
    数の画像として出力する画像出力手段とを有する画像処
    理装置。
  2. 【請求項２】 前記画像入力手段は、複眼カメラである
    請求項１記載の画像処理装置。
  3. 【請求項３】 前記画像合成手段は、前記記憶手段が記
    憶した画像から被写体の同一部分に対応する対応点対を
    それぞれ抽出し、抽出した各対応点対から１つの画像を
    合成することにより、２つの画像の接続近傍を良好にす
    る請求項１または２記載の画像処理装置。
  4. 【請求項４】 前記画像出力手段は、分割される各画像
    が相互に同一の領域を有するように、合成画像を分割す
    る請求項１ないし３のうちいずれか１項記載の画像処理
    装置。
JP5237702A 1993-09-24 1993-09-24 画像処理装置 Expired - Fee Related JP2883265B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP5237702A JP2883265B2 (ja) 1993-09-24 1993-09-24 画像処理装置
EP94306967A EP0645926B1 (en) 1993-09-24 1994-09-23 Image processing apparatus and method.
DE69432692T DE69432692T2 (de) 1993-09-24 1994-09-23 Bildverarbeitungsvorrichtung und -verfahren.
US08/775,265 US5973726A (en) 1993-09-24 1997-03-17 Panoramic image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5237702A JP2883265B2 (ja) 1993-09-24 1993-09-24 画像処理装置

Publications (2)

Publication Number Publication Date
JPH0795467A true JPH0795467A (ja) 1995-04-07
JP2883265B2 JP2883265B2 (ja) 1999-04-19

Family

ID=17019247

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5237702A Expired - Fee Related JP2883265B2 (ja) 1993-09-24 1993-09-24 画像処理装置

Country Status (4)

Country Link
US (1) US5973726A (ja)
EP (1) EP0645926B1 (ja)
JP (1) JP2883265B2 (ja)
DE (1) DE69432692T2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0944630A (ja) * 1995-07-26 1997-02-14 Nippon Telegr & Teleph Corp <Ntt> 映像表現方法及び装置
JPH0990530A (ja) * 1995-09-26 1997-04-04 Canon Inc パノラマ画像合成装置とパノラマ画像の作成方法
JPH11136575A (ja) * 1997-08-20 1999-05-21 Ricoh Co Ltd 撮像装置及び撮像画像合成方法
JP2000228748A (ja) * 1999-02-05 2000-08-15 Ricoh Co Ltd 画像入力装置
JP2002057938A (ja) * 2000-08-10 2002-02-22 Nippon Telegr & Teleph Corp <Ntt> 撮像装置
JP2002223383A (ja) * 2001-01-26 2002-08-09 Tateyama R & D:Kk 移動体検出装置
JP2002366972A (ja) * 2001-06-08 2002-12-20 Univ Tokyo 擬似３次元空間表現システム、擬似３次元空間構築システム、ゲームシステム、及び電子地図提供システム
JP2006293996A (ja) * 2005-02-28 2006-10-26 Microsoft Corp 画像メタデータおよび空間情報に基づく判断基準を使用した自動デジタル画像グルーピング
US7667768B2 (en) 1998-06-05 2010-02-23 Fujifilm Corporation Image-capturing apparatus having multiple detachably connectable image capturing units
US8836763B2 (en) 2010-03-18 2014-09-16 Fujifilm Corporation Imaging apparatus and control method therefor, and 3D information obtaining system
JP2015198277A (ja) * 2014-03-31 2015-11-09 ブラザー工業株式会社 画像処理装置およびコンピュータプログラム
JP2017156513A (ja) * 2016-03-01 2017-09-07 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0696144A3 (en) * 1994-08-02 1996-04-24 Canon Kk Image pickup device with a plurality of lenses and a unit for extracting matching points
US5864359A (en) * 1995-05-30 1999-01-26 Smith & Nephew, Inc. Stereoscopic autofocusing based on comparing the left and right eye images
DE69732089T2 (de) * 1996-10-04 2005-12-08 Nippon Telegraph And Telephone Corp. Vorrichtung und verfahren zur zeitlichen und räumlichen integration und verwaltung einer vielzahl von videos sowie speichermedium zur speicherung eines programms dafür
JPH10336705A (ja) * 1997-06-02 1998-12-18 Canon Inc 複眼カメラ
JPH114398A (ja) * 1997-06-11 1999-01-06 Hitachi Ltd デジタルワイドカメラ
JPH11102438A (ja) * 1997-09-26 1999-04-13 Minolta Co Ltd 距離画像生成装置及び画像表示装置
IT1312245B1 (it) * 1998-04-10 2002-04-09 Ricoh Kk Apparecchiatura, procedimento di elaborazione di immagini e supportodi registrazione leggibile da elaboratore con programma registrato su
GB2336963A (en) * 1998-05-02 1999-11-03 Sharp Kk Controller for three dimensional display and method of reducing crosstalk
US6205241B1 (en) * 1998-06-01 2001-03-20 Canon Kabushiki Kaisha Compression of stereoscopic images
EP2410741A1 (en) * 1999-04-16 2012-01-25 Panasonic Corporation Image processing apparatus and monitoring system
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US7038709B1 (en) 2000-11-01 2006-05-02 Gilbert Verghese System and method for tracking a subject
IL139995A (en) 2000-11-29 2007-07-24 Rvc Llc System and method for spherical stereoscopic photographing
JP3472273B2 (ja) * 2001-03-07 2003-12-02 キヤノン株式会社 画像再生装置及び画像処理装置及び方法
US7139398B2 (en) 2001-06-06 2006-11-21 Sony Corporation Time division partial encryption
US7895616B2 (en) 2001-06-06 2011-02-22 Sony Corporation Reconstitution of program streams split across multiple packet identifiers
US6947059B2 (en) * 2001-08-10 2005-09-20 Micoy Corporation Stereoscopic panoramic image capture device
US7292690B2 (en) 2002-01-02 2007-11-06 Sony Corporation Video scene change detection
US7215770B2 (en) 2002-01-02 2007-05-08 Sony Corporation System and method for partially encrypted multimedia stream
US7823174B2 (en) 2002-01-02 2010-10-26 Sony Corporation Macro-block based content replacement by PID mapping
US7302059B2 (en) 2002-01-02 2007-11-27 Sony Corporation Star pattern partial encryption
US7155012B2 (en) 2002-01-02 2006-12-26 Sony Corporation Slice mask and moat pattern partial encryption
US7765567B2 (en) 2002-01-02 2010-07-27 Sony Corporation Content replacement by PID mapping
JP4195966B2 (ja) * 2002-03-05 2008-12-17 パナソニック株式会社 画像表示制御装置
US20040001145A1 (en) * 2002-06-27 2004-01-01 Abbate Jeffrey A. Method and apparatus for multifield image generation and processing
US7697025B2 (en) * 2002-08-28 2010-04-13 Sony Corporation Camera surveillance system and method for displaying multiple zoom levels of an image on different portions of a display
US8818896B2 (en) 2002-09-09 2014-08-26 Sony Corporation Selective encryption with coverage encryption
US7286667B1 (en) 2003-09-15 2007-10-23 Sony Corporation Decryption system
US7853980B2 (en) 2003-10-31 2010-12-14 Sony Corporation Bi-directional indices for trick mode video-on-demand
AU2004313174A1 (en) 2003-12-26 2005-07-21 Micoy Corporation Multi-dimensional imaging apparatus, systems, and methods
US20050162713A1 (en) * 2004-01-27 2005-07-28 Samsung Electronics Co., Ltd. Image-forming apparatus having a pause function and method thereof
US7895617B2 (en) 2004-12-15 2011-02-22 Sony Corporation Content substitution editor
US8041190B2 (en) 2004-12-15 2011-10-18 Sony Corporation System and method for the creation, synchronization and delivery of alternate content
US7872665B2 (en) 2005-05-13 2011-01-18 Micoy Corporation Image capture and processing
US9270976B2 (en) * 2005-11-02 2016-02-23 Exelis Inc. Multi-user stereoscopic 3-D panoramic vision system and method
US8185921B2 (en) 2006-02-28 2012-05-22 Sony Corporation Parental control of displayed content using closed captioning
WO2009039512A1 (en) * 2007-09-21 2009-03-26 The Trustees Of Columbia University In The City Of New York Systems and methods for panoramic imaging
US8134589B2 (en) * 2008-07-17 2012-03-13 Eastman Kodak Company Zoom by multiple image capture
JP4645712B2 (ja) * 2008-09-18 2011-03-09 ソニー株式会社 カメラ装置
JP5812599B2 (ja) * 2010-02-25 2015-11-17 キヤノン株式会社 情報処理方法及びその装置
US9421460B2 (en) * 2010-08-31 2016-08-23 Sony Interactive Entertainment Inc. Offline Progress of console game via portable device
US20130106990A1 (en) 2011-11-01 2013-05-02 Microsoft Corporation Planar panorama imagery generation
US9324184B2 (en) 2011-12-14 2016-04-26 Microsoft Technology Licensing, Llc Image three-dimensional (3D) modeling
US10008021B2 (en) 2011-12-14 2018-06-26 Microsoft Technology Licensing, Llc Parallax compensation
US9406153B2 (en) 2011-12-14 2016-08-02 Microsoft Technology Licensing, Llc Point of interest (POI) data positioning in image
JP6044328B2 (ja) * 2012-12-26 2016-12-14 株式会社リコー 画像処理システム、画像処理方法およびプログラム
TWI520095B (zh) 2013-10-21 2016-02-01 財團法人工業技術研究院 影像索引方法、影像索引裝置及電腦可讀取媒體
JP6351356B2 (ja) * 2014-05-02 2018-07-04 オリンパス株式会社 携帯機器、画像供給装置、画像表示装置、撮像システム、画像表示システム、画像取得方法、画像供給方法、画像表示方法、画像取得プログラム、画像供給プログラム、及び画像表示プログラム
JP2020106635A (ja) * 2018-12-27 2020-07-09 セイコーエプソン株式会社 頭部搭載型表示装置及び頭部搭載型表示装置の表示制御方法
US11265487B2 (en) * 2019-06-05 2022-03-01 Mediatek Inc. Camera view synthesis on head-mounted display for virtual reality and augmented reality
WO2023097494A1 (zh) * 2021-11-30 2023-06-08 深圳市大疆创新科技有限公司 全景图像拍摄方法、装置、无人机、系统及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3580978A (en) * 1968-06-06 1971-05-25 Singer General Precision Visual display method and apparatus
DE3411720A1 (de) * 1984-03-29 1985-10-03 Deutsche Gesellschaft für Wiederaufarbeitung von Kernbrennstoffen mbH, 3000 Hannover Verfahren und vorrichtung zur positionskontrolle von anlageteilen in einer hochradioaktiven zelle einer kerntechnischen anlage
US4583117A (en) * 1984-07-17 1986-04-15 Stereographics Corporation Stereoscopic video camera
GB8425827D0 (en) * 1984-10-12 1984-11-21 Gec Avionics Position indicating apparatus
GB8527665D0 (en) * 1985-11-08 1985-12-11 British Telecomm Camera optics
US4819064A (en) * 1987-11-25 1989-04-04 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Television monitor field shifter and an opto-electronic method for obtaining a stereo image of optimal depth resolution and reduced depth distortion on a single screen
US4974073A (en) * 1988-01-14 1990-11-27 Metavision Inc. Seamless video display
JP3129719B2 (ja) * 1989-04-21 2001-01-31 株式会社パルカ ビデオディスプレイ装置
US5175616A (en) * 1989-08-04 1992-12-29 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of National Defence Of Canada Stereoscopic video-graphic coordinate specification system
US5394520A (en) * 1991-09-26 1995-02-28 Hughes Aircraft Company Imaging apparatus for providing a composite digital representation of a scene within a field of regard
ATE158129T1 (de) * 1992-03-23 1997-09-15 Canon Kk Bildaufnahmevorrichtung mit mehreren linsen und korrektur von falschregistrierung

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0944630A (ja) * 1995-07-26 1997-02-14 Nippon Telegr & Teleph Corp <Ntt> 映像表現方法及び装置
JPH0990530A (ja) * 1995-09-26 1997-04-04 Canon Inc パノラマ画像合成装置とパノラマ画像の作成方法
JPH11136575A (ja) * 1997-08-20 1999-05-21 Ricoh Co Ltd 撮像装置及び撮像画像合成方法
US7667768B2 (en) 1998-06-05 2010-02-23 Fujifilm Corporation Image-capturing apparatus having multiple detachably connectable image capturing units
JP2000228748A (ja) * 1999-02-05 2000-08-15 Ricoh Co Ltd 画像入力装置
JP2002057938A (ja) * 2000-08-10 2002-02-22 Nippon Telegr & Teleph Corp <Ntt> 撮像装置
JP2002223383A (ja) * 2001-01-26 2002-08-09 Tateyama R & D:Kk 移動体検出装置
JP2002366972A (ja) * 2001-06-08 2002-12-20 Univ Tokyo 擬似３次元空間表現システム、擬似３次元空間構築システム、ゲームシステム、及び電子地図提供システム
US6972757B2 (en) 2001-06-08 2005-12-06 President Of The University Of Tokyo Pseudo 3-D space representation system, pseudo 3-D space constructing system, game system and electronic map providing system
JP2006293996A (ja) * 2005-02-28 2006-10-26 Microsoft Corp 画像メタデータおよび空間情報に基づく判断基準を使用した自動デジタル画像グルーピング
US8836763B2 (en) 2010-03-18 2014-09-16 Fujifilm Corporation Imaging apparatus and control method therefor, and 3D information obtaining system
JP2015198277A (ja) * 2014-03-31 2015-11-09 ブラザー工業株式会社 画像処理装置およびコンピュータプログラム
JP2017156513A (ja) * 2016-03-01 2017-09-07 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム

Also Published As

Publication number Publication date
DE69432692D1 (de) 2003-06-26
JP2883265B2 (ja) 1999-04-19
DE69432692T2 (de) 2004-04-08
US5973726A (en) 1999-10-26
EP0645926B1 (en) 2003-05-21
EP0645926A1 (en) 1995-03-29

Similar Documents

Publication Publication Date Title
JP2883265B2 (ja) 画像処理装置
US5646679A (en) Image combining method and apparatus
JP2888713B2 (ja) 複眼撮像装置
US5682198A (en) Double eye image pickup apparatus
JP4642723B2 (ja) 画像生成装置および画像生成方法
JP3107929B2 (ja) 複眼撮像装置
JP4065488B2 (ja) ３次元画像生成装置、３次元画像生成方法及び記憶媒体
JP5320524B1 (ja) ステレオ撮影装置
US20100073463A1 (en) Stereoscopic image capturing apparatus and stereoscopic image capturing system
EP0696144A2 (en) Multilens imaging apparatus comprising a corresponding point extraction unit
JPH10155104A (ja) 複眼撮像方法及び装置並びに記憶媒体
JPH1127703A (ja) 表示装置及びその制御方法
WO2012029299A1 (ja) 撮影装置、再生装置、および画像処理方法
CN110754081A (zh) 用于对局部视场成像的设备、多孔径成像设备及提供这些设备的方法
JP2006515128A (ja) 立体パノラマ画像取り込み装置
JP2010181826A (ja) 立体画像形成装置
JP4717853B2 (ja) ファイル生成方法および装置並びに立体画像の表示制御方法および装置
JPWO2011070774A1 (ja) ３ｄ映像処理装置および３ｄ映像処理方法
JP4436488B2 (ja) ステレオ映像取得装置
JP2003319418A (ja) ステレオ画像表示方法およびステレオ画像表示装置
JP2821042B2 (ja) 画像合成装置
JPH10336703A (ja) 画像合成装置、方法および記憶媒体
JPH10170227A (ja) 表示装置
JPH08116556A (ja) 画像処理方法および装置
JPH05344422A (ja) 複眼撮像装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080205

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090205

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100205

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100205

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110205

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120205

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130205

Year of fee payment: 14

LAPS Cancellation because of no payment of annual fees