JP3157384B2 - Three-dimensional imaging device - Google Patents

Three-dimensional imaging device

Info

Publication number
JP3157384B2
JP3157384B2 JP13747894A JP13747894A JP3157384B2 JP 3157384 B2 JP3157384 B2 JP 3157384B2 JP 13747894 A JP13747894 A JP 13747894A JP 13747894 A JP13747894 A JP 13747894A JP 3157384 B2 JP3157384 B2 JP 3157384B2
Authority
JP
Japan
Prior art keywords
left
right images
imaging
means
stereoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP13747894A
Other languages
Japanese (ja)
Other versions
JPH089421A (en
Inventor
治彦 村田
盛夫 松平
康夫 船造
秀行 金山
俊哉 飯沼
Original Assignee
三洋電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三洋電機株式会社 filed Critical 三洋電機株式会社
Priority to JP13747894A priority Critical patent/JP3157384B2/en
Publication of JPH089421A publication Critical patent/JPH089421A/en
Application granted granted Critical
Publication of JP3157384B2 publication Critical patent/JP3157384B2/en
Anticipated expiration legal-status Critical
Application status is Expired - Lifetime legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【産業上の利用分野】この発明は、左右画像に基づいて、立体画像を再現する立体映像装置に関する。 BACKGROUND OF THE INVENTION This invention is based on the left and right images, to a stereoscopic image apparatus for reproducing a stereoscopic image.

【0002】 [0002]

【従来の技術】両眼視差をもって左右画像を撮像し、撮像した左右画像を表示装置に表示することにより、立体画像を再現する立体撮像装置が知られている。 Capturing left and right images with the Background of the Invention binocular disparity, by displaying on the display device the right image captured stereoscopic imaging apparatus is known for reproducing a stereoscopic image.

【0003】 [0003]

【発明が解決しようとする課題】このような立体映像装置においては、同じ撮像条件で撮像された左右画像であっても、表示装置の種類、大きさ等によって、立体視の状態が変化する。 BRIEF Problems to be Solved In such a stereoscopic imaging device may be a captured left and right images at the same imaging conditions, the type of the display device, the size or the like, a change in state of the stereoscopic. このため、使用する表示装置によっては良好な立体画像が得られないという問題がある。 Therefore, there is a problem that satisfactory three-dimensional images obtained by the display device used.

【0004】この発明は、使用する表示装置の種類、大きさ等にかかわらず、良好な立体画像が得られる立体映像装置を提供することを目的とする。 [0004] The present invention, the type of display device using, regardless of the size or the like, and an object thereof is to provide a stereoscopic imaging apparatus excellent stereoscopic image can be obtained.

【0005】 [0005]

【課題を解決するための手段】この発明による第1の立体映像装置は、左右画像の対応する各領域ごとの視差量を算出する手段、および算出された視差量に基づいて、 SUMMARY OF THE INVENTION The first three-dimensional image device according to the present invention, based on the corresponding means for calculating a parallax amount for each region, and the calculated parallax amount of the left and right images,
左右画像の水平方向の表示位置を制御する手段を備えていることを特徴とする。 Characterized in that it comprises means for controlling the horizontal direction of the display positions of the left and right images.

【0006】この発明による第2の立体映像装置は、左右画像を撮像するための2つの撮像光学系を有する撮像手段、撮像手段の制御パラメータを撮像された左右画像とともに記録する手段、および再生時に撮像手段の制御パラメータに基づいて、左右画像の水平方向の表示位置を制御する手段を備えていることを特徴とする。 A second stereoscopic imaging apparatus according to the present invention, the imaging means having two imaging optical system for imaging the left and right images, means for recording together with the left and right images picked up a control parameter of the imaging means, and at the time of reproduction based on the control parameters of the imaging means, characterized in that it comprises means for controlling the horizontal direction of the display positions of the left and right images.

【0007】撮像手段の制御パラメータは、たとえば、 [0007] control parameter of the imaging means, for example,
フォーカス情報、ズーム情報、輻輳角および2つの撮像光学系の間隔からなる。 Focus information, zoom information, from the interval of convergence angle and two imaging optical systems.

【0008】 [0008]

【作用】この発明による第1の立体映像装置では、左右画像の対応する各領域ごとの視差量が算出される。 [Action] In the first stereoscopic image device according to the present invention, the amount of parallax of each of the areas corresponding to the left and right images is calculated. そして、算出された視差量に基づいて、左右画像の水平方向の表示位置が制御される。 Then, based on the calculated amount of parallax, the horizontal direction of the display positions of the left and right images is controlled.

【0009】この発明による第2の立体映像装置では、 [0009] In the second stereoscopic image device according to the present invention,
撮像手段の制御パラメータが撮像された左右画像とともに記録される。 Control parameter of the image pickup means is recorded together with the left and right images captured. そして、再生時においては、撮像手段の制御パラメータに基づいて、左右画像の水平方向の表示位置が制御される。 Then, at the time of reproduction, based on a control parameter of the imaging means, the horizontal direction of the display positions of the left and right images is controlled.

【0010】 [0010]

【実施例】図1は、立体映像装置の構成を示している。 DETAILED DESCRIPTION FIG. 1 shows a configuration of a stereoscopic image device.

【0011】この立体画像装置は、左画像を撮像するための左画像用ビデオカメラ1と、右画像を撮像するための右画像用ビデオカメラ2を備えている。 [0011] The stereoscopic image apparatus includes a left image for the video camera 1 for imaging the left image, right image for the video camera 2 for capturing the right image. 各ビデオカメラ1、2は、レンズおよびCCDの他、フォーカス調整機構、アイリス調整機構等を備えている。 Each video camera 1 includes a lens and CCD other, focus adjustment mechanism includes an iris adjustment mechanism or the like.

【0012】ここでフォーカスとは焦点である。 [0012] is the focus and the focus here. アイリスとは絞りであり、焦点深度(焦点が合う距離の幅)と関係している。 And a diaphragm and iris are associated with focal depth (width in focus distance). アイリスが大きくなると焦点深度が浅くなり、アイリスが小さくなると焦点深度が深くなる。 Iris becomes the focal depth becomes shallow large depth of focus when the iris is reduced. 2
台のビデオカメラ1、2の光軸のなす角度θは、輻輳角である。 An angle θ of the base of the optical axis of the video camera 1, a convergence angle. この例では、輻輳角θは、固定されているものとする。 In this example, the convergence angle θ is assumed to be fixed.

【0013】各ビデオカメラ1、2の出力は、それぞれ信号処理回路3、4に送られる。 [0013] The output of the video cameras 1 and 2 are sent to the respective signal processing circuits 3 and 4. 各信号処理回路3、4 Each signal processing circuit 3 and 4
は、入力信号から所定の映像信号を生成して出力するとともに、入力信号に基づいてフォーカス情報およびアイリス情報を生成して出力する。 , Together with the outputs from the input signal to generate a predetermined image signal, and generates a focus information and iris information output based on the input signal. フォーカス情報およびアイリス情報は、CPU6に送られる。 Focus information and the iris information is sent to the CPU 6. CPU6は、フォーカス情報およびアイリス情報に基づいて、各ビデオカメラ1、2のフォーカス調整機構およびアイリス調整機構を制御する。 CPU6, based on the focus information and the iris information, controls the focus adjustment mechanism and an iris adjusting mechanism of the video cameras 1 and 2.

【0014】各ビデオカメラ1、2の出力は、視差量算出回路5にも送られる。 The output of the video cameras 1 and 2 are also sent to the parallax amount calculation circuit 5. 視差量算出回路5は、左右両画面の対応する領域ごとの視差量を算出する。 Parallax amount calculation circuit 5 calculates the amount of parallax corresponding each area of ​​the left and right screens. たとえば、 For example,
左右の各画面を64の領域に分割し、対応する各領域ごとに視差量が算出される。 Each screen of the left and right divided into 64 regions of the parallax amount for each of the areas corresponding is calculated. 算出された各領域ごとの視差量は、CPU6に送られる。 Parallax amount for each area calculated is sent to the CPU 6. CPU6には、さらに、各ビデオカメラ1、2から現在のズーム情報等が送られている。 The CPU 6, further such current zoom information is sent from the video cameras 1 and 2. また、CPU6は、図示しない記憶手段を備えており、この記憶手段には、輻輳角θおよび2台のビデオカメラ1、2の間隔の情報が記憶されている。 Also, CPU 6 includes a storage means (not shown), this storage unit, information of the convergence angle θ and two intervals of the video cameras 1 and 2 are stored.

【0015】各信号処理回路3、4から出力される映像信号は、多重回路7に送られる。 The video signal outputted from the signal processing circuit 3, 4 is sent to multiplexing circuit 7. また、CPU6からは、分割領域ごとの視差量、フォーカス情報、現在のズーム情報、輻輳角および2台のビデオカメラの間隔からなる制御情報が、多重回路7に送られる。 Further, from the CPU 6, the parallax amount of each divided region, focus information, current zoom information, the control information comprising a gap convergence angle and two video cameras are sent to the multiplexing circuit 7.

【0016】多重回路7では、左右画像の映像信号および制御情報が多重される。 [0016] In the multiplexing circuit 7, the video signal and the control information of the left and right images are multiplexed. 制御情報は、たとえば、映像信号の垂直ブランキング期間に挿入される。 Control information is, for example, is inserted in a vertical blanking period of the video signal.

【0017】多重回路7から出力される多重信号は、記録回路8によってビデオテープ等の記録媒体9に記録される。 The multiplex signal output from multiplexing circuit 7 is recorded on the recording medium 9 such as a video tape by the recording circuit 8. 記録媒体9に記録された多重信号は、再生回路1 Multiplexed signal recorded on the recording medium 9, the reproduction circuit 1
0によって読み出された後、分離回路11によって、左右画像の映像信号および制御信号に分離される。 After read by 0, by the separation circuit 11 is separated into a video signal and control signal of the left and right images.

【0018】各映像信号は、水平方向の画像表示位置を制御するための水平シフト回路13、14にそれぞれ送られる。 [0018] Each video signal is sent respectively to the horizontal shift circuits 13 and 14 for controlling the image display position in the horizontal direction. 制御信号は、両水平シフト回路13、14を制御するCPU12に送られる。 Control signal is sent to the CPU12 for controlling both the horizontal shift circuits 13 and 14.

【0019】CPU12は、立体表示装置15に適した立体視を実現できるように、制御信号に基づいて、各水平シフト回路13、14によるシフト方向(右方向または左方向)およびシフト量を制御する。 [0019] CPU12, as can be realized stereoscopic suitable for stereoscopic display device 15, based on the control signal, for controlling the respective horizontal shift circuits 13 and 14 according to the shift direction (right direction or left direction) and the shift amount . 各水平シフト回路13、14から出力される映像信号は、立体表示装置15に送られて、表示される。 Video signal output from the horizontal shift circuits 13 and 14 is sent to the three-dimensional display device 15, it is displayed.

【0020】制御信号に含まれている各領域の視差量に基づいて、各水平シフト回路13、14を制御する場合について、説明する。 [0020] Based on the parallax amount of each region contained in the control signal, for the case of controlling the respective horizontal shift circuits 13 and 14, will be described.

【0021】図2は、立体表示装置15のモニタ面S上に表示される左画像および右画像ならびにそれらの画像の立体像位置を示している。 [0021] Figure 2 shows a three-dimensional image position of the left and right images and their image displayed on the monitor surface S of the stereoscopic display device 15.

【0022】立体表示装置15のモニタ面Sと、観察者の目21、22との好適な間隔を適視距離Aとする。 [0022] and the monitor surface S of the stereoscopic display device 15, a suitable distance between the viewer's eye 21, 22 and preferred viewing distance A. また、モニタ面S上での注視物体の右画像Rと左画像Lとの間隔を視差Bとする。 Further, the distance between the right image R and the left picture L of the gaze object on the monitor surface S parallax B. また、観察者の眼間距離をCとする。 Further, the distance between the eyes of the observer and C. 適視距離Aは、立体表示装置15の種類、大きさ等によって決定される。 Proper viewing distance A, the type of the stereoscopic display device 15 is determined by the size and the like. また、映像信号が同じであっても注視物体の視差Bは、立体表示装置15の種類、大きさ等によって異なる。 Further, the parallax B of the gaze object even video signal is the same type of three-dimensional display device 15, it depends on the size and the like.

【0023】適視距離Aと、視差Bと、眼間距離Cにより、注視物体の立体像位置Pは決まる。 [0023] and proper viewing distance A, the parallax B, the interocular distance C, the three-dimensional image position P of the focus object is determined. 眼間距離Cは、 Interocular distance C is,
ほぼ一定であるとすると、注視物体の立体像位置Pは適視距離Aと視差Bとによって決まる。 When a substantially constant, the three-dimensional image position P of the focus object is determined by the preferred viewing distance A and the parallax B.

【0024】すなわち、観察者の左目21とモニタ面S [0024] That is, the viewer's left eye 21 and the monitor surface S
上に表示される注視物体の左画像Lとを結ぶ線を23とし、観察者の右目22とモニタ面S上に表示される注視物体の右画像Rとを結ぶ線を24とすると、線23と2 The line connecting the left image L of the gazing object displayed on a 23 and a line connecting the right image R of the gaze object displayed on the viewer's right eye 22 and the monitor plane S and 24, a line 23 When the 2
4との交点が立体像位置Pとなる。 Intersection of the 4 is a three-dimensional image position P.

【0025】観察者の眼間距離Cおよび観察者の融合の度合には個人差があるが、適視距離Aが決まると、立体視できる限界立体像位置に対する限界視差が決定される。 [0025] Although there are individual differences in the degree of fusion of the observer's interocular distance C and the observer, the preferred viewing distance A is determined, critical parallax is determined relative limit stereoscopic image position which can stereoscopically.

【0026】たとえば、図3(a)に示すように、所定の適視距離Aにおいて、モニタ面Sから前方向の限界立体像位置までの範囲をWfとすると、前方向の限界立体像位置に対する視差(前方向限界視差)Bfが決定される。 [0026] For example, as shown in FIG. 3 (a), at a predetermined proper viewing distance A, if the Wf a range up to the limit stereoscopic image position in forward from the monitor surface S, for the forward limit stereoscopic image position parallax (forward critical parallax) Bf is determined.

【0027】また、図3(b)に示すように、所定の適視距離Aにおいて、モニタ面Sから後方向の限界立体像位置までの範囲をWrとすると、後方向の限界立体像位置に対する視差(後方向限界視差)Brが決定される。 Further, as shown in FIG. 3 (b), at a predetermined proper viewing distance A, When Wr range up to the limit stereoscopic image position of the rear direction from the monitor surface S, of the rear direction with respect to the limit stereoscopic image position parallax (backward critical parallax) Br is determined.

【0028】図1の分離回路11によって分離された左右画像の両映像信号をそのまま立体表示装置15に表示した場合に、図4に示すように、2つの対象物体が左画像L1、L2および右画像R1、R2として表示されるとする。 [0028] When the both video signals of the separated left and right images by the separation circuit 11 of FIG. 1 as it is displayed on the stereoscopic display device 15, as shown in FIG. 4, two of the object is left images L1, L2 and right and it is displayed as an image R1, R2. 左画像L1と右画像R1とは同じ対象物体に対する画像であり、左画像L2と右画像R2とは同じ対象物体に対する画像である。 The left image L1 and the right image R1 is an image for the same object, the left image L2 and the right image R2 is an image for the same object.

【0029】この場合には、図5に示すように、両対象物体の立体像位置範囲はWとなり、その一部が限界立体像位置範囲WMの前端から前側にはみ出でしまう。 [0029] In this case, as shown in FIG. 5, the stereoscopic image position range of both target object W, and the part will at protrudes to the front from the front end of the limit stereoscopic image position range WM. そうすると、正常な立体視ができなくなる。 Then, it can not be normal stereoscopic vision. ここで、限界立体像位置範囲WMとは、モニタ面Sから前方向の限界立体像位置までの範囲Wf(図3(a)参照)と、モニタ面Sから後方向の限界立体像位置までの範囲Wr(図3 Here, the limit stereoscopic image location range WM, range Wf to limit stereoscopic image position in forward from the monitor surface S (see FIG. 3 (a)), up to the limit stereoscopic image position of the rear direction from the monitor surface S range Wr (Fig. 3
(b)参照)とを合わせた範囲である。 (B) refer) and a range of combined.

【0030】このような場合には、左画像を左方向にシフトさせ、右画像を右方向にシフトさせる。 [0030] In such a case, shift the left image to the left, shifting the right image in the right direction. そうすると、左画像L1、L2および右画像R1、R2は、図6 Then, the left image L1, L2 and the right image R1, R2 is 6
のように表示される。 It is displayed as shown in. この場合には、図7に示すように、両対象物体の立体像位置範囲Wは後方にシフトされ、限界立体像位置範囲WM内に収まるようになる。 In this case, as shown in FIG. 7, the stereoscopic image position range W of both the target object is shifted backwards, made to fit the limit stereoscopic image position range WM.

【0031】分離回路11によって分離された左右画像をそのまま立体表示装置15に表示した場合に、立体像位置範囲Wが限界立体像位置範囲WMを前方向または後方向に越えるか否かは、各領域ごとの視差量と予め決定された限界視差Bf、Br(図3参照)とに基づいて判定される。 [0031] When the left and right images separated by the separation circuit 11 and displayed as it is on the stereoscopic display device 15, whether the three-dimensional image position range W exceeds the limit stereoscopic image position range WM forward or backward, each critical parallax Bf which is predetermined parallax amount for each region is determined based on the Br (see FIG. 3).

【0032】また、分離回路11によって分離された左右画像をそのまま立体表示装置15に表示した場合に、 Further, in the case of displaying left and right images separated as the stereoscopic display apparatus 15 by the separation circuit 11,
図8に示すように、立体像位置範囲Wが限界立体像位置範囲WM内に収まっていても、立体像位置範囲Wがモニタ面Sの近傍付近にあり、立体感がさほどでない場合がある。 As shown in FIG. 8, even if the stereoscopic image location range W is not fall limit stereoscopic image position range WM, stereoscopic image location range W is in the vicinity of the vicinity of the monitor surface S, there are cases stereoscopic effect is not much. このような場合には、図9に示すように、限界立体像位置範囲WM内において、立体像位置範囲Wを前方にシフトさせるように左右画像をシフト制御することにより、立体感を増加させることができる。 In such a case, as shown in FIG. 9, in the limit stereoscopic image position range WM, by shifting control left and right images to shift forward a stereoscopic image position range W, to increase the stereoscopic effect can.

【0033】分離回路11によって分離された左右画像をそのまま立体表示装置15に表示した場合に、立体像位置範囲Wがモニタ面Sの近傍付近に位置するか否かは、各領域ごとの視差量と予め決定された限界視差B [0033] When the left and right images separated by the separation circuit 11 and displayed as it is on the stereoscopic display device 15, whether the three-dimensional image position range W is positioned near the vicinity of the monitor surface S, the parallax amount of each of the areas When predetermined critical parallax B
f、Br(図3参照)とに基づいて判定される。 f, it is determined based on the Br (see FIG. 3).

【0034】次に、制御信号に含まれているフォーカス情報、ズーム情報、輻輳角および2台のビデオカメラ1、2の間隔(光軸間距離)といった撮像手段(ビデオカメラ1、2)の制御パラメータに基づいて、各水平シフト回路13、14を制御する場合について説明する。 Next, focus information included in the control signal, the zoom information, control of the convergence angle and two intervals of the video camera 1 (distance between the optical axes) such as image pickup means (video camera 1, 2) based on the parameters, it will be described for controlling the respective horizontal shift circuits 13 and 14.

【0035】図10に示すように、フォーカス情報およびズーム情報により、両ビデオカメラ1、2の間の中心点から主要被写体Xまでの距離(主要被写体距離)Eが求まる。 As shown in FIG. 10, the focus information and zoom information, the distance (the main object distance) from the center point between both video cameras 1 and 2 to the main object X E is obtained. また、輻輳角θ、光軸間距離Dに基づいて、両ビデオカメラ1、2の光軸の交点Yまでの距離(輻輳交点距離)Fが求まる。 Also, the convergence angle theta, based on the inter-optical axis distance D, the distance to the intersection Y of the optical axis of both the video camera 1 (convergence intersection distance) F is obtained. そして、主要被写体距離E、輻輳交点距離Fおよび光軸間距離Dに基づいて、各ビデオカメラ1、2と主要被写体Xとを結ぶ線と、各ビデオカメラ1、2の光軸とのなす角αが求まる。 The main object distance E, based on the convergence intersection distance F and inter-optical axis distance D, a line connecting the main subject X and the video cameras 1 and 2, the angle between the optical axis of the video cameras 1 and 2 α is obtained.

【0036】両ビデオカメラ1、2の光軸の交点Yと主要被写体Xとの間隔(F−E)は、主要被写体Xの左右画像間距離(視差)に比例する。 The distance between the intersection Y and the main object X of the optical axes of both the video camera 1, 2 (F-E) is proportional to the left and right image distance of the main subject X (parallax). そして、交点Yと主要被写体Xとの間隔(F−E)は角度αに比例するので、 The distance between the intersection Y and the main object X (F-E) is proportional to the angle alpha,
角度αの大きさは主要被写体Xの左右画像間距離(視差)に比例する。 The size of the angle α is proportional to the left and right image distance of the main subject X (parallax).

【0037】ビデオカメラ1、2のカメラ画角は予めわかっているため、角度αがモニタ上の何画素に相当するかを計算することができる。 [0037] Since the camera angle of the video camera 1 is known in advance, it is possible to calculate how the angle α corresponds to many pixels on the monitor. つまり、制御信号に含まれているフォーカス情報、ズーム情報、輻輳角、2台のビデオカメラ1、2の間隔(光軸間距離)に基づいて、主要被写体Xのモニタ面上での視差を求めることができる。 That is, the focus information included in the control signal, the zoom information, convergence angle, based on the two intervals of the video cameras 1 and 2 (the distance between the optical axes), obtains the parallax on the monitor surface of the main object X be able to.

【0038】そして、求められた主要被写体Xの視差と、立体表示装置15の限界視差とに基づいて、主要被写体Xの立体像位置範囲が限界立体像位置範囲を前方向または後方向に越えるか否か、主要被写体Xの立体像位置範囲がモニタ面の近傍付近に位置するか否かを判別することができる。 [0038] Then, parallax of a main subject X obtained, or on the basis of the critical parallax in the stereoscopic display unit 15, a stereoscopic image position range of the main subject X exceeds the limit stereoscopic image position range forward or backward whether it is possible to three-dimensional image position range of the main object X, it is determined whether or not located near the vicinity of the monitor surface.

【0039】主要被写体Xの立体像位置が限界立体像範囲内にないと判別されたときには、主要被写体の立体像位置を限界立体像範囲内に収まるように、左右画像が水平シフトせしめられる。 [0039] When the stereoscopic image position of the main object X is determined to not within limits stereoscopic image range, the three-dimensional image position of the main subject to fit within the limits stereoscopic image range, the left and right images is made to the horizontal shift. また、求められた主要被写体の立体像位置がモニタ面の近傍付近にあると判別された場合には、限界立体像位置範囲内において、主要被写体の立体像位置を前方にシフトさせるように左右画像をシフト制御することにより、立体感を増加させることができる。 Further, when the stereoscopic image position of the main subject determined is judged to be near the vicinity of the monitor surface is in the limit stereoscopic image position within the left and right images stereoscopic image position of the main subject so as to shift forward by shifting control, it is possible to increase the stereoscopic effect.

【0040】左右画像の水平シフト制御は、視差量に基づいて行ってもよいし、フォーカス情報、ズーム情報、 The horizontal shift control of the left and right images may be performed based on the parallax amount, focus information, zoom information,
輻輳角および2台のビデオカメラ1、2の間隔といった撮像手段(ビデオカメラ1、2)の制御パラメータに基づいて行ってもよい。 May be based on the control parameter of the convergence angle and two imaging means, such as distance of the video cameras 1 and 2 (a video camera 1, 2). また、視差量および撮像手段の制御パラメータの両方に基づいて左右画像の水平シフト制御を行ってもよい。 It may also be carried out horizontal shift control of the left and right images based on both the control parameters of the parallax amount and the imaging means.

【0041】左右画像の水平シフト制御を視差量に基づいて行う場合には、撮像された左右画像の映像信号と視差量とを多重して記録すればよい。 [0041] When performed based on the parallax amount of horizontal shift control of the left and right images, the video signal and the parallax amount of the captured left and right images may be multiplexed and recorded. また、左右画像の水平シフト制御を撮像手段の制御パラメータに基づいて行う場合には、撮像された左右画像の映像信号と撮像手段の制御パラメータとを多重して記録すればよい。 Further, when performed on the basis of the horizontal shift control of the left and right images to the control parameter of the imaging means, and a control parameter of the video signal and the image pickup means of the captured left and right images may be multiplexed and recorded.

【0042】また、左右画像の水平シフト制御を視差量に基づいて行う場合には、再生側で、左右画像の映像信号から対応する領域ごとの視差量を算出するようにしてもよい。 Further, in the case of performing on the basis of the parallax amount of horizontal shift control of the left and right images, the reproduction side, it is also possible to calculate the parallax amount of each area corresponding from the video signal of the left and right images. この場合には、撮像側で視差量を算出しなくて済む。 In this case, it is not necessary to calculate the parallax amount at the imaging side.

【0043】上記実施例では、2台のビデオカメラ1、 [0043] In the above example, two video cameras 1,
2により、左右画像が撮像されているが、左右画像を撮像する撮像手段としては、1つの撮像デバイスに左画像と右画像とを時分割して交互に結像させるもの、1つの撮像デバイスの受光面を2分割して、一方に左画像を結像させ、他方に右画像を結像させるもの等を用いることができる。 The 2, but the right and left images are captured, as the imaging means for capturing left and right images, which is imaged alternately by time division and left and right images into a single image pickup device, a single imaging device the light receiving surface is divided into two, one is imaged left image, or the like can be used to image the right image to the other.

【0044】図1では、左右画像を撮像する撮像部から、左右画像を表示する表示部へのデータの伝達は、記録回路8、記録媒体9および再生回路10を介して行われているが、撮像部から表示部へのデータの伝達を有線伝送または無線伝送によって行うようにしてもよい。 [0044] In Figure 1, the imaging unit that captures an image of a left and right images, the transfer of data to the display unit for displaying left and right images, recording circuit 8, has been carried out through the recording medium 9 and the reproduction circuit 10, the transmission of data to the display unit from the imaging unit may be performed by wired transmission or wireless transmission.

【0045】 [0045]

【発明の効果】この発明によれば、使用する表示装置の種類、大きさ等にかかわらず、良好な立体画像が得られる。 Effects of the Invention According to this invention, the type of display device using, regardless of the size or the like, a good stereoscopic image can be obtained.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】立体映像装置の構成を示すブロック図である。 1 is a block diagram showing a configuration of a stereoscopic image device.

【図2】立体表示装置の適視距離、左右画像間距離(視差)および眼間距離と、立体像位置との関係を示す図である。 [Figure 2] proper viewing distance of the stereoscopic display device, and the left and right image distance (parallax) and Mekan distance is a diagram showing the relationship between a stereoscopic image position.

【図3】立体表示装置の限界視差を説明するための説明図である。 3 is an explanatory diagram for explaining the critical parallax of the stereoscopic display device.

【図4】左画像と右画像の一例を示す模式図である。 4 is a schematic diagram showing an example of the left and right images.

【図5】図4の画像の立体像位置範囲が限界立体像位置範囲を越えていることを示す図である。 [5] stereoscopic image position range of the image of FIG. 4 is a diagram showing that exceeds the limit stereoscopic image position range.

【図6】図4の左右画像が水平シフトされた後の左画像および右画像を示す模式図である。 [6] the left and right images in Figure 4 is a schematic diagram showing the left and right images after being horizontally shifted.

【図7】図6の画像の立体像位置範囲が限界立体像位置範囲内に収められていることを示す図である。 Stereoscopic image position range of the image of FIG. 7] FIG. 6 is a diagram showing that which is on the limit stereoscopic image position within the range.

【図8】立体像位置範囲がモニタ面近傍にある場合を示す図である。 8 is a diagram showing a case where three-dimensional image position range is in the monitor surface vicinity.

【図9】図8の左右画像を水平シフトすることにより、 By horizontally shifting the left and right images of FIG. 9 8,
立体像位置範囲を前方に移動させた場合の立体像位置範囲を示す図である。 It shows a stereoscopic image position range when moving the stereoscopic image position range in front.

【図10】撮像手段の制御パラメータに基づいて、主要被写体の視差を求める方法を説明するための説明図である。 [10] Based on the control parameters of the imaging means is an explanatory diagram for explaining the method of obtaining the parallax of the main subject.

【符号の説明】 DESCRIPTION OF SYMBOLS

1、2 ビデオカメラ 3、4 信号処理回路 5 視差量算出回路 6 CPU 7 多重回路 8 記録回路 9 記録媒体 10 再生回路 11 分離回路 12 CPU 13、14 水平シフト回路 15 立体表示装置 1,2 camcorder 3,4 signal processing circuit 5 parallax amount calculation circuit 6 CPU 7 multiplexing circuit 8 recording circuit 9 recording medium 10 and reproducing circuit 11 separating circuit 12 CPU 13, 14 a horizontal shift circuit 15 stereoscopic display device

───────────────────────────────────────────────────── フロントページの続き (72)発明者 松平 盛夫 大阪府守口市京阪本通2丁目5番5号 三洋電機株式会社内 (72)発明者 金山 秀行 大阪府守口市京阪本通2丁目5番5号 三洋電機株式会社内 (56)参考文献 特開 昭62−115989(JP,A) 特開 平1−93980(JP,A) 特開 平1−212976(JP,A) 特開 昭58−53707(JP,A) 特開 昭64−73469(JP,A) 特開 昭64−37468(JP,A) (58)調査した分野(Int.Cl. 7 ,DB名) H04N 13/00 - 15/00 ────────────────────────────────────────────────── ─── of the front page continued (72) inventor Morio Matsudaira Osaka Prefecture Moriguchi Keihanhondori 2-chome No. 5 No. 5, Sanyo Electric Co., Ltd. in the (72) inventor Hideyuki Jinshan Osaka Prefecture Moriguchi Keihanhondori 2-chome No. 5 No.5 Sanyo in Inc. (56) references Patent Sho 62-115989 (JP, A) Patent Rights 1-93980 (JP, A) Patent Rights 1-212976 (JP, A) JP Akira 58- 53707 (JP, a) JP Akira 64-73469 (JP, a) JP Akira 64-37468 (JP, a) (58 ) investigated the field (Int.Cl. 7, DB name) H04N 13/00 - 15 / 00

Claims (3)

    (57)【特許請求の範囲】 (57) [the claims]
  1. 【請求項1】 左右画像の対応する各領域ごとの視差量を算出する手段、および算出された視差量に基づいて、 1. A based on the corresponding means for calculating a parallax amount for each region, and the calculated parallax amount of the left and right images,
    左右画像の水平方向の表示位置を制御する手段を備えている立体映像装置。 And have three-dimensional imaging apparatus comprising means for controlling the horizontal direction of the display positions of the left and right images.
  2. 【請求項2】 左右画像を撮像するための2つの撮像光学系を有する撮像手段、撮像手段の制御パラメータを撮像された左右画像とともに記録する手段、および再生時に撮像手段の制御パラメータに基づいて、左右画像の水平方向の表示位置を制御する手段を備えている立体映像装置。 Wherein the imaging means having two imaging optical system for imaging the left and right images, it means for recording together with the left and right image control parameters are captured in the imaging unit, and based on a control parameter of the imaging means at the time of reproduction, and have three-dimensional imaging apparatus comprising means for controlling the horizontal direction of the display positions of the left and right images.
  3. 【請求項3】 前記撮像手段の制御パラメータが、フォーカス情報、ズーム情報、輻輳角および2つの撮像光学系の間隔である請求項2記載の立体映像装置 Wherein the control parameter of the imaging means, the focus information, zoom information, convergence angle and the two imaging optical systems stereoscopic image apparatus according to claim 2, wherein a distance.
JP13747894A 1994-06-20 1994-06-20 Three-dimensional imaging device Expired - Lifetime JP3157384B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP13747894A JP3157384B2 (en) 1994-06-20 1994-06-20 Three-dimensional imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13747894A JP3157384B2 (en) 1994-06-20 1994-06-20 Three-dimensional imaging device

Publications (2)

Publication Number Publication Date
JPH089421A JPH089421A (en) 1996-01-12
JP3157384B2 true JP3157384B2 (en) 2001-04-16

Family

ID=15199569

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13747894A Expired - Lifetime JP3157384B2 (en) 1994-06-20 1994-06-20 Three-dimensional imaging device

Country Status (1)

Country Link
JP (1) JP3157384B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013035551A1 (en) 2011-09-07 2013-03-14 シャープ株式会社 Stereoscopic image processing apparatus, stereoscopic image processing method, and program
JP5303692B1 (en) * 2011-11-28 2013-10-02 パナソニック株式会社 Stereoscopic image processing apparatus and stereoscopic image processing method
US9036008B2 (en) 2011-05-23 2015-05-19 Panasonic Intellectual Property Management Co., Ltd. Image display device
US9049434B2 (en) 2010-03-05 2015-06-02 Panasonic Intellectual Property Management Co., Ltd. 3D imaging device and 3D imaging method
US9064331B2 (en) 2011-01-13 2015-06-23 Panasonic Intellectual Property Management Co., Ltd. Three-dimensional image processing apparatus, three-dimensional image processing method, and program
US9128367B2 (en) 2010-03-05 2015-09-08 Panasonic Intellectual Property Management Co., Ltd. 3D imaging device and 3D imaging method
US9188849B2 (en) 2010-03-05 2015-11-17 Panasonic Intellectual Property Management Co., Ltd. 3D imaging device and 3D imaging method
US9240072B2 (en) 2010-09-08 2016-01-19 Panasonic Intellectual Property Management Co., Ltd. Three-dimensional image processing apparatus, three-dimensional image-pickup apparatus, three-dimensional image-pickup method, and program

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1334622A4 (en) * 2000-04-19 2006-06-07 Yissum Res Dev Co System and method for capturing and viewing stereoscopic panoramic images
JP4610799B2 (en) * 2001-06-25 2011-01-12 オリンパス株式会社 Stereoscopic observation system and endoscope apparatus
US8369607B2 (en) 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
EP2381691B1 (en) * 2002-03-27 2015-05-13 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
JP3978392B2 (en) 2002-11-28 2007-09-19 誠次郎 富田 3D image signal generation circuit and 3D image display device
KR100768837B1 (en) * 2003-04-17 2007-10-19 샤프 가부시키가이샤 3-dimensional image creating apparatus, 3-dimensional image reproducing apparatus, 3-dimensional image processing apparatus, and recording medium recorded with 3-dimensional image processing program
JP2005073049A (en) * 2003-08-26 2005-03-17 Sharp Corp Device and method for reproducing stereoscopic image
JP2005130312A (en) * 2003-10-24 2005-05-19 Sony Corp Stereoscopic vision image processing device, computer program, and parallax correction method
US9124877B1 (en) 2004-10-21 2015-09-01 Try Tech Llc Methods for acquiring stereoscopic images of a location
JP4588439B2 (en) * 2004-12-27 2010-12-01 富士フイルム株式会社 Stereoscopic image photographing apparatus and method
JP2006287812A (en) * 2005-04-04 2006-10-19 Daisuke Omori Stereoscopic video image photographic apparatus and stereoscopic video image display apparatus
JP4496122B2 (en) * 2005-04-04 2010-07-07 大介 大森 Stereoscopic video shooting and playback device
JP4555722B2 (en) 2005-04-13 2010-10-06 株式会社 日立ディスプレイズ 3D image generator
KR100988894B1 (en) * 2005-11-17 2010-10-20 노키아 코포레이션 Method and devices for generating, transferring and processing three-dimensional image data
US20090009593A1 (en) * 2006-11-29 2009-01-08 F.Poszat Hu, Llc Three dimensional projection display
JP4810465B2 (en) * 2007-02-26 2011-11-09 富士フイルム株式会社 Image encoding apparatus, image decoding apparatus, image encoding method, image decoding method, imaging apparatus, imaging apparatus control method, and program
JP5332127B2 (en) * 2007-03-30 2013-11-06 株式会社島津製作所 Head-mounted display device
KR100950046B1 (en) * 2008-04-10 2010-03-29 포항공과대학교 산학협력단 Apparatus of multiview three-dimensional image synthesis for autostereoscopic 3d-tv displays and method thereof
JP4625515B2 (en) 2008-09-24 2011-02-02 富士フイルム株式会社 Three-dimensional imaging apparatus, method, and program
CN102177721B (en) * 2008-10-10 2015-09-16 皇家飞利浦电子股份有限公司 The method of processing parallax information comprised in a signal
JP2010102137A (en) * 2008-10-24 2010-05-06 Fujifilm Corp Three-dimensional photographing device, method and program
JP4995854B2 (en) 2009-03-11 2012-08-08 富士フイルム株式会社 Imaging apparatus, image correction method, and image correction program
JP2010268097A (en) * 2009-05-13 2010-11-25 Fujifilm Corp Three-dimensional display device and three-dimensional display method
JP2010278878A (en) * 2009-05-29 2010-12-09 Fujifilm Corp Stereoscopic image device and display image switching method thereof
TW201116041A (en) * 2009-06-29 2011-05-01 Sony Corp Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, three-dimensional image data reception method, image data transmission device, and image data reception
JP2011024003A (en) * 2009-07-16 2011-02-03 Fujifilm Corp Three-dimensional moving image recording method and apparatus, and moving image file conversion method and apparatus
KR20110011000A (en) * 2009-07-27 2011-02-08 삼성전자주식회사 Method and appratus for generating three-dimensional image datastream including additional information for displaying three-dimensional image, method and apparatus for receiving the same
JP5405264B2 (en) 2009-10-20 2014-02-05 任天堂株式会社 Display control program, library program, information processing system, and display control method
JP2011176823A (en) * 2010-01-28 2011-09-08 Toshiba Corp Image processing apparatus, 3d display apparatus, and image processing method
JP5446949B2 (en) * 2010-02-03 2014-03-19 ソニー株式会社 Image processing apparatus, image processing method, and program
US20130010056A1 (en) * 2010-03-17 2013-01-10 Kenji Morimoto Reproduction apparatus
JP5489809B2 (en) * 2010-03-25 2014-05-14 キヤノン株式会社 Image processing apparatus and image processing apparatus control method
JP5577823B2 (en) * 2010-04-27 2014-08-27 ソニー株式会社 Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
JP2011244218A (en) * 2010-05-18 2011-12-01 Sony Corp Data transmission system
US9693039B2 (en) 2010-05-27 2017-06-27 Nintendo Co., Ltd. Hand-held electronic device
JP5641200B2 (en) 2010-05-28 2014-12-17 ソニー株式会社 Image processing apparatus, image processing method, image processing program, and recording medium
US8970672B2 (en) * 2010-05-28 2015-03-03 Qualcomm Incorporated Three-dimensional image processing
CN102959968B (en) * 2010-06-30 2016-05-04 富士胶片株式会社 Image processing apparatus, camera head and image processing method
JP2012015774A (en) * 2010-06-30 2012-01-19 Toshiba Corp Stereoscopic image processing device and stereoscopic image imaging method
JP2012039340A (en) * 2010-08-06 2012-02-23 Hitachi Consumer Electronics Co Ltd Receiving apparatus and receiving method
JP4937390B2 (en) * 2010-08-24 2012-05-23 株式会社東芝 3D image display device and 3D image glasses
JP2012054862A (en) * 2010-09-03 2012-03-15 Sony Corp Image processing apparatus and image processing method
JP2012080294A (en) * 2010-09-30 2012-04-19 Toshiba Corp Electronic device, video processing method, and program
JP5681588B2 (en) * 2010-09-30 2015-03-11 富士フイルム株式会社 Stereoscopic image editing apparatus and stereoscopic image editing method
US9035939B2 (en) * 2010-10-04 2015-05-19 Qualcomm Incorporated 3D video control system to adjust 3D video rendering based on user preferences
JP4956658B2 (en) * 2010-10-12 2012-06-20 シャープ株式会社 3D image conversion device and 3D image display device
JP5250604B2 (en) * 2010-10-26 2013-07-31 富士フイルム株式会社 Stereoscopic image display apparatus, stereoscopic image display method, and program
JP5002047B2 (en) * 2010-11-05 2012-08-15 シャープ株式会社 Stereoscopic image data playback device
JP2012129768A (en) * 2010-12-15 2012-07-05 Seiko Epson Corp Document camera, document camera control method, program, and display processing system
JP2012147160A (en) * 2011-01-11 2012-08-02 Nec Personal Computers Ltd Three-dimensional image processing apparatus
JP5502211B2 (en) 2011-01-17 2014-05-28 パナソニック株式会社 Stereoscopic image processing apparatus and stereoscopic image processing method
JP5820985B2 (en) 2011-01-19 2015-11-24 パナソニックIpマネジメント株式会社 Stereoscopic image processing apparatus and stereoscopic image processing method
JP5750457B2 (en) * 2011-01-25 2015-07-22 富士フイルム株式会社 Stereoscopic video processing device, stereoscopic video processing program and recording medium therefor, stereoscopic imaging device, and stereoscopic video processing method
EP2574065B1 (en) 2011-01-26 2016-09-07 FUJIFILM Corporation Image processing device, image-capturing device, reproduction device, and image processing method
WO2012131851A1 (en) * 2011-03-25 2012-10-04 株式会社東芝 Image display device, image transmission device, image display system, image transmission method, and program
JP5725161B2 (en) * 2011-03-31 2015-05-27 富士通株式会社 Image processing apparatus, image processing method, and image processing program
JP2015039073A (en) * 2011-04-26 2015-02-26 株式会社東芝 Apparatus and method for processing stereoscopic image
EP2706748A4 (en) * 2011-05-06 2014-10-01 Fujitsu Ltd Stereoscopic image generation device, stereoscopic image generation method, stereoscopic image generation program
JP5868051B2 (en) * 2011-07-20 2016-02-24 株式会社東芝 Image processing apparatus, image processing method, image processing system, and medical image diagnostic apparatus
JP2013090185A (en) * 2011-10-19 2013-05-13 Sharp Corp Image file generating device, image file reading device, image file generating method, image file reading method, and program
CN104024937B (en) * 2011-10-31 2015-09-02 富士胶片株式会社 Parallax adjustment apparatus and method, imaging apparatus, display apparatus reproducing
KR102009049B1 (en) 2011-11-11 2019-08-08 소니 주식회사 Transmitting apparatus, transmitting method, receiving apparatus and receiving method
JP5307953B1 (en) 2011-11-30 2013-10-02 パナソニック株式会社 Stereoscopic image processing apparatus, stereoscopic image processing method, and stereoscopic image processing program
JP5720561B2 (en) * 2011-12-26 2015-05-20 株式会社Jvcケンウッド Image processing apparatus, image processing method, and image processing program
JP5380575B2 (en) * 2012-05-09 2014-01-08 富士フイルム株式会社 Imaging apparatus, image correction method, and image correction program
JP6036784B2 (en) * 2014-10-10 2016-11-30 ソニー株式会社 Image processing apparatus, image processing method, image processing program, and recording medium

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9188849B2 (en) 2010-03-05 2015-11-17 Panasonic Intellectual Property Management Co., Ltd. 3D imaging device and 3D imaging method
US9049434B2 (en) 2010-03-05 2015-06-02 Panasonic Intellectual Property Management Co., Ltd. 3D imaging device and 3D imaging method
US9128367B2 (en) 2010-03-05 2015-09-08 Panasonic Intellectual Property Management Co., Ltd. 3D imaging device and 3D imaging method
US9240072B2 (en) 2010-09-08 2016-01-19 Panasonic Intellectual Property Management Co., Ltd. Three-dimensional image processing apparatus, three-dimensional image-pickup apparatus, three-dimensional image-pickup method, and program
US9064331B2 (en) 2011-01-13 2015-06-23 Panasonic Intellectual Property Management Co., Ltd. Three-dimensional image processing apparatus, three-dimensional image processing method, and program
US9036008B2 (en) 2011-05-23 2015-05-19 Panasonic Intellectual Property Management Co., Ltd. Image display device
WO2013035551A1 (en) 2011-09-07 2013-03-14 シャープ株式会社 Stereoscopic image processing apparatus, stereoscopic image processing method, and program
US9129439B2 (en) 2011-11-28 2015-09-08 Panasonic Intellectual Property Management Co., Ltd. Three-dimensional image processing apparatus and three-dimensional image processing method
JP5303692B1 (en) * 2011-11-28 2013-10-02 パナソニック株式会社 Stereoscopic image processing apparatus and stereoscopic image processing method

Also Published As

Publication number Publication date
JPH089421A (en) 1996-01-12

Similar Documents

Publication Publication Date Title
US7084838B2 (en) Method and system for controlling the motion of stereoscopic cameras using a three-dimensional mouse
US7466336B2 (en) Camera and method for composing multi-perspective images
US5805205A (en) Simulataneous two-dimensional and three-dimensional imaging system using a bifurcated, dual-aperture light valve
JP4295711B2 (en) Image conversion and encoding technology
EP0921694A2 (en) Stereoscopic image pick-up apparatus
US6177952B1 (en) Imaging apparatus, image display apparatus and image recording and/or reproducing apparatus
KR970011271B1 (en) 3-dimensional displaying apparatus and method and apparatus using it
US7061532B2 (en) Single sensor chip digital stereo camera
CA2488925C (en) Method for producing stereoscopic images from monoscopic images
US5870137A (en) Method and device for displaying stereoscopic video images
US4740836A (en) Compatible 3D video display using commercial television broadcast standards and equipment
CN101636747B (en) Two dimensional/three dimensional digital information acquisition and display device
US8044997B2 (en) Method, apparatus, and program for processing stereoscopic videos
US5963369A (en) Digital solid-state binoculars
US5737012A (en) Head mounted image display apparatus and image forming apparatus related thereto
EP0888017A2 (en) Stereoscopic image display apparatus and related system
DE69534763T2 (en) Apparatus for displaying stereoscopic images and image recording apparatus therefor
US20020191841A1 (en) Image processing method and apparatus
JP2010541513A (en) One-source multi-use (OSMU) type stereo camera and method for producing stereo image content thereof
EP1085769A2 (en) Stereoscopic image pickup apparatus
JP4625515B2 (en) Three-dimensional imaging apparatus, method, and program
Pastoor 3D-television: A survey of recent research results on subjective requirements
EP0282966A2 (en) Method and apparatus for threedimensional imaging
US6549650B1 (en) Processing of image obtained by multi-eye camera
US6414709B1 (en) Methods and apparatus for zooming during capture and reproduction of 3-dimensional images

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090209

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090209

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100209

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110209

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110209

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120209

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120209

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130209

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130209

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140209

Year of fee payment: 13

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term