JP3826236B2 - Intermediate image generation method, the intermediate image generation apparatus, disparity estimation method, and an image transmission display device - Google Patents

Intermediate image generation method, the intermediate image generation apparatus, disparity estimation method, and an image transmission display device Download PDF

Info

Publication number
JP3826236B2
JP3826236B2 JP10488596A JP10488596A JP3826236B2 JP 3826236 B2 JP3826236 B2 JP 3826236B2 JP 10488596 A JP10488596 A JP 10488596A JP 10488596 A JP10488596 A JP 10488596A JP 3826236 B2 JP3826236 B2 JP 3826236B2
Authority
JP
Japan
Prior art keywords
image
parallax
intermediate image
disparity
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP10488596A
Other languages
Japanese (ja)
Other versions
JPH0927969A (en
Inventor
健夫 吾妻
森村  淳
謙也 魚森
Original Assignee
松下電器産業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP10982195 priority Critical
Priority to JP7-109821 priority
Application filed by 松下電器産業株式会社 filed Critical 松下電器産業株式会社
Priority to JP10488596A priority patent/JP3826236B2/en
Publication of JPH0927969A publication Critical patent/JPH0927969A/en
Application granted granted Critical
Publication of JP3826236B2 publication Critical patent/JP3826236B2/en
Anticipated expiration legal-status Critical
Application status is Expired - Lifetime legal-status Critical

Links

Images

Description

【0001】 [0001]
【発明の属する技術分野】 BACKGROUND OF THE INVENTION
本発明は、 たとえば、立体映像表示方式における中間像生成方法、中間像生成装置、視差推定方法及び画像伝送表示装置に関するものである。 The present invention is, for example, in the stereoscopic image display system, an intermediate image generation method, the intermediate image generation apparatus, and a disparity estimation method, and an image transmission display device.
【0002】 [0002]
【従来の技術】 BACKGROUND OF THE INVENTION
従来、立体映像方式には様々なものが提案されているが、特殊な眼鏡をかけることなく立体動画像を複数人数で観察できる方式として、多眼式立体映像方式が有望である。 Conventionally, are various stereoscopic video system has been proposed, as a method for observing a stereoscopic video with multiple people without imposing special glasses, multi-view stereoscopic image method is promising. 多眼式立体映像方式においては、使用するカメラ台数および表示装置台数が多いほど、観察者に対して自然な動視差を感じさせることができ、また、多人数での観察が容易になる。 In multi-view stereoscopic image method, the more the number of cameras and display the number used, it is possible to feel a natural motion parallax relative to the observer, also facilitates the observation by many people. しかしながら、撮像系の規模やカメラの光軸の設定等の制約により、実用的に用いることができるカメラ台数には限度がある。 However, due to limitations of the setting of the optical axis of the scale and a camera of the imaging system, there is a limit to the number of cameras which can be used practically. また、伝送、蓄積過程においては、カメラ台数に比例して増大する情報量を低減することが望まれる。 The transmission, in the accumulation process, it is desired to reduce the amount of information increases in proportion to the number of cameras. そこで、表示側において2眼式ステレオ画像から中間像を生成して多眼式立体画像を表示できれば、撮像系の負担を軽減し、伝送、蓄積時の情報量を低減することができることになる。 Therefore, if display the multiview stereoscopic image by generating an intermediate image from the binocular stereoscopic image on the display side, to reduce the burden of the imaging system, the transmission, so that it is possible to reduce the information amount at the time of storage.
【0003】 [0003]
【発明が解決しようとする課題】 [Problems that the Invention is to Solve
視点の異なる複数の画像から、その異なる視点間の任意の視点で見えるべき中間像を生成するためには、画像間で画素の対応を求めて奥行きを推定する必要がある。 From different images viewpoints, to produce an intermediate image should look at any viewpoint between the different viewpoints, it is necessary to estimate the depth seeking corresponding pixels between the images. 対応を求める方法はこう配法とブロックマッチング法に大別される。 Method of obtaining the corresponding is roughly divided into the gradient method and a block matching method. このうちこう配法は、大きな推定値に対して精度が低下し、また、こう配を用いているためにノイズの影響を受けやすい。 Among gradient method, the accuracy decreases for large estimate, also susceptible to noise due to the use of gradient. さらに、こう配法では一般に、推定値を収束させるための繰り返し計算を必要とするため、実時間処理の点で不利である。 Furthermore, in general a gradient method, because it requires iterative calculations for converging the estimated value, which is disadvantageous in terms of real-time processing. 一方、ブロックマッチング法はノイズに対して頑健であるが、輝度こう配の大小、推定値が不連続な領域の有無によって、適切なブロックサイズが異なり、適切なブロックサイズが推定値の分布に依存するという課題がある。 On the other hand, the block matching method is robust to noise, the magnitude of the intensity gradient, the presence or absence of estimates discrete regions, different appropriate block size, appropriate block size depends on the distribution of estimate there is a problem in that.
【0004】 [0004]
金出らは、輝度こう配、ノイズ、視差分布を考慮した評価尺度を用いて、ブロックのサイズ、位置と視差を更新する繰り返し計算によって上記問題点の解決を試みているが(T.Kanade,M.Okutomi : "A Stereo Matching Algorithm with an Adaptive Window : Theory and Experiment",Technical Report CMU-CS-90,School of Computer Science,CMU, Pittburgh,PA 15213,(1990))、莫大な計算量を要している。 Kanade et al., The luminance gradient, noise, using a rating scale considering parallax distribution, the size of the block, but trying to solve the problem by iterative calculation to update the position and parallax (T.Kanade, M .Okutomi: "a Stereo Matching Algorithm with an Adaptive Window: Theory and Experiment", Technical Report CMU-CS-90, School of Computer Science, CMU, Pittburgh, PA 15213, (1990)), it takes an enormous amount of calculation ing.
【0005】 [0005]
また、画像間の対応づけにおける根本的な問題は、奥行きが不連続に変化する視差エッジ近傍では、オクルージョンが生じるために対応を精度よく求めるのは困難なことである。 The fundamental problem in the correspondence between images is a parallax edge near the depth varies discontinuously, is that difficult to calculate accurately corresponding to occlusion occurs. しかし、この視差エッジ近傍での推定値は、生成された中間像中の物体の輪郭を決定するため、中間像の合成時には非常に重要である。 However, the estimated value in this parallax edge vicinity, for determining the contour of an object in the generated intermediate image is very important when the intermediate image synthesis. すなわち、視差エッジ近傍で推定誤差が生じると、前景領域の画素が背景側にはりついたり、逆に背景領域の画素が前景にはりつき、物体の輪郭線が乱れたり、物体輪郭線近傍の背景領域に偽輪郭が生じることになる。 That is, when the estimation error occurs in the vicinity of the parallax edge, or stuck pixels in the foreground area in the background side, opposite to the sticking to the pixel foreground background area, or disturbed object outline, the background area in the vicinity of the object contour so that the false contour occurs.
【0006】 [0006]
また、こう配法やブロックマッチング法による2画像間の対応づけ以外の方法として、アフィン変換による視差補償予測方式や(藤井,原島, "アフィン変換よる多眼式三次元画像符号化",電子情報通信学会秋期大会,D-200,(1993))、EPI(Epipolor Plane Image)を用いる方法(苗村,原島, "自己相関モデリングによる多眼式画像の補間合成",電子情報通信学会秋期大会,D-267,(1993))があるが、数 枚から数十枚の画像を用いるため、動画に適用する際には撮像系に大きな負担がかかる。 Further, as a method other than the correspondence between the two images by the gradient method or block matching method, the disparity compensated prediction method and (Fujii by affine transformation, Harashima, "affine transformation by the multiview type three-dimensional image coding", Electronic Information Communication Society Fall Convention, D-200, (1993)), EPI (Epipolor Plane image) method using a (Naemura, Harashima, "interpolation synthesis of multiview image by autocorrelation modeling", IEICE Fall Convention, D- 267, (1993)). However, since the use of dozens of images from several pieces, a large burden on the imaging system when applying the video such.
【0007】 [0007]
本発明は、従来のこのような立体画像表示方式における課題を考慮し、 たとえば、物体輪郭線近傍での視差を推定し、複数の画像の、例えば1組のステレオ画像から2画像間の、任意の視点に対応する中間像を生成できる中間像生成方法、中間像生成装置、視差推定方法、及び画像伝送表示装置を提供することを目的とする。 The present invention considers the problems in such a conventional stereoscopic image display system, for example, estimate the disparity of the object outline vicinity of the plurality of images, for example, from a set of stereo images between 2 images, any It can generate an intermediate image corresponding to the viewpoint intermediate image generation method, the intermediate image generation apparatus, and to provide a disparity estimation method, and an image transmission display device.
【0008】 [0008]
【課題を解決するための手段】 In order to solve the problems]
第1の本発明は、視点の異なる2つの画像について、それぞれの画像を基準として画素毎の対応を求めて視差を推定し、視差推定が行えない領域において、 その領域近傍における所定の領域を物体の輪郭により分割して出来る2つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように前記視差推定が行えない領域での視差を決定し、前記画像及び前記得られた視差からそれぞれ中間像を生成し、その生成した中間像を統合することを特徴とするステレオ画像の中間像生成方法である。 The first of the present invention, the object for the two images with different viewpoints, each image to estimate the parallax seeking correspondence for each pixel as a reference, in the region where the disparity estimation can not be performed, a predetermined region in the vicinity of the region out of each of the parallax of the two areas that can be divided by the contour, using the disparity towards indicating the distance, based on the edge intensities in the predetermined region, the parallax changes significantly in strongly pixels having edge strength , to determine the parallax of the region where the disparity estimation can not be performed as the parallax is small change in the weak pixels having the edge intensity, from each of the images and the resulting parallax generate an intermediate image, the intermediate image thus generated an intermediate image generation method of the stereo image, characterized by integration.
第2の本発明は、中間像の統合は、前記生成した中間像においてデータのない領域と隣接する画素のデータのうち、背景側の所定の画素数のデータを用いないことにより、統合された中間像における偽輪郭の発生をなくすることを特徴とする第1の本発明の中間像生成方法である。 The second of the present invention, integration of the intermediate image, among the data of pixels adjacent to the no data area in the intermediate image the generated, by not using the data of the predetermined number of pixels of the background side, integrated a first intermediate image generating method according to the invention, characterized in that to eliminate the occurrence of false contour in the intermediate image.
第3の本発明は、中間像の統合は、視点の方向に応じて、前記生成した中間像に重み付けをすることにより行うことを特徴とする第1又は第2の本発明の中間像生成方法である。 The third of the present invention, integration of the intermediate image, depending on the direction of the viewpoint, the first or second intermediate image generation method of the present invention and performing by weighting the intermediate image to the generated it is.
第4の本発明は、視点の異なる2画像を記憶する画像メモリと、前記2画像間で画素の対応を求め初期視差を計算する初期視差推定手段と、その初期視差を記憶する初期視差メモリと、画像から物体輪郭線を検出する物体輪郭線検出手段と、その物体輪郭線を記憶する輪郭メモリと、前記初期視差および前記物体輪郭線から、物体輪郭線近傍における視差を、物体輪郭線近傍領域を前記物体輪郭線により分割して出来る2つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記物体輪郭線近傍領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように決定する輪郭部視差推定手段と、前記画像と前記視差から中間像を生成する中間像生 The fourth of the present invention includes an image memory for storing two images of different viewpoints, and the initial disparity estimation means for calculating an initial disparity seek corresponding pixels between the two images, an initial disparity memory for storing the initial parallax , and the object contour detecting means for detecting an object contour from an image, a contour memory for storing the object contour from the initial disparity and the object contour, the disparity in the vicinity object contour, object contour area near of each parallax divided and two areas that can by the object contour line, using the disparity towards indicating the distance, based on the edge intensities in the object contour region near the strong pixels having edge strength parallax changes significantly, intermediate image production that generates a decision to contour disparity estimation unit as a parallax in weak pixels having the edge intensity changes less, the intermediate image from the said image parallax 手段とを備えたことを特徴とする中間像生成装置である。 An intermediate image generation apparatus characterized by comprising a means.
第5の本発明は、視点の異なる複数の画像について、それぞれの画像を基準として画素毎の対応を求めて初期視差を推定し、前記初期視差推定が行えない領域での視差推定は、その領域近傍における所定の領域を物体の輪郭により分割して出来る2つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域の内で物体輪郭のエッジ強度に応じて、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように、前記初期視差推定で求められた視差に対する重みを変化させて前記複数の画像の視差を演算することを特徴とする視差推定方法である。 The fifth of the present invention is different for a plurality of images of viewpoints, each image in search of correspondence for each pixel to estimate the initial disparity based disparity estimation in a region where the initial disparity estimation can not be performed, the area of each of the parallax of the two regions can be a predetermined region in the neighborhood is divided by the contour of the object, using the disparity towards indicating the distance, according to the edge intensity of the object outline within a predetermined area, parallax changes significantly in strongly pixels having edge strength, so parallax in weak pixels having the edge intensity changes less, the initial disparity by changing the weight for the disparity obtained by estimating computes the parallax of the plurality of images it is the disparity estimation method according to claim.
第6の本発明は、第5の本発明の前記視差推定方法により求められた視差を利用して、前記画像から中間像を生成することを特徴とする複数画像の中間像生成方法である。 The present invention of a 6, by using the parallax determined by the parallax estimation method of the fifth invention, an intermediate image generation method for a plurality of images, which comprises generating an intermediate image from the image.
第7の本発明は、2眼式画像を伝送する送信部と、その伝送された2眼式画像を受信し、その受信した2眼式画像から左右の画像を基準とした視差情報を計算し、視差が正しく計算できない領域での視差については、その領域近傍における所定の領域を物体の輪郭により分割して出来る2つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように前記視差が正しく計算できない領域での視差を決定し、前記2眼式画像と前記求めた視差情報とを用いて中間像を生成し、その中間像及び前記2眼式画像を併せて多眼式画像として表示する受信部とを備えたことを特徴とする画 The present invention of a 7 includes a transmission unit for transmitting a binocular image, receives the transmitted binocular image was, to calculate the disparity information relative to the left and right images from the received binocular image for disparity in the region where the parallax can not be calculated correctly, of the respective parallax of the two regions can be by dividing the predetermined region in the region near the contour of the object, using the disparity towards indicating the distance, the based on the edge strength in a predetermined region, the parallax changes significantly in strongly pixels having edge strength, to determine the parallax of the region where the parallax as parallax changes small at low pixel of the edge strength can not be calculated correctly, and wherein the generating the intermediate image by using the parallax information obtained wherein the binocular images, and a receiving unit for displaying together the intermediate image and the binocular image as the multiview image the field to 伝送表示装置である。 A transmission display device.
第8の本発明は、2眼式画像から左右それぞれの画像を基準とした視差を計算し、視差が正しく計算できない領域では、その領域近傍における所定の領域を物体の輪郭により分割して出来る2つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように視差を補充し、前記2眼 式画像及び前記補充後の視差を符号化し伝送する送信部と、その伝送された符号化信号を受信し、その受信信号から前記2眼式画像及び前記補充後の視差を復号化し、その復号された2眼式画像及び補充後の視差を用いて中間像を生成し、その中間像及び前記2眼式画像を併せて多眼式画像として表 The present invention The eighth binocular calculates the parallax on the basis of each image left and right from the images, in the region where the parallax can not be calculated correctly, it divides the predetermined area in the region near the contour of the object 2 of each parallax one region, using the disparity towards indicating the distance, based on the edge intensities in the predetermined region, the parallax changes significantly in strongly pixels having the edge intensity, the disparity in the weak pixels having the edge intensity supplemented with parallax so changes small, a transmission unit disparity after the binocular image and the supplement to be coded transmission, it receives the transmitted coded signal, the binocular from the received signal decoding the image and the disparity after the refill, and generates an intermediate image using the decoded binocular image and disparity after supplementation, as multiview image together the intermediate image and the binocular image table する受信部とを備えたことを特徴とする画像伝送表示装置である。 An image transmitting display apparatus characterized by comprising a receiving unit for.
第9の本発明は、視点の異なる2つの画像について、それぞれの画像を基準として画素毎の対応を求めて視差を推定する手段と、視差推定が行えない領域において、その領域近傍における所定の領域を物体の輪郭により分割して出来る2つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように前記視差推定が行えない領域での視差を決定する手段と、前記画像及び前記得られた視差から中間像を生成する手段とを備えたことを特徴とするステレオ画像の中間像生成装置である。 The present invention ninth for two images with different viewpoints, and means for estimating the disparity seeking correspondence for each pixel of each image as a reference, in the region where the disparity estimation can not be performed, a predetermined region in the vicinity of the region among the respective parallax of the two areas that can be divided by the contour of the object, using the disparity towards indicating the distance, based on the edge intensity in the predetermined area, large parallax in strong pixels having edge strength changes, and means for determining a disparity in the region where the disparity estimation can not be performed as the parallax is small change in the weak pixels having the edge intensity, and means for generating an intermediate image from the image and the resulting parallax an intermediate image generation apparatus of a stereo image, characterized in that the.
【0016】 [0016]
本発明は、例えば、視点の異なる2つの画像について、画素毎の対応を求めて視差を推定する際に、オクルージョンなどによって視差推定が行えない領域において、周囲での視差と物体の輪郭をもとに、視差推定が行えない領域での視差を決定し、それぞれの画像を基準として中間像を生成し、更にその生成された中間像を統合することにより、画像全体で中間像を生成する。 Original invention, for example, for two different images viewpoints, when estimating the disparity seeking correspondence for each pixel in the region can not perform the parallax estimated by such occlusion, the contour of the disparity and the object in the ambient to, to determine the parallax of the region where the disparity estimation can not be performed, each image to produce an intermediate image as a reference, further by integrating the intermediate image thus created, to generate an intermediate image in the entire image.
【0017】 [0017]
また、視差推定が行えない領域での視差を求める場合に、物体輪郭のエッジ強度に応じて、初期視差推定で求められた視差に対する重みを変化させて視差を求めることができる。 Further, when obtaining the disparity in the region where the disparity estimation can not be performed, according to the edge intensity of the object outline, it is possible to obtain the parallax by changing the weight for the disparity obtained at the initial disparity estimation.
【0018】 [0018]
また、本発明は、観察者の位置を検出することにより、その検出した観察者の位置に応じた立体画像などを表示することができる。 The present invention, by detecting the position of the observer, the like can be displayed three-dimensional image corresponding to the position of the detected observer.
【0019】 [0019]
【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION
以下に、本発明をその実施の形態を示す図面に基づいて説明する。 The following describes the present invention based on the drawings illustrating an embodiment thereof.
【0020】 [0020]
図1は、本発明の第1の実施の形態における中間像生成装置の構成図である。 Figure 1 is a block diagram of an intermediate image generating apparatus according to the first embodiment of the present invention. 図1において、1Lは左画像用フレームメモリ、1Rは右画像用フレームメモリ、2Lは左画像を基準とした視差を求める初期視差推定部、2Rは右画像を基準とした視差を求める初期視差推定部、3L,3Rはそれぞれ左右の画像を基準とした視差を記憶する視差メモリ、4L,4Rはそれぞれ左右の画像の輪郭を抽出する輪郭抽出部、5L,5Rはそれぞれ左右の画像の輪郭を記憶する輪郭メモリ、6L,6Rはそれぞれ左右の画像の輪郭部近傍の視差を求める輪郭部視差推定部、7L,7Rはそれぞれ左右の画像を基準とした中間像を生成する中間像生成部、8は左右の画像を基準とする中間像を統合する中間像統合部である。 In Figure 1, 1L is a frame memory for the left image, 1R is right image frame memory, 2L initial disparity estimation unit for obtaining the parallax relative to the left image, 2R initial disparity estimation to obtain the parallax which is based on the right image parts, 3L, 3R parallax memory for storing parallax relative to the left and right images respectively, 4L, 4R contour extraction unit for extracting a contour of each of the left and right images, 5L, 5R are stored contour of the respective right and left images contour memory, 6L, 6R are contour disparity estimator for determining the disparity of the contour in the vicinity of the respective left and right images, 7L, intermediate image generating unit for generating an intermediate image relative to the image of the left and right respectively 7R, 8 left and right images is an intermediate image integration unit for integrating the intermediate image to a reference.
【0021】 [0021]
以下に上記構成の動作について、図面を参照しながら説明する。 The operation of the above configuration will be described below with reference to the drawings.
【0022】 [0022]
まず、左画像用フレームメモリ1L、右画像用フレームメモリ1Rは、それぞれ左右の画像を記憶する。 First, the frame memory 1L, a frame memory 1R for the right image for the left image, stores the left and right images, respectively.
【0023】 [0023]
次に、初期視差推定部2Lは左画像を基準として(数1)に示すSSDによる相関演算をブロック毎に行い、SSDを最小とするdl を視差として左右の画像間の画素の対応を求め、dl を(x,y)における左画像基準の初期視差として視差メ モリ3Lに視差データを書き込む。 Next, an initial disparity estimation unit 2L performs correlation calculation by SSD shown in equation (1) the left image as a reference for each block, determine the corresponding pixels between the left and right images dl to minimize the SSD as the parallax, the dl (x, y) is written parallax data to the parallax memory 3L as the initial disparity of the left image reference in.
【0024】 [0024]
【数1】 [Number 1]
【0025】 [0025]
図2は、左画像を基準とした初期視差の模式図である。 Figure 2 is a schematic view of an initial disparity relative to the left image. 図2において、21は前景視差、22は背景視差、23は物体輪郭線、24はオクルージョン領域である。 2, 21 is the foreground disparity, 22 background parallax, 23 the object outline, 24 is occlusion region. ブロック毎の相関演算による初期視差では、手前にある前景に対する視差データ21と背景に対する視差データ22の境界が物体輪郭線23とは一致せず、また、前景の左側(右画像基準の初期視差の場合には前景の右側)に対応がとれず視差が原理上正しく計算できないオクルージョン領域24が存在する。 In the initial disparity by the correlation calculation for each block, the boundary of the parallax data 22 for the parallax data 21 and the background to the foreground in front does not match the object outline 23, also, the foreground left (the right image the basis of the initial disparity occlusion region 24 in which the parallax does not take a corresponding to the foreground right) can not in principle calculated correctly exists when.
【0026】 [0026]
また、初期視差推定部2Rは、右画像を基準として(数2)に示すSSDによる相関演算を行い、左右の画像間の画素の対応を求め、右画像基準の初期視差として視差メモリ3Rに視差データを書き込む。 The initial disparity estimation unit 2R performs correlation calculation by SSD shown in equation (2) the right image as a reference, determine the corresponding pixels between the left and right images, parallax disparity memory 3R as the initial disparity of the right image basis and writes the data.
【0027】 [0027]
【数2】 [Number 2]
【0028】 [0028]
一方、輪郭抽出部4L,4Rは、それぞれ左右の画像のエッジ検出を行い、物体の輪郭を抽出して、輪郭メモリ5L,5Rにそれぞれ書き込む。 On the other hand, the contour extraction unit 4L, 4R performs edge detection of the left and right images respectively, to extract a contour of an object, writes contour memory 5L, 5R in each.
【0029】 [0029]
次に、輪郭部視差推定部6Lは、左画像基準の初期視差と左画像の物体輪郭線から、物体輪郭線近傍での視差推定を行う。 Next, contour parallax estimation unit 6L from the object contour line of initial parallax and left images of the left image reference, performs disparity estimation on the object contour vicinity. 輪郭部視差推定部6Lは、(数3)に示す左右の画像を基準とした初期視差の差が、一定のしきい値以上となる領域をオクルージョン領域とみなし、オクルージョン領域での視差データを通常、視差データが取り得ない値に変更する(例えば、画像の大きさやSSD計算時の探索領域の大きさよりも絶対値の大きな値にすればよい。具体的には、探索領域が±50画素の場合には51もしくは−51をオクルージョン識別用のコードとする)。 Contour disparity estimation unit 6L considers the difference of the initial disparity of the left and right images as a reference as shown in equation (3) is an area equal to or larger than a predetermined threshold value and occlusion region, typically the parallax data in the occlusion region , it changed to a value where the parallax data not taken (e.g., the large may be set to a value. Specifically image size and SSD calculated at the size than the absolute value of the search area, if the search area is 50 pixels ± and code for occlusion identify 51 or -51 in).
【0030】 [0030]
【数3】 [Number 3]
【0031】 [0031]
次に、物体輪郭線に沿って視差推定を行う。 Next, the disparity estimation along the object contour. 図3は、輪郭部視差推定部6Lによる物体輪郭線近傍での視差推定の説明図である。 Figure 3 is an illustration of a disparity estimation on the object contour line near by the contour parallax estimation unit 6L. 図3において、31は視差推定を行うための矩形領域である。 3, 31 is a rectangular area for disparity estimation. 輪郭部視差推定部6Lは、物体輪郭線に沿って図3に示す矩形領域31内の視差を推定する。 Contour disparity estimation unit 6L estimates the disparity in the rectangular area 31 shown in FIG. 3 along the object contour. 図4は、矩形領域内での視差推定の説明図である。 Figure 4 is an illustration of a disparity estimation in a rectangular area. 矩形領域31は長手方向が物体輪郭線23に対してほぼ垂直になるように設定され(例えば、予め45゜きざみや30゜きざみのものを用意しておく)、物体輪郭線23で2つの領域に分割される。 Rectangular region 31 in the longitudinal direction is set to be substantially perpendicular to the object contour line 23 (e.g., are prepared things beforehand 45 ° increments and 30 ° increments), two regions in the object outline 23 It is divided into. そして、分割された領域内でのそれぞれの初期視差データの分散を計算する。 Then, calculating the variance of respective initial disparity data in divided regions.
【0032】 [0032]
図4に示した矩形領域31では、物体輪郭線23で左右に分割された領域のうち、左の領域には背景視差22、オクルージョン領域24、前景視差21が含まれているため、ここでの初期視差の分散は大きくなる。 In the rectangular area 31 shown in FIG. 4, among the divided right and left in the object outline 23 regions, the background parallax 22 The left region, the occlusion region 24, since it contains foreground disparity 21, here the variance of the initial parallax increases. 一方、右の領域には前景での視差のみが含まれているため、領域内での初期視差の分散は小さくなる。 Meanwhile, because it contains only disparity in the foreground in the right area, the variance of the initial disparity in the region becomes smaller. したがって、矩形領域31を分割したそれぞれの領域における視差の分散に対してしきい値を設定し、視差の分散がしきい値以上の領域、すなわち、分割した左の領域に対しては、図4に示すように、物体輪郭線23の左側に位置する矩形の一辺31aが存在する場所の視差データを用いて、オクルージョン領域24内及び物体輪郭線23までの視差データを補充する(黒矢印に示す)。 Therefore, to set the thresholds for dispersion of the parallax in each of the areas obtained by dividing the rectangular region 31, the region variance is equal to or greater than the threshold value of the parallax, that is, for the divided left area, Fig. 4 as shown in shown in using the disparity data location there are rectangular side 31a positioned on the left side of the object outline 23, to replenish the disparity data to the occlusion region 24 and the object contour line 23 (black arrow ).
【0033】 [0033]
このようにして、オクルージョン領域24近傍における視差を背景視差22(物体輪郭線及びオクルージョン領域近傍で遠くを示す方の視差)から決定する。 Thus, to determine the parallax of the occlusion region 24 near the background parallax 22 (disparity towards showing the far the object contour and occlusion region near).
【0034】 [0034]
以上のようにして、視差の境界と物体輪郭線とが一致するように、つまり物体輪郭線23までの領域で視差を補充して視差分布を決定する。 As described above, as the boundary and the object contour line of the parallax coincide, i.e. to determine the parallax distribution supplemented with parallax in the region to an object contour line 23. 例えば図4では、物体輪郭線23の近傍の視差を、物体輪郭線23から左側の近傍領域については背景視差22により補充する。 In Figure 4, for example, the disparity in the vicinity of the object outline 23, the region near the left from the object contour line 23 is replenished by the background parallax 22. 物体輪郭線23から右側の近傍領域については、矩形領域31の分散が低いため、視差の補充はしない。 The area near the right from the object contour line 23, for dispersion of the rectangular region 31 is low, no replenishment of parallax.
【0035】 [0035]
以上のように決定された視差により、輪郭部視差推定部6Lは視差メモリ3Lのデータを更新する。 The determined disparity as described above, contour parallax estimation unit 6L updates the data of the disparity memory 3L.
【0036】 [0036]
また、輪郭部視差推定部6Rも、輪郭部視差推定部6Lと同様に右画像を基準とした視差推定を物体輪郭線に沿って行い初期視差データを変更し、視差メモリ3Rに書き込む。 Also, the contour portion parallax estimation unit 6R, a parallax estimation which is based on the right image similarly to the contour parallax estimation unit 6L changes the initial disparity data carried along the object contour line is written in the parallax memory 3R.
【0037】 [0037]
次に、中間像生成部7L,7Rは、左右の画像データを画像用フレームメモリ1L,1Rから、と輪郭部視差推定部6L,6Rが更新した左右それぞれの画像を基準とした視差データを視差メモリ3L,3Rから、それぞれ読みだし、(数4)で示す座標値のシフトを行う。 Then, the intermediate image generation unit 7L, 7R are parallax left and right image data for image frame memory 1L and the 1R, the contour portion parallax estimation unit 6L, the disparity data 6R is relative to their respective images right updating memory 3L, the 3R, read respectively, performs a shift of the coordinate value indicated by the equation (4).
【0038】 [0038]
【数4】 [Number 4]
【0039】 [0039]
(数4)においてαの値を0<α<1の範囲で変化させることにより、左右の画像の任意の中間像を生成できる。 By changing the value of alpha in the range 0 <α <1 of the equation (4) can be generated any intermediate image of the left and right images.
【0040】 [0040]
次に、中間像生成の方法を以下に示す。 Next, a method of the intermediate image generation below.
【0041】 [0041]
図6は、本実施の形態におけるステレオ画像の中間像生成方法を示す図である。 Figure 6 is a diagram showing an intermediate image generation method of the stereo image in this embodiment. 図6において、初期視差63,64は、それぞれ左右の画像61,62を基準として(数1),(数2)による相関演算により推定する。 6, the initial disparity 63 and 64, based on the left and right images 61 and 62 respectively (Equation 1), estimated by the correlation calculation by (Equation 2). この初期視差には、オクルージョンにより視差推定が原理上行えない領域70,71が存在する。 The initial disparity, there is a region 70, 71 parallax estimation can not be performed in principle by occlusion.
【0042】 [0042]
次に、左右それぞれの画像を基準とした初期視差63,64に対して、前述した物体輪郭線近傍での視差推定を行ない、上記視差推定が原理上行えない領域での視差を決定する。 Then, the initial disparity 63 and 64 relative to the left and right of the image, performs disparity estimation on the object contour neighborhood described above, to determine the parallax of the region where the disparity estimation can not be performed in principle.
【0043】 [0043]
そして、上記の視差推定結果65,66と左右の画像61,62から、(数4)に示す式により、左右の画像を画素毎に水平方向にシフトして、左右の画像をそれぞれ基準とした中間像67,68を生成する。 Then, the image 61 of the left and right parallax estimation result 65 and 66 above, the equation shown in equation (4), the left and right images are shifted for each pixel in the horizontal direction, and the left and right images, respectively reference generating an intermediate image 67 and 68. この左右の画像を基準とした中間像では、物体輪郭線での視差の不連続に起因して中間像が生成されない領域(抜け領域)72,73が、物体のそれぞれ反対側(左画像基準では物体の右側、逆に右画像基準では物体の左側)に生じる。 The image of the left and right intermediate image as a reference, the region where the intermediate image due discontinuously disparity of the object contour line is not generated (irradiated region) 72 and 73, at opposite sides (left image reference object is object of the right, resulting in the left) of the object in the right image reference conversely. また、抜け領域の判別は、各画素に対応して専用のフラグを用意するか、特定のコード(例えば8ビットの画像であれば、255や0)を抜け領域識別用に割り当てることによって行う。 Further, determination of the background region, either a dedicated flag corresponding to each pixel, (For example, if the 8-bit image, 255 and 0) specific code performed by assigning the area identifying exits.
【0044】 [0044]
そして、左右の画像をそれぞれ基準とした中間像67,68を後述する方法により統合することによって、画像全体で抜け領域のない中間像69を生成する。 Then, by integrating by the method described below the intermediate image 67 and 68 the left and right images as a reference, respectively, to generate an intermediate image 69 with no area loss in the entire image. 図1の中間像統合部8は、左右それぞれの画像を基準として生成された中間像を統合する。 Intermediate image integration unit of FIG. 1 8 integrates an intermediate image to the generated right and left image as a reference. 図5は、左右それぞれの画像を基準として生成された中間像を示す。 Figure 5 shows an intermediate image to the generated right and left image as a reference. 前述のようにして、左右それぞれの画像に対して視差データにより座標値のシフトを行なうと、それぞれの中間像には、前景と背景での視差の不連続によりシフトの量が異なるため、中間像が生成されない領域が左右それぞれの画像に生じ、図5の斜線部分がこれを示している。 As described above, when the shift of the coordinate value by the parallax data to the respective left and right images, each of the intermediate image, the amount of shift varies depending on discontinuity of disparity in the foreground and background, the intermediate image but area not generated occurs in the left and right images, the hatched portion in FIG. 5 indicates this. 図中、51は左画像を基準とした中間像で像が生成されない領域であり、52は右画像を基準とした中間像で像が生成されない領域である(左画像を基準とした中間像では前景物体の右、右画像を基準とした中間像では前景物体の左に生じる)。 In the figure, 51 is an area in which the image in the intermediate image relative to the left image is not generated, 52 is an area where the image is not generated by the intermediate image which is based on the right image (in intermediate image relative to the left image foreground objects of the right, resulting in the left foreground object in an intermediate image which is based on the right image). この、中間像が生成されない領域51,52は、左右の画像をそれぞれ基準とした場合に前景対象物に対して反対側に生じるため、左右それぞれの画像を基準として生成された中間像を統合することにより、画像全体で中間像を生成する。 The regions intermediate image is not generated 51 and 52, to produce the opposite left and right images with respect to the foreground object when the reference respectively, to integrate the intermediate image to the generated right and left image as a reference it allows to generate an intermediate image in the entire image. 中間像統合部8は、画像中の各座標について、左右の画像を基準とした中間像が両方とも生成されている場合には、両方の値に基づく値(例えば両者の平均)を出力し、片方だけで中間像が生成されている場合にはそのデータを出力する。 Intermediate image integration unit 8, for each coordinate in the image, when the intermediate image relative to the left and right images are generated both outputs a value based on both values ​​(e.g. average of the two), If the intermediate image in only one has been generated and outputs the data.
【0045】 [0045]
以上のように本実施の形態によれば、視差推定が困難な物体輪郭線近傍において、オクルージョン領域を左右の画像を基準とした初期視差から検出し、検出したオクルージョン領域での視差を周囲の視差データから決定する。 According to the present embodiment as described above, in the hard object contour near disparity estimate, detected from the initial disparity relative to the image of the left and right of the occlusion region, the disparity in the detected occlusion region around parallax determined from the data. また、物体輪郭線で視差が不連続(なだらかに変化しないよう)になるように視差推定を行うことにより、生成された中間像の輪郭付近での画質を向上させる。 Further, by performing the parallax estimation as parallax object outline becomes discontinuous (not to change gently), to improve the picture quality in the vicinity of the outline of the generated intermediate image. さらに、左右の画像を基準とする中間像を合成することにより画像全体の画素について中間像を生成する。 Furthermore, to produce an intermediate image for the pixels of the entire image by synthesizing an intermediate image relative to the left and right images.
【0046】 [0046]
図7は、本発明の第2の実施の形態における中間像生成装置の構成図である。 Figure 7 is a block diagram of an intermediate image generating apparatus according to the second embodiment of the present invention. 図7において、9L,9Rはそれぞれ左右の画像を基準とした中間像を生成し、同時に、中間像についての視差分布を出力する中間像生成部、10L,10Rは中間像生成部9L,9Rが生成した中間像を修正する中間像修正部である。 In FIG. 7, 9 L, 9R generates an intermediate image relative to the image of the left and right, at the same time, the intermediate image generation section for outputting a parallax distribution for the intermediate image, 10L, 10R are intermediate image generating unit 9 L, 9R is It generated an intermediate image correcting unit for correcting the intermediate image. 図中、中間像生成部9L,9R、中間像修正部10L,10R以外の構成は、本発明の第1の実施の形態と同一であるので図1と同一の符号を付し説明を省略し、以下に中間像生成部9L,9Rおよび中間像修正部10L,10Rの動作について説明する。 In the figure, the intermediate image generation section 9 L, 9R, the intermediate image correction unit 10L, other than 10R configuration, since the first is the same as the embodiment not explained assigned the same reference numerals as in FIG. 1 of the present invention an intermediate image generation section 9 L, 9R and the intermediate image correcting unit 10L, the operation of the 10R will be described below.
【0047】 [0047]
中間像生成部9L,9Rは、左右の画像データを画像用フレームメモリ1L,1Rから、輪郭部視差推定部6L,6Rが更新した左右それぞれの画像を基準とした視差データを視差メモリ3L,3Rから、それぞれ読みだし、(数4)で示す座標値のシフトを行い、中間像を生成する。 Intermediate image generator 9 L, 9R left and right image data for image frame memory 1L and the 1R, contour parallax estimation unit 6L, 6R disparity parallax data based on the respective image left and right updating memory 3L, 3R from reading respectively, it performs a shift of the coordinate value indicated by the equation (4), to produce an intermediate image. さらに、(数4)における画像データを視差に置き換えて演算し、中間像についての視差を計算する。 Furthermore, calculated by replacing the parallax image data in (Equation 4), to calculate a parallax of the intermediate image.
【0048】 [0048]
中間像修正部10L,10Rは、中間像生成部9L,9Rが生成した中間像において中間像が生成されない領域(抜け領域)と接する背景領域側の境界近傍の数画素を抜け領域に編入することにより、中間像統合部8による統合後の中間像中で前景領域の物体輪郭線近傍で偽輪郭が生じることを防ぐ。 Intermediate image correcting unit 10L, 10R may be incorporated in the region missing intermediate image generator 9 L, the number of pixels near the boundary of the background region side in contact with region intermediate image is not generated (irradiated region) in the intermediate image 9R-generated Accordingly, preventing the false contour in the object outline near the foreground region in the intermediate image after integration by the intermediate image integration unit 8 occurs. この偽輪郭は、輪郭抽出の誤りに起因して、前景に含まれる画素が背景として処理されたり、もしくは、その逆の処理がなされた場合に生じる(特に前景の画素が背景として処理された場合に視覚的に目立ちやすい)。 The false contour is due to an error of the contour extraction, or the pixel contained in the foreground is processed as a background, or, if occurring when the processing of the reverse was made (especially foreground pixels have been processed as a background visually conspicuous) to.
【0049】 [0049]
図8は、中間像修正部10L,10Rによる中間像の修正を説明する図である。 Figure 8 is a diagram illustrating a modification of the intermediate image by the intermediate image correcting unit 10L, 10R. 図8において、81,82は左右の画像を基準とした中間像、72,73は中間像生成部9L,9Rにより中間像が生成されなかった抜け領域、83,84は中間像修正部10L,10Rにより抜け領域に編入される修正領域、85は修正領域を抜け領域として中間像81,82を統合し、偽輪郭が生じないように処理した中間像である。 8, 81 and 82 are intermediate image relative to the left and right images, 72, 73 intermediate image generating unit 9 L, background region intermediate image is not generated by 9R, 83 and 84 the intermediate image correcting unit 10L, correction area to be incorporated directly irradiated region by 10R, 85 is an intermediate image 81, 82 integrated as a region leaves the correction area, an intermediate image treated as false contour does not occur.
【0050】 [0050]
図9は、修正領域の設定方法を示す図であり、中間像生成部9L,9Rによって計算された中間像についての視差を示す。 Figure 9 is a diagram illustrating a method of setting the correction area, shows a parallax of the intermediate image is computed intermediate image generating unit 9 L, the 9R. 図9において、91は前景視差、92は背景視差、93は抜け領域、94は修正領域である。 9, 91 foreground disparity, 92 background parallax, 93 background region, 94 is a modified region. 修正領域94は、抜け領域93と接する背景視差92中の水平方向の幅を1〜3画素程度の領域として設定する(これは、輪郭の抽出位置の精度が上記1〜3画素の範囲に入っていると仮定することと同じである)。 Correction area 94, sets the horizontal width in the background parallax 92 in contact with the irradiated region 93 as a region of about 1 to 3 pixels (this is the accuracy of the extraction position of the contour within the range of the 1-3 pixel same as is decided to assume that). 背景視差92と前景視差91の識別は、図9中A,Bで示すように、抜け領域93を水平方向に走査し、抜け領域93と左右で隣接する2つの視差領域のうち視差の絶対値の小さい(すなわち奥に位置する)側を背景視差として行う。 Identifying the background parallax 92 and foreground parallax 91, as shown in A, B 9, exit scans the area 93 in the horizontal direction, exit region 93 and the absolute value of the disparity of the two parallax regions adjacent in right and left It performed as a background parallax small (i.e. located on the back) side.
【0051】 [0051]
上述のように視差地図上に設定した修正領域より、これに対応する(視差地図上の修正領域と同一の座標値の)中間像中の領域を抜け領域に編入した後、左右の画像を基準として生成した中間像を統合することで、統合後の中間像において前景の物体輪郭線近傍で偽輪郭が生じることを防ぐことができる。 After than correction area set on the disparity map, as described above, were incorporated into the region leaves the region in the corresponding (same coordinate values ​​and correction area on the disparity map) intermediate image thereto, relative to the left and right images by integrating an intermediate image generated as, it is possible to prevent the false contour occurs in the object outline near the foreground in the intermediate image after integration.
【0052】 [0052]
以上のように本実施の形態によれば、輪郭抽出結果に基づいて推定された視差をもとに中間像を生成する際に、中間像中に偽輪郭が生じることを防ぐことができる。 According to the present embodiment as described above, it is possible to prevent in generating an intermediate image on the basis of the estimated parallax based on the contour extraction result, the false contour is generated in the intermediate image.
【0053】 [0053]
次に、画像輪郭部の視差推定の方法について上記実施の形態と異なる第3の実施の形態の方法を以下に示す。 Next, a method in the form of different third embodiment and the above embodiment in the following how the disparity estimation of image contour. 上記の実施の形態では画像輪郭抽出部において、輪郭のあるなしを2値で判定し、輪郭部と判定された部分での小領域の視差の分散をもとに視差の修正を行った。 In the image contour extraction unit in the above embodiment, the pear with contour determined by a binary value, fixes a parallax based on the subregion variance of parallax in the determination portion and edge portion. ここでは、輪郭部をエッジの強度で判断し、エッジ強度に応じて視差の修正の仕方を変化させる。 Here, the contour is determined by the strength of the edge, changing how the parallax correction in accordance with the edge strength. 図12に視差修正の構成(方法)を示す。 Configuration of the parallax corrected FIG. 12 shows (how). 図12において、121〜124は各方向成分を持つ空間フィルタ手段であり以下に示すエッジ強度を算出する。 12, 121-124 calculates the edge intensity shown below have a spatial filter means having a directional components. 125は算出されたエッジ強度の統合手段であり、126は輪郭部視差推定手段であり、3は視差を記録するための視差メモリ手段であり、これは上記実施の形態のものと同様である。 125 is an integrated unit of the calculated edge intensity, 126 denotes a contour parallax estimation unit, 3 is a parallax memory means for recording the parallax, which is the same as that of the above embodiment.
【0054】 [0054]
以上のように構成された輪郭部の視差推定方法(及び手段)について以下にその動作及び原理を述べる。 Describe the operation and principle below configured contour disparity estimation method as described above (and means).
【0055】 [0055]
まず、エッジ強度の算出方法であるが、図11に示すように各画素に対して空間的な重みを付け、2次元の方向性を持ったHPF(ハイパスフィルタ)やBPF(バンドパスフィルタ)を構成する。 First, a method of calculating the edge intensity, with a spatial weighting for each pixel as shown in FIG. 11, HPF having a two-dimensional directional (the high-pass filter) and BPF (band pass filter) Configure. 図11の(a)(d)は垂直方向の連続するエッジを検出するものであり、(b)(c)(e)は斜め方向のエッジを検出するものである。 (A) (d) of FIG. 11 is for detecting the continuous edge of the vertical direction, (b) (c) (e) is for detecting the diagonal edge. 水平及び反対方向の斜めエッジの検出は、図11の係数の配置の方向を90度回転させればよい。 Detection of the oblique edge of the horizontal and opposite direction, the direction of arrangement of the coefficient in FIG. 11 may be rotated 90 degrees. またエッジの方向は45度刻みに限る必要はなく、30度刻みなどでもよいのは当然である。 Also it is not necessary the edge direction limited to increments of 45 degrees, is a matter of course or the like increments of 30 degrees. エッジ強度の算出法を式で示すと(数5)になる。 Calculation of the edge intensity becomes the shown by equation (5).
【0056】 [0056]
【数5】 [Number 5]
Ed(x,y) = Σij Wt(i,j)*P(x+i,y+j) / Σij|Wt(i,j)| Ed (x, y) = Σij Wt (i, j) * P (x + i, y + j) / Σij | Wt (i, j) |
ここでEdはエッジの強度、Wtは図11に1例として示したフィルタの重み、Pは画素の規格化された信号レベル、i,j は図11に示すフィルタ係数の存在する領域である。 Here Ed strength of the edge, Wt is the weight, P of the filter shown as an example in FIG. 11 is normalized signal level of the pixel, i, j is the area in which the presence of the filter coefficient shown in FIG. 11.
【0057】 [0057]
統合手段125は、このようにして求められたエッジ強度を統合し、その強度のレベルの絶対値の最大値とその最大値を出したエッジの方向を輪郭部視差推定手段126に送る。 Integrating means 125, in this way the edge strength determined by integration, and sends the direction of the edge that issued the maximum value and the maximum value of the absolute value of the level of the intensity contour disparity estimation unit 126. 輪郭部視差推定手段126では、一定の領域に対し、入力された初期視差を統合し視差を再推定する。 The contour parallax estimation unit 126, with respect to certain regions, by integrating the input initial disparity re estimated parallax. 統合の方法を(数6)に示す。 Shows how to integrate the equation (6).
【0058】 [0058]
【数6】 [6]
ここでDsは初期視差であり、Dsnは再推定された視差であり、maxcはエッジの方向に対して法線方向に中心(i=±1,j=±1) からの最大値をとる演算子でi=0,j=0 の中心では0の値をとるものとする。 Where Ds is the initial disparity, Dsn is parallax which is re-estimated, maxc takes the maximum value from the center (i = ± 1, j = ± 1) in a direction normal to the direction of the edge calculation at the center of the i = 0, j = 0 in the child shall take a value of 0. 初期視差Dsが求めたれていない領域は演算範囲(i,j)から除外する。 Region initial disparity Ds is not leaning sought are excluded from the calculation range (i, j). ここでの(i,j)は図13に示す再推定に使用する演算範囲である。 Where the (i, j) is a calculation range to be used for re-estimation shown in FIG. 13. 図13において、131は再推定に使用する演算範囲であり、132は再推定を行う演算範囲の中心であり、134、135、136は画像のエッジ強度の強い部分すなわちエッジであり、137はエッジに対する法線方向を示し再推定の演算の方向を示す。 13, 131 is a calculation range to be used for re-estimating, 132 is the center of the operation range for re-estimation, 134, 135, 136 is a strong part or edge of the edge intensity of the image, 137 Edge It indicates the direction of operation of the re-estimation indicates normal direction to. 図13(a)から(c)に再推定に使用する演算範囲に対する代表的なエッジの位置を示し、このときの再推定時の重みとなる 1/( 1 + maxc[ Ed(x+i,y+j)] ) の値を(d)から(f)にエッジ強度とともに示す(i,j を1次元として表示)。 Figure 13 shows the position of the representative edge for operation range used re-estimated in (a) from (c), the weight at the time of re-estimation of the time 1 / (1 + maxc [Ed (x + i, y + j)] the value of) from (d) to (f) together with the edge strength (i, displayed as one-dimensional and j). この再推定を定性的に述べると再推定の中心部では1の重みとし、その他の部分ではエッジがない限り重み1で加算され、エッジがある場合(エッジ強度に対応して)重みを低下させる。 The re-estimated as the weight of 1 at the center of the qualitative state that re-estimation, in the other parts are added in the weight 1 unless edge, if there is an edge (corresponding to the edge strength) reduce weight . またエッジをまたいで再推定の演算範囲が延びるとき、エッジ強度の最大のときの重みを維持するようにしている。 Also when the calculation range of the re-estimation extend across the edge, so as to maintain the weight when the maximum edge intensity.
【0059】 [0059]
このようにエッジ強度に応じて、エッジの周囲の再推定を行うことにより、第1の実施の形態よりなめらかで且つエッジをまたいで再推定の影響が及ばないようにしている(エッジ強度に応じて影響の度合いが変化し、強度が大きいとき影響はへり、強度が小さいとき影響は増える)。 Thus in accordance with the edge strength by performing re-estimation of the surrounding edge, depending on your (edge ​​strength so do not span the influence of re-estimation across a smooth and edge than in the first embodiment the degree of influence Te is changed, marginal effect when the intensity is large, is increased effects when the intensity is small).
【0060】 [0060]
以上のように、本実施の形態では、エッジ強度に応じた画像の輪郭部の視差推定方法を行うことにより、再推定された視差がよりなめらかで、且つ輝度又は色エッジの情報によりエッジを境界として影響度合いを自動的に調整することを可能とし、画像の輪郭部での視差推定値の変化をなまることなく推定することを可能とする。 As described above, in this embodiment, by performing disparity estimation method of contour of the image corresponding to the edge strength, parallax re estimated more smoothly, and the boundary edge by the information of the luminance or color edges automatically make it possible to adjust the degree of influence as makes it possible to estimate without dull changes in parallax estimate at the contour portion of the image. またこのようにして求めた視差を用い、画像間の中間視点から見た画像を上記第1、又は第2の実施の形態のように合成することにより、複数画像の中間視点画像が、よりなめらかで且つ画像のエッジ部分で画像がなまることなく合成することが可能となる。 Also using the disparity calculated in this manner, the first image viewed from the intermediate viewpoint between images, or by combining as in the second embodiment, the intermediate-view image of the plurality of images, smoother it is possible to synthesize without image dull it in and at the edge portion of the image.
【0061】 [0061]
本実施の形態では、視差の再推定の方法を、重み付きの平均としその重みを画像のエッジの強度で変化させ、上記のような画像のエッジ強度に応じた視差の再推定を行った。 In this embodiment, a method of re-estimation of parallax, the average weighted with to change its weight in strength of the edges of the image were re-estimation of parallax corresponding to the image of the edge strength as described above. 画像のエッジ強度に応じた視差の推定方法としては、このほかに視差の変化量に重みを掛けたエネルギーEを(数7)のように定義し、重みWを画像のエッジ強度に応じて小さくし、画像のエッジ強度が大きいところで視差が変化しても定義されたエネルギーが大きくならないようにし、定義されたエネルギーを最小にするようにして画像エッジ部の視差の再推定をおこなっても上記の再推定とほぼ似たような結果を得ることが可能である。 As a method of estimating parallax corresponding to the edge intensity of the image, in addition to the energy E obtained by multiplying the weight to the amount of change in the parallax is defined as (7), reduced in accordance with the weight W to the edge intensity of the image and, even after changing the parallax at the edges of the image intensity is greater to avoid large defined energy, be subjected to re-estimate the parallax of the image edge portion so as to minimize a defined energy of the it is possible to obtain a result as substantially similar to the re-estimation.
【0062】 [0062]
【数7】 [Equation 7]
E(f(x,y,u,u x ,u y ))= ∫W(x,y)((∂u/∂x) 2 + (∂u/∂y) 2 )dxdy E (f (x, y, u, u x, u y)) = ∫W (x, y) ((∂u / ∂x) 2 + (∂u / ∂y) 2) dxdy
ここで u は視差を示す。 Where u denotes the parallax.
【0063】 [0063]
次に、中間像を生成する際の画素の書き込み方法について以下に示す。 Next, the following method for writing the pixel in generating the intermediate image.
視差推定時に基準とした画像中の座標値(x,y) と、(数4)に示す中間像の生成により、生成された画像中の座標値(s,t) の関係は、(数8)のようになる。 Coordinate value in the image as a reference during the disparity estimation (x, y) and the relationship between the generation of the intermediate image as shown in equation (4), the coordinate values ​​in the generated image (s, t), (Equation 8 )become that way.
【0064】 [0064]
【数8】 [Equation 8]
【0065】 [0065]
図14は、(数8)の座標変換により基準画像中の画素の座標値が、中間像中の画素間に変換されることを示す。 Figure 14 shows that the coordinate value of a pixel in the reference image is converted between the pixels in the intermediate image by the coordinate transformation of equation (8). すなわち、図14中、○は画素の座標を示し、△は基準画像中の画素●が変換された画素間の座標を示し、□は変換によって中間像中の画素●に変換される基準画像中の座標を示す。 That is, in FIG. 14, ○ denotes the coordinates of the pixel, △ represents the coordinates between pixels pixels in the reference image ● is converted, □ is the reference image to be converted to pixels in the intermediate image ● the conversion It shows the coordinates. 基準画像のもつ空間解像度を劣化させずに中間像を生成するためには、□の座標における画素値を●の画素に書く必要がある。 To generate an intermediate image without degrading the spatial resolution with a reference image, it is necessary to write the pixel value at □ coordinates to pixels ●. その方法について以下に説明する。 For the method will be described below.
【0066】 [0066]
図14(a)の●と□の差をΔx、図14(b)中の△と●の差をΔsとすると、(数8)のテイラー展開より、 Figure 14 (a) of ● and the difference □ [Delta] x, when the Δs the difference of △ and ● in FIG. 14 (b), the more Taylor expansion of (8),
【0067】 [0067]
【数9】 [Equation 9]
【0068】 [0068]
となる。 To become. (数8)と(数9)より、ΔxとΔsの関係は、(数10)となる。 And (8) from equation (9), the relationship between Δx and Δs is (number 10).
【0069】 [0069]
【数10】 [Number 10]
【0070】 [0070]
(数10)のΔxの係数の絶対値がある程度以上(例えば0.01以上)の場合、これをΔxについて解き、(数11)を得る。 If the absolute value of the coefficient of [Delta] x (Equation 10) is greater than or equal to some extent (for example, 0.01 or higher), which is solved for [Delta] x, obtain (11).
【0071】 [0071]
【数11】 [Number 11]
【0072】 [0072]
逆に、(数10)をΔxついて解かない場合には、中間像の画素への書き込みは行わない。 Conversely, if no solved with Δx (number 10), writing to the pixels of the intermediate image is not performed.
【0073】 [0073]
図19に、上述した方法により視差と視点パラメータを用いて中間像生成を行う際のフローチャートを示す。 Figure 19 shows a flowchart for performing an intermediate image generated using the parallax and perspective parameters in the manner described above. 図19では、x,yのインクリメントを1としているが、視差の変化に応じてインクリメントを1以下にすることにより中間像の書き込まれない画素の発生を防止できる。 In Figure 19, x, although as one increment of y, the generation of pixel not written in intermediate image can be prevented by the increment 1 below in accordance with a change in parallax.
【0074】 [0074]
以上、説明した方法により、視差と基準画像を用いて、基準画像の空間解像度を劣化させずに中間像を生成することができる。 Above, by the method described, with reference to parallax and the reference image, it is possible to generate an intermediate image without degrading the spatial resolution of the reference image.
【0075】 [0075]
なお、本発明のすべての実施の形態において、左右の画像を基準とした中間像の統合方法は、双方の中間像が共に生成されている画素において、両者の平均を出力する方法に限る必要はなく、中間像の視点位置のパラメータαに応じた重み付け加算を行ってもよく、本発明に含まれる。 In all the embodiments of the present invention, a method of integrating an intermediate image relative to the left and right images, in a pixel in which both of the intermediate image is generated together, it is necessarily limited to the method of outputting the average of the two no may be weighted addition in accordance with the parameter of the viewpoint position of the intermediate image alpha, are included in the present invention.
【0076】 [0076]
図10は、中間像の視点位置のパラメータαに対する重みの分布の例を示したものであり、図10(a)のような直線的に変化する重みを用いても、図10(b)のような曲線的に変化する重みを用いてもよい。 Figure 10 is a drawing showing an example of a distribution of the weight for the parameter α of the viewpoint position of the intermediate image, even with linearly varying weights, such as in FIG. 10 (a), FIG. 10 (b) it may be used curve varying weight such as. 画素値の統合は、(数12)による重み付け加算によって行う。 Integration of pixel values ​​is performed by weighted addition according to equation (12).
【0077】 [0077]
【数12】 [Number 12]
【0078】 [0078]
なお、本発明のすべての実施の形態において、画像間の相関演算としては残差平方和(SSD)に限る必要はなく、残差絶対値和(SAD)を用いても同様の効果を得ることができ、そのような実施の形態ももちろん本発明に含まれる。 In all the embodiments of the present invention, as the correlation calculation between the image need not be limited to the residual sum of squares (SSD), also with residual absolute value sum (SAD) obtain the same effect can be included in the course present invention such an embodiment.
【0079】 [0079]
また、本発明の実施の形態では画像間で視差を求める例を示したが、画像間で動きベクトルを求めることにより、撮影時のカメラの制約(2台のカメラの厳密な水平位置関係、光軸の方向合わせ等)を緩めることができ、そのような実施の形態も本発明に含まれる。 Although in the embodiment of the present invention shows an example of obtaining a parallax between images, by obtaining a motion vector between images, exact horizontal positional relationship of the camera during shooting constraints (the two cameras, light can loosen the orienting etc.) of the shaft, such embodiments are also included in the present invention. すなわち、2枚の画像を撮影するときのカメラの光軸の向きや相互の位置関係にずれがある場合においても、水平方向の視差に加えて垂直方向の視差も求める(すなわち動きベクトルを求める)ことにより、垂直方向の画像間のずれを補正でき、撮影時のカメラの姿勢に関する制約を緩めて中間像を生成することが可能となる。 That is, when there is a camera shift the direction and the mutual positional relationship of the optical axis when capturing two images, nor parallax in the vertical direction in addition to the horizontal parallax determined (i.e. obtaining a motion vector) by, can correct the shift between the vertical direction of the image, it is possible to generate an intermediate image by loosening the constraints on the posture of camera during photographing.
【0080】 [0080]
また同様に、同一のカメラで異なる時間に撮影された画像に対しても、画像間で動きベクトルを求めることにより、撮影時のカメラの姿勢に関する制約を緩めて、時間的な中間像を生成することができ、そのような実施の形態も本発明に含まれる。 Similarly, even for images taken at different times by the same camera, by obtaining a motion vector between images, by loosening the constraints on the posture of camera during photographing, to generate a temporal intermediate image it can be, such embodiments are also included in the present invention.
【0081】 [0081]
ここで、動きベクトルを用いた場合の中間像生成の方法について説明する。 Here, a method of the intermediate image generation in the case of using the motion vector. 動きベクトルを用いた際の、変換前後の座標値の関係は(数13)となる。 When using the motion vector, the relationship between the coordinate values ​​before and after conversion is (number 13).
【0082】 [0082]
【数13】 [Number 13]
【0083】 [0083]
図15は、動きベクトルを用いた中間像生成の説明図である。 Figure 15 is an illustration of an intermediate image generated using motion vector. 図15において○は画素の座標であり、△は基準画像中の画素●が変換された座標、□は中間像中の●に変換される基準画像中の座標を示す。 ○ 15 are the coordinates of the pixel, △ coordinates pixels in the reference image ● is converted, □ indicates the coordinates in the reference image is converted into in the intermediate image ●. 基準画像中の●と□の差ベクトルを(Δx,Δy)、中間像中の△と●の差ベクトルを(Δs,Δt)とすると、視差を用いた中間像生成時と同様にして(数14)を得る。 ● a □ difference vector of the reference image ([Delta] x, [Delta] y), when the difference vector between in the intermediate image △ ● (Δs, Δt), in the same manner as in the intermediate image generation using the disparity (number 14) is obtained.
【0084】 [0084]
【数14】 [Number 14]
【0085】 [0085]
(数14)の右辺の係数行列の行列式の絶対値がある程度以上(例えば0.01以上)の場合、逆行列を用いて(数15)よりΔx、Δyを計算する。 If the absolute value of the determinant of the right side of the coefficient matrix of equation (14) is greater than or equal to some extent (for example, 0.01 or higher), to calculate [Delta] x, the Δy from using the inverse matrix (equation 15).
【0086】 [0086]
【数15】 [Number 15]
【0087】 [0087]
逆に、上記係数行列の行列式の絶対値が小さい場合には、中間像の画素への書き込みは行わない。 Conversely, when the absolute value of the determinant of the coefficient matrix is ​​small, writing into the pixels of the intermediate image is not performed.
【0088】 [0088]
図20に、上述した方法により動きベクトルと視点パラメータを用いて中間像生成を行う際のフローチャートを示す。 Figure 20 shows a flowchart for performing an intermediate image generated by using the motion vector and the viewpoint parameter in the manner described above. 図20では、x,yのインクリメントを1としているが、視差の変化に応じてインクリメントを1以下にすることにより中間像の書き込まれない画素の発生を防止できる。 In Figure 20, x, although as one increment of y, the generation of pixel not written in intermediate image can be prevented by the increment 1 below in accordance with a change in parallax.
【0089】 [0089]
以上、説明した方法により、動きベクトルと基準画像を用いて中間像を生成することができる。 Above, by the method described, it is possible to generate an intermediate image using the motion vector and the reference image.
【0090】 [0090]
次に、本発明による中間像生成手段を用いた視点追従型画像表示の方法を示す第4の実施の形態について説明する。 Next, a description will be given of a fourth embodiment showing a viewpoint tracking type image display method using an intermediate image generation means according to the invention.
【0091】 [0091]
図16は、観察者の視点に応じた画像表示を行う構成の一例である。 Figure 16 is an example of a configuration for performing image display in accordance with the observer's viewpoint. 図16において、161は観察者、162は観察者の位置を検出するための位置検出手段、163はディスプレイ、164は中間像生成手段、165は2台のカメラからなる撮像手段、166は撮像された画像データを蓄積する蓄積手段、167は映像ソースを切り替える映像ソース切替手段である。 16, 161 observer, 162 the position detecting means for detecting the position of the observer, 163 display, 164 intermediate image generating means, 165 is an imaging unit consisting of two cameras, 166 is captured storage means for storing image data, 167 is a video source switching means for switching the video source. 以下に各構成の動作について説明する。 A description will be given of the operation of each component below.
【0092】 [0092]
撮像手段165は視点の異なる1組の画像を入力する。 Imaging means 165 for inputting a set of images of different viewpoints. 蓄積手段166は撮像手段165によって得られたステレオ画像を記録、再生する。 Storage means 166 records the stereoscopic image obtained by the imaging means 165, to play. 映像ソース切替手段167は入力を撮像手段165と蓄積手段166のいずれかに設定する。 Video source switching means 167 sets the input to any of the imaging unit 165 and the storage unit 166. 位置検出手段162は観察者の位置を検出する。 Position detecting means 162 detects the position of the observer. 中間像生成手段164は、撮像手段165もしくは蓄積手段166から得られたステレオ画像から左右の画像を基準とした視差推定を(オクルージョン領域も含めて)行い、位置検出手段162からの視点情報に基づき中間像を生成する(ディスプレイ163が2D表示の際には、中間像をひとつ、ステレオ表示の際には右目用、左目用の中間像をそれぞれ生成する)。 Intermediate image generating means 164, reference was the disparity estimation images of the right and left stereo images obtained from the imaging unit 165 or storage unit 166 (occlusion region included) performs, based on the viewpoint information from the position detecting means 162 generating an intermediate image (when the display 163 displays the 2D is an intermediate image one, when a stereo display produces for the right eye, the intermediate image for the left eye, respectively).
【0093】 [0093]
以上のように本実施の形態によれば、2枚の画像を撮像・伝送し、受信側で視差を推定し、観察者の位置を検出することにより、少ない伝送情報量で観察者の視点に応じた臨場感のある画像表示が可能となる。 According to the present embodiment as described above, the two images captured, transmitted, estimates the parallax on the receiving side, by detecting the position of the observer, the observer's viewpoint with a small amount of transmitted information image display with a response was realism is possible.
【0094】 [0094]
なお、本実施の形態では位置検出の結果に応じた表示の例について説明したが、複数の中間像を同時に生成し表示することにより、多人数で同時に各人の視点に応じた画像を観察することができ、本発明に含まれる。 Although the present embodiment has been described display examples corresponding to the result of the detection position, by generating and displaying a plurality of intermediate images at the same time, to observe an image corresponding to each person's viewpoint at the same time multiplayer it can be included in the invention.
【0095】 [0095]
また、本実施の形態では受信側で視差推定を行う例について説明したが、視差推定は送信側で行ってもよく、そのような第5の実施の形態について以下に説明する。 Further, although in the present embodiment has been described for an example of performing disparity estimation on the receiving side, disparity estimation may be performed on the transmission side will be described below such fifth embodiment.
【0096】 [0096]
図17は、送信側で視差推定(もしくは動き推定)を行うシステムの送信ブロックの一例である。 Figure 17 is an example of the transmission blocks of the system for performing disparity estimation (or motion estimation) on the transmission side. 図17において、170は左画像を基準とした視差VL を推定する視差推定手段、171は右画像を基準とした視差VR を推定する視差推定手段、172a〜dは符号化器、173a,bは復号化器、174は左画像Lと左画像を基準とした視差VL から右画像Rを予測する予測手段、175は左画像を基準とした視差VLから右画像を基準とした視差VRを予測する予測手段、176a,bは穴埋め手段である。 17, disparity estimation means for estimating parallax VL relative to the left image 170, 171 is the disparity estimation means for estimating a parallax VR relative to the right image, 172A~d the encoder, 173a, b is decoder, 174 predicting means for predicting a right image R from the parallax VL relative to the left image L and the left image 175 predicts a parallax VR relative to the right image from the parallax VL relative to the left image prediction means, 176a, b is a filling unit. 以下に上記構成の動作について説明する。 A description will be given of the operation of the above configuration below.
【0097】 [0097]
まず、左画像Lは符号化器172aによって符号化される。 First, the left image L is encoded by the encoder 172a. また、視差推定手段170、171によって左右の画像をそれぞれ基準とした視差VL,VRが推定される。 Further, the parallax VL were respectively based on the left and right images by parallax estimation unit 170 and 171, VR is estimated. オクルージョン等により視差が正しく推定されない領域については、穴埋め手段176a,176bによって視差が決定される。 For regions in which the parallax is not correctly estimated by occlusion or the like, filling means 176a, parallax by 176b is determined. 次に、左画像を基準とした穴埋め後の視差は符号化器172bにより符号化される。 Next, the parallax after filling relative to the left image is encoded by the encoder 172 b. 符号化された左画像を基準とした穴埋め後の視差は復号化器173aにより復号化され、予測器174による右画像Rの予測と、予測器175による穴埋め後の右画像を基準とした視差の予測に用いられる。 Parallax after filling relative to the encoded left picture is decoded by the decoder 173a, and prediction of the right image R by the predictor 174, the parallax which is based on the right image after filling by predictor 175 used for prediction.
【0098】 [0098]
予測器175による右画像を基準とした視差VR の予測は、左画像を基準とした視差を用いて、(数16)として計算する。 Prediction of parallax VR relative to the right image by the predictor 175, by using the parallax relative to the left image is calculated as (number 16).
【0099】 [0099]
【数16】 [Number 16]
【0100】 [0100]
右画像は予測器174による予測との残差をとり、符号化器172dによって符号化される。 Right image takes residual between the predicted by predictor 174 is encoded by the encoder 172d. 穴埋め後の右画像を基準とした視差VR は、予測器175による予測との残差をとり、符号化器172dにより符号化される。 Parallax VR relative to the right image after filling takes the residual between the prediction by the predictor 175 is encoded by the encoder 172d.
【0101】 [0101]
図18は、送信側で視差推定を行うシステムの受信ブロックの一例である。 Figure 18 is an example of a receiving block of a system for performing disparity estimation on the transmission side. 図18において、181a〜dは復号化器、174は右画像Rの予測器、175は右画像を基準とした視差の予測器である。 In Figure 18, 181A~d the decoder, 174 predictor of the right image R, 175 is a predictor of parallax which is based on the right image. 符号化された左画像L、左画像基準の視差VL、右画像基準の視差VRの予測誤差、右画像Rの予測誤差はそれぞれ復号化器181a〜181dにより復号化される。 Encoded left image L, parallax VL of the left image reference, the prediction error of parallax VR right image reference, are decoded respectively by the prediction error decoder 181a~181d the right image R. 右画像は予測器174による予測と復号化された右画像の予測誤差を加算して復元される。 The right image is restored by adding the prediction error of the decoded right image and the prediction by the predictor 174. 右画像基準の視差は予測器175による予測と復号化された予測誤差を加算して復元される。 Parallax of the right image reference is restored by adding the prediction error decoding the prediction by the predictor 175.
【0102】 [0102]
上記の構成により、送信側で視差推定と穴埋め処理を行うことにより、受信側での演算量を低減することができ、受信側の装置規模を縮小することができる。 With the above configuration, by performing the filling processing and parallax estimation at the transmitting side, it is possible to reduce the amount of computation at the receiving side, it is possible to reduce the reception side of the apparatus scale.
【0103】 [0103]
以上述べたところから明らかなように、本発明によれば、視差推定が困難な物体輪郭線近傍において、オクルージョン領域を左右の画像を基準とした初期視差から検出し、検出したオクルージョン領域での視差を周囲の視差データから決定して、物体輪郭線で視差が不連続になるように視差推定を行うことにより、生成された中間像の輪郭付近での画質を向上させることができる。 As is apparent from the mentioned above, according to the present invention, in a difficult object contours near disparity estimate, detected from the initial disparity relative to the image of the left and right of the occlusion region, the disparity in the detected occlusion areas the determined from surrounding parallax data, by performing the parallax estimated as parallax is discontinuous at object contours, it is possible to improve the picture quality in the vicinity of the outline of the generated intermediate image.
【0104】 [0104]
また、左右の画像を基準とする中間像を統合することにより画像全体の画素について中間像を生成することができる。 Further, it is possible to generate an intermediate image for the entire pixel image by integrating an intermediate image relative to the left and right images. したがって、1組のステレオ画像から2画像間の任意の視点に対応する中間像を生成することができる。 Therefore, it is possible to generate an intermediate image corresponding from a set of stereo images at any viewpoint between the two images.
【0105】 [0105]
また、左右の画像を基準として生成した中間像中の抜け領域と接する背景側の数画素を統合に用いないことにより、統合後の中間像中に偽輪郭が生じることを防ぐことができる。 Also, by not using the number of pixels of the background-side in contact with the background region in the intermediate image to generate a left and right images as a reference to the integration, it is possible to prevent the false contour occurs in the intermediate image after integration.
【0106】 [0106]
さらに、動きベクトルを求めることにより、撮像時のカメラの姿勢に要求される制約を緩和することができる。 Furthermore, it is possible by obtaining a motion vector, to relax the constraints required for the posture of the camera at the time of imaging.
【0107】 [0107]
【発明の効果】 【Effect of the invention】
以上述べたところから明らかなように本発明は、物体輪郭線近傍での視差を推定し、複数の画像の、例えば1組のステレオ画像から2画像間の、任意の視点に対応する中間像を生成できるという長所を有する。 The present invention, as is apparent from the described above, estimating the disparity of the object outline vicinity of the plurality of images, for example, between the two images from the set of stereo images, an intermediate image corresponding to an arbitrary viewpoint It has the advantage that can be generated.
【0108】 [0108]
また本発明は、観察者の位置を検出する位置検出手段を備える場合は、観察者の位置に応じた画像を表示することができるという利点がある。 The present invention, when provided with position detecting means for detecting the position of the observer has the advantage that it is possible to display an image according to the observer's position.
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
【図1】本発明の第1の実施の形態における中間像生成装置の構成図である。 Is a configuration diagram of an intermediate image generating apparatus according to the first embodiment of the present invention; FIG.
【図2】同第1の実施の形態における左画像を基準とした初期視差の説明図である。 Figure 2 is an illustration of an initial disparity relative to the left image in the first embodiment.
【図3】同第1の実施の形態における物体輪郭線近傍での視差推定の説明図である。 3 is an explanatory view of a parallax estimation on the object outline the vicinity of the first embodiment.
【図4】同第1の実施の形態における物体輪郭線近傍での視差推定の詳細な説明図である。 4 is a detailed illustration of the disparity estimation on the object outline the vicinity of the first embodiment.
【図5】同第1の実施の形態における中間像中で像が生成されない領域の説明図である。 5 is an explanatory view of a region where the image in the intermediate image is not generated in the same first embodiment.
【図6】同第1の実施の形態における左右それぞれの画像を基準として生成された中間像を統合する説明図である。 6 is an explanatory diagram for integrating the intermediate image generated based on the respective image left and right in the first embodiment.
【図7】本発明の第2の実施の形態における中間像生成装置の構成図である。 7 is a block diagram of an intermediate image generating apparatus according to the second embodiment of the present invention.
【図8】同第2の実施の形態における中間像統合方法の説明図である。 8 is an explanatory view of the intermediate image integration method in the second embodiment.
【図9】同第2の実施の形態における修正領域を示す図である。 9 is a diagram showing a modified region in the second embodiment.
【図10】統合時に用いる重みの特性の一例を示す図である。 10 is a diagram showing an example of characteristics of the weight used during integration.
【図11】フィルターの重み係数の1例を示す図である。 11 is a diagram showing an example of weighting coefficients of the filter.
【図12】本発明の第3の実施の形態における輪郭部視差推定方法を示す図である。 12 is a diagram showing a contour disparity estimation method according to the third embodiment of the present invention.
【図13】同第3の実施の形態における輪郭部視差推定の演算領域を示す図である。 13 is a diagram showing a calculation region of the contour portion parallax estimation in the same third embodiment.
【図14】中間像の書き込み方法の一例を示す図である。 14 is a diagram showing an example of a method of writing the intermediate image.
【図15】中間像の書き込み方法の一例を示す図である。 15 is a diagram showing an example of a method of writing the intermediate image.
【図16】本発明の第4の実施の形態における視点に応じた画像を表示するシステムを示す図である。 16 is a diagram showing a system for displaying an image corresponding to the viewpoint in the fourth embodiment of the present invention.
【図17】本発明の第5の実施の形態の送信側で視差推定を行うシステムの送信部の構成の一例を示す図である。 17 is a diagram showing an example of the configuration of the fifth transmission unit of the system for performing disparity estimation on the transmission side of the embodiment of the present invention.
【図18】送信側で視差推定を行うシステムの受信部の構成の一例を示す図である。 18 is a diagram showing an example of the configuration of a receiver of the system for performing disparity estimation on the transmission side.
【図19】視差を用いた中間像生成方法を示すフローチャートである。 19 is a flowchart showing an intermediate image generation method using a parallax.
【図20】動きベクトルを用いた中間像生成方法を示すフローチャートである。 20 is a flowchart showing an intermediate image generation method using a motion vector.
【符号の説明】 DESCRIPTION OF SYMBOLS
1L 左画像用フレームメモリ1R 右画像用フレームメモリ2L、2R 初期視差推定部3L、3R 視差メモリ4L、4R 輪郭抽出部5L、5R 輪郭メモリ6L、6R 輪郭部視差推定部7L、7R 中間像生成部8 中間像統合部9L、9R 中間像生成部10L、10R 中間像修正部24 オクルージョン領域162 位置検出手段 1L left image frame memory 1R right image frame memory 2L, 2R initial parallax estimation unit 3L, 3R parallax memory 4L, 4R contour extraction unit 5L, 5R contour memory 6L, 6R contour parallax estimation unit 7L, 7R intermediate image generating unit 8 intermediate image integration unit 9 L, 9R intermediate image generating unit 10L, 10R intermediate image correcting unit 24 occlusion region 162 position detector

Claims (9)

  1. 視点の異なる2つの画像について、それぞれの画像を基準として画素毎の対応を求めて視差を推定し、視差推定が行えない領域において、 その領域近傍における所定の領域を物体の輪郭により分割して出来る2つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように前記視差推定が行えない領域での視差を決定し、前記画像及び前記得られた視差からそれぞれ中間像を生成し、その生成した中間像を統合することを特徴とするステレオ画像の中間像生成方法。 For two different images viewpoints, each image to estimate the parallax seeking correspondence for each pixel as a reference, in the region where the disparity estimation can not be performed, can be a predetermined region in the vicinity of the region is divided by the contour of the object of each of the parallax of the two areas, using the disparity towards indicating the distance, based on the edge intensities in the predetermined region, the parallax changes significantly in strongly pixels having the edge intensity in the low pixel of the edge strength determining the disparity of a region where the disparity estimation can not be performed as the parallax is small change, the image and generating an intermediate image from each of the obtained parallax, characterized in that it integrates an intermediate image thus generated intermediate image generation method of the stereo image.
  2. 中間像の統合は、前記生成した中間像においてデータのない領域と隣接する画素のデータのうち、背景側の所定の画素数のデータを用いないことにより、統合された中間像における偽輪郭の発生をなくすることを特徴とする請求項記載の中間像生成方法。 Integration of the intermediate image, among the data of pixels adjacent to the no data area in the intermediate image the generated, by not using the data of the predetermined number of pixels of the background side, the occurrence of false contour in an integrated intermediate image intermediate image generation method according to claim 1, wherein the eliminated.
  3. 中間像の統合は、視点の方向に応じて、前記生成した中間像に重み付けをすることにより行うことを特徴とする請求項 、又は記載の中間像生成方法。 Integration of the intermediate image, depending on the direction of the viewpoint, according to claim 1 or 2 intermediate image generation method according to characterized in that by weighting the intermediate image to the generated.
  4. 視点の異なる2画像を記憶する画像メモリと、前記2画像間で画素の対応を求め初期視差を計算する初期視差推定手段と、その初期視差を記憶する初期視差メモリと、画像から物体輪郭線を検出する物体輪郭線検出手段と、その物体輪郭線を記憶する輪郭メモリと、前記初期視差および前記物体輪郭線から、物体輪郭線近傍における視差を、 物体輪郭線近傍領域を前記物体輪郭線により分割して出来る2つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記物体輪郭線近傍領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように決定する輪郭部視差推定手段と、前記画像と前記視差から中間像を生成する中間像生成手段とを備えた An image memory for storing the two images of different viewpoints, and the initial disparity estimation means for calculating an initial disparity seek corresponding pixels between the two images, an initial disparity memory for storing the initial disparity, the object contour from the image dividing an object contour detecting means for detecting a contour memory for storing the object contour from the initial disparity and the object contour, the disparity in the vicinity object contour, the object contour area near by the object contour line of each of the parallax of the two regions to be, using the disparity towards indicating the distance, based on the edge intensities in the object contour region near parallax changes significantly in strongly pixels having the edge intensity, an edge and determining contours disparity estimation unit as a parallax in low pixel intensity changes less, and a intermediate image generating means for generating an intermediate image from the said image parallax とを特徴とする中間像生成装置。 Intermediate image generating apparatus according to claim and.
  5. 視点の異なる複数の画像について、それぞれの画像を基準として画素毎の対応を求めて初期視差を推定し、前記初期視差推定が行えない領域での視差推定は、 その領域近傍における所定の領域を物体の輪郭により分割して出来る2つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域の内で物体輪郭のエッジ強度に応じて、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように、前記初期視差推定で求められた視差に対する重みを変化させて前記複数の画像の視差を演算することを特徴とする視差推定方法。 Different for a plurality of images of viewpoints, each image in search of correspondence for each pixel to estimate the initial disparity based disparity estimation in the not be the initial disparity estimation region, shooting a predetermined region in the vicinity of the region of each of the parallax of the two areas that can be divided by the contour, using the disparity towards indicating the distance, according to the edge intensity of the object outline within a predetermined region, the disparity in strong pixels having edge strength greatly changes, so parallax changes small at low pixel of the edge strength, parallax estimation, characterized in that by changing the weight for calculating the parallax of the plurality of images for parallax determined by the initial disparity estimation Method.
  6. 請求項5記載の前記視差推定方法により求められた視差を利用して、前記画像から中間像を生成することを特徴とする複数画像の中間像生成方法。 By utilizing the parallax determined by the disparity estimation method of claim 5, the intermediate image generation method for a plurality of images, which comprises generating an intermediate image from the image.
  7. 2眼式画像を伝送する送信部と、その伝送された2眼式画像を受信し、その受信した2眼式画像から左右の画像を基準とした視差情報を計算し、視差が正しく計算できない領域での視差については、 その領域近傍における所定の領域を物体の輪郭により分割して出来る2つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように前記視差が正しく計算できない領域での視差を決定し、前記2眼式画像と前記求めた視差情報とを用いて中間像を生成し、その中間像及び前記2眼式画像を併せて多眼式画像として表示する受信部とを備えたことを特徴とする画像伝送表示装置。 A transmitter for transmitting a binocular image, receives the transmitted binocular image was, to calculate the disparity information relative to the left and right images from the received binocular images, a region where the parallax can not be calculated correctly for parallax, among the respective parallax of the two regions can be by dividing the predetermined region in the region near the contour of the object, using the disparity towards indicating the distance, the edge intensity in the predetermined area based, parallax varies greatly in high pixel of the edge strength, to determine the parallax of the region where the parallax as parallax changes small at low pixel of the edge strength can not be calculated correctly, and the binocular image wherein image transmission display device characterized by generating an intermediate image, and a receiving unit for displaying together the intermediate image and the binocular image as multiview image by using the parallax information obtained.
  8. 2眼式画像から左右それぞれの画像を基準とした視差を計算し、視差が正しく計算できない領域では、 その領域近傍における所定の領域を物体の輪郭により分割して出来る2つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように視差を補充し、前記2眼式画像及び前記補充後の視差を符号化し伝送する送信部と、その伝送された符号化信号を受信し、その受信信号から前記2眼式画像及び前記補充後の視差を復号化し、その復号された2眼式画像及び補充後の視差を用いて中間像を生成し、その中間像及び前記2眼式画像を併せて多眼式画像として表示する受信部とを Parallax relative to the respective image left and right from the binocular images to calculate the parallax is in the not correctly calculate area, of each of the parallax of the two regions can be a predetermined region in the vicinity of the region is divided by the contour of the object among them, using the disparity towards indicating the distance, based on the edge intensities in the predetermined region, the parallax changes significantly in strongly pixels having edge strength, parallax as parallax changes small at low pixels having the edge intensity supplemented with a transmission unit of the binocular image and disparity after the replenishment encodes and transmits, receives the transmitted coded signal, the parallax from the received signal after the binocular image and said replenishing It decodes, and a receiving unit which generates an intermediate image using the decoded binocular image and disparity after supplementation, is displayed together the intermediate image and the binocular image as the multiview image えたことを特徴とする画像伝送表示装置。 Image transmission display device comprising been example.
  9. 視点の異なる2つの画像について、それぞれの画像を基準として画素毎の対応を求めて視差を推定する手段と、視差推定が行えない領域において、 その領域近傍における所定の領域を物体の輪郭により分割して出来る2つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように前記視差推定が行えない領域での視差を決定する手段と、前記画像及び前記得られた視差から中間像を生成する手段とを備えたことを特徴とするステレオ画像の中間像生成装置。 For two different images viewpoints, means for estimating the disparity seeking correspondence for each pixel of each image as a reference, in the region where the disparity estimation can not be performed, a predetermined region in the vicinity of the region divided by the contour of the object of each of the parallax of the two areas that can be Te, using the disparity towards indicating the distance, based on the edge intensities in the predetermined region, the parallax changes significantly in strongly pixels having edge strength, weak edge strength stereo, characterized in that it comprises means for determining a disparity in the region where the disparity estimation can not be performed as the parallax is small change, and means for generating an intermediate image from the image and the resulting disparity in pixels intermediate image generating apparatus for an image.
JP10488596A 1995-05-08 1996-04-25 Intermediate image generation method, the intermediate image generation apparatus, disparity estimation method, and an image transmission display device Expired - Lifetime JP3826236B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP10982195 1995-05-08
JP7-109821 1995-05-08
JP10488596A JP3826236B2 (en) 1995-05-08 1996-04-25 Intermediate image generation method, the intermediate image generation apparatus, disparity estimation method, and an image transmission display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10488596A JP3826236B2 (en) 1995-05-08 1996-04-25 Intermediate image generation method, the intermediate image generation apparatus, disparity estimation method, and an image transmission display device

Publications (2)

Publication Number Publication Date
JPH0927969A JPH0927969A (en) 1997-01-28
JP3826236B2 true JP3826236B2 (en) 2006-09-27

Family

ID=26445260

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10488596A Expired - Lifetime JP3826236B2 (en) 1995-05-08 1996-04-25 Intermediate image generation method, the intermediate image generation apparatus, disparity estimation method, and an image transmission display device

Country Status (1)

Country Link
JP (1) JP3826236B2 (en)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100751422B1 (en) 2002-12-27 2007-08-23 한국전자통신연구원 A Method of Coding and Decoding Stereoscopic Video and A Apparatus for Coding and Decoding the Same
EP1587035A1 (en) * 2004-04-14 2005-10-19 Philips Electronics N.V. Ghost artifact reduction for rendering 2.5D graphics
GB2417628A (en) * 2004-08-26 2006-03-01 Sharp Kk Creating a new image from two images of a scene
JP4687265B2 (en) * 2005-06-14 2011-05-25 富士ゼロックス株式会社 Image Analyzer
US8253740B2 (en) * 2006-02-27 2012-08-28 Koninklijke Philips Electronics N.V. Method of rendering an output image on basis of an input image and a corresponding depth map
WO2007113725A2 (en) * 2006-03-31 2007-10-11 Koninklijke Philips Electronics N.V. Efficient encoding of multiple views
JP4737763B2 (en) * 2006-06-14 2011-08-03 Kddi株式会社 Free viewpoint image generation method using the multi-viewpoint image, apparatus and program
JP4902735B2 (en) * 2007-04-24 2012-03-21 オリンパスメディカルシステムズ株式会社 Medical image processing apparatus and a medical image processing method
KR100950046B1 (en) * 2008-04-10 2010-03-29 포항공과대학교 산학협력단 Apparatus of multiview three-dimensional image synthesis for autostereoscopic 3d-tv displays and method thereof
KR20110063778A (en) * 2008-08-29 2011-06-14 톰슨 라이센싱 View synthesis with heuristic view blending
EP2180449A1 (en) * 2008-10-21 2010-04-28 Philips Electronics N.V. Method and device for providing a layered depth model of a scene
JP2010237941A (en) * 2009-03-31 2010-10-21 Kddi Corp Mask image generation device, three-dimensional model information generation device, and program
KR101691572B1 (en) 2009-05-01 2017-01-02 톰슨 라이센싱 Inter-layer dependency information for 3dv
BR112012002717A2 (en) 2009-08-13 2016-05-03 Sony Corp electronic device, and device and signal transmission method
JP2011060116A (en) * 2009-09-11 2011-03-24 Fujifilm Corp Image processing apparatus
JP2011060216A (en) * 2009-09-14 2011-03-24 Fujifilm Corp Device and method of processing image
JP2011070415A (en) * 2009-09-25 2011-04-07 Fujifilm Corp Image processing apparatus and image processing method
JP5663857B2 (en) * 2009-10-08 2015-02-04 株式会社ニコン Image display device and image display method
JP5540746B2 (en) 2009-11-20 2014-07-02 ソニー株式会社 Receiving apparatus, transmitting apparatus, a communication system, a control method of the receiving apparatus, and program
JP5556394B2 (en) * 2010-06-07 2014-07-23 ソニー株式会社 Stereoscopic image display system, parallax converter, disparity conversion method and program
JP5627498B2 (en) * 2010-07-08 2014-11-19 株式会社東芝 Stereoscopic image generating apparatus and method
JP2012054912A (en) * 2010-08-02 2012-03-15 Sharp Corp Video processing apparatus, display device and video processing method
CN102687178B (en) 2010-08-27 2016-04-20 三星电子株式会社 Rendering apparatus and method for generating multi-view
WO2012036901A1 (en) * 2010-09-14 2012-03-22 Thomson Licensing Compression methods and apparatus for occlusion data
KR101640404B1 (en) * 2010-09-20 2016-07-18 엘지전자 주식회사 Mobile terminal and operation control method thereof
JP5533529B2 (en) * 2010-10-06 2014-06-25 コニカミノルタ株式会社 An image processing apparatus and an image processing system
KR101798408B1 (en) 2011-01-03 2017-11-20 삼성전자주식회사 Method and apparatus for rendering high quality multi-view images for 3d display
JP5777920B2 (en) * 2011-03-30 2015-09-09 Necパーソナルコンピュータ株式会社 Image processing apparatus and image processing method
US20120313932A1 (en) * 2011-06-10 2012-12-13 Samsung Electronics Co., Ltd. Image processing method and apparatus
KR20120137205A (en) * 2011-06-10 2012-12-20 삼성전자주식회사 Method and apparatus for image processing
JP5839671B2 (en) * 2011-09-20 2016-01-06 株式会社Screenホールディングス Three-dimensional position and orientation recognition device, an industrial robot, the three-dimensional position and orientation recognition method, a program, a recording medium
US9692991B2 (en) * 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
JP5414947B2 (en) 2011-12-27 2014-02-12 パナソニック株式会社 Stereo imaging apparatus
WO2013108310A1 (en) 2012-01-18 2013-07-25 パナソニック株式会社 Three-dimensional image inspection device, three-dimensional image processing device, and three-dimensional image inspection method
JP5373931B2 (en) * 2012-03-22 2013-12-18 日本電信電話株式会社 Virtual viewpoint image generation method, the virtual viewpoint image generation apparatus and the virtual viewpoint image generation program
JP6258923B2 (en) * 2012-05-02 2018-01-10 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Quality for processing 3d image metric
JP5953916B2 (en) * 2012-05-02 2016-07-20 ソニー株式会社 An image processing apparatus and method, and program
US20150181204A1 (en) * 2012-07-18 2015-06-25 Sony Corporation Image processing apparatus, image processing method, and image display device
WO2014017201A1 (en) * 2012-07-26 2014-01-30 ソニー株式会社 Image processing device, image processing method, and image display device
JP5949314B2 (en) 2012-08-20 2016-07-06 株式会社日本自動車部品総合研究所 Parallax map generation apparatus and disparity map generation apparatus for a program
US9641821B2 (en) 2012-09-24 2017-05-02 Panasonic Intellectual Property Management Co., Ltd. Image signal processing device and image signal processing method
WO2014119555A1 (en) * 2013-01-31 2014-08-07 株式会社ニコン Image processing device, display device and program
JP6365153B2 (en) 2014-09-10 2018-08-01 株式会社ソシオネクスト Picture coding method and the picture coding apparatus
JP6423314B2 (en) 2015-06-04 2018-11-14 株式会社Soken Corresponding point search method and a distance measuring device

Also Published As

Publication number Publication date
JPH0927969A (en) 1997-01-28

Similar Documents

Publication Publication Date Title
US6314211B1 (en) Apparatus and method for converting two-dimensional image sequence into three-dimensional image using conversion of motion disparity into horizontal disparity and post-processing method during generation of three-dimensional image
EP2357836B1 (en) Method and apparatus for processing three-dimensional images
US7894525B2 (en) Method for compressing video information
US6269175B1 (en) Method and apparatus for enhancing regions of aligned images using flow estimation
KR100667810B1 (en) Apparatus for controlling depth of 3d picture and method therefor
Tam et al. 3D-TV content generation: 2D-to-3D conversion
US8351685B2 (en) Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
US6625333B1 (en) Method for temporal interpolation of an image sequence using object-based image analysis
Koch Dynamic 3-D scene analysis through synthesis feedback control
Lukacs Predictive coding of multi-viewpoint image sets
EP2274920B1 (en) System and method for measuring potential eyestrain of stereoscopic motion pictures
EP0952552A2 (en) Method for generating 2-D images from 3-D video data
JP4508878B2 (en) Video filtering for stereoscopic image
US8384763B2 (en) Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
CN101822067B (en) Method and apparatus for depth-related information propagation
KR100544677B1 (en) Apparatus and method for the 3D object tracking using multi-view and depth cameras
EP1785941B1 (en) Virtual view specification and synthesis in free viewpoint television
JP4533895B2 (en) Movement control for image rendering
US20090116732A1 (en) Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
JP4679033B2 (en) A system and method for the median fusion of depth map
US7557824B2 (en) Method and apparatus for generating a stereoscopic image
Mori et al. View generation with 3D warping using depth information for FTV
US9237330B2 (en) Forming a stereoscopic video
EP0735512B1 (en) Methods for selecting two frames of a two-dimensional image sequence to form the basis for calculating the relative depth of image objects
JP3679426B2 (en) System for the motion parameters of image data respectively by coding associated with a plurality of layers and the layers representing the region of coherent motion

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050719

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050912

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060307

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060405

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060619

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090714

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100714

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110714

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110714

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120714

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120714

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130714

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term