JP6261085B2 - Image analysis apparatus and computer program - Google Patents
Image analysis apparatus and computer program Download PDFInfo
- Publication number
- JP6261085B2 JP6261085B2 JP2014254311A JP2014254311A JP6261085B2 JP 6261085 B2 JP6261085 B2 JP 6261085B2 JP 2014254311 A JP2014254311 A JP 2014254311A JP 2014254311 A JP2014254311 A JP 2014254311A JP 6261085 B2 JP6261085 B2 JP 6261085B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- epipolar
- light field
- images
- microlens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010191 image analysis Methods 0.000 title claims description 80
- 238000004590 computer program Methods 0.000 title claims description 4
- 238000003702 image correction Methods 0.000 claims description 26
- 238000012937 correction Methods 0.000 claims description 8
- 238000000034 method Methods 0.000 description 38
- 238000012545 processing Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 241000284466 Antarctothoa delta Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、画像解析装置及びコンピュータプログラムに関する。 The present invention relates to an image analysis apparatus and a computer program.
被写体からカメラレンズに侵入する全ての光線の向きと光量とを取得する技術が知られており、被写体を異なる視点から撮影した複数の画像の集合をライトフィールド画像という。ライトフィールド画像を得ることができるライトフィールドカメラは、被写体からカメラのレンズに侵入する全ての光線の向きと光量とを取得するために、メインレンズと、被写体との間に配置された光学要素（マイクロレンズ）のアレイとを有している。このアレイ内で、各光学要素は、アレイ内の他の光学要素と異なる角度からの光を受光し、異なるビューを主レンズに向ける。光検出器アレイは、アレイ内の各光学要素からの異なるビューを受像することができる。 A technique for acquiring the direction and light amount of all light rays that enter a camera lens from a subject is known, and a set of a plurality of images obtained by photographing a subject from different viewpoints is called a light field image. A light field camera that can obtain a light field image is an optical element (between the main lens and the subject) that captures the direction and amount of light that enters the lens of the camera from the subject. And an array of microlenses). Within this array, each optical element receives light from a different angle than the other optical elements in the array and directs a different view to the main lens. The photodetector array can receive a different view from each optical element in the array.
上述のような構成を有するライトフィールドカメラによって、ライトフィールド画像を利用できるようになったが、レンズやアレイなどのサイズの制約により、光線の取得できる範囲が限定されたものとなっている。そのため、アレイに工夫を施して焦点距離の異なる複数種類のマイクロレンズを異なる分布形態で構成することによって、より広範囲にわたって光線を取得できる手法が提案されてきている（例えば、非特許文献１参照）。 The light field camera having the configuration as described above can use the light field image. However, the range in which the light beam can be acquired is limited due to the size restriction of the lens and the array. For this reason, a technique has been proposed in which light can be acquired over a wider range by contriving the array and configuring a plurality of types of microlenses having different focal lengths in different distribution forms (see, for example, Non-Patent Document 1). .
しかしながら、１つのカメラで構成する限りは光線の取得範囲は限られており、より広範囲の光線を取得するためには複数のライトフィールド画像を利用する必要がある。複数のライトフィールド画像を利用するためには、それらのライトフィールド画像がどの地点から撮像されたのかを算出する必要がある。非特許文献１に記載された技術では、チェックパターンなど形状が既知の被写体を撮影することによってカメラ位置を推定しているため、事前の撮影が必要となってしまうという問題があった。 However, as long as a single camera is used, the light beam acquisition range is limited, and it is necessary to use a plurality of light field images in order to acquire a wider range of light beams. In order to use a plurality of light field images, it is necessary to calculate from which point the light field images are captured. The technique described in Non-Patent Document 1 has a problem that pre-shooting is necessary because the camera position is estimated by shooting a subject whose shape is known such as a check pattern.
上記事情に鑑み、本発明は、既知の被写体の撮影を事前に行わず、被写体を撮影した地点を算出する技術の提供を目的としている。 In view of the above circumstances, an object of the present invention is to provide a technique for calculating a spot where a subject is photographed without photographing a known subject in advance.
本発明の一態様は、複数の地点から撮影された、メインレンズが結像した被写体の光学像を複数のマイクロレンズを用いて撮像した複数のマイクロレンズ画像を含み構成されるライトフィールド画像に、複数の同一の被写体が撮像されている場合において前記被写体を撮影した位置を算出する画像解析装置であって、複数のライトフィールド画像に対して、前記ライトフィールド画像に含まれる全てのマイクロレンズ画像の中心位置の座標値を用いて、全てのマイクロレンズ画像が前記ライトフィールド画像の水平軸又は垂直軸と平行になる回転角度を算出し、算出した前記回転角度だけ全てのマイクロレンズ画像を前記ライトフィールド画像の水平軸又は垂直軸と平行になる方向に回転することで補正を行う画像補正部と、補正がなされた複数のライトフィールド画像からそれぞれエピポーラ画像を生成するエピポーラ画像生成部と、補正がなされた複数のライトフィールド画像のうちいずれか一つのライトフィールド画像を基準画像とし、前記基準画像のエピポーラ画像と補正がなされた他のライトフィールド画像のエピポーラ画像とに基づいて、前記他のライトフィールド画像のエピポーラ画像上の直線の交点の座標位置と前記基準画像のエピポーラ画像上の直線の交点の座標位置とのずれ量を算出し、算出した前記ずれ量を用いて、前記基準画像を撮影した位置に対する相対位置である前記被写体を撮影した位置を算出するエピポーラ画像解析部と、を備える画像解析装置である。 According to one aspect of the present invention, a light field image including a plurality of microlens images captured from a plurality of points and captured using a plurality of microlenses, an optical image of a subject formed by a main lens. An image analyzing apparatus that calculates a position where the subject is photographed when a plurality of the same subject is captured, and for all the microlens images included in the light field image with respect to the plurality of light field images. A rotation angle at which all the microlens images are parallel to the horizontal axis or the vertical axis of the light field image is calculated using the coordinate value of the center position, and all the microlens images are calculated by the calculated rotation angle. an image correcting unit that performs correction by rotating in a direction parallel to the horizontal or vertical axis of the image, the correction has been made An epipolar image generation unit that generates an epipolar image from each of a plurality of light field images, and any one light field image among a plurality of corrected light field images is set as a reference image, and the epipolar image of the reference image is corrected. Based on the epipolar image of the other light field image made , a shift between the coordinate position of the intersection of the straight lines on the epipolar image of the other light field image and the coordinate position of the intersection of the straight lines on the epipolar image of the reference image And an epipolar image analysis unit that calculates a position at which the subject is photographed, which is a relative position with respect to a position at which the reference image is photographed, using the calculated deviation amount.
本発明の一態様は、上記の画像解析装置であって、前記エピポーラ画像生成部は、補正された前記ライトフィールド画像において同じ列又は同じ行のマイクロレンズ画像それぞれにおける同一列の画素列又は同一行の画素行を取得し、取得した画素列又は画素行を取得元のマイクロレンズ画像の並び順に配置することでエピポーラ画像を生成する。 One aspect of the present invention is the image analysis device described above, wherein the epipolar image generation unit includes the same column or the same row of microlens images in the same column or the same row in the corrected light field image. Are acquired, and the acquired pixel column or pixel row is arranged in the arrangement order of the microlens images from which the pixel is acquired, thereby generating an epipolar image.
本発明の一態様は、上記の画像解析装置であって、前記エピポーラ画像解析部は、前記基準画像のエピポーラ画像上及び前記他のライトフィールド画像のエピポーラ画像上からそれぞれ複数の直線を検出し、前記基準画像のエピポーラ画像上から検出された複数の直線の交点の座標値と前記他のライトフィールド画像のエピポーラ画像上から検出された複数の直線の交点の座標値とを用いて前記ずれ量を算出し、算出した前記ずれ量を用いて前記他のライトフィールド画像を撮影した位置を算出する。 One aspect of the present invention is the image analysis apparatus described above, wherein the epipolar image analysis unit detects a plurality of straight lines from the epipolar image of the reference image and the epipolar image of the other light field image, The shift amount is calculated using coordinate values of intersections of a plurality of straight lines detected from the epipolar image of the reference image and coordinate values of intersections of a plurality of straight lines detected from the epipolar image of the other light field image. A position where the other light field image is captured is calculated using the calculated shift amount.
本発明の一態様は、上記の画像解析装置としてコンピュータを機能させるためのコンピュータプログラムである。 One embodiment of the present invention is a computer program for causing a computer to function as the image analysis apparatus.
本発明により、既知の被写体の撮影を事前に行わず、被写体を撮影した地点を算出することが可能となる。 According to the present invention, it is possible to calculate a point where a subject is photographed without photographing a known subject in advance.
以下、本発明の一実施形態を、図面を参照しながら説明する。
図１は、一実施形態における画像解析装置１の構成を示すブロック図である。図１に示すように、画像解析装置１は、画像取得部１１、画像補正部１２、エピポーラ画像生成部１３及びエピポーラ画像解析部１４を備えている。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating a configuration of an image analysis apparatus 1 according to an embodiment. As shown in FIG. 1, the image analysis apparatus 1 includes an image acquisition unit 11, an image correction unit 12, an epipolar image generation unit 13, and an epipolar image analysis unit 14.
実施形態における画像解析装置１は、複数のライトフィールド画像から、被写体を撮影した地点を算出する際に利用される。以下の説明において前提となる条件として、処理対象となるライトフィールド画像間で同一の被写体が複数撮像されていることが挙げられる。 The image analysis apparatus 1 according to the embodiment is used when calculating a spot where a subject is photographed from a plurality of light field images. A precondition in the following description is that a plurality of identical subjects are captured between light field images to be processed.
次に、画像解析装置１の概要について説明する。
まず、画像解析装置１は、複数の地点から撮影された複数のライトフィールド画像それぞれから複数のエピポーラ画像（ＥＰＩ：Epipolar Plane Image）を生成する。ここで、複数の地点とは、被写体を撮影する位置が異なる位置である。エピポーラ画像は、エピポーラ平面画像ともいわれる。次に、画像解析装置１は、生成した各ライトフィールド画像のエピポーラ画像上から複数の直線を検出し、検出した直線の交点をそれぞれ算出する。例えば、画像解析装置１は、撮影位置算出の基準となるライトフィールド画像（以下、「基準画像」という。）のエピポーラ画像と、基準画像と重複領域を有するライトフィールド画像（以下、「比較対象画像」という。）のエピポーラ画像上からそれぞれ複数の直線を検出し、検出した直線の交点をそれぞれ算出する。画像解析装置１は、算出した各交点に基づいて、基準画像のエピポーラ画像と比較対象画像のエピポーラ画像との座標位置のずれ量を算出する。そして、画像解析装置１は、算出したずれ量に基づいて被写体の撮影地点を算出する。ここで算出される被写体の撮影地点は、比較対象画像を撮影した地点である。
以下、画像解析装置１の詳細について説明する。
Next, an outline of the image analysis apparatus 1 will be described.
First, the image analysis apparatus 1 generates a plurality of epipolar images (EPI) from each of a plurality of light field images photographed from a plurality of points. Here, the plurality of points are positions where the positions where the subject is photographed are different. The epipolar image is also referred to as an epipolar plane image. Next, the image analysis apparatus 1 detects a plurality of straight lines from the generated epipolar image of each light field image, and calculates intersections of the detected straight lines. For example, the image analysis apparatus 1 includes an epipolar image of a light field image (hereinafter referred to as “reference image”) serving as a reference for photographing position calculation, and a light field image (hereinafter referred to as “comparison image” having an overlapping area with the reference image. A plurality of straight lines are detected from the epipolar image, and intersections of the detected straight lines are calculated. The image analysis apparatus 1 calculates the shift amount of the coordinate position between the epipolar image of the reference image and the epipolar image of the comparison target image based on each calculated intersection. Then, the image analysis device 1 calculates the shooting point of the subject based on the calculated shift amount. The subject photographing point calculated here is a point where the comparison target image is photographed.
Details of the image analysis apparatus 1 will be described below.
画像取得部１１は、複数の地点から撮影された、メインレンズが結像した被写体の光学像を複数のマイクロレンズを用いて撮像した複数のマイクロレンズ画像を含み構成されるライトフィールド画像を複数取得する。画像取得部１１が取得する複数のライトフィールド画像は、ライトフィールドカメラを移動させながら撮影を行うことにより得られたライトフィールド画像である。すなわち、複数の地点から被写体をライトフィールドカメラで撮影することにより得られた複数のライトフィールド画像であって重複領域を有する複数のライトフィールド画像を画像取得部１１は取得する。画像取得部１１が取得する各ライトフィールド画像は、複数のマイクロレンズを介して撮影された小画像（以下、「マイクロレンズ画像」という。）が複数並ぶことで構成されている画像である。 The image acquisition unit 11 acquires a plurality of light field images including a plurality of microlens images captured using a plurality of microlenses, which are optical images of a subject imaged by a main lens taken from a plurality of points. To do. The plurality of light field images acquired by the image acquisition unit 11 are light field images obtained by shooting while moving the light field camera. That is, the image acquisition unit 11 acquires a plurality of light field images obtained by photographing a subject with a light field camera from a plurality of points and having a plurality of light field images having overlapping regions. Each light field image acquired by the image acquisition unit 11 is an image formed by arranging a plurality of small images (hereinafter referred to as “microlens images”) taken through a plurality of microlenses.
画像補正部１２は、画像取得部１１が取得した複数のライトフィールド画像の光学的な補正を行う。具体的には、画像補正部１２は、ライトフィールド画像に含まれる全てのマイクロレンズ画像をライトフィールド画像の水平軸又は垂直軸と平行になる所定の角度回転させることによってライトフィールド画像の光学的な補正を行う。 The image correction unit 12 optically corrects a plurality of light field images acquired by the image acquisition unit 11. Specifically, the image correction unit 12 optically converts the light field image by rotating all the microlens images included in the light field image by a predetermined angle parallel to the horizontal axis or the vertical axis of the light field image. Make corrections.
図２は、画像補正部１２が行う補正処理を示すフローチャートである。
画像補正部１２は、処理を開始すると、画像取得部１１が取得した複数のライトフィールド画像のうち未処理のライトフィールド画像を一つ選択する（ステップＳ１０１）。画像補正部１２は、選択したライトフィールド画像からライトフィールド画像を構成し行列状に並べられているマイクロレンズ画像を抽出する（ステップＳ１０２）。画像補正部１２は、抽出した各マイクロレンズ画像の中心位置の座標を算出する（ステップＳ１０３）。
FIG. 2 is a flowchart showing a correction process performed by the image correction unit 12.
When starting the processing, the image correction unit 12 selects one unprocessed light field image from among the plurality of light field images acquired by the image acquisition unit 11 (step S101). The image correction unit 12 extracts microlens images that form a light field image and are arranged in a matrix from the selected light field image (step S102). The image correction unit 12 calculates the coordinates of the center position of each extracted microlens image (step S103).
その後、画像補正部１２は、ライトフィールド画像に含まれる全てのマイクロレンズ画像の中心位置の座標に基づいて回転角度を算出する（ステップＳ１０４）。画像補正部１２は、ライトフィールド画像の中心から最も近い位置にあるマイクロレンズで撮影されたマイクロレンズ画像の中心位置を中心として全てのマイクロレンズ画像を、ステップＳ１０４の処理で算出した回転角度で回転する（ステップＳ１０５）。この処理によって、六角格子状又は正方格子状に並んでいる全てのマイクロレンズ画像の並びがライトフィールド画像の縦軸及び横軸と平行になる。 Thereafter, the image correction unit 12 calculates a rotation angle based on the coordinates of the center positions of all the microlens images included in the light field image (step S104). The image correction unit 12 rotates all the microlens images around the center position of the microlens image photographed by the microlens closest to the center of the light field image at the rotation angle calculated in the process of step S104. (Step S105). By this processing, the arrangement of all the microlens images arranged in a hexagonal lattice shape or a square lattice shape becomes parallel to the vertical axis and the horizontal axis of the light field image.
画像補正部１２は、画像取得部１１が取得した全てのライトフィールド画像に対してステップＳ１０１からステップＳ１０５までの処理を施したか否かを判定する（ステップＳ１０６）。未処理のライトフィールド画像がある場合（ステップＳ１０６：ＮＯ）、画像補正部１２は処理をステップＳ１０１に戻して、取得した全てのライトフィールド画像に対して処理が行われるまで、ステップＳ１０１からステップＳ１０５までの処理を繰り返す。一方、全てのライトフィールド画像に対して処理を終えた場合（ステップＳ１０６：ＹＥＳ）、画像補正部１２は補正処理を終了する。 The image correction unit 12 determines whether or not the processing from step S101 to step S105 has been performed on all the light field images acquired by the image acquisition unit 11 (step S106). When there is an unprocessed light field image (step S106: NO), the image correction unit 12 returns the process to step S101, and the process is performed from step S101 to step S105 until all the acquired light field images are processed. Repeat the process up to. On the other hand, when the processing has been completed for all the light field images (step S106: YES), the image correction unit 12 ends the correction processing.
エピポーラ画像生成部１３は、画像補正部１２によって補正されたライトフィールド画像ごとにエピポーラ画像を生成する。
図３は、エピポーラ画像生成部１３がエピポーラ画像を生成する処理を示すフローチャートである。エピポーラ画像生成部１３は、処理を開始すると、画像補正部１２によって補正された複数のライトフィールド画像のうち未処理のライトフィールド画像を一つ選択する（ステップＳ２０１）。
The epipolar image generation unit 13 generates an epipolar image for each light field image corrected by the image correction unit 12.
FIG. 3 is a flowchart illustrating a process in which the epipolar image generation unit 13 generates an epipolar image. When the process starts, the epipolar image generation unit 13 selects one unprocessed light field image among the plurality of light field images corrected by the image correction unit 12 (step S201).
エピポーラ画像生成部１３は、選択したライトフィールド画像を構成し行列状に並べられているマイクロレンズ画像から、未処理の行に並べられているマイクロレンズ画像を抽出する（ステップＳ２０２）。なお、ライトフィールド画像から未処理の行に含まれるマイクロレンズ画像を抽出する順序は、任意の順序でよく、例えば画像の上から順に、画像の下から順に、又はランダムな順で抽出してもよい。 The epipolar image generation unit 13 extracts the microlens images arranged in the unprocessed rows from the microlens images constituting the selected light field image and arranged in a matrix (step S202). Note that the order of extracting the microlens images included in the unprocessed rows from the light field image may be any order. For example, the microlens images may be extracted in order from the top of the image, from the bottom of the image, or in random order. Good.
エピポーラ画像生成部１３は、抽出した行に含まれるマイクロレンズ画像それぞれから、マイクロレンズ画像における同一行の画素（以下、「画素行」という。）を行単位で抽出する（ステップＳ２０３）。すなわち、ステップＳ１２３において抽出される画素は、処理対象としているライトフィールド画像における同一行の画素になっている。 The epipolar image generation unit 13 extracts pixels in the same row in the microlens image (hereinafter referred to as “pixel rows”) in units of rows from each of the microlens images included in the extracted rows (step S203). That is, the pixels extracted in step S123 are pixels in the same row in the light field image to be processed.
エピポーラ画像生成部１３は、ステップＳ２０３の処理において抽出した各マイクロレンズ画像における一行の画素を、時計回りに９０度又は反時計回りに９０度回転させた一列の画素として扱う。エピポーラ画像生成部１３は、各マイクロレンズ画像に対応する一列の画素をマイクロレンズ画像の並び順に配置してエピポーラ画像を生成する（ステップＳ２０４）。例えば、エピポーラ画像生成部１３は、ライトフィールド画像における同一行のｎ個のマイクロレンズ画像それぞれからｍ個の画素を行単位で抽出した場合、ｍ行ｎ列に配置された画素からなるエピポーラ画像を生成することになる。 The epipolar image generation unit 13 treats one row of pixels in each microlens image extracted in the process of step S203 as a row of pixels rotated 90 degrees clockwise or 90 degrees counterclockwise. The epipolar image generation unit 13 generates an epipolar image by arranging a row of pixels corresponding to each microlens image in the order of arrangement of the microlens images (step S204). For example, when the epipolar image generation unit 13 extracts m pixels from each of the n microlens images in the same row in the light field image in units of rows, the epipolar image including pixels arranged in m rows and n columns is obtained. Will be generated.
エピポーラ画像生成部１３は、選択したライトフィールド画像における全ての行に対してステップＳ２０２からステップＳ２０４までの処理を施したか否かを判定する（ステップＳ２０５）。未処理の行がある場合（ステップＳ２０５：ＮＯ）、エピポーラ画像生成部１３は処理をステップＳ２０２に戻して、選択したライトフィールド画像の全ての行に対して処理が行われるまで、ステップＳ２０２からステップＳ２０４までの処理を繰り返す。一方、全ての行に対して処理を終えた場合（ステップＳ２０５：ＹＥＳ）、エピポーラ画像生成部１３は処理をステップＳ２０６に進める。 The epipolar image generation unit 13 determines whether or not the processing from step S202 to step S204 has been performed on all the rows in the selected light field image (step S205). When there is an unprocessed line (step S205: NO), the epipolar image generation unit 13 returns the process to step S202, and the process from step S202 until the process is performed on all the lines of the selected light field image. The processing up to S204 is repeated. On the other hand, when the processing has been completed for all the rows (step S205: YES), the epipolar image generation unit 13 advances the processing to step S206.
エピポーラ画像生成部１３は、画像取得部１１が取得した全てのライトフィールド画像に対してステップＳ２０１からステップＳ２０５までの処理を施したか否かを判定する（ステップＳ２０６）。未処理のライトフィールド画像がある場合（ステップＳ２０６：ＮＯ）、エピポーラ画像生成部１３は処理をステップＳ２０１に戻して、取得した全てのライトフィールド画像に対して処理が行われるまで、ステップＳ２０１からステップＳ２０５までの処理を繰り返す。一方、全てのライトフィールド画像に対して処理を終えた場合（ステップＳ２０６：ＹＥＳ）、エピポーラ画像生成部１３はエピポーラ画像を生成する処理を終了する。 The epipolar image generation unit 13 determines whether or not the processing from step S201 to step S205 has been performed on all the light field images acquired by the image acquisition unit 11 (step S206). When there is an unprocessed light field image (step S206: NO), the epipolar image generation unit 13 returns the process to step S201, and from step S201 until the process is performed on all the acquired light field images. The processing up to S205 is repeated. On the other hand, when the process is completed for all the light field images (step S206: YES), the epipolar image generation unit 13 ends the process of generating the epipolar image.
エピポーラ画像生成部１３は、上述の処理を行うことにより、複数のライトフィールド画像それぞれに対して、複数のエピポーラ画像を生成する。エピポーラ画像生成部１３は、生成した複数のエピポーラ画像と当該エピポーラ画像の元になったライトフィールド画像とを対応付けてエピポーラ画像解析部１４に出力する。 The epipolar image generation unit 13 generates a plurality of epipolar images for each of the plurality of light field images by performing the above-described processing. The epipolar image generation unit 13 associates the generated plurality of epipolar images with the light field image that is the basis of the epipolar image and outputs the associated image to the epipolar image analysis unit 14.
エピポーラ画像解析部１４は、エピポーラ画像生成部１３が出力する複数のライトフィールド画像のうちいずれか一つのライトフィールド画像を基準画像とし、基準画像のエピポーラ画像と比較対象画像のエピポーラ画像とに基づいて被写体の撮影地点を算出する。 The epipolar image analysis unit 14 uses any one of the plurality of light field images output from the epipolar image generation unit 13 as a reference image, and based on the epipolar image of the reference image and the epipolar image of the comparison target image. The shooting point of the subject is calculated.
図４は、エピポーラ画像解析部１４が行う処理を示すフローチャートである。
エピポーラ画像解析部１４は、エピポーラ画像生成部１３が複数のエピポーラ画像を生成した後にそれらのエピポーラ画像を取得すると、画像取得部１１が取得した全てのライトフィールド画像からいずれか一つのライトフィールド画像を選択する。エピポーラ画像解析部１４は、選択した一つのライトフィールド画像を基準画像に設定する（ステップＳ３０１）。なお、基準画像に設定するライトフィールド画像の選択は、画像解析装置１を操作するユーザの指示に従って選択してもよいし、他のライトフィールド画像との重複領域が最も多いライトフィールド画像を選択してもよいし、ランダムに選択してもよい。
FIG. 4 is a flowchart showing processing performed by the epipolar image analysis unit 14.
When the epipolar image analysis unit 14 acquires a plurality of epipolar images after the epipolar image generation unit 13 generates a plurality of epipolar images, the epipolar image analysis unit 14 selects any one light field image from all the light field images acquired by the image acquisition unit 11. select. The epipolar image analysis unit 14 sets one selected light field image as a reference image (step S301). The light field image to be set as the reference image may be selected in accordance with an instruction from the user who operates the image analysis apparatus 1, or a light field image having the largest overlapping area with other light field images is selected. Or you may select at random.
エピポーラ画像解析部１４は、基準画像及び比較対象画像それぞれから生成された複数のエピポーラ画像のうち一つのエピポーラ画像をそれぞれ選択する（ステップＳ３０２）。具体的には、エピポーラ画像解析部１４は、基準画像から生成された複数のエピポーラ画像のうちあるマイクロレンズ画像の行及びある画素行で構成されるエピポーラ画像を選択する。なお、基準画像のエピポーラ画像の選択は、画像解析装置１を操作するユーザの指示に従って選択してもよいし、他のライトフィールド画像との重複領域が最も多いライトフィールド画像を選択してもよいし、ランダムに選択してもよい。また、エピポーラ画像解析部１４は、選択した基準画像のエピポーラ画像を生成する際に使用したマイクロレンズ画像の行及び画素行と同じマイクロレンズ画像の行及び画素行で生成された比較対象画像のエピポーラ画像を選択する。 The epipolar image analysis unit 14 selects one epipolar image from among a plurality of epipolar images generated from the reference image and the comparison target image, respectively (step S302). Specifically, the epipolar image analysis unit 14 selects an epipolar image composed of a certain microlens image row and a certain pixel row among a plurality of epipolar images generated from the reference image. Note that the epipolar image of the reference image may be selected in accordance with an instruction from a user who operates the image analysis apparatus 1, or a light field image having the largest overlapping area with another light field image may be selected. However, it may be selected at random. The epipolar image analysis unit 14 also generates an epipolar image of the comparison target image generated in the same microlens image row and pixel row as the microlens image row and pixel row used when generating the epipolar image of the selected reference image. Select an image.
その後、エピポーラ画像解析部１４は、基準画像のエピポーラ画像上及び比較対象画像のエピポーラ画像上それぞれから直線を検出する（ステップＳ３０３）。直線の検出には、ハフ変換などが利用されてもよい。エピポーラ画像解析部１４は、ステップＳ３０４の処理で検出した基準画像のエピポーラ画像上の直線及び比較対象画像のエピポーラ画像上の直線それぞれの交点を算出する（ステップＳ３０４）。 Thereafter, the epipolar image analysis unit 14 detects straight lines from the epipolar image of the reference image and the epipolar image of the comparison target image (step S303). For detection of a straight line, Hough transform or the like may be used. The epipolar image analysis unit 14 calculates the intersections of the straight line on the epipolar image of the reference image detected in the process of step S304 and the straight line on the epipolar image of the comparison target image (step S304).
エピポーラ画像解析部１４は、基準画像のエピポーラ画像上の直線の交点と比較対象画像のエピポーラ画像上の直線の交点とのずれ量を算出する（ステップＳ３０５）。具体的には、エピポーラ画像解析部１４は、基準画像のエピポーラ画像上の直線の交点が比較対象画像のエピポーラ画像上の直線の交点に一致するように各交点の座標位置のずれ量を算出する。算出されたずれ量は、エピポーラ画像上での２次元のずれ量に相当する。その後、エピポーラ画像解析部１４は、算出したずれ量に基づいて被写体を撮影した地点の座標を算出する（ステップＳ３０６）。 The epipolar image analysis unit 14 calculates a deviation amount between the intersection of the straight lines on the epipolar image of the reference image and the intersection of the straight lines on the epipolar image of the comparison target image (step S305). Specifically, the epipolar image analysis unit 14 calculates the shift amount of the coordinate position of each intersection so that the intersection of the straight lines on the epipolar image of the reference image matches the intersection of the straight lines on the epipolar image of the comparison target image. . The calculated shift amount corresponds to a two-dimensional shift amount on the epipolar image. After that, the epipolar image analysis unit 14 calculates the coordinates of the spot where the subject is photographed based on the calculated shift amount (step S306).
エピポーラ画像解析部１４は、全ての比較対象画像に対してステップＳ３０２からステップＳ３０６までの処理を施したか否かを判定する（ステップＳ３０７）。未処理のライトフィールド画像がある場合（ステップＳ３０７：ＮＯ）、エピポーラ画像解析部１４は処理をステップＳ３０２に戻して、全ての比較対象画像に対して処理が行われるまで、ステップＳ３０２からステップＳ３０６までの処理を繰り返す。一方、全ての比較対象画像に対して処理を終えた場合（ステップＳ３０７：ＹＥＳ）、エピポーラ画像解析部１４は処理を終了する。 The epipolar image analysis unit 14 determines whether or not the processing from step S302 to step S306 has been performed on all comparison target images (step S307). If there is an unprocessed light field image (step S307: NO), the epipolar image analysis unit 14 returns the process to step S302, and from step S302 to step S306 until all the comparison target images are processed. Repeat the process. On the other hand, when the processing is completed for all the comparison target images (step S307: YES), the epipolar image analysis unit 14 ends the processing.
以下では、図を参照して、上述した画像解析装置１が被写体を撮影した地点を算出する際の具体的な手順について詳細に説明する。 Hereinafter, with reference to the drawings, a specific procedure for calculating a point where the above-described image analysis apparatus 1 has photographed the subject will be described in detail.
（画像取得部１１の動作）
メインレンズと撮像素子（例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳイメージセンサ（CMOS image sensor））との間にマイクロレンズアレイが設けられたプレノプティックカメラをライトフィールドカメラとして用いて撮影を行い、複数のライトフィールド画像を取得する。プレノプティックカメラの内部においては、マイクロレンズアレイ及び撮像素子を微小なピンホールカメラアレイと見なすことができるため、メインレンズによって結像されたシーンの光学像を、これらの微小なピンホールカメラアレイを用いて撮影したことになる。例えば、ライトフィールドカメラとしてのプレノプティックカメラを水平なレールに乗せて等間隔に動かしながら撮影することにより得られた、画像間に重複領域を有する複数のライトフィールド画像を画像取得部１１が取得する。
(Operation of the image acquisition unit 11)
Taking a plenoptic camera in which a microlens array is provided between a main lens and an imaging device (for example, a CCD (Charge Coupled Devices) or a CMOS image sensor (CMOS image sensor)) as a light field camera, Acquire multiple light field images. Inside the plenoptic camera, since the microlens array and the image sensor can be regarded as a minute pinhole camera array, the optical image of the scene imaged by the main lens is converted into these minute pinhole cameras. It was taken using an array. For example, the image acquisition unit 11 obtains a plurality of light field images having overlapping regions between images obtained by shooting a plenoptic camera as a light field camera on a horizontal rail and moving it at equal intervals. get.
（画像補正部１２の動作）
図５は、画像補正部１２が行う処理の一例を示す図である。
［ステップＳ１０１〜ステップＳ１０３］
プレノプティックカメラで撮影したライトフィールド画像１００は、図５に示すように、マイクロレンズで撮影された小画像（マイクロレンズ画像１０１、１０２）で構成される。図５（Ａ）では、ライトフィールド画像１００に含まれるマイクロレンズ画像の一部分を抜粋して示している。画像補正部１２は、公知の円検出方法などを用いて、ライトフィールド画像１００からマイクロレンズ画像１０１、１０２を抽出し、抽出した各マイクロレンズ画像１０１、１０２の中心位置１０３、１０４を算出する。画像補正部１２は、ライトフィールド画像１００に含まれるマイクロレンズ画像全てに対して中心位置を算出する。
(Operation of the image correction unit 12)
FIG. 5 is a diagram illustrating an example of processing performed by the image correction unit 12.
[Step S101 to Step S103]
As shown in FIG. 5, the light field image 100 photographed with the plenoptic camera is composed of small images (microlens images 101 and 102) photographed with a microlens. In FIG. 5A, a part of the microlens image included in the light field image 100 is extracted and shown. The image correction unit 12 extracts microlens images 101 and 102 from the light field image 100 using a known circle detection method or the like, and calculates center positions 103 and 104 of the extracted microlens images 101 and 102. The image correction unit 12 calculates the center position for all the microlens images included in the light field image 100.
［ステップＳ１０４］
一般的にプレノプティックカメラでは、マイクロレンズが六角格子状（図５（Ａ）に示す形）又は正方格子状に設けられる。そのため、各マイクロレンズによって撮影された各マイクロレンズ画像は、図５（Ｂ）に示されるように、六角格子状又は正方格子状に配列される。画像補正部１２は、図５（Ｂ）に示されるような各マイクロレンズ画像において、同じ行又は同じ列に配置されているマイクロレンズ画像の中心位置を結んだ線分がライトフィールド画像の水平軸又は垂直軸と平行となる回転角度１０５を算出する。
[Step S104]
In general, in a plenoptic camera, microlenses are provided in a hexagonal lattice shape (the shape shown in FIG. 5A) or a square lattice shape. Therefore, each microlens image photographed by each microlens is arranged in a hexagonal lattice shape or a square lattice shape as shown in FIG. In each microlens image as shown in FIG. 5B, the image correction unit 12 has a line segment connecting the center positions of the microlens images arranged in the same row or column as the horizontal axis of the light field image. Alternatively, the rotation angle 105 that is parallel to the vertical axis is calculated.
［ステップＳ１０５］
画像補正部１２は、ライトフィールド画像の中心から最も近いマイクロレンズ画像１０６を中心に各マイクロレンズ画像を、ステップＳ１０４の処理で算出した回転角度でライトフィールド画像の水平軸又は垂直軸と平行となる方向（図５では、時計回りの方向）に回転させる。
［ステップＳ１０６］
画像補正部１２は、ステップＳ１０１からステップＳ１０５までの処理を繰り返すことにより、ライトフィールド画像ごとの光学的な補正を行う。
[Step S105]
The image correction unit 12 makes each microlens image around the microlens image 106 closest to the center of the light field image parallel to the horizontal axis or the vertical axis of the light field image at the rotation angle calculated in the process of step S104. Rotate in the direction (clockwise in FIG. 5).
[Step S106]
The image correction unit 12 performs optical correction for each light field image by repeating the processing from step S101 to step S105.
（エピポーラ画像生成部１３の動作）
図６は、エピポーラ画像生成部１３が行う処理の一例を示す図である。
［ステップＳ２０２］
プレノプティックカメラで撮影したライトフィールド画像は、図６に示すように、マイクロレンズで撮影された小画像（マイクロレンズ画像２０１）で構成される。また、図６の下図に示されるグリッド線は、ライトフィールド画像の画素を示す。エピポーラ画像生成部１３は、公知の円検出方法などを用いて、マイクロレンズ画像２０１を検出する。エピポーラ画像生成部１３は、検出したマイクロレンズ画像２０１の輪郭に沿って、処理対象となっている行に並べられているマイクロレンズ画像２０１を抽出する。例えば、エピポーラ画像生成部１３が、図５の下図に示されるマイクロレンズ画像のうち、１行目に並べられているマイクロレンズ画像を抽出したとする。
(Operation of Epipolar Image Generation Unit 13)
FIG. 6 is a diagram illustrating an example of processing performed by the epipolar image generation unit 13.
[Step S202]
The light field image photographed with the plenoptic camera is composed of a small image (microlens image 201) photographed with a microlens, as shown in FIG. Also, the grid lines shown in the lower part of FIG. 6 indicate the pixels of the light field image. The epipolar image generation unit 13 detects the microlens image 201 using a known circle detection method or the like. The epipolar image generation unit 13 extracts the microlens images 201 arranged in the row to be processed along the detected outline of the microlens image 201. For example, it is assumed that the epipolar image generation unit 13 extracts the microlens images arranged in the first row from the microlens images shown in the lower diagram of FIG.
［ステップＳ２０３］
エピポーラ画像生成部１３は、抽出した行におけるマイクロレンズ画像のうち、着目しているマイクロレンズ画像２０３から同一行の画素２０４を行単位で抽出する。
[Step S203]
The epipolar image generation unit 13 extracts the pixels 204 in the same row from the microlens image 203 of interest among the extracted microlens images in the row.
［ステップＳ２０４］
全てのマイクロレンズ又はマイクロレンズ画像の番号を２次元のパラメータ（ｘ，ｙ）で定義することができる。ここでは、ライトフィールド画像の原点を画像の左上の画素としたときに、最も左上に位置するマイクロレンズ画像の番号を（ｘ，ｙ）＝（０，０）とする。右側に隣接するマイクロレンズ画像に進むごとにｘの値は、１ずつインクリメントされ、下側に隣接するマイクロレンズ画像に進むごとにｙの値は１ずつインクリメントされる。エピポーラ画像生成部１３は、このマイクロレンズ画像の番号に基づいて、ステップＳ１２３において抽出した行単位の画素をエピポーラ画像の空間（エピポーラ画像空間）に配置してエピポーラ画像を生成する。
[Step S204]
All microlenses or microlens image numbers can be defined with two-dimensional parameters (x, y). Here, when the origin of the light field image is the upper left pixel of the image, the number of the microlens image located at the upper left is (x, y) = (0, 0). The value of x is incremented by 1 each time the microlens image adjacent to the right side is advanced, and the value of y is incremented by 1 each time the microlens image is adjacent to the lower side. Based on the number of the microlens image, the epipolar image generation unit 13 arranges the row unit pixels extracted in step S123 in the space of the epipolar image (epipolar image space) to generate an epipolar image.
なお、エピポーラ画像空間は、ｎ−ｉ空間で定義される空間である。ｎ軸の値は、マイクロレンズ画像の番号（ｘ，ｙ）のうちｘ又はｙのいずれかの値に対応する。ｉ軸の値は、マイクロレンズ画像における水平方向又は垂直方向の画素座標に対応する。なお、マイクロレンズ画像における画素座標は、マイクロレンズ画像の中心を原点とする座標系における座標である。 Note that the epipolar image space is a space defined by the ni space. The n-axis value corresponds to either the x or y value of the microlens image number (x, y). The i-axis value corresponds to pixel coordinates in the horizontal direction or vertical direction in the microlens image. Note that the pixel coordinates in the microlens image are coordinates in a coordinate system with the center of the microlens image as the origin.
例えば、ライトフィールド画像において行ごとにマイクロレンズ画像を選択し、選択したマイクロレンズ画像から同一行の画素を行単位で抽出する場合には、ｎ軸の値はマイクロレンズ画像の番号（ｘ，ｙ）のｘの値に対応し、ｉ軸の値はマイクロレンズ画像における各画素の水平方向の画素座標に対応する。また、ライトフィールド画像において列ごとにマイクロレンズ画像を選択し、選択したマイクロレンズ画像から同一列の画素を列単位で抽出する場合には、ｎ軸の値はマイクロレンズ画像の番号（ｘ，ｙ）のｙの値に対応し、ｉ軸の値はマイクロレンズ画像における各画素の垂直方向の画素座標に対応する。 For example, when a microlens image is selected for each row in a light field image, and pixels in the same row are extracted from the selected microlens image in units of rows, the n-axis value is the number (x, y) of the microlens image. ) And the i-axis value correspond to the horizontal pixel coordinates of each pixel in the microlens image. When a microlens image is selected for each column in the light field image, and pixels in the same column are extracted from the selected microlens image in units of columns, the n-axis value is the number (x, y) of the microlens image. ) And the i-axis value correspond to the pixel coordinates in the vertical direction of each pixel in the microlens image.
図６に示す例において、エピポーラ画像生成部１３は、着目しているマイクロレンズ画像２０３における中央の一行における画素２０４を行単位で抽出し、抽出した画素２０４をエピポーラ画像空間における画素列２０５に配置する。マイクロレンズ画像２０３の番号は（１，４）であり、マイクロレンズ画像２０３から抽出された画素２０４は、エピポーラ画像空間におけるｎ＝４の位置に配置される。 In the example illustrated in FIG. 6, the epipolar image generation unit 13 extracts the pixels 204 in the central row of the microlens image 203 of interest in units of rows, and arranges the extracted pixels 204 in the pixel column 205 in the epipolar image space. To do. The number of the microlens image 203 is (1, 4), and the pixel 204 extracted from the microlens image 203 is arranged at a position of n = 4 in the epipolar image space.
［ステップＳ２０５］
エピポーラ画像生成部１３は、ステップＳ２０２からステップＳ２０４までの処理を繰り返すことにより、ライトフィールド画像における各行のマイクロレンズ画像それぞれに対して複数のエピポーラ画像を生成する。
［ステップＳ２０６］
エピポーラ画像生成部１３は、ステップＳ２０１からステップＳ２０５までの処理を繰り返すことにより、ライトフィールド画像ごとに複数のエピポーラ画像を生成する。すなわち、ライトフィールド画像における画素の行数分のエピポーラ画像が、ライトフィールド画像ごとに生成されることになる。エピポーラ画像生成部１３によって生成されるエピポーラ画像の一例を図７に示す。
[Step S205]
The epipolar image generation unit 13 generates a plurality of epipolar images for each microlens image in each row in the light field image by repeating the processing from step S202 to step S204.
[Step S206]
The epipolar image generation unit 13 generates a plurality of epipolar images for each light field image by repeating the processing from step S201 to step S205. That is, an epipolar image corresponding to the number of rows of pixels in the light field image is generated for each light field image. An example of the epipolar image generated by the epipolar image generation unit 13 is shown in FIG.
図７は、エピポーラ画像生成部１３によって生成されるエピポーラ画像の一例を表す図である。
図７に示されるエピポーラ画像は、エピポーラ画像生成部１３がステップＳ２０２の処理で抽出した行に含まれるマイクロレンズ画像それぞれから、各マイクロレンズ画像における同一行の画素を行単位で抽出し、抽出した各マイクロレンズ画像における行単位の画素をそれぞれエピポーラ画像空間における対応する画素列に配置することによって生成される。図７に示すエピポーラ画像には、２つの直線が示されている。これら２つの直線はそれぞれ被写体を表す。すなわち、図７に示すエピポーラ画像の元になったライトフィールド画像には２つの被写体が撮像されていたことが表されている。
FIG. 7 is a diagram illustrating an example of an epipolar image generated by the epipolar image generation unit 13.
The epipolar image shown in FIG. 7 is obtained by extracting the pixels in the same row in each microlens image from the microlens images included in the row extracted by the process of step S202 by the epipolar image generation unit 13, and extracting the pixels. The pixel is generated by arranging the pixel of each row in each microlens image in the corresponding pixel column in the epipolar image space. In the epipolar image shown in FIG. 7, two straight lines are shown. Each of these two straight lines represents a subject. In other words, the light field image that is the basis of the epipolar image shown in FIG. 7 indicates that two subjects have been imaged.
（エピポーラ画像解析部１４の動作）
図８は、エピポーラ画像解析部１４が行う処理の一例を示す図である。
［ステップＳ３０１］
エピポーラ画像解析部１４は、複数のライトフィールド画像のうち、被写体を撮影した地点を算出する際の基準とするライトフィールド画像を基準画像に選択し、選択したライトフィールド画像を基準画像に設定する。
(Operation of Epipolar Image Analysis Unit 14)
FIG. 8 is a diagram illustrating an example of processing performed by the epipolar image analysis unit 14.
[Step S301]
The epipolar image analysis unit 14 selects a light field image as a reference when calculating a spot where a subject is photographed from among a plurality of light field images as a reference image, and sets the selected light field image as a reference image.
［ステップＳ３０２］
エピポーラ画像解析部１４は、基準画像から生成された複数のエピポーラ画像のうちいずれか一つのエピポーラ画像を選択する。この処理によって選択された基準画像のエピポーラ画像を図８（Ａ）に示す。また、エピポーラ画像解析部１４は、比較対象画像から生成された複数のエピポーラ画像のうちいずれか一つのエピポーラ画像を選択する。この処理によって選択された比較対象画像のエピポーラ画像を図８（Ｂ）に示す。
なお、以下の説明では、ステップＳ３０２の処理で選択された基準画像のエピポーラ画像及び比較対象画像のエピポーラ画像に同一の被写体が複数（図８では、２つ）撮影されているとして説明する。
[Step S302]
The epipolar image analysis unit 14 selects any one epipolar image from a plurality of epipolar images generated from the reference image. The epipolar image of the reference image selected by this processing is shown in FIG. Moreover, the epipolar image analysis part 14 selects any one epipolar image among the several epipolar images produced | generated from the comparison object image. An epipolar image of the comparison target image selected by this processing is shown in FIG.
In the following description, it is assumed that a plurality (two in FIG. 8) of the same subject is captured in the epipolar image of the reference image and the epipolar image of the comparison target image selected in the process of step S302.
［ステップＳ３０３］
エピポーラ画像解析部１４は、基準画像のエピポーラ画像上（図８（Ａ））からそれぞれ直線３０１、３０２及び比較対象画像のエピポーラ画像上（図８（Ｂ））からそれぞれ直線３０３、３０４を検出し、直線パラメータを算出する。
［ステップＳ３０４］
エピポーラ画像解析部１４は、各エピポーラ画像から検出した直線の交点を算出する。具体的には、エピポーラ画像解析部１４は、図８（Ｃ）に示すように、基準画像のエピポーラ画像上から検出された直線３０１と３０２との交点３０５の座標値を直線３０１及び３０２の直線パラメータから算出する。また、エピポーラ画像解析部１４は、図８（Ｄ）に示すように、比較対象画像のエピポーラ画像上から検出された直線３０３と３０４との交点３０６の座標値を直線３０３及び３０４の直線パラメータから算出する。
[Step S303]
The epipolar image analysis unit 14 detects straight lines 301 and 302 from the epipolar image of the reference image (FIG. 8A) and straight lines 303 and 304 from the epipolar image of the comparison target image (FIG. 8B), respectively. Calculate the linear parameters.
[Step S304]
The epipolar image analysis unit 14 calculates the intersection of the straight lines detected from each epipolar image. Specifically, as shown in FIG. 8C, the epipolar image analysis unit 14 determines the coordinate value of the intersection point 305 between the straight lines 301 and 302 detected from the epipolar image of the reference image as the straight lines 301 and 302. Calculate from parameters. Further, as shown in FIG. 8D, the epipolar image analysis unit 14 determines the coordinate value of the intersection point 306 of the straight lines 303 and 304 detected from the epipolar image of the comparison target image from the straight line parameters of the straight lines 303 and 304. calculate.
［ステップＳ３０５］
エピポーラ画像解析部１４は、図８（Ｅ）に示すように、ステップＳ３０４の処理で算出した各交点３０５及び３０６の座標値の２次元上でのずれ量Δｎm、Δｉmを算出する。図８（Ｅ）において、ずれ量Δｎmは矢印３０７の方向を表し、Δｉmは矢印３０８の方向を表す。このずれ量は、エピポーラ画像上での位置ずれ量であり、エピポーラ画像解析部１４はこれら２つのずれ量とライトフィールドカメラの設計パラメータを用いることによって図８（Ａ）に示すエピポーラ画像の元になったライトフィールド画像を撮影した撮影位置と図８（Ｂ）に示すエピポーラ画像の元になったライトフィールド画像を撮影した撮影位置との３次元的なずれ量を算出する。
［ステップＳ３０６］
エピポーラ画像解析部１４は、ステップＳ３０６の処理で算出したずれ量を用いて、以下の式１に基づいて比較対象画像の撮影位置を算出する。
[Step S305]
Epipolar image analysis unit 14, as shown in FIG. 8 (E), the deviation amount [Delta] n m of on a two-dimensional coordinate values of the intersections 305 and 306 calculated in the processing in step S304, calculates the .DELTA.i m. In FIG. 8 (E), the shift amount [Delta] n m represents the direction of arrow 307, .DELTA.i m represents the direction of arrow 308. This shift amount is a positional shift amount on the epipolar image, and the epipolar image analysis unit 14 uses the two shift amounts and the design parameters of the light field camera to generate the epipolar image shown in FIG. A three-dimensional deviation amount is calculated between the shooting position at which the light field image is shot and the shooting position at which the light field image that is the basis of the epipolar image shown in FIG. 8B is shot.
[Step S306]
The epipolar image analysis unit 14 calculates the shooting position of the comparison target image based on Equation 1 below using the shift amount calculated in the process of step S306.
式１のδｍは被写体を撮影した地点を表し、Ｆはメインレンズの焦点距離を表し、ｆはマイクロレンズと撮像素子の距離を表し、ｌはマイクロレンズ間の距離を表し、ｗｐは画素幅を表し、Ｂはメインレンズとマイクロレンズアレイとの間の距離を表し、Ａはメインレンズの焦点距離Ｆを用いたレンズ公式（１／Ａ＋１／Ｂ＝１／Ｆ）を満たす距離を表す。上記設計パラメータの関係を図９に示す。 In Equation 1, δ m represents a point where the subject is photographed, F represents the focal length of the main lens, f represents the distance between the microlens and the image sensor, l represents the distance between the microlenses, and w p represents the pixel. B represents the distance between the main lens and the microlens array, and A represents the distance satisfying the lens formula (1 / A + 1 / B = 1 / F) using the focal length F of the main lens. FIG. 9 shows the relationship between the design parameters.
図９は、パラメータの関係を模式的に説明する図である。
図９における（ｘ，ｕ）はメインレンズ外側の光線を表す。図９において光線（ｘ，ｕ）は、メインレンズとマイクロレンズアレイとの間の距離Ｂ、メインレンズの焦点距離Ｆを用いたレンズ公式（１／Ａ＋１／Ｂ＝１／Ｆ）を満たす距離Ａだけメインレンズから離れた位置として定義されている。また、図９における（ｘ０’，ｕ０’）は撮影地点０でのマイクロレンズアレイ上で定義される光線を表し、（ｘｍ’，ｕｍ’）は撮影地点ｍでのマイクロレンズアレイ上で定義される光線を表す。ここで、ｘは光線の通過する位置を表し、ｕは光線の方向を表す。
FIG. 9 is a diagram schematically illustrating the relationship of parameters.
In FIG. 9, (x, u) represents a light beam outside the main lens. In FIG. 9, a light beam (x, u) is a distance A that satisfies the lens formula (1 / A + 1 / B = 1 / F) using the distance B between the main lens and the microlens array and the focal length F of the main lens. Only defined as a position away from the main lens. Also, (x 0 ', u 0 ') in FIG. 9 represents a light beam which is defined on the microlens array at photographing point 0, (x m ', u m') a microlens array at the photographing point m Represents a ray defined above. Here, x represents the position through which the light beam passes, and u represents the direction of the light beam.
図９に示すような複数の撮影地点から撮影することにより得られたライトフィールド画像を画像取得部１１は取得する。このとき、各ライトフィールド画像は、少なくとも隣接する撮影地点間のライトフィールド画像においては、ライトフィールド画像上の被写体において重複する領域を有している。図２に示す例では、撮影地点０の撮影位置において撮影することにより得られたライトフィールド画像と、撮影地点ｍの撮影位置において撮影することにより得られたライトフィールド画像とに重複領域が存在する場合を示している。エピポーラ画像解析部１４は、図９に示すような重複領域が存在するように撮影されたライトフィールド画像の一方を基準画像に設定し、他方を比較対象画像に設定する。 The image acquisition unit 11 acquires a light field image obtained by shooting from a plurality of shooting points as shown in FIG. At this time, each light field image has an overlapping area in the subject on the light field image, at least in the light field image between adjacent photographing points. In the example shown in FIG. 2, there is an overlap area between the light field image obtained by photographing at the photographing position at the photographing point 0 and the light field image obtained by photographing at the photographing position at the photographing point m. Shows the case. The epipolar image analysis unit 14 sets one of the light field images photographed so that an overlapping region as shown in FIG. 9 exists as a reference image, and sets the other as a comparison target image.
［ステップＳ３０８］
エピポーラ画像解析部１４は、ステップＳ３０２からステップＳ３０６までの処理を繰り返すことにより、被写体を撮影した位置（比較対象画像を撮影した地点）を算出する。
[Step S308]
The epipolar image analyzing unit 14 repeats the processing from step S302 to step S306, thereby calculating the position where the subject is captured (the location where the comparison target image is captured).
以上のように構成された画像解析装置１によれば、複数の地点から撮像された複数のライトフィールド画像のそれぞれから生成された各エピポーラ画像上に、被写体が複数撮像されていることを示す複数の直線が検出される。さらに本実施形態における画像解析装置１では、ライトフィールド画像間で同一の被写体が複数撮像されている。したがって、基準画像のエピポーラ画像上から検出された複数の直線の交点と比較対象画像のエピポーラ画像上から検出された複数の直線の交点とのずれ量と、ライトフィールドカメラの設計パラメータとに基づいて被写体を撮像した位置が算出される。そのため、既知の被写体の撮影を事前に行わず、被写体を撮影した地点を算出することが可能になる。 According to the image analysis apparatus 1 configured as described above, a plurality of objects indicating that a plurality of subjects are imaged on each epipolar image generated from each of a plurality of light field images captured from a plurality of points. The straight line is detected. Furthermore, in the image analysis apparatus 1 according to the present embodiment, a plurality of the same subject is captured between the light field images. Therefore, based on the amount of deviation between the intersection of the plurality of straight lines detected from the epipolar image of the reference image and the intersection of the plurality of straight lines detected from the epipolar image of the comparison target image, and the design parameters of the light field camera The position where the subject is imaged is calculated. For this reason, it is possible to calculate the spot where the subject is photographed without previously photographing the known subject.
＜変形例＞
エピポーラ画像生成部１３は、各ライトフィール画像において行ごとにマイクロレンズ画像を選択することに代えて、各ライトフィールド画像において列ごとにマイクロレンズ画像を選択してもよい。この場合、エピポーラ画像生成部１３は、選択した列のマイクロレンズ画像それぞれから列単位で画素を選択し、選択した一列の画素をマイクロレンズ画像の並び順で行方向に並べることによりエピポーラ画像を生成する。
重複領域を有するライトフィールド画像（比較対象画像）は、異なる撮影位置におけるライトフィールドカメラの撮像素子の物理的な位置が重複するようにライトフィールドカメラを移動させて取得したライトフィールド画像であってもよい。
本実施形態において、画像解析装置１は一つの装置として構成される場合について説明した。しかし、本実施形態における構成に限ることなく、画像取得部１１、画像補正部１２、エピポーラ画像生成部１３及びエピポーラ画像解析部１４それぞれが独立した装置で構成され、各装置が相互に通信可能に接続された画像生成システムとして構成してもよい。
<Modification>
The epipolar image generation unit 13 may select a microlens image for each column in each light field image instead of selecting a microlens image for each row in each lightfeel image. In this case, the epipolar image generation unit 13 selects pixels in units of columns from each microlens image in the selected column, and generates an epipolar image by arranging the selected one column of pixels in the row direction in the arrangement order of the microlens images. To do.
Even if the light field image (comparison target image) having the overlapping area is a light field image obtained by moving the light field camera so that the physical positions of the imaging elements of the light field camera at different shooting positions overlap. Good.
In the present embodiment, the case where the image analysis apparatus 1 is configured as one apparatus has been described. However, without being limited to the configuration in the present embodiment, the image acquisition unit 11, the image correction unit 12, the epipolar image generation unit 13, and the epipolar image analysis unit 14 are each configured by independent devices so that the devices can communicate with each other. A connected image generation system may be configured.
上述した例では基準画像のエピポーラ画像から検出された複数の直線の交点３０５と、比較対象画像のエピポーラ画像から検出された複数の直線の交点３０６とが図８（Ｅ）に示すようにｎ−ｉ平面の上方に現れる例を示した。しかし、基準画像のエピポーラ画像から検出された複数の直線の交点と、比較対象画像のエピポーラ画像から検出された複数の直線の交点とが図１０に示すようにｎ−ｉ平面の下方に現れる場合がある。この場合についてもエピポーラ画像解析部１４は上述した例と同様の処理を行なう。以下、図１０を用いて具体的に説明する。 In the example described above, an intersection 305 of a plurality of straight lines detected from the epipolar image of the reference image and an intersection 306 of the plurality of straight lines detected from the epipolar image of the comparison target image are n− as shown in FIG. The example which appears above i plane was shown. However, the intersection of a plurality of straight lines detected from the epipolar image of the reference image and the intersection of the plurality of straight lines detected from the epipolar image of the comparison target image appear below the ni plane as shown in FIG. There is. Also in this case, the epipolar image analysis unit 14 performs the same processing as in the above-described example. Hereinafter, this will be specifically described with reference to FIG.
図１０は、エピポーラ画像解析部１４が行う処理の別例を示す図である。
エピポーラ画像解析部１４は、基準画像から生成された複数のエピポーラ画像のうちいずれか一つのエピポーラ画像を選択する。この処理によって選択された基準画像のエピポーラ画像を図１０（Ａ）に示す。また、エピポーラ画像解析部１４は、比較対象画像から生成された複数のエピポーラ画像のうちいずれか一つのエピポーラ画像を選択する。この処理によって選択された比較対象画像のエピポーラ画像を図１０（Ｂ）に示す。
FIG. 10 is a diagram illustrating another example of the process performed by the epipolar image analysis unit 14.
The epipolar image analysis unit 14 selects any one epipolar image from a plurality of epipolar images generated from the reference image. An epipolar image of the reference image selected by this processing is shown in FIG. Moreover, the epipolar image analysis part 14 selects any one epipolar image among the several epipolar images produced | generated from the comparison object image. An epipolar image of the comparison target image selected by this processing is shown in FIG.
次に、エピポーラ画像解析部１４は、基準画像のエピポーラ画像上（図１０（Ａ））からそれぞれ直線３０９、３１０及び比較対象画像のエピポーラ画像上（図１０（Ｂ））からそれぞれ直線３１１、３１２を検出し、直線パラメータを算出する。
エピポーラ画像解析部１４は、各エピポーラ画像から検出した直線の交点を算出する。具体的には、エピポーラ画像解析部１４は、図１０（Ｃ）に示すように、基準画像のエピポーラ画像上から検出された直線３０９と３１０との交点３１３の座標値を直線３０９及び３１０の直線パラメータから算出する。また、エピポーラ画像解析部１４は、図１０（Ｄ）に示すように、比較対象画像のエピポーラ画像上から検出された直線３１１と３１２との交点３１４の座標値を直線３１１及び３１２の直線パラメータから算出する。
Next, the epipolar image analysis unit 14 includes straight lines 309 and 310 from the epipolar image of the reference image (FIG. 10A) and straight lines 311 and 312 from the epipolar image of the comparison target image (FIG. 10B), respectively. Is detected, and a linear parameter is calculated.
The epipolar image analysis unit 14 calculates the intersection of the straight lines detected from each epipolar image. Specifically, as shown in FIG. 10C, the epipolar image analysis unit 14 determines the coordinate value of the intersection 313 of the straight lines 309 and 310 detected from the epipolar image of the reference image as the straight lines 309 and 310. Calculate from parameters. Further, as shown in FIG. 10D, the epipolar image analysis unit 14 determines the coordinate value of the intersection point 314 between the straight lines 311 and 312 detected from the epipolar image of the comparison target image from the straight line parameters of the straight lines 311 and 312. calculate.
エピポーラ画像解析部１４は、図１０（Ｅ）に示すように、算出した各交点３１３及び３１４の座標値の２次元上でのずれ量Δｎm、Δｉmを算出する。図１０（Ｅ）において、ずれ量Δｎmは矢印３１５の方向を表し、Δｉmは矢印３１６の方向を表す。このずれ量は、エピポーラ画像上での位置ずれ量であり、エピポーラ画像解析部１４はこれら２つのずれ量とライトフィールドカメラの設計パラメータを用いることによって図１０（Ａ）に示すエピポーラ画像の元になったライトフィールド画像を撮影した撮影位置と図１０（Ｂ）に示すエピポーラ画像の元になったライトフィールド画像を撮影した撮影位置との３次元的なずれ量を算出する。そして、エピポーラ画像解析部１４は、算出したずれ量を用いて、上記式１に基づいて比較対象画像の撮影位置を算出する。 Epipolar image analysis unit 14, as shown in FIG. 10 (E), the deviation amount [Delta] n m of on a two-dimensional coordinate values of the intersections 313 and 314 calculated, calculates a .DELTA.i m. In FIG. 10 (E), the shift amount [Delta] n m represents the direction of arrow 315, .DELTA.i m represents the direction of arrow 316. This shift amount is a positional shift amount on the epipolar image, and the epipolar image analysis unit 14 uses the two shift amounts and the design parameters of the light field camera to generate the epipolar image shown in FIG. A three-dimensional deviation amount between the photographing position where the captured light field image is photographed and the photographing position where the light field image which is the basis of the epipolar image shown in FIG. 10B is photographed is calculated. Then, the epipolar image analysis unit 14 calculates the shooting position of the comparison target image based on Equation 1 using the calculated shift amount.
なお、本発明の画像解析装置１の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、画像解析装置１の各処理に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。 By recording a program for executing each process of the image analysis apparatus 1 of the present invention on a computer-readable recording medium, causing the computer system to read and execute the program recorded on the recording medium, You may perform the various process mentioned above which concerns on each process of the image analysis apparatus 1. FIG. Here, the “computer system” may include an OS and hardware such as peripheral devices. Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used. The “computer-readable recording medium” means a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, etc. This is a storage device.
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。 Further, the “computer-readable recording medium” means a volatile memory (for example, DRAM (Dynamic DRAM) in a computer system that becomes a server or a client when a program is transmitted through a network such as the Internet or a communication line such as a telephone line. Random Access Memory)), etc., which hold programs for a certain period of time. The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, what is called a difference file (difference program) may be sufficient.
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.
１…画像解析装置， １１…画像取得部， １２…画像補正部， １３…エピポーラ画像生成部， １４…エピポーラ画像解析部 DESCRIPTION OF SYMBOLS 1 ... Image analysis apparatus, 11 ... Image acquisition part, 12 ... Image correction part, 13 ... Epipolar image generation part, 14 ... Epipolar image analysis part
Claims (4)
複数のライトフィールド画像に対して、前記ライトフィールド画像に含まれる全てのマイクロレンズ画像の中心位置の座標値を用いて、全てのマイクロレンズ画像が前記ライトフィールド画像の水平軸又は垂直軸と平行になる回転角度を算出し、算出した前記回転角度だけ全てのマイクロレンズ画像を前記ライトフィールド画像の水平軸又は垂直軸と平行になる方向に回転することで補正を行う画像補正部と、
補正がなされた複数のライトフィールド画像からそれぞれエピポーラ画像を生成するエピポーラ画像生成部と、
補正がなされた複数のライトフィールド画像のうちいずれか一つのライトフィールド画像を基準画像とし、前記基準画像のエピポーラ画像と補正がなされた他のライトフィールド画像のエピポーラ画像とに基づいて、前記他のライトフィールド画像のエピポーラ画像上から得られる直線の交点の座標位置と前記基準画像のエピポーラ画像上から得られる直線の交点の座標位置とのずれ量を算出し、算出した前記ずれ量を用いて、前記基準画像を撮影した位置に対する相対位置である前記被写体を撮影した位置を算出するエピポーラ画像解析部と、
を備える画像解析装置。 A plurality of identical subjects are captured in a light field image including a plurality of microlens images taken from a plurality of points and imaged using a plurality of microlenses. An image analysis device for calculating a position where the subject is photographed when
For a plurality of light field images , using the coordinate values of the center positions of all the micro lens images included in the light field image, all the micro lens images are parallel to the horizontal axis or the vertical axis of the light field image. An image correction unit that performs correction by rotating all the microlens images in the direction parallel to the horizontal axis or the vertical axis of the light field image by the calculated rotation angle ,
An epipolar image generation unit for generating an epipolar image from each of the corrected light field images,
One of the plurality of corrected light field images is set as a reference image, and the other light field image is corrected based on the epipolar image of the reference image and the corrected epipolar image of another light field image. Calculate the amount of deviation between the coordinate position of the intersection of the straight line obtained from the epipolar image of the light field image and the coordinate position of the intersection of the straight line obtained from the epipolar image of the reference image, and using the calculated amount of deviation , An epipolar image analyzer that calculates a position at which the subject is photographed, which is a relative position to the position at which the reference image is photographed ;
An image analysis apparatus comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014254311A JP6261085B2 (en) | 2014-12-16 | 2014-12-16 | Image analysis apparatus and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014254311A JP6261085B2 (en) | 2014-12-16 | 2014-12-16 | Image analysis apparatus and computer program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016114518A JP2016114518A (en) | 2016-06-23 |
| JP6261085B2 true JP6261085B2 (en) | 2018-01-17 |
Family
ID=56139991
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014254311A Active JP6261085B2 (en) | 2014-12-16 | 2014-12-16 | Image analysis apparatus and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6261085B2 (en) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011043419A (en) * | 2009-08-21 | 2011-03-03 | Sony Corp | Information processor, information processing method, and program |
| EP2751777B1 (en) * | 2011-08-31 | 2019-08-07 | Apple Inc. | Method for estimating a camera motion and for determining a three-dimensional model of a real environment |
| JP5745178B2 (en) * | 2012-06-29 | 2015-07-08 | 富士フイルム株式会社 | Three-dimensional measurement method, apparatus and system, and image processing apparatus |
| WO2014053194A1 (en) * | 2012-10-05 | 2014-04-10 | Vidinoti Sa | Annotation method and apparatus |
| JP2014220581A (en) * | 2013-05-01 | 2014-11-20 | キヤノン株式会社 | Imaging apparatus and control method of the same |
| JP6114229B2 (en) * | 2014-04-28 | 2017-04-12 | 日本電信電話株式会社 | Image generating apparatus and image generating program |
| JP6236664B2 (en) * | 2014-12-16 | 2017-11-29 | 日本電信電話株式会社 | Image correction apparatus and computer program |
-
2014
- 2014-12-16 JP JP2014254311A patent/JP6261085B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016114518A (en) | 2016-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4915859B2 (en) | Object distance deriving device | |
| JP5929553B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP6007178B2 (en) | 3D imaging system | |
| US10348945B2 (en) | Light field image capturing apparatus including shifted microlens array | |
| JP6701194B2 (en) | Image sensor unit and imaging device | |
| TWI577171B (en) | Systems and methods for obtaining image depth information | |
| JP5459337B2 (en) | Imaging apparatus, image processing method, and program | |
| RU2016136352A (en) | METHOD AND DEVICE FOR FORMING DATA REPRESENTING A LIGHT FIELD | |
| JP2008242658A (en) | Three-dimensional object imaging apparatus | |
| JP2014150466A5 (en) | ||
| JP2014153890A (en) | Image processing apparatus, imaging apparatus, control method, and program | |
| JP2011182237A (en) | Compound-eye imaging device, and image processing method in the same | |
| WO2015132831A1 (en) | Image pickup apparatus | |
| US9791599B2 (en) | Image processing method and imaging device | |
| JP6114229B2 (en) | Image generating apparatus and image generating program | |
| JP7300895B2 (en) | Image processing device, image processing method, program, and storage medium | |
| JP7169363B2 (en) | Imaging device | |
| JP2017011652A5 (en) | ||
| JP6261085B2 (en) | Image analysis apparatus and computer program | |
| JP6236664B2 (en) | Image correction apparatus and computer program | |
| JP2014155071A5 (en) | ||
| US10965861B2 (en) | Image processing device, image processing method, and program | |
| US9596402B2 (en) | Microlens array for solid-state image sensing device, solid-state image sensing device, imaging device, and lens unit | |
| JP5354005B2 (en) | Image processing apparatus, image processing method, and program | |
| JP6344996B2 (en) | Imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161208 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20161208 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170823 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170926 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171114 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171205 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171208 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6261085 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |