WO2021106027A1 - カメラパラメータ導出装置、カメラパラメータ導出方法及びカメラパラメータ導出プログラム - Google Patents

カメラパラメータ導出装置、カメラパラメータ導出方法及びカメラパラメータ導出プログラム Download PDF

Info

Publication number
WO2021106027A1
WO2021106027A1 PCT/JP2019/045905 JP2019045905W WO2021106027A1 WO 2021106027 A1 WO2021106027 A1 WO 2021106027A1 JP 2019045905 W JP2019045905 W JP 2019045905W WO 2021106027 A1 WO2021106027 A1 WO 2021106027A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
ideal
estimated
cameras
derivation
Prior art date
Application number
PCT/JP2019/045905
Other languages
English (en)
French (fr)
Inventor
隆昌 永井
伊達　宗和
信哉 志水
木全　英明
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2021560762A priority Critical patent/JP7208571B2/ja
Priority to US17/776,035 priority patent/US20220394183A1/en
Priority to PCT/JP2019/045905 priority patent/WO2021106027A1/ja
Publication of WO2021106027A1 publication Critical patent/WO2021106027A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • the present invention relates to a camera parameter derivation device, a camera parameter derivation method, and a camera parameter derivation program.
  • Multi-viewpoint images generated by shooting subjects with multiple cameras are input to the light field display.
  • the multi-viewpoint image of the subject is displayed as an image for each viewpoint, specifically, on the light field display so that the image incident on the left eye of the observer and the image incident on the right eye of the observer are different.
  • the light field display can display an image of the subject that appears to stand out to the observer (see Non-Patent Document 1).
  • the positions of the observer's left eye and right eye with respect to the position of the light field display and the positions of the two cameras with respect to the position of the subject displayed on the light field display have the same positional relationship. For this reason, it is necessary that a plurality of cameras are accurately installed in a predetermined arrangement in the light field display.
  • a predetermined arrangement in the light field display disclosed in Non-Patent Document 1, it is ideal that all the cameras for photographing the subject are installed on a straight line at equal intervals and the directions of all the cameras are parallel to each other. It is predetermined as a typical arrangement.
  • one of the plurality of cameras may not be installed on a straight line at equal intervals.
  • the orientation of one of the plurality of cameras may not be parallel to the orientation of the remaining cameras.
  • Non-Patent Document 2 discloses a technique for correcting a multi-viewpoint image generated by a plurality of cameras having a non-ideal arrangement to a multi-viewpoint image generated by a plurality of cameras having an ideal arrangement.
  • the camera parameters of each camera in an ideal arrangement in which all the cameras for photographing the subject are installed on a straight line at equal intervals and the directions of all the cameras are parallel to each other are derived.
  • the multi-viewpoint image is corrected based on the derived camera parameters.
  • the present invention keeps the multi-viewpoint image constant so that the observer feels less discomfort when generating the multi-viewpoint image displayed on the light field display based on the images taken by a plurality of cameras. It is an object of the present invention to provide a camera parameter derivation device, a camera parameter derivation method, and a camera parameter derivation program capable of deriving a camera parameter for correction with the above accuracy.
  • One aspect of the present invention is that the cameras are arranged at each ideal position, which is an ideal position defined at equal intervals on a straight line, and the directions of all the arranged cameras are parallel to each other.
  • a camera parameter derivation device that derives camera parameters of a plurality of cameras for which is defined, and cameras are arranged at each estimated position, which is an estimated position that may have an error with respect to the ideal position.
  • the internal parameter derivation unit that derives the internal parameter matrix for each camera and the ideal position that minimizes the maximum value of the distance between the estimated position and the ideal position for each arranged camera are arranged.
  • the external parameters are a camera position derivation unit that is derived for each camera based on the external parameters for each camera, and a rotation matrix for correcting the external parameters so that the error is equal to or less than the threshold value with respect to the directions parallel to each other. It is a camera parameter derivation device including a rotation matrix derivation unit which derives based on.
  • the multi-viewpoint image displayed on a light field display is generated based on images taken by a plurality of cameras
  • the multi-viewpoint image is corrected with a certain degree of accuracy or higher so as to reduce discomfort to the observer. It is possible to derive the camera parameters for this.
  • FIG. 1 is a diagram showing a configuration example of the camera parameter derivation device 1a.
  • the camera parameter derivation device 1a is a device for deriving camera parameters for a plurality of cameras.
  • the camera parameter derivation device 1a displays the multi-viewpoint image at a certain level or more so as to reduce discomfort to the observer.
  • Derivation of ideal camera parameters for correction with accuracy.
  • the camera parameter derivation device 1a derives the ideal internal parameters of each camera, the ideal position of each camera, and the ideal rotation matrix of each camera.
  • the ideal layout is one that meets the predetermined conditions.
  • the predetermined conditions are that all the cameras that shoot the subject are installed on a straight line at equal intervals with a predetermined accuracy, and the orientations of all the cameras are parallel to each other with a predetermined accuracy. It is a condition.
  • Camera parameters include external parameters and internal parameters.
  • the external parameter is a parameter representing the position and orientation (attitude) of the camera, and is, for example, a parameter representing a translation vector (translation vector) representing the position of the camera and a rotation matrix representing the posture of the camera.
  • the internal parameters are parameters for converting camera coordinates into image coordinates, for example, a parameter representing a focal length, a parameter representing the position of an optical center (principal point), and a parameter representing lens distortion.
  • the camera parameter derivation device 1a includes an internal parameter derivation unit 10, a camera position derivation unit 11a, and a rotation matrix derivation unit 12a.
  • the camera position derivation unit 11a includes a provisional position derivation unit 110 and an ideal position derivation unit 111a.
  • FIG. 2 is a diagram showing a hardware configuration example of the camera parameter derivation device 1a.
  • the camera parameter derivation device 1a includes a processor 100, a storage unit 200, and a communication unit 300.
  • a part or all of the internal parameter derivation unit 10, the camera position derivation unit 11a, and the rotation matrix derivation unit 12a is a non-volatile recording medium (non-temporary recording) by a processor 100 such as a CPU (Central Processing Unit). It is realized as software by executing a program stored in a storage unit 200 having a medium). The program may be recorded on a computer-readable recording medium.
  • Computer-readable recording media include, for example, flexible disks, optomagnetic disks, portable media such as ROM (ReadOnlyMemory) and CD-ROM (CompactDiscReadOnlyMemory), and storage of hard disks built into computer systems. It is a non-temporary recording medium such as a device.
  • the program may be received by the communication unit 300 via the communication line.
  • the storage unit 200 may store the camera parameters of each camera, the image data, the data table, and the lookup table.
  • a part or all of the internal parameter derivation unit 10, the camera position derivation unit 11a, and the rotation matrix derivation unit 12a may be, for example, an LSI (Large Scale Integration circuit), an ASIC (Application Specific Integrated Circuit), or a PLD (Programmable Logic Device). ) Or FPGA (Field Programmable Gate Array) or the like may be realized by using hardware including an electronic circuit (electronic circuit or circuitry).
  • the position estimated as the actual position of the camera is referred to as "estimated position".
  • the ideal position for the camera is called the “ideal position”.
  • the provisional position as the ideal position of the camera is called the “provisional ideal position”.
  • the position that serves as the reference for the position of the camera is called the “reference position”.
  • the provisional position as the reference position of the camera is called the “provisional reference position”.
  • the ideal distance between adjacent cameras is called the “ideal distance”.
  • the provisional distance between cameras is called the “provisional ideal distance”.
  • the vector of the distance between adjacent ideal positions is called the “ideal distance vector”.
  • the vector of the distance between adjacent provisional positions is called the "provisional ideal distance vector”.
  • dial represents an ideal distance vector.
  • C i ideal represents the ideal position of the camera 2-i.
  • C i real represents the estimated position of camera 2-i “C i”.
  • the ideal position of camera 2-1 "C 1 " is defined as the reference position.
  • N cameras 2-i shoot the subject.
  • Each camera 2-i generates a moving image or a still image including an image of a subject (not shown).
  • a multi-viewpoint image is generated from the images taken by the n cameras 2-i.
  • the internal and external parameters of camera 2-i are estimated in advance by, for example, the calibration method disclosed in Reference 1.
  • the internal parameter derivation unit 10 derives and outputs an ideal internal parameter matrix for each camera 2-i based on the input estimated internal parameters.
  • the provisional position derivation unit 110 derives and outputs a provisional reference position for each camera 2-i based on the input estimated external parameters.
  • the provisional position derivation unit 110 derives and outputs the provisional ideal distance vector of the camera 2-i based on the input estimated external parameters.
  • the ideal position derivation unit 111a derives the ideal position for each camera 2-i based on the provisional reference position and the provisional ideal distance vector.
  • the ideal position derivation unit 111a derives the ideal distance vectors of n cameras 2-i and outputs them to the rotation matrix derivation unit 12a.
  • the rotation matrix derivation unit 12a derives an ideal rotation matrix for each camera 2-i based on the estimated external parameters and n cameras 2-i ideal distance vectors.
  • the internal parameter derivation unit 10 inputs the internal parameters estimated in the calibration executed in advance, derives an ideal internal parameter matrix, and outputs the ideal internal parameter matrix.
  • the method by which the internal parameter derivation unit 10 derives the ideal internal parameter matrix is not limited to a specific derivation method.
  • the internal parameter derivation unit 10 may derive the average of the internal parameter matrices of all cameras 2-i as an ideal internal parameter matrix.
  • the internal parameter derivation unit 10 may derive the average of the internal parameter matrices of all cameras 2-i, and derive the internal parameter matrix closest to the average as an ideal internal parameter matrix.
  • the internal parameter derivation unit 10 may derive the internal parameter matrix of the camera 2-i selected from all the arranged cameras 2-i as an ideal internal parameter matrix.
  • the camera position derivation unit 11a acquires the external parameters estimated in the pre-executed calibration. Camera position deriving unit 11a inputs the estimated extrinsic parameters, the reference position "C 1 ideal”, derives the ideal distance vector between adjacent ideal position "C i ideal” “d ideal” output To do. Camera position deriving unit 11a, the reference position "C 1 ideal”, based on the ideal distance vector between adjacent ideal position "C i ideal” “d ideal” ideal position "C i ideal” camera 2 -Derived for each i and output.
  • the camera position derivation unit 11a derives the equation (1) so as to minimize the maximum value of the distance (error) between the estimated position and the ideal position.
  • D i represents the distance between the estimated position "C i real” and the ideal position of the camera 2-i "C i ideal”.
  • the distance between the estimated position "C i real” and the ideal position of the camera 2-i "C i ideal” is expressed by the equation (2).
  • Camera position deriving unit 11a by solving Equation (1) is derived reference position as "C 1 ideal” and the ideal distance vector "d ideal".
  • the method by which the camera position deriving unit 11a solves the equation (1) is not limited to a specific method.
  • the camera position deriving unit 11a may derive the reference position “C 1 ideal ” and the ideal distance vector “ dial ” by, for example, performing a full search.
  • Temporary position deriving unit 110 is input with an external parameter estimated in advance executed calibration, to derive a provisional reference position "C '1" and interim ideal distance vector "d'", the ideal position deriving section 111a Output.
  • temporary position deriving unit 110 by solving equation (4) that minimizes the sum of distances (error) between the estimated position "C i real” and interim ideal position "C 'i' interim standards position to derive a "C '1" and interim ideal distance vector "d'”.
  • C'i represents the provisional ideal position of the camera 2-i.
  • C 'i' is the provisional reference position" C 'using 1 "and interim ideal distance vector"d'”is expressed by the equation (5).
  • Ideal position deriving unit 111a derived provisional reference position "C '1” and interim ideal distance vector “d'” as an input, defined as the initial value of the formula (1).
  • Ideal position deriving unit 111a in a predetermined range, by adjusting the provisional reference position "C '1” and interim ideal distance vector "d'", the reference position of the camera 2-1 "C 1 ideal” and to derive the ideal distance vector "d ideal", to output.
  • the range of adjustment is not limited to a specific range.
  • the ideal position deriving unit 111a, 'the distance from "1 to the shortest estimated position" C 2 real "provisional reference position" C provisional reference position C “' may be the upper limit of the range for moving the 1".
  • the ideal position deriving unit 111a, the average of the distance between the estimated position adjacent "C i real” may be a distance that is added to or subtracted from the provisional ideal distance vector "d '".
  • Ideal position deriving unit 111a based on the reference position of the camera 2-1 and "C 1 ideal” the ideal distance vector "d ideal", as in Equation (2), an ideal position "C i ideal” camera 2 -Derived for each i and output.
  • the rotation matrix derivation unit 12a acquires the external parameters estimated in the calibration executed in advance and uses them as inputs.
  • the rotation matrix derivation unit 12a acquires an ideal distance vector “diial ” for n cameras 2-i from the ideal position derivation unit 111a.
  • the rotation matrix derivation unit 12a can derive an ideal rotation matrix in which the directions of all the cameras 2-i are parallelized.
  • a light field display by converting the image taken by each camera 2-i from the ideal position to the image taken by each camera 2-i based on the ideal internal parameter matrix, the ideal position, and the ideal rotation matrix. Generates a multi-viewpoint image that can be reproduced accurately with.
  • the method for deriving the ideal rotation matrix is not limited to a specific method.
  • the rotation matrix derivation unit 12a may use the unit vector of the ideal distance vector as the x component of the ideal rotation matrix.
  • the rotation matrix derivation unit 12a ideally sets the outer product of the z component of the rotation matrix of the camera 2-i selected from the arranged cameras 2-i and the x component of the ideal rotation matrix. It may be the y component of a rotation matrix.
  • the rotation matrix derivation unit 12a may use the outer product of the x component and the y component of the ideal rotation matrix as the z component of the ideal rotation matrix.
  • FIG. 4 is a flowchart showing an operation example of the camera parameter derivation device 1a.
  • the internal parameter derivation unit 10 acquires the estimated internal parameters.
  • the internal parameter derivation unit 10 takes the estimated internal parameter as an input and derives an ideal internal parameter matrix.
  • the internal parameter derivation unit 10 outputs an ideal internal parameter matrix (step S101). Note that step S101 may be executed after any of the steps from step S102 to step S104 has been executed.
  • the camera position derivation unit 11a acquires the estimated external parameters. Camera position deriving unit 11a inputs the estimated extrinsic parameters, the reference position "C 1 ideal”, derives the ideal distance vector between adjacent ideal position "C i ideal” "d ideal” output (Step S102).
  • Camera position deriving unit 11a the reference position "C 1 ideal", based on the ideal distance vector between adjacent ideal position "C i ideal” “d ideal” ideal position "C i ideal” camera 2 -Derived for each i and output (step S103).
  • the rotation matrix derivation unit 12a acquires the estimated external parameters.
  • Rotation matrix derivation unit 12a the ideal distance vector "d ideal” between adjacent ideal position "C i ideal” is acquired from the camera position deriving section 11a.
  • Rotation matrix derivation unit 12a includes an external parameter estimated, based on the ideal distance vector between the ideal position adjacent "C i ideal” "d ideal” ideal rotation matrix for each camera 2-i Derived and output (step S104).
  • FIG. 5 is a flowchart showing an example of an operation of deriving the reference position “C 1 ideal ” and the distance vector “d ideal”.
  • the provisional position derivation unit 110 acquires the estimated external parameters.
  • Temporary position deriving unit 110 inputs the estimated extrinsic parameters, to derive an estimated position "C i real” the sum of the distances between the provisional ideal position "C 'i'.
  • Provisional position deriving section 110 'sum of the distances between the "i (e.g., Equation (4)) on the basis of the provisional reference position" C provisional ideal position and the estimated position "C i real" C "' 1"
  • the provisional ideal distance vector "d'" between adjacent provisional ideal positions are derived and output (step S201).
  • Ideal position deriving unit 111a, 'and' 1, ideal distance vector "d between the provisional ideal position adjacent provisional reference position C"'and” is obtained from the provisional position deriving section 110.
  • the ideal position deriving unit 111a derives an ideal position for each camera 2-i based on the reference position “C 1 ideal ” and the ideal distance vector “d ideal” between adjacent ideal positions.
  • the ideal position derivation unit 111a outputs the ideal position for each camera 2-i to an external device (not shown).
  • the ideal position derivation unit 111a outputs an ideal distance vector “didal ” between adjacent ideal positions to the rotation matrix derivation unit 12a (step S202).
  • the cameras 2-i are arranged at each ideal position, which is an ideal position defined at equal intervals on a straight line, and all the cameras 2-i are arranged.
  • Derivation of camera parameters (internal parameter matrix, external parameters) of a plurality of cameras 2-i in which the condition that the directions of the cameras are parallel to each other is defined.
  • the cameras 2-1 to 2-n are arranged at each estimated position, which is an estimated position that may have an error with respect to the ideal position, and may have an error with respect to the orientation parallel to each other. It is arranged in a certain estimated orientation.
  • the cameras 2-i are arranged at each estimated position, and all the cameras 2-i arranged in the estimated directions that may have an error with respect to the directions parallel to each other. Based on the estimated internal parameter matrix, an internal parameter matrix for correcting the estimated internal parameter matrix is derived for each camera 2-i.
  • Camera position deriving unit 11a an ideal position to minimize the maximum value of the distance "D i" between the estimated location of each deployed camera 2-i "C i real” and the ideal position "C i ideal” (For example, the equation (1)) is derived for each camera 2-i based on the external parameters for each of the arranged cameras 2-i.
  • the camera position deriving unit 11a sets the distance vector between the provisional reference position and the provisional ideal position so as to minimize the sum of the distances between the estimated position and the provisional ideal position (for example, Eq. (4)). It may be derived.
  • the camera position derivation unit 11a derives an ideal position that minimizes the maximum value of the distance between the estimated position and the ideal position by adjusting the distance vector between the provisional reference position and the provisional ideal position. May be good.
  • the rotation matrix derivation unit 12a derives a rotation matrix based on the external parameters for correcting the external parameters so that the error is equal to or less than the threshold value for the directions parallel to each other.
  • the rotation matrix derivation unit 12a derives a rotation matrix based on an external parameter and a distance vector between adjacent ideal positions.
  • the camera position derivation unit 11a sets the ideal position that minimizes the maximum value of the estimated position and the distance between the ideal positions for each of the placed cameras 2-i. Derived and output for each camera 2-i based on the external parameters for each.
  • the multi-viewpoint image is corrected with a certain degree of accuracy or higher so as to reduce discomfort to the observer. It is possible to derive the camera parameters for this.
  • the ideal position of the camera which is one of the camera parameters, can be efficiently derived with a reduced amount of calculation.
  • the second embodiment differs from the first embodiment in that the rotation matrix derivation unit derives an ideal rotation matrix based only on external parameters.
  • the differences from the first embodiment will be mainly described.
  • FIG. 6 is a diagram showing a configuration example of the camera parameter derivation device 1b.
  • the camera parameter derivation device 1b includes an internal parameter derivation unit 10, a camera position derivation unit 11b, and a rotation matrix derivation unit 12b.
  • the camera position derivation unit 11b includes a provisional position derivation unit 110 and an ideal position derivation unit 111b.
  • Ideal position deriving portion 111b is 'a "1, a distance vector" d between the provisional ideal position adjacent provisional reference position C “'and” is obtained from the provisional position deriving section 110.
  • Ideal position deriving portion 111b is 'a "1, the distance vector between the provisional ideal position adjacent” d provisional reference position C “'and” (e.g., Equation (5)) as input, the reference position "C 1 ideal And the distance vector " dideal " between adjacent ideal positions.
  • the ideal position derivation unit 111b derives the ideal position for each camera 2-i based on the reference position “C 1 ideal ” and the distance vector “ dial” between the adjacent ideal positions.
  • the ideal position derivation unit 111b outputs the ideal position for each camera 2-i to an external device (not shown).
  • the rotation matrix derivation unit 12b acquires the external parameters estimated in the calibration executed in advance.
  • the rotation matrix derivation unit 12b takes the estimated external parameters as an input and derives an ideal rotation matrix for each camera 2-i.
  • the rotation matrix derivation unit 12a outputs an ideal rotation matrix in which the directions of all the cameras 2-i are parallel to each other to an external device (not shown).
  • the method by which the rotation matrix derivation unit 12b derives the ideal rotation matrix is not limited to a specific method.
  • the rotation matrix derivation unit 12b may derive the average value of the rotation matrix of each camera as an ideal rotation matrix.
  • FIG. 7 is a flowchart showing an operation example of the camera parameter derivation device 1b. Steps S301 to S303 are the same as steps S101 to S103 shown in FIG.
  • the rotation matrix derivation unit 12b acquires the estimated external parameters.
  • the rotation matrix derivation unit 12b takes the estimated external parameters as an input, derives an ideal rotation matrix in which the directions of all the cameras 2-i are parallel to each other, and outputs the ideal rotation matrix for each camera 2-i (step S304). ..
  • the execution order of step S301 and step S302 does not matter.
  • the rotation matrix derivation unit 12b derives the rotation matrix based on the external parameters.
  • the camera parameters for correcting the multi-viewpoint image so as to reduce the discomfort to the observer are set. It is possible to derive it.
  • the present invention is applicable to an image processing device that derives camera parameters for correcting a multi-viewpoint image displayed on a light field display or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

カメラパラメータ導出装置は、直線上に等間隔に定められた理想的な位置である理想位置ごとにカメラが配置され、且つ、配置された全てのカメラの向きが互いに平行な向きであるという条件が定められている複数のカメラのカメラパラメータを導出するカメラパラメータ導出装置であって、推定位置ごとにカメラが配置され、且つ、推定された向きに配置された全てのカメラの推定された内部パラメータ行列に基づいて、内部パラメータ行列をカメラごとに導出する内部パラメータ導出部と、推定位置及び理想位置の間の距離のうちの最大値を最小化する理想位置を、カメラごとに導出するカメラ位置導出部と、互いに平行な向きに対して誤差が閾値以下となるように外部パラメータを補正するための回転行列を導出する回転行列導出部とを備える。

Description

カメラパラメータ導出装置、カメラパラメータ導出方法及びカメラパラメータ導出プログラム
　本発明は、カメラパラメータ導出装置、カメラパラメータ導出方法及びカメラパラメータ導出プログラムに関する。
　観察者にとって被写体が浮き出て見える画像を表示する技術として、裸眼立体ディスプレイやライトフィールドディスプレイ等がある。複数台のカメラで被写体を撮影し生成された多視点画像が、ライトフィールドディスプレイに入力される。被写体の多視点画像は視点ごとの画像として、具体的には観察者の左目に入射される画像と、その観察者の右目に入射される画像とが異なるように、ライトフィールドディスプレイ上に表示される。これらの左右の目を用いて認識される画像の差によって、観察者にとって浮き出て見える被写体の画像を、ライトフィールドディスプレイが表示することができる（非特許文献１参照）。
　ライトフィールドディスプレイの位置に対する観察者の左目及び右目の各位置と、ライトフィールドディスプレイに表示される被写体の位置に対する２台のカメラの各位置とが、同じ位置関係となっている。このため、ライトフィールドディスプレイにおいて予め定められた配置で、複数のカメラが正確に設置されている必要がある。例えば、非特許文献１に開示されたライトフィールドディスプレイでは、被写体を撮影する全てのカメラが直線上に等間隔で設置され、且つ、それら全てのカメラの向きが互いに平行であるという配置が、理想的な配置として予め定められている。
　しかしながら、被写体を撮影する全てのカメラを理想的な配置で作業者が設置することは困難である。実際の配置作業では、複数のカメラのうちのいずれかのカメラが直線上に等間隔で設置されない場合がある。また、複数のカメラのうちのいずれかのカメラの向きが、残りのカメラの向きに対して平行でない場合もある。
　これらの場合、観察者の左目及び右目に映る各々の画像をライトフィールドディスプレイ上で正確な位置関係で再現できないので、観察者にとって被写体が立体的に見える画像を精度よく再現することができない。
　理想的でない配置の複数のカメラによって生成された多視点画像を、理想的な配置の複数のカメラによって生成された多視点画像に補正する技術が、非特許文献２に開示されている。非特許文献２では、被写体を撮影する全てのカメラが直線上に等間隔で設置され、且つ、それら全てのカメラの向きが互いに平行であるという理想的な配置の各カメラのカメラパラメータが導出される。導出されたカメラパラメータに基づいて、多視点画像が補正される。
伊達宗和，磯貝愛，木全英明，"視覚的に等価なライトフィールド3Dによるフルパララックステーブルトップ表示"，第23回日本バーチャルリアリティ学会大会論文集，2018.9.19-21，東北大学，日本 Jiachen Yang, Fei Guo, Huogen Wang, Zhiyong Ding, "A Multi-View Image Rectification algorithm for matrix camera arrangement", Artificial Intelligence Research, 3(1), (2014): 18-29
　このように、多視点画像がライトフィールドディスプレイに入力される際には、観察者にとって違和感が少なくなるように多視点画像を一定以上の精度で補正するためのカメラパラメータが導出される必要がある。
　上記事情に鑑み、本発明は、複数のカメラで撮影された画像を基にライトフィールドディスプレイに表示される多視点画像を生成する際に、観察者にとって違和感が少なくなるように多視点画像を一定以上の精度で補正するためのカメラパラメータを導出することが可能であるカメラパラメータ導出装置、カメラパラメータ導出方法及びカメラパラメータ導出プログラムを提供することを目的としている。
　本発明の一態様は、直線上に等間隔に定められた理想的な位置である理想位置ごとにカメラが配置され、且つ、配置された全てのカメラの向きが互いに平行な向きであるという条件が定められている複数のカメラのカメラパラメータを導出するカメラパラメータ導出装置であって、前記理想位置に対して誤差を有する可能性のある推定された位置である推定位置ごとにカメラが配置され、且つ、前記互いに平行な向きに対して誤差を有する可能性のある推定された向きに配置された全てのカメラの推定された内部パラメータ行列に基づいて、前記推定された内部パラメータ行列を補正するための内部パラメータ行列をカメラごとに導出する内部パラメータ導出部と、配置されたカメラごとの前記推定位置及び前記理想位置の間の距離のうちの最大値を最小化する前記理想位置を、配置されたカメラごとの外部パラメータに基づいてカメラごとに導出するカメラ位置導出部と、前記互いに平行な向きに対して誤差が閾値以下となるように前記外部パラメータを補正するための回転行列を、前記外部パラメータに基づいて導出する回転行列導出部とを備えるカメラパラメータ導出装置である。
　本発明により、複数のカメラで撮影された画像を基にライトフィールドディスプレイに表示される多視点画像を生成する際に、観察者にとって違和感が少なくなるように多視点画像を一定以上の精度で補正するためのカメラパラメータを導出することが可能である。
第１実施形態における、カメラパラメータ導出装置の構成例を示す図である。 第１実施形態における、カメラパラメータ導出装置のハードウェア構成例を示す図である。 第１実施形態における、複数のカメラの配置例を示す図である。 第１実施形態における、カメラパラメータ導出装置の動作例を示すフローチャートである。 第１実施形態における、基準位置及び距離ベクトルを導出する動作の例を示すフローチャートである。 第２実施形態における、カメラパラメータ導出装置の構成例を示す図である。 第２実施形態における、カメラパラメータ導出装置の動作例を示すフローチャートである。
　本発明の実施形態について、図面を参照して詳細に説明する。
　（第１実施形態）
　図１は、カメラパラメータ導出装置１ａの構成例を示す図である。カメラパラメータ導出装置１ａは、複数のカメラについてカメラパラメータを導出する装置である。カメラパラメータ導出装置１ａは、複数のカメラで撮影された画像を基にライトフィールドディスプレイに表示される多視点画像を生成する際に、観察者にとって違和感が少なくなるように多視点画像を一定以上の精度で補正するための理想的なカメラパラメータ（仮想的なカメラパラメータ）を導出する。カメラパラメータ導出装置１ａは、各カメラの理想的な内部パラメータと、各カメラの理想的な位置と、各カメラの理想的な回転行列とを導出する。
　理想的な配置とは、予め定められた条件が満たされる配置である。以下では、予め定められた条件とは、被写体を撮影する全てのカメラが直線上に所定精度で等間隔で設置され、且つ、それら全てのカメラの向きが所定精度で互いに平行な向きであるという条件である。
　カメラパラメータは、外部パラメータと、内部パラメータを含む。外部パラメータは、カメラの位置及び向き（姿勢）を表すパラメータであって、例えば、カメラの位置を表す並進ベクトル（平行移動ベクトル）と、カメラの姿勢を表す回転行列とを表すパラメータである。内部パラメータは、カメラ座標を画像座標に変換するパラメータであり、例えば、焦点距離を表すパラメータと、光学中心（主点）の位置を表すパラメータと、レンズ歪みを表すパラメータとである。
　カメラパラメータ導出装置１ａは、内部パラメータ導出部１０と、カメラ位置導出部１１ａと、回転行列導出部１２ａとを備える。カメラ位置導出部１１ａは、暫定位置導出部１１０と、理想位置導出部１１１ａとを備える。
　図２は、カメラパラメータ導出装置１ａのハードウェア構成例を示す図である。カメラパラメータ導出装置１ａは、プロセッサ１００と、記憶部２００と、通信部３００とを備える。
　内部パラメータ導出部１０とカメラ位置導出部１１ａと回転行列導出部１２ａとのうちの一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサ１００が、不揮発性の記録媒体（非一時的な記録媒体）を有する記憶部２００に記憶されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記録媒体である。プログラムは、通信回線を経由して、通信部３００によって受信されてもよい。記憶部２００は、各カメラのカメラパラメータと、画像データと、データテーブルと、ルックアップテーブルとを記憶してもよい。
　内部パラメータ導出部１０とカメラ位置導出部１１ａと回転行列導出部１２ａとのうちの一部又は全部は、例えば、ＬＳＩ（Large Scale Integration circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field Programmable Gate Array）等を用いた電子回路（electronic circuit又はcircuitry）を含むハードウェアを用いて実現されてもよい。
　以下、カメラの実際の位置として推定された位置を「推定位置」という。カメラの位置として理想的な位置を「理想位置」という。カメラの理想位置として暫定的な位置を「暫定理想位置」という。カメラの位置の基準となる位置を「基準位置」という。カメラの基準位置として暫定的な位置を「暫定基準位置」という。隣り合うカメラの間隔として理想的な距離を「理想距離」という。カメラ同士の理想距離として暫定的な距離を「暫定理想距離」という。隣り合う理想位置間の距離のベクトルを「理想距離ベクトル」という。隣り合う暫定位置間の距離のベクトルを「暫定理想距離ベクトル」という。
　図３は、複数のカメラ２－ｉ（ｉ＝１，…，ｎ）の配置例を示す図である。配置されたｎ台のカメラ２－ｉ「Ｃｉ」の位置は、各カメラの推定位置である。各推定位置は、各理想位置に対して誤差を有する場合がある。カメラ２－ｉの台数「ｎ」は、ライトフィールドディスプレイに入力される多視点画像の視点の個数を表す。
　以下では、「ｄｉｄｅａｌ」は、理想距離ベクトルを表す。「Ｃｉ ｉｄｅａｌ」は、カメラ２－ｉの理想位置を表す。「Ｃｉ ｒｅａｌ」は、カメラ２－ｉ「Ｃｉ」の推定位置を表す。カメラ２－１「Ｃ１」の理想位置が、基準位置と定められる。
　ｎ台のカメラ２－ｉが、被写体を撮影する。各カメラ２－ｉは、被写体（不図示）の画像を含む動画像又は静止画を生成する。これによって、ｎ台のカメラ２－ｉで撮影された画像から、多視点画像が生成される。カメラ２－ｉの内部パラメータ及び外部パラメータは、例えば参考文献１に開示されたキャリブレーションの方法で予め推定される。
　参考文献１：Zhang Zhengyou,"A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11), (2000): 1330-1334.
　図１に戻り、カメラパラメータ導出装置１ａの概要を説明する。
　内部パラメータ導出部１０は、入力される推定された内部パラメータに基づいて、理想的な内部パラメータ行列をカメラ２－ｉごとに導出して出力する。暫定位置導出部１１０は、入力される推定された外部パラメータに基づいて、暫定基準位置をカメラ２－ｉごとに導出し、出力する。暫定位置導出部１１０は、入力された推定された外部パラメータに基づいて、カメラ２－ｉの暫定理想距離ベクトルを導出し、出力する。理想位置導出部１１１ａは、暫定基準位置及び暫定理想距離ベクトルに基づいて、理想位置をカメラ２－ｉごとに導出する。理想位置導出部１１１ａは、ｎ台のカメラ２－ｉの理想距離ベクトルを導出し、回転行列導出部１２ａに出力する。回転行列導出部１２ａは、推定された外部パラメータと、ｎ台のカメラ２－ｉ理想距離ベクトルに基づいて、理想的な回転行列をカメラ２－ｉごとに導出する。
　次に、カメラパラメータ導出装置１ａの詳細を説明する。
　内部パラメータ導出部１０は、予め実行されたキャリブレーションにおいて推定された内部パラメータを入力し、理想的な内部パラメータ行列を導出し、出力する。理想的な内部パラメータ行列を内部パラメータ導出部１０が導出する方法は、特定の導出方法に限定されない。
　例えば、内部パラメータ導出部１０は、全てのカメラ２－ｉの内部パラメータ行列の平均を、理想的な内部パラメータ行列として導出してもよい。例えば、内部パラメータ導出部１０は、全てのカメラ２－ｉの内部パラメータ行列の平均を導出し、その平均に最も近い内部パラメータ行列を、理想的な内部パラメータ行列として導出してもよい。例えば、内部パラメータ導出部１０は、配置された全てのカメラ２－ｉのうちから選択されたカメラ２－ｉの内部パラメータ行列を、理想的な内部パラメータ行列として導出してもよい。
　カメラ位置導出部１１ａは、予め実行されたキャリブレーションにおいて推定された外部パラメータを取得する。カメラ位置導出部１１ａは、推定された外部パラメータを入力とし、基準位置「Ｃ１ ｉｄｅａｌ」と、隣り合う理想位置「Ｃｉ ｉｄｅａｌ」の間の理想距離ベクトル「ｄｉｄｅａｌ」とを導出し、出力する。カメラ位置導出部１１ａは、基準位置「Ｃ１ ｉｄｅａｌ」と、隣り合う理想位置「Ｃｉ ｉｄｅａｌ」の間の理想距離ベクトル「ｄｉｄｅａｌ」とに基づいて、理想位置「Ｃｉ ｉｄｅａｌ」をカメラ２－ｉごとに導出し、出力する。
　ライトフィールドディスプレイに入力される多視点画像が、観察者にとって違和感が少なくなるように一定以上の精度で補正されるためには、直線上の等間隔の各位置において互いに同じ向きに全てのカメラ２－ｉが配置され、且つ、推定位置及び理想位置の間の距離が短いことが望ましい。そこで、カメラ位置導出部１１ａは、推定位置及び理想位置の間の距離（誤差）の最大値を最小化するように、式（１）を導出する。
Figure JPOXMLDOC01-appb-M000001
　ここで、「Ｄｉ」は、カメラ２－ｉの推定位置「Ｃｉ ｒｅａｌ」及び理想位置「Ｃｉ ｉｄｅａｌ」の間の距離を表す。カメラ２－ｉの推定位置「Ｃｉ ｒｅａｌ」及び理想位置「Ｃｉ ｉｄｅａｌ」の間の距離は、式（２）のように表される。
Figure JPOXMLDOC01-appb-M000002
　ここで、理想位置「Ｃｉ ｉｄｅａｌ」は、理想距離ベクトル「ｄｉｄｅａｌ」を用いて、式（３）のように表される。
Figure JPOXMLDOC01-appb-M000003
　カメラ位置導出部１１ａは、式（１）を解くことによって、基準位置「Ｃ１ ｉｄｅａｌ」と理想距離ベクトル「ｄｉｄｅａｌ」とを導出する。式（１）をカメラ位置導出部１１ａが解く方法は、特定の方法に限定されない。カメラ位置導出部１１ａは、基準位置「Ｃ１ ｉｄｅａｌ」及び理想距離ベクトル「ｄｉｄｅａｌ」を、例えば全探索を実行することによって導出してもよい。
　次に、基準位置「Ｃ１ ｉｄｅａｌ」及び理想距離ベクトル「ｄｉｄｅａｌ」を導出する方法について説明する。
　暫定位置導出部１１０は、予め実行されたキャリブレーションにおいて推定された外部パラメータを入力として、暫定基準位置「Ｃ’１」及び暫定理想距離ベクトル「ｄ’」を導出し、理想位置導出部１１１ａに出力する。ここで、暫定位置導出部１１０は、推定位置「Ｃｉ ｒｅａｌ」及び暫定理想位置「Ｃ’ｉ」の間の距離（誤差）の総和を最小化する式（４）を解くことによって、暫定基準位置「Ｃ’１」及び暫定理想距離ベクトル「ｄ’」を導出する。暫定位置導出部１１０は、暫定基準位置「Ｃ’１」及び暫定理想距離「ｄ’」を、理想位置導出部１１１ａに出力する。
Figure JPOXMLDOC01-appb-M000004
　ここで、「Ｃ’ｉ」は、カメラ２－ｉの暫定理想位置を表す。「Ｃ’ｉ」は、暫定基準位置「Ｃ’１」及び暫定理想距離ベクトル「ｄ’」を用いて、式（５）のように表される。
Figure JPOXMLDOC01-appb-M000005
　理想位置導出部１１１ａは、導出された暫定基準位置「Ｃ’１」及び暫定理想距離ベクトル「ｄ’」を入力とし、式（１）の初期値と定める。理想位置導出部１１１ａは、予め定められた範囲内で、暫定基準位置「Ｃ’１」及び暫定理想距離ベクトル「ｄ’」を調整することによって、カメラ２－１の基準位置「Ｃ１ ｉｄｅａｌ」と理想距離ベクトル「ｄｉｄｅａｌ」とを導出し、出力する。
　調整の範囲は、特定の範囲に限定されない。例えば、理想位置導出部１１１ａは、暫定基準位置「Ｃ’１」から最も短い推定位置「Ｃ２ ｒｅａｌ」までの距離を、暫定基準位置「Ｃ’１」を移動させる範囲の上限としてもよい。また、理想位置導出部１１１ａは、隣り合う推定位置「Ｃｉ ｒｅａｌ」の間の距離の平均を、暫定理想距離ベクトル「ｄ’」に対して加算又は減算される距離としてもよい。
　理想位置導出部１１１ａは、カメラ２－１の基準位置「Ｃ１ ｉｄｅａｌ」と理想距離ベクトル「ｄｉｄｅａｌ」とに基づいて、式（２）のように、理想位置「Ｃｉ ｉｄｅａｌ」をカメラ２－ｉごとに導出し、出力する。
　回転行列導出部１２ａは、予め実行されたキャリブレーションにおいて推定された外部パラメータを取得し、入力とする。回転行列導出部１２ａは、ｎ台のカメラ２－ｉに関する理想距離ベクトル「ｄｉｄｅａｌ」を、理想位置導出部１１１ａから取得する。これによって、回転行列導出部１２ａは、全てのカメラ２－ｉの向きが平行化される理想的な回転行列を導出することができる。理想的な内部パラメータ行列と、理想位置と、理想的な回転行列とに基づいて、各カメラ２－ｉによって撮影された画像を理想的な位置から撮影した画像に変換することで、ライトフィールドディスプレイで精度よく再現できる多視点画像を生成する。
　理想的な回転行列が導出される方法は、特定の方法に限定されない。例えば、回転行列導出部１２ａは、理想距離ベクトルの単位ベクトルを、理想的な回転行列のｘ成分としてもよい。ここで、回転行列導出部１２ａは、配置されたカメラ２－ｉのうちから選択されたカメラ２－ｉの回転行列のz成分と、理想的な回転行列のｘ成分との外積を、理想的な回転行列のｙ成分としてもよい。また、回転行列導出部１２ａは、理想的な回転行列のｘ成分及びｙ成分の外積を、理想的な回転行列のｚ成分としてもよい。
　次に、カメラパラメータ導出装置１ａの動作例を説明する。
　図４は、カメラパラメータ導出装置１ａの動作例を示すフローチャートである。内部パラメータ導出部１０は、推定された内部パラメータを取得する。内部パラメータ導出部１０は、推定された内部パラメータを入力とし、理想的な内部パラメータ行列を導出する。内部パラメータ導出部１０は、理想的な内部パラメータ行列を出力する（ステップＳ１０１）。なお、ステップＳ１０１は、ステップＳ１０２からステップＳ１０４までのうちのいずれかのステップが実行された後に実行されてもよい。
　カメラ位置導出部１１ａは、推定された外部パラメータを取得する。カメラ位置導出部１１ａは、推定された外部パラメータを入力とし、基準位置「Ｃ１ ｉｄｅａｌ」と、隣り合う理想位置「Ｃｉ ｉｄｅａｌ」の間の理想距離ベクトル「ｄｉｄｅａｌ」とを導出し、出力する（ステップＳ１０２）。
　カメラ位置導出部１１ａは、基準位置「Ｃ１ ｉｄｅａｌ」と、隣り合う理想位置「Ｃｉ ｉｄｅａｌ」の間の理想距離ベクトル「ｄｉｄｅａｌ」とに基づいて、理想位置「Ｃｉ ｉｄｅａｌ」をカメラ２－ｉごとに導出し、出力する（ステップＳ１０３）。
　回転行列導出部１２ａは、推定された外部パラメータを取得する。回転行列導出部１２ａは、隣り合う理想位置「Ｃｉ ｉｄｅａｌ」の間の理想距離ベクトル「ｄｉｄｅａｌ」を、カメラ位置導出部１１ａから取得する。回転行列導出部１２ａは、推定された外部パラメータと、隣り合う理想位置「Ｃｉ ｉｄｅａｌ」の間の理想距離ベクトル「ｄｉｄｅａｌ」とに基づいて、理想的な回転行列をカメラ２－ｉごとに導出し、出力する（ステップＳ１０４）。
　図５は、基準位置「Ｃ１ ｉｄｅａｌ」及び距離ベクトル「ｄｉｄｅａｌ」を導出する動作の例を示すフローチャートである。暫定位置導出部１１０は、推定された外部パラメータを取得する。暫定位置導出部１１０は、推定された外部パラメータを入力とし、推定位置「Ｃｉ ｒｅａｌ」と、暫定理想位置「Ｃ’ｉ」との間の距離の総和を導出する。暫定位置導出部１１０は、推定位置「Ｃｉ ｒｅａｌ」と暫定理想位置「Ｃ’ｉ」との間の距離の総和（例えば、式（４））に基づいて、暫定基準位置「Ｃ’１」と、隣り合う暫定理想位置の間の暫定理想距離ベクトル「ｄ’」とを導出し、出力する（ステップＳ２０１）。
　理想位置導出部１１１ａは、暫定基準位置「Ｃ’１」と、隣り合う暫定理想位置の間の理想距離ベクトル「ｄ’」とを、暫定位置導出部１１０から取得する。理想位置導出部１１１ａは、暫定基準位置「Ｃ’１」と、隣り合う暫定理想位置の間の暫定理想距離ベクトル「ｄ’」を入力とし、基準位置「Ｃ１ ｉｄｅａｌ」と、隣り合う理想位置の間の理想距離ベクトル「ｄｉｄｅａｌ」とを導出する。理想位置導出部１１１ａは、基準位置「Ｃ１ ｉｄｅａｌ」と、隣り合う理想位置の間の理想距離ベクトル「ｄｉｄｅａｌ」とに基づいて、カメラ２－ｉごとの理想位置を導出する。理想位置導出部１１１ａは、カメラ２－ｉごとの理想位置を、外部装置（不図示）に出力する。理想位置導出部１１１ａは、隣り合う理想位置の間の理想距離ベクトル「ｄｉｄｅａｌ」を、回転行列導出部１２ａに出力する（ステップＳ２０２）。
　以上のように、カメラパラメータ導出装置１ａは、直線上に等間隔に定められた理想的な位置である理想位置ごとにカメラ２－ｉが配置され、且つ、配置された全てのカメラ２－ｉの向きが互いに平行な向きであるという条件が定められている複数のカメラ２－ｉのカメラパラメータ（内部パラメータ行列、外部パラメータ）を導出する。カメラ２－１～２－ｎは、理想位置に対して誤差を有する可能性のある推定された位置である推定位置ごとに配置され、且つ、互いに平行な向きに対して誤差を有する可能性のある推定された向きに配置されている。
　内部パラメータ導出部１０は、推定位置ごとにカメラ２－ｉが配置され、且つ、互いに平行な向きに対して誤差を有する可能性のある推定された向きに配置された全てのカメラ２－ｉの推定された内部パラメータ行列に基づいて、推定された内部パラメータ行列を補正するための内部パラメータ行列をカメラ２－ｉごとに導出する。
　カメラ位置導出部１１ａは、配置されたカメラ２－ｉごとの推定位置「Ｃｉ ｒｅａｌ」及び理想位置「Ｃｉ ｉｄｅａｌ」の間の距離「Ｄｉ」のうちの最大値を最小化する理想位置（例えば、式（１））を、配置されたカメラ２－ｉごとの外部パラメータに基づいてカメラ２－ｉごとに導出する。カメラ位置導出部１１ａは、推定位置と、暫定理想位置との間の距離の総和を最小化するように（例えば、式（４））、暫定基準位置と暫定理想位置の間の距離ベクトルとを導出してもよい。カメラ位置導出部１１ａは、暫定基準位置と暫定理想位置の間の距離ベクトルとを調整することによって、推定位置及び理想位置の間の距離のうちの最大値を最小化する理想位置を導出してもよい。回転行列導出部１２ａは、互いに平行な向きに対して誤差が閾値以下となるように外部パラメータを補正するための回転行列を、外部パラメータに基づいて導出する。回転行列導出部１２ａは、外部パラメータと、隣り合う理想位置の間の距離ベクトルとに基づいて、回転行列を導出する。
　これらのように、カメラ位置導出部１１ａは、配置されたカメラ２－ｉごとの推定位置及び理想位置の間の距離のうちの最大値を最小化する理想位置を、配置されたカメラ２－ｉごとの外部パラメータに基づいてカメラ２－ｉごとに導出し、出力する。これによって、複数のカメラで撮影された画像を基にライトフィールドディスプレイに表示される多視点画像を生成する際に、観察者にとって違和感が少なくなるように多視点画像を一定以上の精度で補正するためのカメラパラメータを導出することが可能である。また、カメラパラメータの一つであるカメラの理想位置を、演算量を抑えて効率よく導出することが可能である。
　（第２実施形態）
　第２実施形態では、理想的な回転行列を外部パラメータのみに基づいて回転行列導出部が導出する点が、第１実施形態と相違する。第２実施形態では、第１実施形態との相違点を主に説明する。
　図６は、カメラパラメータ導出装置１ｂの構成例を示す図である。カメラパラメータ導出装置１ｂは、内部パラメータ導出部１０と、カメラ位置導出部１１ｂと、回転行列導出部１２ｂとを備える。カメラ位置導出部１１ｂは、暫定位置導出部１１０と、理想位置導出部１１１ｂとを備える。
　理想位置導出部１１１ｂは、暫定基準位置「Ｃ’１」と、隣り合う暫定理想位置の間の距離ベクトル「ｄ’」とを、暫定位置導出部１１０から取得する。理想位置導出部１１１ｂは、暫定基準位置「Ｃ’１」と、隣り合う暫定理想位置の間の距離ベクトル「ｄ’」と（例えば、式（５））を入力とし、基準位置「Ｃ１ ｉｄｅａｌ」と、隣り合う理想位置の間の距離ベクトル「ｄｉｄｅａｌ」とを導出する。理想位置導出部１１１ｂは、基準位置「Ｃ１ ｉｄｅａｌ」と、隣り合う理想位置の間の距離ベクトル「ｄｉｄｅａｌ」とに基づいて、カメラ２－ｉごとの理想位置を、導出する。理想位置導出部１１１ｂは、カメラ２－ｉごとの理想位置を、外部装置（不図示）に出力する。
　回転行列導出部１２ｂは、予め実行されたキャリブレーションにおいて推定された外部パラメータを取得する。回転行列導出部１２ｂは、推定された外部パラメータを入力とし、理想的な回転行列をカメラ２－ｉごとに導出する。回転行列導出部１２ａは、全てのカメラ２－ｉの向きが互いに平行となる理想的な回転行列を、外部装置（不図示）に出力する。理想的な回転行列を回転行列導出部１２ｂが導出する方法は、特定の方法に限定されない。例えば、回転行列導出部１２ｂは、各カメラの回転行列の平均値を、理想的な回転行列として導出してもよい。
　次に、カメラパラメータ導出装置１ｂの動作例を説明する。
　図７は、カメラパラメータ導出装置１ｂの動作例を示すフローチャートである。ステップＳ３０１からステップＳ３０３までは、図４に示されたステップＳ１０１からステップＳ１０３までと同じである。
　回転行列導出部１２ｂは、推定された外部パラメータを取得する。回転行列導出部１２ｂは、推定された外部パラメータを入力とし、全てのカメラ２－ｉの向きが互いに平行となる理想的な回転行列をカメラ２－ｉごとに導出し、出力する（ステップＳ３０４）。なお、ステップＳ３０４において理想的な回転行列が導出されるためには、ステップＳ３０１とステップＳ３０２との実行順は問われない。
　以上のように、カメラパラメータ導出装置１ｂにおいて、回転行列導出部１２ｂは、外部パラメータに基づいて回転行列を導出する。これによって、複数のカメラで撮影された画像を基にライトフィールドディスプレイに表示される多視点画像を生成する際に、観察者にとって違和感が少なくなるように多視点画像を補正するためのカメラパラメータを導出することが可能である。
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
　本発明は、ライトフィールドディスプレイ等に表示される多視点画像を補正するためのカメラパラメータを導出する画像処理装置に適用可能である。
１ａ，１ｂ…カメラパラメータ導出装置、２…カメラ、１０…内部パラメータ導出部、１１ａ，１１ｂ…カメラ位置導出部、１２ａ，１２ｂ…回転行列導出部、２０…推定位置、２１…理想位置、１００…プロセッサ、１１０…暫定位置導出部、１１１ａ，１１１ｂ…理想位置導出部、２００…記憶部、３００…通信部

Claims (5)

  1. 　直線上に等間隔に定められた理想的な位置である理想位置ごとにカメラが配置され、且つ、配置された全てのカメラの向きが互いに平行な向きであるという条件が定められている複数のカメラのカメラパラメータを導出するカメラパラメータ導出装置であって、
    　前記理想位置に対して誤差を有する可能性のある推定された位置である推定位置ごとにカメラが配置され、且つ、前記互いに平行な向きに対して誤差を有する可能性のある推定された向きに配置された全てのカメラの推定された内部パラメータ行列に基づいて、前記推定された内部パラメータ行列を補正するための内部パラメータ行列をカメラごとに導出する内部パラメータ導出部と、
    　配置されたカメラごとの前記推定位置及び前記理想位置の間の距離のうちの最大値を最小化する前記理想位置を、配置されたカメラごとの外部パラメータに基づいてカメラごとに導出するカメラ位置導出部と、
    　前記互いに平行な向きに対して誤差が閾値以下となるように前記外部パラメータを補正するための回転行列を、前記外部パラメータに基づいて導出する回転行列導出部と
    　を備えるカメラパラメータ導出装置。
  2. 　前記カメラ位置導出部は、前記推定位置と、暫定的な前記理想位置との間の距離の総和を最小化するように、暫定的な基準位置と、隣り合う暫定的な前記理想位置の間の距離ベクトルとを導出し、暫定的な基準位置と、隣り合う暫定的な前記理想位置の間の距離ベクトルとを調整することによって、前記最大値を最小化する前記理想位置を導出する、請求項１に記載のカメラパラメータ導出装置。
  3. 　前記回転行列導出部は、前記外部パラメータと、隣り合う前記理想位置の間の距離ベクトルとに基づいて、前記回転行列を導出する、請求項１又は請求項２に記載のカメラパラメータ導出装置。
  4. 　直線上に等間隔に定められた理想的な位置である理想位置ごとにカメラが配置され、且つ、配置された全てのカメラの向きが互いに平行な向きであるという条件が定められている複数のカメラのカメラパラメータを導出するカメラパラメータ導出装置が実行するカメラパラメータ導出方法であって、
    　前記理想位置に対して誤差を有する可能性のある推定された位置である推定位置ごとにカメラが配置され、且つ、前記互いに平行な向きに対して誤差を有する可能性のある推定された向きに配置された全てのカメラの推定された内部パラメータ行列に基づいて、前記推定された内部パラメータ行列を補正するための内部パラメータ行列をカメラごとに導出する内部パラメータ導出ステップと、
    　配置されたカメラごとの前記推定位置及び前記理想位置の間の距離のうちの最大値を最小化する前記理想位置を、配置されたカメラごとの外部パラメータに基づいてカメラごとに導出するカメラ位置導出ステップと、
    　前記互いに平行な向きに対して誤差が閾値以下となるように前記外部パラメータを補正するための回転行列を、前記外部パラメータに基づいて導出する回転行列導出ステップと
    　を含むカメラパラメータ導出方法。
  5. 　請求項１から請求項３のいずれか一項に記載のカメラパラメータ導出装置としてコンピュータを機能させるためのカメラパラメータ導出プログラム。
PCT/JP2019/045905 2019-11-25 2019-11-25 カメラパラメータ導出装置、カメラパラメータ導出方法及びカメラパラメータ導出プログラム WO2021106027A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021560762A JP7208571B2 (ja) 2019-11-25 2019-11-25 カメラパラメータ導出装置、カメラパラメータ導出方法及びカメラパラメータ導出プログラム
US17/776,035 US20220394183A1 (en) 2019-11-25 2019-11-25 Camera parameter derivation apparatus, camera parameter derivation method, and camera parameter derivation program
PCT/JP2019/045905 WO2021106027A1 (ja) 2019-11-25 2019-11-25 カメラパラメータ導出装置、カメラパラメータ導出方法及びカメラパラメータ導出プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/045905 WO2021106027A1 (ja) 2019-11-25 2019-11-25 カメラパラメータ導出装置、カメラパラメータ導出方法及びカメラパラメータ導出プログラム

Publications (1)

Publication Number Publication Date
WO2021106027A1 true WO2021106027A1 (ja) 2021-06-03

Family

ID=76129226

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/045905 WO2021106027A1 (ja) 2019-11-25 2019-11-25 カメラパラメータ導出装置、カメラパラメータ導出方法及びカメラパラメータ導出プログラム

Country Status (3)

Country Link
US (1) US20220394183A1 (ja)
JP (1) JP7208571B2 (ja)
WO (1) WO2021106027A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115002345A (zh) * 2022-05-13 2022-09-02 北京字节跳动网络技术有限公司 一种图像校正方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL300043A (en) * 2020-07-29 2023-03-01 Magic Leap Inc External calibration of a camera using ray cuts

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009186287A (ja) * 2008-02-05 2009-08-20 Tokyo Institute Of Technology 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム
US9286680B1 (en) * 2014-12-23 2016-03-15 Futurewei Technologies, Inc. Computational multi-camera adjustment for smooth view switching and zooming

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180108150A1 (en) * 2016-10-17 2018-04-19 Dsi Assignments, Llc Systems and methods for in-field stereocamera calibration

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009186287A (ja) * 2008-02-05 2009-08-20 Tokyo Institute Of Technology 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム
US9286680B1 (en) * 2014-12-23 2016-03-15 Futurewei Technologies, Inc. Computational multi-camera adjustment for smooth view switching and zooming

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KANG ET AL.: "An Efficient Image Rectification Method for Parallel Multi-Camera Arrangement", IEEE TRANSACTIONS ON CONSUMER ELECTRONICS, vol. 57, no. 3, 2011, pages 1041 - 1048, XP011386539, DOI: 10.1109/TCE.2011.6018853 *
LI ET AL.: "CONVERGENT MULTI-VIEW GEOMETRIC ERROR CORRECTION WITH PSEUDO-INVERSE PROJECTION NOMOGRAPHY", 2016 INTERNATIONAL CONFERENCE ON 3D IMAGING (IC3D, 2016, pages 1 - 8, XP033046293, DOI: 10.1109/IC3D.2016.7823461 *
YANG ET AL.: "Multiview image rectification algorithm for parallel camera arrays", JOURNAL OF ELECTRONIC IMAGING, vol. 23, no. 3, 2014, pages 1 - 11, XP060047654, DOI: 10.1117/1.JEI.23.3.033001 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115002345A (zh) * 2022-05-13 2022-09-02 北京字节跳动网络技术有限公司 一种图像校正方法、装置、电子设备及存储介质
CN115002345B (zh) * 2022-05-13 2024-02-13 北京字节跳动网络技术有限公司 一种图像校正方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP7208571B2 (ja) 2023-01-19
US20220394183A1 (en) 2022-12-08
JPWO2021106027A1 (ja) 2021-06-03

Similar Documents

Publication Publication Date Title
CN109405765B (zh) 一种基于散斑结构光的高精度深度计算方法及系统
US11455746B2 (en) System and methods for extrinsic calibration of cameras and diffractive optical elements
US9774837B2 (en) System for performing distortion correction and calibration using pattern projection, and method using the same
JP5742179B2 (ja) 撮像装置、画像処理装置、および画像処理方法、並びにプログラム
JP5392415B2 (ja) ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
JP5999615B2 (ja) カメラ較正情報生成装置、カメラ較正情報生成方法およびカメラ較正情報生成プログラム
JP6547754B2 (ja) 三角測量装置、三角測量方法およびそのプログラム
JP2002324234A (ja) 立体画像を偏歪修正する方法および装置
JP2015036629A (ja) 校正装置、方法及びプログラム
JP6655379B2 (ja) 焦点スタックから適応スライス画像を生成する方法および装置
WO2020208686A1 (ja) カメラ校正装置、カメラ校正方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2021106027A1 (ja) カメラパラメータ導出装置、カメラパラメータ導出方法及びカメラパラメータ導出プログラム
KR20210089737A (ko) 이미지 깊이 추정 방법 및 장치, 전자 기기, 저장 매체
CN112396663B (zh) 一种多深度相机的可视化标定方法、装置、设备和介质
EP3189493B1 (en) Depth map based perspective correction in digital photos
JP2013036831A (ja) キャリブレーション装置及び歪み誤差算出方法
WO2014030571A1 (ja) 立体画像処理装置、立体画像処理方法およびプログラム
CN111292380B (zh) 图像处理方法及装置
KR101634225B1 (ko) 다시점 입체 영상 보정 장치 및 방법
JP5925109B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP2020030569A (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体
JP6732440B2 (ja) 画像処理装置、画像処理方法、及びそのプログラム
KR20210112263A (ko) 가상시점 영상 구성 방법 및 장치
CN114677734B (zh) 关键点的标注方法及装置
JP2020098944A (ja) 映像生成装置、映像生成方法および映像生成プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19954050

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021560762

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19954050

Country of ref document: EP

Kind code of ref document: A1