JP5672112B2 - Stereo image calibration method, stereo image calibration apparatus, and computer program for stereo image calibration - Google Patents
Stereo image calibration method, stereo image calibration apparatus, and computer program for stereo image calibration Download PDFInfo
- Publication number
- JP5672112B2 JP5672112B2 JP2011075931A JP2011075931A JP5672112B2 JP 5672112 B2 JP5672112 B2 JP 5672112B2 JP 2011075931 A JP2011075931 A JP 2011075931A JP 2011075931 A JP2011075931 A JP 2011075931A JP 5672112 B2 JP5672112 B2 JP 5672112B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- area
- camera
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
Description
本発明は、例えば、同じ物体を異なる方向から撮影した2枚の画像のうちの少なくとも一方をステレオ画像用に較正するステレオ画像較正方法、ステレオ画像較正装置及びステレオ画像較正用コンピュータプログラムに関する。 The present invention relates to a stereo image calibration method, a stereo image calibration apparatus, and a stereo image calibration computer program that calibrate at least one of two images obtained by photographing the same object from different directions for a stereo image.
従来より、3次元的な像を再生するための研究がなされている。3次元的な像を再生するための一つの方法として、同一の物体に対して異なる方向から撮影した二つの画像を並べて表示し、その二つの画像のそれぞれを、観察者の左右それぞれの眼に見せる方法が知られている。このような方法で用いられる2枚一組の画像は、ステレオ画像と呼ばれる。 Conventionally, research for reproducing a three-dimensional image has been made. As one method for reproducing a three-dimensional image, two images taken from different directions with respect to the same object are displayed side by side, and each of the two images is displayed on the left and right eyes of the observer. The method of showing is known. A set of two images used in such a method is called a stereo image.
ステレオ画像に含まれる2枚の画像は、観察者の左右それぞれの眼で観察されるものであるため、質の良い3次元像を再生するために、その2枚の画像に写された像は、観察者が一般的に物を見る条件と同じ条件で撮影されていることが好ましい。しかしながら、左目用の画像を撮影するカメラと右目用の画像を撮影するカメラとが適切に配置されていないことがある。その結果、その2枚の画像に写っている像が、適切な位置から垂直方向または水平方向にずれていたり、あるいは、一方の画像に写っている像が、他方の画像に写っている像に対して画像上で回転してしまうことがある。このような場合、良好な3次元像を再生可能なステレオ画像を生成するためには、少なくとも一方の画像に写っている像の位置を修正するための較正パラメータを求めるキャリブレーション処理が行われる。 Since the two images included in the stereo image are observed by the left and right eyes of the observer, in order to reproduce a high-quality three-dimensional image, the images projected on the two images are It is preferable that the image is taken under the same conditions as the conditions under which an observer generally sees an object. However, a camera that captures an image for the left eye and a camera that captures an image for the right eye may not be appropriately arranged. As a result, the images in the two images are shifted from their proper positions in the vertical or horizontal direction, or the image in one image is converted into the image in the other image. On the other hand, it may rotate on the image. In such a case, in order to generate a stereo image capable of reproducing a good three-dimensional image, a calibration process for obtaining a calibration parameter for correcting the position of the image shown in at least one of the images is performed.
従来は、そのキャリブレーション処理について、ユーザーが眼で見ながら左目用の画像の像の位置、または右目用の画像の像の位置を調節しており、その操作はユーザにとって非常に煩わしいものであった。特に、ユーザが初心者である場合、そのユーザが適切にキャリブレーション処理を行うのは簡単ではない。 Conventionally, in the calibration process, the position of the image for the left eye or the position of the image for the right eye is adjusted while the user sees with the eyes, and this operation is very troublesome for the user. It was. In particular, when the user is a beginner, it is not easy for the user to appropriately perform the calibration process.
一方、二つの画像のそれぞれの像に基づいて、二つの画像上の像の位置を自動的に位置合わせする技術が提案されている(例えば、特許文献1〜3を参照)。例えば、特許文献1には、第1の撮像画像及び第2の撮像画像における特定対象の検出マークの代表座標間の差分ベクトルに基づいて、各撮像画像における特定対象の表示位置の差分を調整することで、その特定対象の視差量を調整する技術が開示されている。
また、特許文献1には、各撮像画像から、検出マークの代わりに、特定対象のパーツ、例えば、顔の一部である目、口などを検出して、そのパーツの各画像上の表示位置の差に基づいて視差量を調整することも開示されている。
On the other hand, a technique for automatically aligning the positions of the images on the two images based on the images of the two images has been proposed (see, for example,
Further, in
さらに、特許文献2には、二つの撮像部の光軸のずれを調節するために、各撮像部で撮影された画像からそれぞれ顔を検出し、二つの画像間での顔の位置のずれ量に基づいて光軸の補正角度を算出する技術が提案されている。さらに、特許文献3には、ステレオカメラの光軸のずれを調整するために、予め距離の分かっている遠方の領域と近方の領域のそれぞれに基づいて、二つのカメラによる画像のうちの一方に対する他方の並進補正量及び回転角を求める技術が提案されている。
Furthermore, in
しかしながら、特許文献1または2に開示された技術では、顔といった、カメラに比較的近い位置にする被写体上の点からのみ、像の位置合わせをするための補正量が求められる。そのため、これらの技術では、画像全体に対して適切な位置合わせがされないことがあり、その結果、画像上の遠方に位置する物体の3次元再生像が不自然となるおそれがあった。
また、特許文献3に開示された技術では、カメラからの距離が予め分かっている複数の点が光軸調整のために用いられるので、カメラからの距離が既知の点が無い場合には、その技術は適用できない。
However, in the technique disclosed in
Further, in the technique disclosed in
そこで本明細書は、各カメラによる画像に写っている像全体の位置をステレオ画像として適切となるように修正するための較正パラメータを算出可能なステレオ画像較正方法を提供することを目的とする。 Therefore, an object of the present specification is to provide a stereo image calibration method capable of calculating a calibration parameter for correcting the position of the entire image shown in the image by each camera so as to be appropriate as a stereo image.
一つの実施形態によれば、ステレオ画像較正方法が提供される。このステレオ画像較正方法は、被写体を含む領域を第1のカメラで撮影することにより生成された第1の画像とその領域を第2のカメラで撮影することにより生成された第2の画像とを取得し、第1の画像から被写体が写っている第1の被写体領域を検出し、かつ、第2の画像から被写体が写っている第2の被写体領域を検出し、第1の被写体領域及び第2の被写体領域から、被写体上の同一の点に対応する被写体特徴点の組を少なくとも一つ抽出し、その少なくとも一つの被写体特徴点の組に基づいて、像面に対して平行な第1の軸及び第1の軸と直交する第2の軸のそれぞれの周りの第1のカメラの回転角と第2のカメラの回転角との差を求め、その差による第1の画像上の被写体の位置と第2の画像上の被写体の位置のずれを補正する第1の較正パラメータを求め、第1の画像から第1の被写体領域を除いた第1の背景領域及び第2の画像から第2の被写体領域を除いた第2の背景領域に写っている物体の像から、第1のカメラの光軸周りの回転角と第2のカメラの光軸周りの回転角の差による第1の画像と第2の画像間の回転を補正する第2の較正パラメータを求めることを含む。 According to one embodiment, a stereo image calibration method is provided. In this stereo image calibration method, a first image generated by shooting a region including a subject with a first camera and a second image generated by shooting the region with a second camera are used. A first subject area in which the subject is captured from the first image, and a second subject area in which the subject is photographed is detected from the second image, and the first subject area and the first subject area are detected. At least one set of subject feature points corresponding to the same point on the subject is extracted from the two subject areas, and a first parallel to the image plane is extracted based on the at least one set of subject feature points. The difference between the rotation angle of the first camera and the rotation angle of the second camera around each of the axis and the second axis orthogonal to the first axis is obtained, and the difference between the rotation angle of the second camera and the subject on the first image is determined. Correct the difference between the position and the position of the subject on the second image The calibration parameter of 1 is obtained, and the object reflected in the first background area obtained by removing the first subject area from the first image and the second background area obtained by removing the second subject area from the second image. From the image, a second calibration parameter for correcting a rotation between the first image and the second image due to a difference between a rotation angle around the optical axis of the first camera and a rotation angle around the optical axis of the second camera is obtained. Including seeking.
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。
The objects and advantages of the invention will be realized and attained by means of the elements and combinations particularly pointed out in the appended claims.
It should be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not restrictive of the invention as claimed.
ここに開示されるステレオ画像較正方法は、各カメラによる画像に写っている像全体の位置をステレオ画像として適切となるように修正するための較正パラメータを算出できる。 The stereo image calibration method disclosed herein can calculate calibration parameters for correcting the position of the entire image shown in the image from each camera so as to be appropriate as a stereo image.
図を参照しつつ、一つの実施形態またはその変形例によるステレオ画像較正装置について説明する。このステレオ画像較正装置は、二つのカメラにより生成されたそれぞれの画像から、比較的カメラの近傍に位置する被写体の情報に基づいてその被写体上の同一の点に対応する特徴点の組を検出する。そしてステレオ画像較正装置は、カメラ間の像面に平行な水平方向軸周りの回転角の差及び像面に平行な垂直方向軸周りの回転角の差に起因する被写体の位置のずれを補正する較正パラメータを、その特徴点同士のずれ量に基づいて求める。さらにこのステレオ画像較正装置は、被写体外の背景が写っている各画像上の領域から同一の物体に対応する特徴点をそれぞれ検出し、それら特徴点に基づいて、カメラの光軸周りの回転角の差に起因する像の回転を補正する較正パラメータを求める。これにより、このステレオ画像較正装置は、各カメラから被写体までの距離が未知であっても、各カメラによる画像に対して写っている像全体をステレオ画像用に位置合わせできる較正パラメータを算出できる。 A stereo image calibration apparatus according to one embodiment or a modification thereof will be described with reference to the drawings. This stereo image calibration device detects a set of feature points corresponding to the same point on the subject based on information on the subject located relatively near the camera from the images generated by the two cameras. . Then, the stereo image calibration apparatus corrects the displacement of the subject position caused by the difference in the rotation angle around the horizontal axis parallel to the image plane between the cameras and the difference in the rotation angle around the vertical axis parallel to the image plane. A calibration parameter is obtained based on the amount of deviation between the feature points. Further, the stereo image calibration device detects feature points corresponding to the same object from the regions on the image where the background outside the subject is reflected, and based on these feature points, the rotation angle around the optical axis of the camera. A calibration parameter for correcting the image rotation due to the difference is obtained. Thereby, even if the distance from each camera to the subject is unknown, this stereo image calibration apparatus can calculate a calibration parameter capable of aligning the entire image shown in the image from each camera for a stereo image.
本実施形態では、ステレオ画像較正装置は、3次元の顔画像を表示するテレビ電話システムに適用され、ステレオ画像較正装置が有するカメラは、被写体として、通話しようとする人物の頭部を撮影するものとする。しかし、このステレオ画像較正装置は、テレビ電話システム以外のステレオ画像を生成する様々な装置に適用可能である。 In this embodiment, the stereo image calibration device is applied to a videophone system that displays a three-dimensional face image, and the camera included in the stereo image calibration device captures the head of a person who is going to talk as a subject. And However, this stereo image calibration apparatus can be applied to various apparatuses that generate stereo images other than the videophone system.
図1は、一つの実施形態によるステレオ画像較正装置の概略構成図である。図1に示すように、ステレオ画像較正装置1は、2台のカメラ2−1、2−2と、入力部3と、記憶部4と、処理部5とを有する。さらに、ステレオ画像較正装置1は、カメラ2−1、2−2により生成された画像を後述する較正パラメータを用いて補正することにより得られた補正画像を、通信ネットワークを介して他の機器へ出力するためのインターフェース回路(図示せず)を有していてもよい。
FIG. 1 is a schematic configuration diagram of a stereo image calibration apparatus according to an embodiment. As shown in FIG. 1, the stereo
カメラ2−1は、左目用の画像を生成するカメラであり、カメラ2−2は、右目用の画像を生成するカメラである。そのために、カメラ2−1、2−2は、2次元状に配置された固体撮像素子のアレイを有するイメージセンサと、そのイメージセンサ上に、被写体の像を結像する結像光学系を有する。
カメラ2−1、2−2は、同一の被写体を含む領域を撮影し、かつその被写体及び背景の3次元像を再生するためのステレオ画像を生成できるように、各カメラの結像光学系の光軸が略平行となり、かつ、略水平方向に所定の間隔をあけて配置されることが好ましい。そのために、カメラ2−1及び2−2は、例えば、図示しない一つの筺体内の所定の位置に収容されていてもよい。ただし、後述するように、処理部5が実行するキャリブレーション処理によって少なくとも一方の画像に写っている像の位置を補正する較正パラメータが算出される。そのため、カメラ2−1とカメラ2−2の配置は、それらのカメラで生成された画像がそのままステレオ画像となるほど厳密に調整されていなくてもよい。また、カメラ2−1により生成された画像上の被写体の像の大きさと、カメラ2−2により生成された画像上の同一の被写体の像の大きさが略等しくなるように、カメラ2−1、2−2の結像光学系の焦点距離及びイメージセンサの画素数は同一であるとした。しかし、カメラ2−1、2−2の結像光学系の焦点距離及びイメージセンサの画素数は互いに異なっていてもよい。
カメラ2−1、2−2は、それぞれ、画像を生成する度に、その生成した画像を入力部3へ送信する。なお、以下では、便宜上、カメラ2−1で生成された左目用の画像を左画像と呼び、カメラ2−2で生成された右目用の画像を右画像と呼ぶ。
The camera 2-1 is a camera that generates an image for the left eye, and the camera 2-2 is a camera that generates an image for the right eye. For this purpose, the cameras 2-1 and 2-2 have an image sensor having an array of solid-state imaging elements arranged two-dimensionally, and an imaging optical system that forms an image of a subject on the image sensor. .
The cameras 2-1 and 2-2 capture the area including the same subject, and generate a stereo image for reproducing a three-dimensional image of the subject and the background. It is preferable that the optical axes are substantially parallel and arranged at a predetermined interval in a substantially horizontal direction. For this purpose, the cameras 2-1 and 2-2 may be accommodated in a predetermined position in one casing (not shown), for example. However, as will be described later, a calibration parameter for correcting the position of an image shown in at least one image is calculated by a calibration process executed by the
Each of the cameras 2-1 and 2-2 transmits the generated image to the
入力部3は、カメラ2−1、2−2から、それぞれ、左画像及び右画像を受け取り、各画像を処理部5へ渡す。そのために、入力部3は、例えば、カメラ2−1及び2−2と処理部5とを接続するためのユニバーサル・シリアル・バス(Universal Serial Bus、USB)などのシリアルバス規格に従ったインターフェース回路、あるいはビデオインターフェース回路を有する。
入力部3は、取得した左画像及び右画像を処理部5へ渡す。
The
The
記憶部4は、例えば、読み書き可能な揮発性または不揮発性の半導体メモリ回路、あるいは、磁気記録媒体または光記録媒体を有する。そして記憶部4は、入力部3から受け取った左画像及び右画像を記憶する。またステレオ画像較正装置1の処理部5が有する各機能が、処理部5が有するプロセッサ上で実行されるコンピュータプログラムにより実現される場合、そのコンピュータプログラムを記憶してもよい。さらに記憶部4は、較正パラメータを記憶してもよい。
The storage unit 4 includes, for example, a readable / writable volatile or nonvolatile semiconductor memory circuit, or a magnetic recording medium or an optical recording medium. The storage unit 4 stores the left image and the right image received from the
処理部5は、少なくとも一つのプロセッサ及びその周辺回路を有する。そして処理部5は、左画像と右画像から、ステレオ画像を生成するために、少なくとも何れか一方の画像上の像の位置を補正する較正パラメータを求める。
The
図2に、処理部5の機能ブロック図を示す。図2に示すように、処理部5は、顔検出部11と、顔特徴点抽出部12と、背景特徴点抽出部13と、較正パラメータ算出部14と、判定部15とを有する。処理部5が有するこれらの各部は、例えば、処理部5が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。あるいは、処理部5が有するこれらの各部は、それぞれ、別個の演算回路としてステレオ画像較正装置1に実装されてもよく、あるいはそれらの各部の機能を実現する一つの集積回路としてステレオ画像較正装置1に実装されてもよい。
FIG. 2 shows a functional block diagram of the
顔検出部11は、被写体領域検出部の一例であり、左画像及び右画像のそれぞれから、顔が写っている領域を抽出する。以下では、便宜上、顔が写っている領域を顔領域と呼ぶ。顔領域は、被写体領域の一例である。
顔検出部11は、例えば、機械学習に基づく識別器を用いて左画像及び右画像からそれぞれ顔領域を検出する。そのような識別器は、例えば、Adaboost識別器、多層パーセプトロンあるいはサポートベクターマシンとすることができる。これらの識別器は、予め顔が写っていることが分かっている複数の画像と顔が写っていないことが分かっている複数の画像を用いた教師付き学習によって、画像上の顔領域を検出するように学習される。例えば、識別器としてAdaboost識別器が用いられる場合、顔検出部11は、右画像及び左画像をそれぞれ複数の小領域に分割し、その小領域を順次識別器に入力する。識別器は、例えば、小領域から顔領域の検出に有用なHaar-like特徴を検出し、そのHaar-like特徴に基づいてその小領域が顔領域か否か判定する。
同様に、多層パーセプトロンまたはサポートベクターマシンといった他の識別器が用いられる場合も、顔検出部11は、右画像及び左画像を分割した小領域、または小領域から抽出された様々な特徴量を識別器に入力することでその小領域が顔領域か否か判定する。
The
For example, the
Similarly, when another classifier such as a multilayer perceptron or a support vector machine is used, the
また、顔検出部11は、識別器以外の顔領域を検出する様々な方式の何れかに従って顔領域を検出してもよい。例えば、顔検出部11は、右画像及び左画像から、肌色に相当する色成分を持つ画素を検出し、ラベリング処理によってその画素の集合した領域を顔候補領域として求める。なお、ある画素の色成分がHSV表色系で表されたときにそのH成分が約0〜約30の範囲に含まれる値を持つ場合、その画素は肌色に相当する色成分を持つとすることができる。そして顔検出部11は、例えば、顔候補領域の大きさが、右画像及び左画像上での一般的な顔の大きさの範囲に含まれ、かつ、顔候補領域の円形度が、一般的な顔の輪郭に相当する所定の閾値以上である場合に顔候補領域を顔領域としてもよい。なお顔検出部11は、顔候補領域の輪郭上に位置する画素の合計を顔候補領域の周囲長として求め、顔候補領域内の総画素数に4πを乗じた値を周囲長の2乗で除することにより円形度を算出できる。
The
あるいは、顔検出部11は、顔候補領域の輪郭上の各画素の座標を楕円方程式に当てはめて最小二乗法を適用することにより、顔候補領域を楕円近似してもよい。そして顔検出部11は、その楕円の長軸と短軸の比が一般的な顔の長軸と短軸の比の範囲に含まれる場合に、顔候補領域を顔領域としてもよい。なお、顔検出部11は、楕円近似により顔候補領域の形状を評価する場合、画像の各画素の輝度成分に対して近傍画素間演算を行ってエッジに相当するエッジ画素を検出してもよい。この場合、顔検出部11は、エッジ画素を例えばラベリング処理を用いて連結し、一定の長さ以上に連結されたエッジ画素を顔候補領域の輪郭とする。
Alternatively, the
あるいは、顔検出部11は、顔候補領域と一般的な顔の形状に相当するテンプレートとの間でテンプレートマッチングを行って、顔候補領域とテンプレートとの正規化相互相関値を算出し、その正規化相互相関値が所定値以上である場合に、顔候補領域を顔領域と判定してもよい。
Alternatively, the
また、カメラ2−1、2−2の撮影範囲内に複数の人がいることがある。このような場合、左画像または右画像から複数の顔領域が検出されることになる。そこで顔検出部11は、左画像から複数の顔領域を検出した場合、較正パラメータ算出用に一人の人物の顔に着目するため、例えば、最も左画像の中心に近い顔領域、あるいは、最も大きい顔領域を一つ選択する。同様に、顔検出部11は、右画像から複数の顔領域を検出した場合、最も右画像の中心に近い顔領域、あるいは、最も大きい顔領域を一つ選択する。
なお、ステレオ画像較正装置が異なる位置に配置された複数のマイクロホンを有する場合、処理部5は各マイクロホンに到達する音の時刻の差から複数の人物のうちの発声した人物の方向を推定し、顔検出部11はその推定方向に最も近い顔領域を選択してもよい。
In addition, there may be a plurality of people within the shooting range of the cameras 2-1 and 2-2. In such a case, a plurality of face regions are detected from the left image or the right image. Therefore, when detecting a plurality of face areas from the left image, the
When the stereo image calibration apparatus has a plurality of microphones arranged at different positions, the
顔検出部11は、顔領域を検出すると、顔領域と、画像から顔領域を除いた領域である背景領域とを表す情報を、左画像と右画像のそれぞれについて生成する。例えば、その情報は、右画像または左画像と同一のサイズを有し、かつ顔領域内の画素と背景領域の画素とが異なる画素値を持つ2値画像とすることができる。なお、顔検出部11は、上記のように一つの画像から複数の顔領域が検出されている場合、選択された一つの顔領域以外の顔領域を背景領域に含めてもよい。
そして顔検出部11は、顔領域及び背景領域を表す情報を顔特徴点抽出部12及び背景特徴点抽出部13へ渡す。
When detecting the face area, the
Then, the
顔特徴点抽出部12は、被写体特徴量抽出部の一例であり、左画像上の顔領域及び右画像上の顔領域のそれぞれから、顔の同一の点に対応する顔特徴点の組を少なくとも一つ抽出する。本実施形態では、顔特徴点抽出部12は、左画像及び右画像のうちの一方の顔領域から顔特徴点の候補となる第1の候補点を抽出し、他方の画像の顔領域においてその候補点と一致する第2の候補点を探索する。そして顔特徴点抽出部12は、他方の画像で検出された第2の候補点に対して、第1の候補点を抽出した画像上で一致する第3の候補点を見つける。そして顔特徴点抽出部12は、第1の候補点と第3の候補点が実質的に同一とみなせる場合、第1の候補点または第3の候補点と第2の候補点とを、顔特徴点の組とする。これにより、顔特徴量抽出部12は、顔の同一の部位に対応する左画像上の顔特徴点及び右画像上の顔特徴点を精度良く抽出できる。
The face feature
最初に、一方の画像の顔領域から第1の候補点を抽出するために、顔特徴点抽出部12は、例えば、左画像上の顔領域に対してコーナー検出器を適用することにより検出される複数の点をそれぞれ第1の候補点とする。なお、顔特徴点抽出部12は、そのようなコーナー検出器として、例えば、Harris検出器を用いることができる。また顔特徴点抽出部12は、顔領域から第1の候補点を抽出するために、コーナー検出器以外の特徴的な点を検出する検出器を用いてもよい。そのような検出器として、例えば、顔特徴点抽出部12は、Scale-invariant feature transform(SIFT)検出器を用いてもよい。
First, in order to extract the first candidate point from the face area of one image, the face feature
その際、顔特徴点抽出部12は、顔領域内で目、鼻、口などの特徴的な部位が存在する可能性のある範囲を予測できるので、その特徴的な部位が存在する可能性のある範囲内に限定して、上記のような検出器を適用して第1の候補点を抽出してもよい。あるいは、顔特徴点抽出部12は、顔領域のサイズが小さいほど、着目画素を第1の候補点として抽出するか否かを判定するために検出器に入力される領域のサイズを小さくしてもよい。さらにまた、顔特徴点抽出部12は、顔の特徴的な部位を表すテンプレートと左画像の顔領域との間で相対的な位置を変えつつテンプレートマッチングを行って正規化相互相関値を求めてもよい。そして顔特徴点抽出部12は、その正規化相互相関値が最も高くなるときのテンプレートと重なる顔領域内の何れかの画素を第1の候補点として抽出してもよい。
At that time, the face feature
次に、顔特徴点抽出部12は、左画像から抽出された第1の候補点ごとに、その第1の候補点を中心とする所定の領域をテンプレートとして設定する。そして顔特徴点抽出部12は、そのテンプレートと右画像上の顔領域との間で相対的な位置を変えつつテンプレートマッチングを行って、例えば正規化相互相関値を求める。そして顔特徴点抽出部12は、正規化相互相関値が最大となる、すなわち、テンプレートと最も一致するときのテンプレートの中心に対応する右画像上の画素を第2の候補点として求める。
Next, the face feature
同様に、顔特徴点抽出部12は、第2の候補点を中心とする所定の領域を再探索用テンプレートとして設定する。そして顔特徴点抽出部12は、再探索用テンプレートと左画像上の顔領域との間で相対的な位置を変えつつテンプレートマッチングを行って、例えば正規化相互相関値を求める。そして顔特徴点抽出部12は、正規化相互相関値が最大となる、すなわち、再探索用テンプレートと最も一致するときの再探索用テンプレートの中心に対応する左画像上の画素を第3の候補点として求める。顔特徴点抽出部12は、第3の候補点と元の第1の候補点間の距離を求め、所定の距離閾値以下であれば、左画像上の第1の候補点または第3の候補点と右画像上の第2の候補点とを、同一の部位に対応する顔特徴点の組とする。なお、所定の領域は、候補点の周囲の顔の構造の一致度合いを調べられる大きさであり、かつ、撮影方向の差による影響が小さくて済む程度の大きさとすることが好ましい。例えば、所定の領域は、水平方向、垂直方向とも、顔領域の水平方向の幅の1/10〜1/4程度の長さを持つ矩形領域とすることができる。また、距離閾値は、例えば、その距離が同一の部位に対応する特徴点とみなせる最大距離に設定される。
一方、顔特徴点抽出部12は、テンプレートと右画像上の顔領域との正規化相互相関値の最大値が所定の閾値未満である場合には、そのテンプレートに対応する第1の候補点と一致する第2の候補点が右画像には存在しないとして、その第1の候補点を、顔特徴点の組の探索対象から外してもよい。同様に、顔特徴点抽出部12は、再探索用テンプレートと左画像上の顔領域との正規化相互相関値の最大値が所定の閾値未満である場合にも、その再探索用テンプレートに対応する第1の候補点及び第2の候補点を顔特徴点の組の探索対象から外してもよい。この所定の閾値が高く設定されるほど、顔特徴点抽出部12は、顔特徴点の組が、同一の部位に対応していることの確からしさを向上できる。例えば、所定の閾値は、0.9〜0.95に設定される。あるいは、顔特徴点抽出部12は、左画像から抽出された第1の候補点の数が多いほど、所定の閾値を高くしてもよい。これにより、顔特徴点抽出部12は、一方の画像の顔領域から抽出された候補点の数が多いときには、同一の部位に対応している可能性が高い顔特徴点の組だけを抽出できる。また、一方の画像の顔領域から抽出された顔特徴点の数が少なくても、顔特徴点抽出部12は較正パラメータを求めるために十分な数の顔特徴点の組を抽出できる。
Similarly, the face feature
On the other hand, when the maximum value of the normalized cross-correlation value between the template and the face area on the right image is less than a predetermined threshold, the face feature
図3(a)〜図3(c)は、本実施形態による、顔特徴点の組の抽出手順を表す模式図である。図3(a)において、左画像300の顔領域内で複数の第1の候補点301が抽出される。この時点では、右画像310に対しては何の処理も行われない。
次に、図3(b)に示すように、左画像300から抽出された複数の第1の候補点のうち、注目する候補点301aを中心とするテンプレート302が設定される。そして右画像310では、テンプレート302とのテンプレートマッチングが行われ、第2の候補点311が抽出される。
その後、図3(c)に示されるように、右画像310に基づいて、第2の候補点311を中心とする再探索用テンプレート312が設定され、左画像300では、再探索用テンプレート312と顔領域とのテンプレートマッチングが行われる。その結果、第3の候補点303が抽出され、この第3の候補点303と第1の候補点301a間の距離が距離閾値以下であれば、第1の候補点301a(あるいは第3の候補点303)と第2の候補点311が顔特徴点の組となる。
FIG. 3A to FIG. 3C are schematic views showing a procedure for extracting a set of face feature points according to the present embodiment. In FIG. 3A, a plurality of first candidate points 301 are extracted in the face area of the
Next, as illustrated in FIG. 3B, a
Thereafter, as shown in FIG. 3C, a
顔特徴点抽出部12は、最初に右画像の顔領域から第1の候補点を抽出し、その第1の候補点に対応する第2の候補点を左画像の顔領域内で探索してもよい。
顔特徴点抽出部12は、得られた顔特徴点の組ごとに、二つの顔特徴点の画像上の水平座標値及び垂直座標値を記憶部4に記憶する。
The face feature
The face feature
背景特徴点抽出部13は、左画像及び右画像の背景領域から、それぞれ、その背景領域に写っている同一の物体上の同一の点に対応する背景特徴点の組を少なくとも一つ抽出する。
そこで、背景特徴点抽出部13は、顔特徴点抽出部12と同様に、左画像及び右画像のうちの一方の背景領域から背景特徴点の候補となる第1の候補点を複数抽出する。そして背景特徴点抽出部13は、第1の候補点ごとに、その候補点を中心とするテンプレートと他方の画像の背景領域との間で相対的な位置を変えつつテンプレートマッチングを行うことにより、その第1の候補点と最も一致する第2の候補点を求める。そして背景特徴点抽出部13は、第2の候補点を中心とする再探索用テンプレートと、第1の候補点を抽出した画像の背景領域とのテンプレートマッチングを行うことにより、第2の候補点と最も一致する第3の候補点を求める。そして背景特徴量抽出部13は、第3の候補点と第1の候補点間の距離が距離閾値以下であれば、一方の画像におけるその第1の候補点または第3の候補点と他方の画像における第2の候補点を背景特徴点の組として抽出する。
背景特徴点抽出部13は、得られた背景特徴点の組ごとに、二つの背景特徴点の画像上の水平座標値及び垂直座標値を記憶部4に記憶する。
The background feature
Therefore, similarly to the face feature
The background feature
較正パラメータ算出部14は、左画像及び右画像の少なくとも一方に対する、その画像上に写っている像の位置を修正するための較正パラメータを算出する。本実施形態では、較正パラメータ算出部14は、同一の部位に対応する顔特徴点の組から、像面に平行な水平軸周りのカメラ2−1の回転角とカメラ2−2の回転角との差による画像上の被写体の像の位置ずれを補正する水平方向較正パラメータを求める。同様に、較正パラメータ算出部14は、同一の部位に対応する顔特徴点の組から、像面に平行な垂直軸周りのカメラ2−1の回転角とカメラ2−2の回転角との差による像の位置ずれを補正する垂直方向較正パラメータを求める。さらに較正パラメータ算出部14は、同一の物体に対応する背景特徴点の組から、光軸周りのカメラ2−1の回転角とカメラ2−2の回転角との差による、右画像上の像と左画像上の像間の回転を補正する回転方向較正パラメータを求める。
The calibration
ここで較正パラメータを表現するための便宜上、カメラ2−1、2−2について定められる実空間上の座標系を定義する。図4は、そのような座標系を表す模式図である。座標系401は、左画像を生成するカメラ2−1について定められる座標系であり、x軸はカメラ2−1の像面に平行な水平方向、y軸は垂直方向を表す。またz軸は、カメラ2−1が有する結像光学系の光軸である。x軸は、被写体である人物の顔410に向かって右向きを正とし、y軸は上方を正とし、z軸は顔410へ向かう方向を正とする。そして左画像402の中心(XC,YC)が座標系401の原点に対応する。したがって、左画像上で垂直方向の座標YCの水平線は、実空間のx軸に対応する。また左画像402上で水平方向の座標XCの垂直線は、実空間のy軸に対応する。同様に、座標系403は、右画像を生成するカメラ2−2について定められる座標系であり、x軸はカメラ2−2の像面に平行な水平方向、y軸は像面に平行な垂直方向を表す。またz軸は、カメラ2−2が有する結像光学系の光軸である。そして右画像404の中心(XC,YC)が座標系403の原点に対応する。
Here, for the convenience of expressing the calibration parameters, a coordinate system in the real space defined for the cameras 2-1 and 2-2 is defined. FIG. 4 is a schematic diagram showing such a coordinate system. The coordinate
カメラ2−1及びカメラ2−2が設置される際の組み立て誤差などにより、一方のカメラの向きが、他方のカメラの向きと異なることがある。この向きの差は、x軸周りの回転、y軸周りの回転、及びz軸周りの回転で表される。なお、左右のカメラの取り付け位置に差がある場合も、その位置の差は各軸周りの回転量の差に含まれた形で表される。
そこで本実施形態では、較正パラメータ算出部14は、顔特徴点の組から水平方向較正パラメータとしてx軸周りの回転量の差θxを求め、垂直方向較正パラメータとしてy軸周りの回転量の差θyを求める。
The orientation of one camera may differ from the orientation of the other camera due to assembly errors when the camera 2-1 and the camera 2-2 are installed. This difference in orientation is represented by rotation around the x axis, rotation around the y axis, and rotation around the z axis. In addition, even when there is a difference in the attachment positions of the left and right cameras, the difference in the positions is expressed in a form included in the difference in the rotation amount around each axis.
Therefore, in this embodiment, the calibration
図5(a)〜図5(c)を参照しつつ、顔特徴点の組と較正パラメータθx、θyの関係を説明する。図5(a)は、左画像及び右画像における顔特徴点の組の一例を表す。図5(a)において、左画像500には座標(XL,i,YL,i)にi番目(iは1以上の整数)の顔特徴点の組に含まれる顔特徴点501が検出されており、右画像510には座標(XR,i,YR,i)にi番目の顔特徴点の組に含まれる顔特徴点511が検出されている。この場合、座標(XC,YC)に位置するカメラ2−1の光軸に対応する画像中心502から顔特徴点501までの左画像上の水平方向差及び垂直方向の差は、それぞれ(XL,i-XC,YL,i-YC)となる。同様に、座標(XC,YC)に位置するカメラ2−2の光軸に対応する画像中心512から顔特徴点511までの右画像上の水平方向差及び垂直方向の差は、それぞれ(XR,i-XC,YR,i-YC)となる。この垂直方向の差は、カメラ2−1、2−2の光軸を通る水平面から特徴点までの回転成分に相当し、一方、水平方向の差は、カメラ2−1、2−2の光軸を通る垂直面から特徴点までの回転成分に相当する。そして水平面から特徴点までの回転成分は、x軸周りの回転角に対応し、垂直面から特徴点までの回転成分は、y軸周りの回転角に対応する。
With reference to FIGS. 5A to 5C, the relationship between the set of face feature points and the calibration parameters θ x and θ y will be described. FIG. 5A shows an example of a set of face feature points in the left image and the right image. 5A, the
図5(b)は、画像中心から顔特徴点までの垂直方向の差と水平面からの回転成分θx,L,i、θx,R,iとの関係を表す模式図である。像面は、カメラの視点からカメラの焦点距離に位置すると仮定される。そのため、図5(b)に示されるように、回転成分θx,L,i、θx,R,iは、それぞれ、次式に従って算出される。
較正パラメータ算出部14は、顔特徴点の組ごとに、(1)式に従って回転成分θy,L,i、θy,R,iを求め、その回転成分間の差(θx,L,i-θx,R,i)を求める。そして較正パラメータ算出部14は、その差の平均値を水平方向較正パラメータθxとする。
The calibration
図5(c)は、画像中心から顔特徴点までの水平方向の差と垂直面からの回転成分θy,L,i、θy,R,iの関係を表す模式図である。図5(c)に示されるように、回転成分θy,L,i、θy,R,iは、それぞれ、次式に従って算出される。
較正パラメータ算出部14は、顔特徴点の組ごとに、(2)式に従って回転成分θy,L,iと回転成分θy,R,iを求め、その回転成分間の差(θy,L,i-θy,R,i)を求める。そして較正パラメータ算出部14は、その差の平均値を垂直方向較正パラメータθyとする。
The calibration
なお、較正パラメータ算出部14は、各顔特徴点の組についての回転角の差を加重平均することにより、水平方向較正パラメータθx及び垂直方向較正パラメータθyを求めてもよい。その際、較正パラメータ算出部14は、画像中心(Xc,Yc)から顔特徴点の組に含まれる顔特徴点までの平均距離が小さいほど、その顔特徴点の組について算出された回転角の差に対する重み係数を小さくすることが好ましい。画像中心は光軸に対応しているので、画像中心に近い顔特徴点ほど、水平面、垂直面に対する回転成分の絶対値も小さい。そのため、画像中心に近い顔特徴点の組ほど、左右の画像間での回転成分の差に含まれる誤差が相対的に大きくなるためである。
Note that the calibration
また較正パラメータ算出部14は、背景特徴点の組に基づいて、回転方向較正パラメータθzを求める。そこで先ず、較正パラメータ算出部14は、背景特徴点の組について、x軸周りのカメラの回転角の差及びy軸周りのカメラの回転角の差による画像上の特徴点の位置のずれを打ち消す。そのために、較正パラメータ算出部14は、次式に従って、上記の較正パラメータθx及びθyを用いて右画像から抽出された各背景特徴点の位置を補正する。
その後、較正パラメータ算出部14は、左画像上の各背景特徴点及び右画像上の各背景特徴点を、画像中心(Xc,Yc)を回転中心として、それぞれ、互いに反対向きに画像上で角度Δθ/2ずつ回転させる。較正パラメータ算出部14は、左画像に対する右画像の回転角Δθを少しずつ変えて行った時、各背景特徴点の組について、左右の垂直座標の差の平均値が最小となるときの回転角Δθを回転方向較正パラメータθzとする。
較正パラメータ算出部14は、各背景特徴点の組についての垂直座標の差を加重平均することにより、回転方向較正パラメータθzを求めてもよい。この場合も、較正パラメータ算出部14は、画像中心(Xc,Yc)から背景特徴点の組に含まれる背景特徴点までの距離の平均値が小さいほど、その背景特徴点の組について算出された垂直座標の差に対する重み係数を小さくすることが好ましい。
Thereafter, the calibration
The calibration
なお、被写体である人の後方に壁しか存在しない場合のように、背景領域内の画素値の局所的な変化が小さくなることがある。このような場合、抽出される背景特徴点の組の数が少なくなり、その結果、背景特徴点の組の数が回転方向較正パラメータθzを求めるために不十分となることがある。そこで較正パラメータ算出部14は、背景領域内の局所勾配の方位の分布を左画像及び右画像からそれぞれ求め、左画像と右画像間の局所勾配の方位の分布におけるピーク角度の差を回転方向較正パラメータθzとしてもよい。
Note that the local change in the pixel value in the background region may be small, as in the case where only the wall exists behind the person who is the subject. In such a case, the number of background feature point sets to be extracted is reduced, and as a result, the number of background feature point sets may be insufficient to obtain the rotation direction calibration parameter θ z . Therefore, the calibration
図6(a)は、局所勾配の算出に用いられる複数の画素の位置関係を説明する図である。図6(a)に示されるように、背景領域600内の注目する画素(i,j)について、較正パラメータ算出部14は、例えば、左側に隣接する画素(i-1,j)及び上側に隣接する画素(i,j-1)を参照する。そして較正パラメータ算出部14は、次式に従って画素(i,j)の局所勾配の方位φijを求める。
図6(b)は、左画像及び右画像の背景領域から求められる局所勾配の方位の分布の模式図である。ヒストグラム610は、左画像の背景領域から求められた局所勾配の方位の分布を表し、ヒストグラム620は、右画像の背景領域から求められた局所勾配の方位の分布を表す。また横軸は方位角を表し、縦軸は画素数を表す。例えば、ヒストグラム610において、方位角φaの画素数が最も多い、すなわち、方位角φaがピーク角度である。またヒストグラム620において、方位角φbがピーク角度である。この場合、較正パラメータ算出部14は、方位角の差(φa-φb)を回転方向較正パラメータθzとして求める。
較正パラメータ算出部14は、較正パラメータの組(θx,θy,θz)を判定部15へ渡す。
FIG. 6B is a schematic diagram of the orientation distribution of the local gradient obtained from the background regions of the left image and the right image. The
The calibration
判定部15は、較正パラメータ算出部14により算出された較正パラメータが適正か否かを判定する。ステレオ画像を正しく3次元表示するためには、較正パラメータを用いて補正された左画像及び右画像上で同一の物体の高さが等しいこと、すなわち、同一の物体についてのエピポーラ線の高さが両画像において等しいことが重要である。そこで判定部15は、補正後の左画像及び右画像における、各顔特徴点の組または各背景特徴点の組の垂直方向のずれの大きさに基づいて較正パラメータが適正か否か判定する。なお、エピポーラ線は、一方のカメラと被写体上の注目点を結ぶ線を他方のカメラで撮影した画像上に投影した線である。
The
判定部15は、例えば、上記の較正パラメータの組を用いて、右画像の顔特徴点および背景特徴点の座標をそれぞれ変換し、補正後の右画像上での各特徴点の座標を求める。そのために、判定部15は、例えば、上記の(3)式にしたがって各特徴点の位置を補正する。その後、判定部15は、補正された各特徴点の座標を、次式に従って変換することにより、z軸周り、すなわち光軸周りのカメラ2−1とカメラ2−2の回転角の差による位置のずれを補正する。
判定部15は、各特徴点の組に含まれる特徴点同士の垂直方向の座標のずれの絶対値の平均値が所定の許容範囲内であれば、較正パラメータの組(θx,θy,θz)は適正であると判定する。一方、その平均値がその許容範囲から外れていれば、判定部15は、較正パラメータの組は不適正であると判定する。例えば、インターレース方式にてステレオ画像を表示する場合には、垂直方向における1画素のずれは知覚されないので、その許容範囲は±1画素に設定される。
If the average value of absolute deviations in the vertical coordinate shift between the feature points included in each feature point set is within a predetermined allowable range, the
また顔特徴点の組における特徴点同士の垂直方向の座標のずれの絶対値の平均値に対する許容範囲は、背景特徴点の組における特徴点同士の垂直方向の座標のずれの絶対値の平均値に対する許容範囲と異なっていてもよい。例えば、顔の3次元表示像の質を背景領域に写っている物体の3次元表示像の質よりも重視する場合には、顔特徴点の組に対する許容範囲は、背景特徴点の組に対する許容範囲よりも狭く設定されてもよい。例えば、顔特徴点の組に対する許容範囲は±1画素であり、背景特徴点の組に対する許容範囲は±2画素であってもよい。
また判定部15は、各特徴点の組に含まれる特徴点同士の垂直方向の座標のずれを評価するために、そのずれの絶対値の平均値を算出する代わりに、そのずれの二乗の平均値を求めてもよい。この場合、判定部15は、垂直方向の座標のずれの二乗の平均値が所定の閾値以下である場合に、較正パラメータの組(θx,θy,θz)は適正であると判定する。
さらに判定部15は、顔特徴点の組のみ、または背景特徴点の組のみを用いて上記のように特徴点同士の垂直方向の座標のずれの平均値を求め、その平均値が許容範囲に含まれるか否かによって較正パラメータの組(θx,θy,θz)が適正か否かを判定してもよい。
In addition, the allowable range for the average absolute value of the vertical coordinate shift between the feature points in the set of face feature points is the average of the absolute value of the vertical coordinate shift between the feature points in the set of background feature points. May be different from the allowable range for. For example, when the quality of the 3D display image of the face is more important than the quality of the 3D display image of the object in the background area, the allowable range for the set of face feature points is the allowable range for the set of background feature points. It may be set narrower than the range. For example, the allowable range for the set of face feature points may be ± 1 pixel, and the allowable range for the set of background feature points may be ± 2 pixels.
Further, in order to evaluate the vertical coordinate shift between the feature points included in each set of feature points, the
Further, the
判定部15は、較正パラメータの組(θx,θy,θz)は適正であると判定した場合、その較正パラメータの組を記憶部4に記憶し、処理部5に適正な較正パラメータの組が得られたことを通知する。その後、処理部5は、カメラ2−1、2−2から左画像及び右画像の組が得られる度に、その較正パラメータの組を用いて、(3)及び(5)式に従って少なくとも一方の画像の各画素の座標を変換することで、一組のステレオ画像を得る。
一方、判定部15は、較正パラメータの組(θx,θy,θz)は不適正であると判定した場合、その較正パラメータの組を廃棄し、処理部5にその旨を通知する。そして処理部5は、再度カメラ2−1、2−2から左画像及び右画像を取得し、新たに得られた左画像及び右画像に基づいて再度較正パラメータの組を求める。
When the
On the other hand, when the
また、判定部15は、較正パラメータの組(θx,θy,θz)を用いて、その較正パラメータの組の算出後に得られた右画像または左画像の補正画像を生成し、その補正画像に基づいて再度顔特徴点の組及び背景特徴点の組を抽出してもよい。そして判定部15は、それら特徴点の組における特徴点同士の垂直方向座標のずれの絶対値の平均値が所定の許容範囲に含まれるか否かで、較正パラメータの組が適正か否かを判定してもよい。
Further, the
図7は、処理部5により実行されるキャリブレーション処理(ステレオ画像較正処理)の動作フローチャートである。
処理部5は、カメラ2−1から左画像を取得し、カメラ2−2から右画像を取得する(ステップS101)。そして処理部5は、左画像及び右画像を顔検出部11、顔特徴点抽出部12及び背景特徴点抽出部13へ渡す。顔検出部11は、左画像及び右画像から、それぞれ顔領域を検出する(ステップS102)。そして顔検出部11は、顔領域及び背景領域を表す情報を顔特徴点抽出部12及び背景特徴点抽出部13へ渡す。
FIG. 7 is an operation flowchart of a calibration process (stereo image calibration process) executed by the
The
顔特徴点抽出部12は、左画像及び右画像のそれぞれの顔領域から、顔上の同一の点に対応する顔特徴点の組を少なくとも一つ抽出する(ステップS103)。そして顔特徴点抽出部12は、その顔特徴点の組に含まれる各特徴点の座標を記憶部4に記憶する。
また背景特徴点抽出部13は、左画像及び右画像のそれぞれの背景領域から、同一の物体上の同一の点に対応する背景特徴点の組を少なくとも一つ抽出する(ステップS104)。そして背景特徴点抽出部13は、その背景特徴点の組に含まれる各特徴点の座標を記憶部4に記憶する。
The face feature
Further, the background feature
較正パラメータ算出部14は、顔特徴点の組から画像上の水平方向及び垂直方向の較正パラメータθx、θyを算出する(ステップS105)。また較正パラメータ算出部14は、背景特徴点の組から回転方向較正パラメータθzを算出する(ステップS106)。そして較正パラメータ算出部14は、較正パラメータの組(θx,θy,θz)を判定部15へ渡す。
The calibration
判定部15は、較正パラメータの組(θx,θy,θz)が適正か否か判定する(ステップS107)。較正パラメータの組(θx,θy,θz)が適正でなければ(ステップS107−No)、処理部5は、ステップS101以降の処理を繰り返す。一方、較正パラメータの組(θx,θy,θz)が適正であれば(ステップS107−Yes)、判定部15は、その較正パラメータの組を記憶部4に記憶し、その後キャリブレーション処理を終了する。なお、処理部5は、ステップS103とS104の処理の順序を入れ替えてもよい。
The
以上に説明してきたように、このステレオ画像較正装置は、予め被写体として分かっている顔を、その特徴を利用して左右の画像から検出し、その顔が写っている領域内の特徴点に基づいて、水平方向及び垂直方向の較正パラメータを求める。そのため、このステレオ画像較正装置は、左右の画像における被写体である顔の位置をステレオ画像に適するように補正できる。またこのステレオ画像較正装置は、背景領域内の背景特徴点の組に基づいて、回転方向の較正パラメータを求める。背景領域は、通常、光軸に相当する画像中心から離れているので、カメラ間の光軸周りの回転角の差を反映し易い。そのため、このステレオ画像較正装置は、左右の画像間における像の回転を適切に補正できる。 As described above, this stereo image calibration apparatus detects a face that is known as a subject in advance from the left and right images using the feature, and based on the feature point in the region in which the face is reflected. Thus, the horizontal and vertical calibration parameters are obtained. Therefore, this stereo image calibration apparatus can correct the position of the face as the subject in the left and right images so as to be suitable for the stereo image. Further, the stereo image calibration apparatus obtains a calibration parameter in the rotation direction based on a set of background feature points in the background region. Since the background area is usually away from the center of the image corresponding to the optical axis, it easily reflects the difference in rotation angle around the optical axis between cameras. Therefore, this stereo image calibration apparatus can appropriately correct the rotation of the image between the left and right images.
変形例によれば、較正パラメータ算出部は、背景特徴点の組だけでなく、顔特徴点の組も用いて、回転方向較正パラメータθzを求めてもよい。これにより、較正パラメータ算出部は、画像中のより広い範囲に分布する特徴点の組を参照することができるので、より適切に回転方向較正パラメータθzを決定できる。特に、背景領域に模様の無い壁が写っている場合のように、抽出される背景特徴点の組の数が少ないことがある。このような場合に、較正パラメータ算出部は、顔特徴点の組も用いることで回転方向較正パラメータを精度良く求めることができる。 According to the modification, the calibration parameter calculation unit may obtain the rotation direction calibration parameter θ z using not only the set of background feature points but also the set of face feature points. Thus, the calibration parameter calculating unit, it is possible to refer to the set of feature points distributed in a wider range in the image can be determined more appropriately rotating direction calibration parameter theta z. In particular, there may be a small number of background feature point sets to be extracted, as in the case where a wall having no pattern appears in the background area. In such a case, the calibration parameter calculation unit can obtain the rotation direction calibration parameter with high accuracy by using a set of face feature points.
さらに他の変形例によれば、背景特徴点抽出部は、背景特徴点を抽出する領域を、左画像と右画像の両方に同一の物体が写っている可能性が高い領域に限定してもよい。
顔領域の近傍では、その顔領域に写っている人の頭部によって、その背後にある物体が隠蔽されるオクルージョンが生じる。本実施形態では、カメラ2−1とカメラ2−2の位置が異なっているので、左画像において頭部によって隠蔽される範囲と右画像において頭部によって隠蔽される範囲は異なる。そこで背景特徴点抽出部は、背景領域から、顔領域から所定範囲内にある領域を除き、その残りの領域から背景特徴点を抽出する。
According to still another modification, the background feature point extraction unit may limit the region from which the background feature point is extracted to a region where the same object is likely to appear in both the left image and the right image. Good.
In the vicinity of the face area, an occlusion occurs in which an object behind the face area is concealed by the head of the person reflected in the face area. In the present embodiment, since the positions of the camera 2-1 and the camera 2-2 are different, the range hidden by the head in the left image is different from the range hidden by the head in the right image. Therefore, the background feature point extraction unit removes a region within a predetermined range from the face region from the background region, and extracts a background feature point from the remaining region.
この様子を図8(a)及び図8(b)を参照しつつ説明する。図8(a)は、左画像上に写っている背景領域のうち、右画像で頭部により隠蔽される範囲を表す模式図である。また図8(b)は、右画像上に写っている背景領域のうち、左画像で頭部により隠蔽される範囲を表す模式図である。
図8(a)及び図8(b)において、点801、802は、それぞれ、カメラ2−1、カメラ2−2の視点を表す。線803、804は、それぞれ、カメラ2−1の撮像面及びカメラ2−2の撮像面を表す。また線805は、実空間上での頭部の範囲を表す。この例では、簡単化のために頭部805を平面で近似的に表した。また線806は、カメラ2−1、2−2から最も遠方にある物体を表す。この場合、領域807内にある物体は、左画像には写るものの、右画像では頭部805に隠れて写らない。そこで背景特徴点抽出部は、左画像において、領域807の左端に対応する左画像上の水平座標xL,0,maxから領域807の右端に対応する左画像上の水平座標xL,0までの範囲を、背景特徴点を抽出する範囲から除外する。
This will be described with reference to FIGS. 8A and 8B. FIG. 8A is a schematic diagram showing a range concealed by the head in the right image in the background area shown on the left image. FIG. 8B is a schematic diagram showing a range concealed by the head in the left image in the background area shown on the right image.
8A and 8B, points 801 and 802 represent the viewpoints of the camera 2-1 and the camera 2-2, respectively.
この場合、領域807の右端は顔領域に写る頭部805で規定されるので、左画像上での水平座標xL,0は、顔領域の左端の座標となる。また水平座標xL,0,maxは、右画像上での顔領域の左端の座標xR,0に対応する位置となる。カメラ2−1、2−2から最も遠方にある物体までの距離Zmaxが既知であるならば、カメラ2−1とカメラ2−2間の間隔も通常既知であるので、三角測量の原理に基づいて、右画像上の座標xR,0に対応する左画像上の水平座標xL,0,maxは算出される。また、距離Zmaxが未知である場合、背景特徴点抽出部は、Zmax=∞、すなわち、カメラ2−2の視点802と座標xR,0を通る線と、カメラ2−1の視点801と水平座標xL,0,maxを通る線が平行であると仮定し、水平座標xL,0,maxを座標xR,0に設定する。
In this case, since the right end of the
同様に、右画像に写っているにもかかわらず、頭部805で隠されることにより左画像に写らない領域は、図8(b)に示された領域808となる。そこで背景特徴点抽出部は、右画像において、領域808の左端に対応する右画像上の水平座標xR,1から領域808の右端に対応する右画像上の水平座標xR,1,maxまでの範囲を、背景特徴点を抽出する範囲から除外する。そして領域808の左端は顔領域に写る頭部805で規定されるので、水平座標xR,1は、顔領域の右端の座標となる。一方、水平座標xR,1,maxは、左画像上での顔領域の右端の座標xL,1に対応する位置となる。カメラ2−1、2−2から最も遠方にある物体までの距離Zmaxが既知であるならば、水平座標xL,0,maxと同様に、三角測量の原理に基づいて、水平座標xR,1,maxは算出される。また、距離Zmaxが未知である場合、背景特徴点抽出部は、Zmax=∞と仮定し、水平座標xR,1,maxを座標xL,1に設定する。
Similarly, a region that is hidden in the
図9(a)及び図9(b)は、それぞれ、背景特徴点の抽出に関して、左画像及び右画像において背景領域から除外される領域を表す模式図である。図9(a)に示されるように、左画像900では、顔領域910の左側に隣接する、水平座標xL,0,maxからxL,0までの範囲902が、背景特徴点の抽出が行われない領域として、背景領域901から除外される。また図9(b)に示されるように、右画像905では、顔領域915の右側に隣接する、水平座標xR,1からxR,1,maxまでの範囲907が、背景特徴点の抽出が行われない領域として、背景領域906から除外される。これにより、例えば、左画像900では、頭部によって隠蔽される物点920は、右画像905では、背景特徴点の抽出対象領域から外れる。なお、顔領域が矩形領域でない場合には、背景特徴点抽出部は、左画像に関して、行ごとに顔領域の左端の座標をxL,0とし、上記のようにして求めたxL,0,maxからxL,0までの幅だけ左側の座標をxL,0,maxとしてもよい。同様に、背景特徴点抽出部は、右画像に関して、行ごとに顔領域の右端の座標をxR,1とし、上記のようにして求めたxR,1からxR,1,maxまでの幅だけ右側の座標をxR,1,maxとしてもよい。
FIG. 9A and FIG. 9B are schematic diagrams showing regions excluded from the background region in the left image and the right image, respectively, regarding the extraction of background feature points. As shown in FIG. 9A, in the
図10(a)及び図10(b)は、それぞれ、背景特徴点の抽出に関して、左画像及び右画像において背景領域から除外される領域を表す他の一例の模式図である。図10(a)に示されるように、左画像1000では、左端近傍の幅dの領域1001に写っている物体は、物点1020のように右画像に写らない。また図10(b)に示されるように、右画像1010では、右端近傍の幅dの領域1011に写っている物体は、左画像に写らない。そのため、背景特徴点抽出部は、左画像の領域1001及び右画像の領域1011から背景特徴点を抽出しないようにしてもよい。
FIG. 10A and FIG. 10B are schematic diagrams of other examples showing areas excluded from the background area in the left image and the right image, respectively, regarding the extraction of the background feature points. As shown in FIG. 10A, in the
幅dの決定方法を図11〜図13を参照しつつ説明する。図11は、左画像を生成するカメラ2−1の撮影範囲と右画像を生成するカメラ2−2の撮影範囲の関係を表す模式図である。この例では、カメラ2−1の結像光学系の光軸はカメラ2−2の結像光学系の光軸と平行であるとする。
図11において、点1101、1102は、それぞれ、カメラ2−1、カメラ2−2の視点を表す。線1103、1104は、それぞれ、カメラ2−1の撮影面及びカメラ2−2の撮影面を表す。そしてカメラ2−1、2−2の水平方向の画角は、ともにθであるとする。また線1105は、カメラ2−1、2−2から最も遠方にある物体を表す。この場合、左画像に写る物体1105の水平方向の幅は(2Zmaxtan(θ/2)となる。なお、Zmaxは、カメラ2−1から物体1105までの距離である。同様に、右画像に写る物体1105の水平方向の幅は(2Zmaxtan(θ/2)となる。そしてカメラ2−1とカメラ2−2の間隔がTであれば、左画像上の左端に対応する物体1105上の点1106から距離Tまでの点までを含む領域1107に存在する物体が右画像に写らない。そこで背景特徴点が抽出されない、左画像の左端からの距離dは次式で算出される。
In FIG. 11, points 1101 and 1102 represent the viewpoints of the camera 2-1 and the camera 2-2, respectively.
また、カメラ2−1の結像光学系の光軸がカメラ2−2の結像光学系の光軸と平行でないこともある。
図12は、カメラ2−1、2−2から左画像に写る範囲と右画像に写る範囲が同一となる平面までの距離Z'が、カメラ2−1、2−2から左画像及び右画像に写る最も遠方の物体までの距離Zmaxよりも大きい場合のカメラ2−1、2−2の撮影範囲の模式図である。
図12において点1201、1202は、それぞれ、カメラ2−1、カメラ2−2の視点を表す。線1203、1204は、それぞれ、カメラ2−1の撮影面及びカメラ2−2の撮影面を表す。そしてカメラ2−1、2−2の水平方向の画角は、ともにθであるとする。また物体1205は、カメラ2−1、2−2から最も遠方にある物体である。さらに、カメラ2−1の結像光学系の光軸とカメラ2−2の結像光学系の光軸は角度αをなして物体側で交差し、物体1205の法線に対してそれぞれα/2だけ傾いているとする。このαは、例えば、設計値である。
Further, the optical axis of the imaging optical system of the camera 2-1 may not be parallel to the optical axis of the imaging optical system of the camera 2-2.
FIG. 12 shows the distance Z ′ from the cameras 2-1 and 2-2 to the plane where the range shown in the left image and the range shown in the right image are the same. it is a schematic view of a photographic range of the camera 2-1 and 2-2 is larger than the most distant distance Z max to the object caught on.
In FIG. 12, points 1201 and 1202 represent the viewpoints of the cameras 2-1 and 2-2, respectively.
ここで、物体1205における、右画像の左端に対応する点をPとする。このとき、カメラ2−2の視点1202から物体1205まで垂直に下ろした点と、Pとの間の距離lはZmaxtan(θ/2+α/2)となる。一方、カメラ2−1の視点1201とPを通る直線と、視線とのなす角度βは(α/2+tan-1((l-T)/Zmax))となる。なおTは、カメラ2−1とカメラ2−2間の距離である。したがって、左画像及び右画像の水平方向の画素数をWとすると、一方の画像に写らない領域の他方の画像における画像端からの幅dは次式で求められる。
図13は、カメラ2−1、2−2から左画像に写る範囲と右画像に写る範囲が同一となる平面までの距離Z'が、カメラ2−1、2−2から左画像及び右画像に写る最も遠方の物体までの距離Zmaxよりも小さい場合のカメラ2−1、2−2の撮影範囲の模式図である。
図13において点1301、1302は、それぞれ、カメラ2−1、カメラ2−2の視点を表す。線1303、1304は、それぞれ、カメラ2−1の撮影面及びカメラ2−2の撮影面を表す。そしてカメラ2−1、2−2の水平方向の画角は、ともにθであるとする。また物体1305は、カメラ2−1、2−2から最も遠方(距離Zmax)にある物体である。さらに、カメラ2−1の結像光学系の光軸とカメラ2−2の結像光学系の光軸は角度αをなして物体側で交差し、物体1305の法線に対してそれぞれα/2だけ傾いているとする。
ここで、物体1305における、右画像の左端に対応する点をQとする。このとき、カメラ2−1の視点1301から物体1305まで垂直に下ろした点と、Qとの間の距離mはZmaxtan(θ/2-α/2)となる。一方、カメラ2−2の視点1301とQを通る直線と、カメラ2−2の光軸1306とのなす角度γは(tan-1((m+T)/Zmax)- α/2)となる。なおTは、カメラ2−1とカメラ2−2間の距離である。したがって、左画像及び右画像の水平方向の画素数をWとすると、一方の画像に写らない領域の他方の画像における画像端からの幅dは次式で求められる。
In FIG. 13, points 1301 and 1302 represent the viewpoints of the cameras 2-1 and 2-2, respectively.
Here, Q is a point corresponding to the left end of the right image in the
さらに、背景特徴点抽出部は、背景領域から、上述した左画像の左端近傍の領域及び右画像の右端近傍の領域と頭部によりオクルージョンが生じる顔領域近傍の領域との両方を除いた残りの領域からのみ背景特徴点を抽出してもよい。
図14(a)及び図14(b)は、それぞれ、背景特徴点の抽出に関して左画像及び右画像において背景領域から除外される領域を表すさらに他の一例の模式図である。図14(a)に示されるように、左画像1400では、背景領域から左画像の左端近傍の幅dの領域1402と顔領域1403の左端近傍の、水平座標xL,0,maxからxL,0までの領域1404を除いた残りの領域1405が背景特徴点の抽出対象となる。また図14(b)に示されるように、右画像1410では、背景領域から右画像の右端近傍の幅dの領域1412と顔領域1413の右端近傍の、水平座標xR,1からxR,1,maxまでの領域1414を除いた残りの領域1415が背景特徴点の抽出対象となる。
Further, the background feature point extraction unit removes both the above-mentioned region near the left end of the left image and the region near the right end of the right image and the region near the face region where occlusion occurs due to the head from the background region. Background feature points may be extracted only from the region.
FIG. 14A and FIG. 14B are schematic diagrams of still another example showing areas excluded from the background area in the left image and the right image with respect to extraction of the background feature points, respectively. As shown in FIG. 14A, in the
上述したような背景特徴点抽出の除外範囲の設定は、キャリブレーション済みのステレオカメラで3次元計測を行う装置にも適用が可能である。
例えば、カメラ2−1とカメラ2−2間の間隔は既知であるので、処理部は、各背景特徴点の組に対して、三角測量の原理に基づいてカメラ2−1、2−2からその背景特徴点の組に対応する物体までの距離を求めることができる。同様に、処理部は、各顔特徴点の組に対して、三角測量の原理に基づいてカメラ2−1、2−2からその顔特徴点の組に対応する顔上の点までの距離を求めることができる。
その際、片方のカメラで撮影された画像において被写体により隠蔽されている特徴点、または片方のカメラにしか写らない特徴点が含まれれば、無駄な処理量が増えるとともに、特徴点の誤対応による計測ミスが生じる。この時、上述したように、背景特徴点の抽出を行わない領域を設定することにより、処理部は、処理の効率化と精度の向上を実現できる。
The setting of the exclusion range of background feature point extraction as described above can also be applied to an apparatus that performs three-dimensional measurement with a calibrated stereo camera.
For example, since the interval between the camera 2-1 and the camera 2-2 is known, the processing unit determines whether the pair of background feature points is from the cameras 2-1 and 2-2 based on the principle of triangulation. The distance to the object corresponding to the set of background feature points can be obtained. Similarly, for each set of facial feature points, the processing unit calculates the distance from the cameras 2-1 and 2-2 to the point on the face corresponding to the set of facial feature points based on the principle of triangulation. Can be sought.
At this time, if a feature point concealed by the subject in an image taken with one camera or a feature point that can only be seen by one camera is included, the amount of processing is wasted and the feature point is mishandled. A measurement error occurs. At this time, as described above, by setting a region where the background feature points are not extracted, the processing unit can realize an improvement in processing efficiency and accuracy.
場合によっては、カメラ2−1の結像光学系の焦点距離とカメラ2−2の結像光学系の焦点距離が異なることがある。このような場合、左画像に写る像の拡大率(以下、カメラ倍率と呼ぶ)が右画像に写る像の拡大率と異なることになる。変形例によれば、処理部は、同一の物体の同一の点に対応する特徴点の組を、このようなカメラ倍率の差異の較正にも利用できる。
ここで、左画像上の二つの特徴点間の距離の平均値と右画像上の二つの特徴点間の距離の平均値は、カメラ倍率の違いを反映していると推測される。特に、カメラまでの距離が相対的に遠い物体上の点については、両方のカメラからその点までの距離がほぼ等しくなるので、各カメラとその点までの距離間の差は無視できるほど小さい。
そこで、例えば、較正パラメータ算出部は、左画像及び右画像のそれぞれについて、カメラから相対的に物体に対応する、複数の背景特徴点から任意の二つの背景特徴点を選択し、その二つの背景特徴点間の距離(画像上の位置の差)を計算する。較正パラメータ算出部は、選択する背景特徴点の組み合わせを様々に変えて、背景特徴点間の距離を多数算出し、その距離の平均値を求める。そして較正パラメータ算出部は、左画像について求めた背景特徴点間の距離の平均値に対する、右画像について求めた背景特徴点間の距離の平均値の比率をスケール比Sとして求める。スケール比Sが決まれば、較正パラメータ算出部は、x軸周りの較正パラメータθx及びy軸周りの較正パラメータθyを決定する際に、(1)式、(2)式においてXR,i、YR,iにスケール比Sを乗じることで、カメラ倍率の違いを補正できる。
In some cases, the focal length of the imaging optical system of the camera 2-1 may be different from the focal length of the imaging optical system of the camera 2-2. In such a case, the magnification of the image shown in the left image (hereinafter referred to as the camera magnification) is different from the magnification of the image shown in the right image. According to the modification, the processing unit can also use a set of feature points corresponding to the same point of the same object for calibration of the difference in camera magnification.
Here, the average value of the distance between the two feature points on the left image and the average value of the distance between the two feature points on the right image are estimated to reflect the difference in camera magnification. In particular, for a point on an object that is relatively far from the camera, the distance from both cameras to that point is almost equal, so the difference between each camera and the distance to that point is negligibly small.
Therefore, for example, for each of the left image and the right image, the calibration parameter calculation unit selects any two background feature points from a plurality of background feature points that correspond relatively to the object from the camera, and the two backgrounds The distance between feature points (positional difference on the image) is calculated. The calibration parameter calculation unit calculates various distances between the background feature points by changing various combinations of background feature points to be selected, and obtains an average value of the distances. Then, the calibration parameter calculation unit obtains, as a scale ratio S, a ratio of the average value of the distance between the background feature points obtained for the right image to the average value of the distance between the background feature points obtained for the left image. When the scale ratio S is determined, the calibration parameter calculation unit determines X R, i in the equations (1) and (2) when determining the calibration parameter θ x around the x axis and the calibration parameter θ y around the y axis. By multiplying YR , i by the scale ratio S, the difference in camera magnification can be corrected.
さらに他の変形例によれば、一旦求めた較正パラメータの組(θx,θy,θz)に基いて補正された右画像または左画像から顔特徴点の組及び背景特徴点の組を求めることにより、カメラから顔までの距離及び各背景特徴点の組に対応する物体までの距離が求められる。その結果、顔から各背景特徴点の組に対応する物体までの相対的な距離が計測できる。計測した距離に基いて、背景特徴点抽出部は、背景の特徴点の組を求める際の、テンプレートマッチングの探索範囲をその距離を中心とする所定の範囲内の距離となる画像上の領域に限定できる。そして背景特徴点抽出部は、限定された範囲内で再度テンプレートマッチングを行うことにより、同一の物体の同一の点に対応している可能性がより高い背景特徴点の組を得ることが可能になる。較正パラメータ算出部は、その背景特徴点の組を使用して、再度、較正パラメータを算出し直せば、より正確な較正パラメータを求めることができる。特に、上記のスケール比の推定においては、較正パラメータ算出部は、遠方の背景特徴点を選択的に利用することにより、カメラ2−1から物体までの距離とカメラ2−2からその物体までの距離の違いに起因するスケール比の測定誤差を低減できる。 According to still another modification, a set of face feature points and a set of background feature points are obtained from a right image or a left image corrected based on a set of calibration parameters (θ x , θ y , θ z ) once obtained. By obtaining, the distance from the camera to the face and the distance to the object corresponding to each set of background feature points are obtained. As a result, the relative distance from the face to the object corresponding to each set of background feature points can be measured. Based on the measured distance, the background feature point extraction unit calculates a template matching search range when obtaining a set of background feature points to an area on the image that is a distance within a predetermined range centered on the distance. Can be limited. The background feature point extraction unit can obtain a set of background feature points that are more likely to correspond to the same point of the same object by performing template matching again within a limited range. Become. The calibration parameter calculation unit can obtain a more accurate calibration parameter by calculating the calibration parameter again using the set of background feature points. In particular, in the above-described estimation of the scale ratio, the calibration parameter calculation unit selectively uses a distant background feature point to thereby determine the distance from the camera 2-1 to the object and the camera 2-2 to the object. Measurement error of the scale ratio due to the difference in distance can be reduced.
さらに他の変形例によれば、被写体は、顔ではなく、人の全身あるいは上半身、車両または植物などであってもよい。この場合、処理部は、左画像及び右画像から、それぞれそのような被写体が写っている被写体領域を検出する被写体領域検出部を有する。この被写体領域検出部は、例えば、顔検出部と同様に、予め被写体が写っていることが分かっている複数の画像と被写体が写っていないことが分かっている複数の画像を用いた教師付き学習によって、画像上の被写体領域を抽出するように学習された識別器を用いて被写体領域を抽出する。そして被写体領域が抽出された後、処理部は、上記の実施形態またはその変形例と同様に、左画像及び右画像の被写体領域から被写体の同一の点を表す被写体特徴点の組を求め、背景領域から背景特徴点の組を求める。そして処理部は、被写体特徴点の組から水平方向及び垂直方向の較正パラメータを求め、背景特徴点の組から回転方向較正パラメータを求めればよい。 According to still another modification, the subject may be a person's whole body or upper body, a vehicle, a plant, or the like instead of a face. In this case, the processing unit includes a subject region detection unit that detects a subject region in which such a subject is captured from the left image and the right image. For example, the subject area detection unit, like the face detection unit, uses supervised learning using a plurality of images whose subject is known to be captured in advance and a plurality of images whose subject is known not to be captured. Thus, the subject region is extracted using the discriminator learned to extract the subject region on the image. Then, after the subject area is extracted, the processing unit obtains a set of subject feature points representing the same point of the subject from the subject areas of the left image and the right image, as in the above-described embodiment or the modification thereof, and the background. A set of background feature points is obtained from the region. Then, the processing unit may obtain horizontal and vertical calibration parameters from the set of subject feature points, and obtain a rotation direction calibration parameter from the set of background feature points.
上記の実施形態またはその変形例による処理部の機能を実現するコンピュータプログラムは、磁気記録媒体、光記録媒体といったコンピュータ読み取り可能な記録媒体に記録された形で提供されてもよい。 The computer program that realizes the function of the processing unit according to the above-described embodiment or its modification may be provided in a form recorded on a computer-readable recording medium such as a magnetic recording medium or an optical recording medium.
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。 All examples and specific terms listed herein are intended for instructional purposes to help the reader understand the concepts contributed by the inventor to the present invention and the promotion of the technology. It should be construed that it is not limited to the construction of any example herein, such specific examples and conditions, with respect to showing the superiority and inferiority of the present invention. Although embodiments of the present invention have been described in detail, it should be understood that various changes, substitutions and modifications can be made thereto without departing from the spirit and scope of the present invention.
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
(付記1)
被写体を含む領域を第1のカメラで撮影することにより生成された第1の画像と当該領域を第2のカメラで撮影することにより生成された第2の画像とを取得し、
前記第1の画像から前記被写体が写っている第1の被写体領域を検出し、かつ、前記第2の画像から前記被写体が写っている第2の被写体領域を検出し、
前記第1の被写体領域及び前記第2の被写体領域から、前記被写体上の同一の点に対応する被写体特徴点の組を少なくとも一つ抽出し、
前記少なくとも一つの被写体特徴点の組に基づいて、像面に対して平行な第1の軸及び当該第1の軸と直交する第2の軸のそれぞれの周りの前記第1のカメラの回転角と前記第2のカメラの回転角との差を求め、当該差による前記第1の画像上の前記被写体の位置と前記第2の画像上の前記被写体の位置のずれを補正する第1の較正パラメータを求め、
前記第1の画像から前記第1の被写体領域を除いた第1の背景領域及び前記第2の画像から前記第2の被写体領域を除いた第2の背景領域に写っている物体の像から、前記第1のカメラの光軸周りの回転角と前記第2のカメラの光軸周りの回転角の差による前記第1の画像と前記第2の画像間の回転を補正する第2の較正パラメータを求める、
ことを含むステレオ画像較正方法。
(付記2)
前第1の背景領域及び前記第2の背景領域から、同一の物体上の同一の点に対応する背景特徴点の組を少なくとも一つ抽出することをさらに含み、
前記第2の較正パラメータを求めることは、前記第1の画像及び前記第2の画像のうちの少なくとも一方を回転させつつ、前記背景特徴点の組ごとに、前記第1の画像に含まれる背景特徴点と前記第2の画像に含まれる背景特徴点間の距離を求めて該距離の平均値を求め、当該平均値が最小となるときの前記第1の画像に対する前記第2の画像の回転角度を前記第2の較正パラメータとする、付記1に記載のステレオ画像較正方法。
(付記3)
前記背景特徴点の組を抽出することは、前記第1の背景領域の中から前記第2のカメラについて前記被写体によって隠蔽される領域に相当する範囲を除いた領域から前記背景特徴点を抽出する、付記2に記載のステレオ画像較正方法。
(付記4)
前記背景特徴点の組を抽出することは、前記第1の背景領域の中から前記第2のカメラの撮影範囲から外れる範囲を除いた領域から前記背景特徴点を抽出する、付記2または3に記載のステレオ画像較正方法。
(付記5)
前記第2の較正パラメータを求めることは、前記第1の背景領域内の各画素における画素値の局所勾配の方位角を求めることにより当該局所勾配の頻度が最大となる第1の方位角を求め、かつ、前記第2の背景領域内の各画素における画素値の局所勾配の方位角を求めることにより当該局所勾配の頻度が最大となる第2の方位角を求め、前記第1の方位角と前記第2の方位角の差を前記第2の較正パラメータとする、付記1に記載のステレオ画像較正方法。
(付記6)
前記第1の画像及び前記第2の画像のうちの少なくとも一方についての前記被写体特徴点の座標を前記第1の較正パラメータ及び前記第2の較正パラメータを用いて変換して得られた補正後の被写体特徴点の垂直方向座標と、前記第1の画像及び前記第2の画像のうちの他方についての前記被写体上の同一の点に対応する前記被写体特徴点の垂直方向座標との差が所定の許容範囲内である場合に、前記第1の較正パラメータ及び前記第2の較正パラメータを記憶部に記憶させる、付記1〜5の何れか一項に記載のステレオ画像較正方法。
(付記7)
前記被写体特徴点の組を少なくとも一つ抽出することは、
前記第1の被写体領域上の第1の候補点を所定の検出器を用いて検出し、
前記第1の候補点を含む前記第1の被写体領域内の第1の部分領域と最も一致する前記第2の被写体領域内の第2の部分領域を求めて当該第2の部分領域内の所定点を第2の候補点とし、
前記第2の部分領域と最も一致する前記第1の被写体領域内の第3の部分領域を求め、当該第3の部分領域内の第3の候補点と前記第1の候補点間の距離が所定の閾値以下である場合、前記第1の候補点または当該第3の候補点と前記第2の被写体候補点とを、前記被写体特徴点の組とする、付記1〜6の何れか一項に記載のステレオ画像較正方法。
(付記8)
前記第1の較正パラメータを求めることは、
前記被写体特徴点の組ごとに、
前記第1の画像上の前記第1のカメラの光軸に対応する点から当該被写体特徴点の組に含まれる前記第1の画像上の第1の被写体特徴点までの第1の距離に応じた当該第1の被写体特徴点の前記第1の方向に対する回転角と前記第2の画像上の前記第2のカメラの光軸に対応する点から当該被写体特徴点の組に含まれる前記第2の画像上の第2の被写体特徴点までの第2の距離に応じた当該第2の被写体特徴点の前記第1の方向に対する回転角との第1の差を求め、
前記第1の距離に応じた前記第1の被写体特徴点の前記第2の方向に対する回転角と前記第2の距離に応じた前記第2の被写体特徴点の前記第2の方向に対する回転角との第2の差を求め、
前記第1の差の平均及び前記第2の差の平均を前記第1の較正パラメータとする、付記1〜7の何れか一項に記載のステレオ画像較正方法。
(付記9)
被写体を含む領域を第1のカメラで撮影することにより生成された第1の画像と当該領域を第2のカメラで撮影することにより生成された第2の画像とを取得し、
前記第1の画像から前記被写体が写っている第1の被写体領域を検出し、かつ、前記第2の画像から前記被写体が写っている第2の被写体領域を検出し、
前記第1の被写体領域及び前記第2の被写体領域から、前記被写体上の同一の点に対応する被写体特徴点の組を少なくとも一つ抽出し、
前記少なくとも一つの被写体特徴点の組に基づいて、像面に対して平行な第1の軸及び当該第1の軸と直交する第2の軸のそれぞれの周りの前記第1のカメラの回転角と前記第2のカメラの回転角との差を求め、当該差による前記第1の画像上の前記被写体の位置と前記第2の画像上の前記被写体の位置のずれを補正する第1の較正パラメータを求め、
前記第1の画像から前記第1の被写体領域を除いた第1の背景領域及び前記第2の画像から前記第2の被写体領域を除いた第2の背景領域に写っている物体の像から、前記第1のカメラの光軸周りの回転角と前記第2のカメラの光軸周りの回転角の差による前記第1の画像と前記第2の画像間の回転を補正する第2の較正パラメータを求める、
ことをコンピュータに実行させるステレオ画像較正用コンピュータプログラム。
(付記10)
所定の被写体を含む領域を撮影することにより第1の画像を生成する第1のカメラと、
前記第1のカメラと異なる位置に配置され、かつ前記領域を撮影することにより第2の画像を生成する第2のカメラと、
前記第1の画像から前記被写体が写っている第1の被写体領域を検出し、かつ、前記第2の画像から前記被写体が写っている第2の被写体領域を検出する被写体領域検出部と、
前記第1の被写体領域及び前記第2の被写体領域から、前記被写体上の同一の点に対応する被写体特徴点の組を少なくとも一つ抽出する被写体特徴点抽出部と、
前記少なくとも一つの被写体特徴点の組に基づいて、像面に対して平行な第1の軸及び当該第1の軸と直交する第2の軸のそれぞれの周りの前記第1のカメラの回転角と前記第2のカメラの回転角との差を求め、当該差による前記第1の画像上の前記被写体の位置と前記第2の画像上の前記被写体の位置のずれを補正する第1の較正パラメータを求め、かつ、前記第1の画像から前記第1の被写体領域を除いた第1の背景領域及び前記第2の画像から前記第2の被写体領域を除いた第2の背景領域に写っている物体の像から、前記第1のカメラの光軸周りの回転角と前記第2のカメラの光軸周りの回転角の差による前記第1の画像と前記第2の画像間の回転を補正する第2の較正パラメータを求める較正パラメータ算出部と、
を有するステレオ画像較正装置。
The following supplementary notes are further disclosed regarding the embodiment described above and its modifications.
(Appendix 1)
Obtaining a first image generated by shooting the area including the subject with the first camera and a second image generated by shooting the area with the second camera;
Detecting a first subject area in which the subject is reflected from the first image, and detecting a second subject area in which the subject is reflected from the second image;
Extracting at least one set of subject feature points corresponding to the same point on the subject from the first subject region and the second subject region;
Based on the set of at least one subject feature point, the rotation angle of the first camera around each of a first axis parallel to the image plane and a second axis orthogonal to the first axis And a first calibration for correcting a difference between the position of the subject on the first image and the position of the subject on the second image due to the difference. Find the parameters
From an image of an object shown in a first background area obtained by removing the first subject area from the first image and a second background area obtained by removing the second subject area from the second image, A second calibration parameter for correcting rotation between the first image and the second image due to a difference between a rotation angle around the optical axis of the first camera and a rotation angle around the optical axis of the second camera; Seeking
Stereo image calibration method comprising:
(Appendix 2)
Further comprising extracting at least one set of background feature points corresponding to the same point on the same object from the previous first background region and the second background region;
Obtaining the second calibration parameter means that at least one of the first image and the second image is rotated, and the background included in the first image for each set of background feature points. The distance between the feature point and the background feature point included in the second image is obtained to obtain an average value of the distance, and the second image is rotated with respect to the first image when the average value is minimized. The stereo image calibration method according to
(Appendix 3)
Extracting the set of background feature points extracts the background feature points from an area excluding the range corresponding to the area hidden by the subject for the second camera from the first background area. The stereo image calibration method according to
(Appendix 4)
In extracting the background feature point, the background feature point is extracted from an area excluding a range outside the shooting range of the second camera from the first background area. A stereo image calibration method as described.
(Appendix 5)
The second calibration parameter is obtained by obtaining the first azimuth angle at which the frequency of the local gradient is maximized by obtaining the azimuth angle of the local gradient of the pixel value in each pixel in the first background region. And, by obtaining the azimuth angle of the local gradient of the pixel value in each pixel in the second background region, the second azimuth angle at which the frequency of the local gradient is maximized is obtained, and the first azimuth angle and The stereo image calibration method according to
(Appendix 6)
The corrected feature obtained by converting the coordinates of the subject feature point for at least one of the first image and the second image using the first calibration parameter and the second calibration parameter. The difference between the vertical coordinate of the subject feature point and the vertical coordinate of the subject feature point corresponding to the same point on the subject for the other of the first image and the second image is a predetermined value. The stereo image calibration method according to any one of
(Appendix 7)
Extracting at least one set of subject feature points;
Detecting a first candidate point on the first subject area using a predetermined detector;
A second partial area in the second subject area that most closely matches the first partial area in the first subject area that includes the first candidate point is determined, and the location in the second partial area is determined. Let the fixed point be the second candidate point,
A third partial region in the first subject region that most closely matches the second partial region is obtained, and a distance between the third candidate point in the third partial region and the first candidate point is determined. If it is equal to or less than a predetermined threshold, the first candidate point or the third candidate point and the second subject candidate point are set as a set of the subject feature points. A stereo image calibration method according to
(Appendix 8)
Determining the first calibration parameter includes
For each set of subject feature points,
According to a first distance from a point corresponding to the optical axis of the first camera on the first image to a first subject feature point on the first image included in the set of subject feature points In addition, the second feature point included in the set of subject feature points from the point corresponding to the rotation angle of the first subject feature point with respect to the first direction and the optical axis of the second camera on the second image. Determining a first difference between a rotation angle of the second subject feature point with respect to the first direction according to a second distance to the second subject feature point on the image of
A rotation angle of the first subject feature point with respect to the second direction according to the first distance, and a rotation angle of the second subject feature point with respect to the second direction according to the second distance; Find the second difference of
The stereo image calibration method according to any one of
(Appendix 9)
Obtaining a first image generated by shooting the area including the subject with the first camera and a second image generated by shooting the area with the second camera;
Detecting a first subject area in which the subject is reflected from the first image, and detecting a second subject area in which the subject is reflected from the second image;
Extracting at least one set of subject feature points corresponding to the same point on the subject from the first subject region and the second subject region;
Based on the set of at least one subject feature point, the rotation angle of the first camera around each of a first axis parallel to the image plane and a second axis orthogonal to the first axis And a first calibration for correcting a difference between the position of the subject on the first image and the position of the subject on the second image due to the difference. Find the parameters
From an image of an object shown in a first background area obtained by removing the first subject area from the first image and a second background area obtained by removing the second subject area from the second image, A second calibration parameter for correcting rotation between the first image and the second image due to a difference between a rotation angle around the optical axis of the first camera and a rotation angle around the optical axis of the second camera; Seeking
A computer program for stereo image calibration that causes a computer to execute this.
(Appendix 10)
A first camera that generates a first image by photographing an area including a predetermined subject;
A second camera arranged at a different position from the first camera and generating a second image by photographing the region;
A subject region detection unit that detects a first subject region in which the subject is captured from the first image and detects a second subject region in which the subject is captured from the second image;
A subject feature point extraction unit that extracts at least one set of subject feature points corresponding to the same point on the subject from the first subject region and the second subject region;
Based on the set of at least one subject feature point, the rotation angle of the first camera around each of a first axis parallel to the image plane and a second axis orthogonal to the first axis And a first calibration for correcting a difference between the position of the subject on the first image and the position of the subject on the second image due to the difference. Parameters are obtained, and are reflected in a first background area obtained by removing the first subject area from the first image and a second background area obtained by removing the second subject area from the second image. The rotation between the first image and the second image due to the difference between the rotation angle around the optical axis of the first camera and the rotation angle around the optical axis of the second camera is corrected from the image of the moving object A calibration parameter calculator for obtaining a second calibration parameter to be
Stereo image calibration apparatus having
1 ステレオ画像較正装置
2−1、2−2 カメラ
3 入力部
4 記憶部
5 処理部
11 顔検出部
12 顔特徴点抽出部
13 背景特徴点抽出部
14 較正パラメータ算出部
15 判定部
DESCRIPTION OF
Claims (6)
前記第1の画像から前記被写体が写っている第1の被写体領域を検出し、かつ、前記第2の画像から前記被写体が写っている第2の被写体領域を検出し、
前記第1の被写体領域及び前記第2の被写体領域から、前記被写体上の同一の点に対応する被写体特徴点の組を少なくとも一つ抽出し、
前記少なくとも一つの被写体特徴点の組に基づいて、像面に対して平行な第1の軸及び当該第1の軸と直交する第2の軸のそれぞれの周りの前記第1のカメラの回転角と前記第2のカメラの回転角との差を求め、当該差による前記第1の画像上の前記被写体の位置と前記第2の画像上の前記被写体の位置のずれを補正する第1の較正パラメータを求め、
前記第1の画像から前記第1の被写体領域を除いた第1の背景領域及び前記第2の画像から前記第2の被写体領域を除いた第2の背景領域に写っている物体の像から、前記第1のカメラの光軸周りの回転角と前記第2のカメラの光軸周りの回転角の差による前記第1の画像と前記第2の画像間の回転を補正する第2の較正パラメータを求める、
ことを含むステレオ画像較正方法。 Obtaining a first image generated by shooting the area including the subject with the first camera and a second image generated by shooting the area with the second camera;
Detecting a first subject area in which the subject is reflected from the first image, and detecting a second subject area in which the subject is reflected from the second image;
Extracting at least one set of subject feature points corresponding to the same point on the subject from the first subject region and the second subject region;
Based on the set of at least one subject feature point, the rotation angle of the first camera around each of a first axis parallel to the image plane and a second axis orthogonal to the first axis And a first calibration for correcting a difference between the position of the subject on the first image and the position of the subject on the second image due to the difference. Find the parameters
From an image of an object shown in a first background area obtained by removing the first subject area from the first image and a second background area obtained by removing the second subject area from the second image, A second calibration parameter for correcting rotation between the first image and the second image due to a difference between a rotation angle around the optical axis of the first camera and a rotation angle around the optical axis of the second camera; Seeking
Stereo image calibration method comprising:
前記第2の較正パラメータを求めることは、前記第1の画像及び前記第2の画像のうちの少なくとも一方を回転させつつ、前記背景特徴点の組ごとに前記第1の画像に含まれる背景特徴点と前記第2の画像に含まれる背景特徴点間の距離を求めて、当該距離の平均値を求め、当該平均値が最小となるときの前記第1の画像に対する前記第2の画像の回転角度を前記第2の較正パラメータとする、請求項1に記載のステレオ画像較正方法。 Further comprising extracting at least one set of background feature points corresponding to the same point on the same object from the previous first background region and the second background region;
The second to determine the calibration parameter, the first image and while rotating at least one of said second image, the background included in the prior SL first image for each set of said background feature points seeking distance between background feature points included in the second image feature points, an average value of those said distance, said second image with respect to the first image when the average value is minimized The stereo image calibration method according to claim 1, wherein the rotation angle is set as the second calibration parameter.
前記第1の被写体領域上の第1の候補点を所定の検出器を用いて検出し、
前記第1の候補点を含む前記第1の被写体領域内の第1の部分領域と最も一致する前記第2の被写体領域内の第2の部分領域を求めて当該第2の部分領域内の所定点を第2の候補点とし、
前記第2の部分領域と最も一致する前記第1の被写体領域内の第3の部分領域を求め、当該第3の部分領域内の第3の候補点と前記第1の候補点間の距離が所定の閾値以下である場合、前記第1の候補点または当該第3の候補点と前記第2の候補点とを、前記被写体特徴点の組とする、請求項1〜3の何れか一項に記載のステレオ画像較正方法。 Extracting at least one set of subject feature points;
Detecting a first candidate point on the first subject area using a predetermined detector;
A second partial area in the second subject area that most closely matches the first partial area in the first subject area that includes the first candidate point is determined, and the location in the second partial area is determined. Let the fixed point be the second candidate point,
A third partial region in the first subject region that most closely matches the second partial region is obtained, and a distance between the third candidate point in the third partial region and the first candidate point is determined. If it is less than a predetermined threshold value, and said first candidate point or the third candidate points and the second candidate point, a set of object feature point, one of claims 1 to 3 one The stereo image calibration method according to Item.
前記第1の画像から前記被写体が写っている第1の被写体領域を検出し、かつ、前記第2の画像から前記被写体が写っている第2の被写体領域を検出し、
前記第1の被写体領域及び前記第2の被写体領域から、前記被写体上の同一の点に対応する被写体特徴点の組を少なくとも一つ抽出し、
前記少なくとも一つの被写体特徴点の組に基づいて、像面に対して平行な第1の軸及び当該第1の軸と直交する第2の軸のそれぞれの周りの前記第1のカメラの回転角と前記第2のカメラの回転角との差を求め、当該差による前記第1の画像上の前記被写体の位置と前記第2の画像上の前記被写体の位置のずれを補正する第1の較正パラメータを求め、
前記第1の画像から前記第1の被写体領域を除いた第1の背景領域及び前記第2の画像から前記第2の被写体領域を除いた第2の背景領域に写っている物体の像から、前記第1のカメラの光軸周りの回転角と前記第2のカメラの光軸周りの回転角の差による前記第1の画像と前記第2の画像間の回転を補正する第2の較正パラメータを求める、
ことをコンピュータに実行させるステレオ画像較正用コンピュータプログラム。 Obtaining a first image generated by shooting the area including the subject with the first camera and a second image generated by shooting the area with the second camera;
Detecting a first subject area in which the subject is reflected from the first image, and detecting a second subject area in which the subject is reflected from the second image;
Extracting at least one set of subject feature points corresponding to the same point on the subject from the first subject region and the second subject region;
Based on the set of at least one subject feature point, the rotation angle of the first camera around each of a first axis parallel to the image plane and a second axis orthogonal to the first axis And a first calibration for correcting a difference between the position of the subject on the first image and the position of the subject on the second image due to the difference. Find the parameters
From an image of an object shown in a first background area obtained by removing the first subject area from the first image and a second background area obtained by removing the second subject area from the second image, A second calibration parameter for correcting rotation between the first image and the second image due to a difference between a rotation angle around the optical axis of the first camera and a rotation angle around the optical axis of the second camera; Seeking
A computer program for stereo image calibration that causes a computer to execute this.
前記第1のカメラと異なる位置に配置され、かつ前記領域を撮影することにより第2の画像を生成する第2のカメラと、
前記第1の画像から前記被写体が写っている第1の被写体領域を検出し、かつ、前記第2の画像から前記被写体が写っている第2の被写体領域を検出する被写体領域検出部と、
前記第1の被写体領域及び前記第2の被写体領域から、前記被写体上の同一の点に対応する被写体特徴点の組を少なくとも一つ抽出する被写体特徴点抽出部と、
前記少なくとも一つの被写体特徴点の組に基づいて、像面に対して平行な第1の軸及び当該第1の軸と直交する第2の軸のそれぞれの周りの前記第1のカメラの回転角と前記第2のカメラの回転角との差を求め、当該差による前記第1の画像上の前記被写体の位置と前記第2の画像上の前記被写体の位置のずれを補正する第1の較正パラメータを求め、かつ、前記第1の画像から前記第1の被写体領域を除いた第1の背景領域及び前記第2の画像から前記第2の被写体領域を除いた第2の背景領域に写っている物体の像から、前記第1のカメラの光軸周りの回転角と前記第2のカメラの光軸周りの回転角の差による前記第1の画像と前記第2の画像間の回転を補正する第2の較正パラメータを求める較正パラメータ算出部と、
を有するステレオ画像較正装置。 A first camera that generates a first image by photographing an area including a predetermined subject;
A second camera arranged at a different position from the first camera and generating a second image by photographing the region;
A subject region detection unit that detects a first subject region in which the subject is captured from the first image and detects a second subject region in which the subject is captured from the second image;
A subject feature point extraction unit that extracts at least one set of subject feature points corresponding to the same point on the subject from the first subject region and the second subject region;
Based on the set of at least one subject feature point, the rotation angle of the first camera around each of a first axis parallel to the image plane and a second axis orthogonal to the first axis And a first calibration for correcting a difference between the position of the subject on the first image and the position of the subject on the second image due to the difference. Parameters are obtained, and are reflected in a first background area obtained by removing the first subject area from the first image and a second background area obtained by removing the second subject area from the second image. The rotation between the first image and the second image due to the difference between the rotation angle around the optical axis of the first camera and the rotation angle around the optical axis of the second camera is corrected from the image of the moving object A calibration parameter calculator for obtaining a second calibration parameter to be
Stereo image calibration apparatus having
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011075931A JP5672112B2 (en) | 2011-03-30 | 2011-03-30 | Stereo image calibration method, stereo image calibration apparatus, and computer program for stereo image calibration |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011075931A JP5672112B2 (en) | 2011-03-30 | 2011-03-30 | Stereo image calibration method, stereo image calibration apparatus, and computer program for stereo image calibration |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012209895A JP2012209895A (en) | 2012-10-25 |
JP5672112B2 true JP5672112B2 (en) | 2015-02-18 |
Family
ID=47189264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011075931A Expired - Fee Related JP5672112B2 (en) | 2011-03-30 | 2011-03-30 | Stereo image calibration method, stereo image calibration apparatus, and computer program for stereo image calibration |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5672112B2 (en) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2757524B1 (en) * | 2013-01-16 | 2018-12-19 | Honda Research Institute Europe GmbH | Depth sensing method and system for autonomous vehicles |
JP6340795B2 (en) * | 2013-12-27 | 2018-06-13 | 株式会社リコー | Image processing apparatus, image processing system, image processing method, image processing program, and moving body control apparatus |
CN104392450A (en) * | 2014-11-27 | 2015-03-04 | 苏州科达科技股份有限公司 | Method for determining focal length and rotary angles of camera, camera calibration method and camera calibration system |
CN105744254B (en) * | 2014-12-30 | 2017-12-29 | 钰立微电子股份有限公司 | Correct guidance system and correct the operating method of guidance system |
JP6406044B2 (en) * | 2015-02-13 | 2018-10-17 | オムロン株式会社 | Camera calibration unit, camera calibration method, and camera calibration program |
KR101868740B1 (en) * | 2017-01-04 | 2018-06-18 | 명지대학교 산학협력단 | Apparatus and method for generating panorama image |
JP7278724B2 (en) * | 2018-07-23 | 2023-05-22 | 株式会社東芝 | Information processing device, information processing method, and information processing program |
KR102044639B1 (en) * | 2018-10-25 | 2019-11-14 | 공간정보기술 주식회사 | Method and apparatus for aligning stereo cameras |
JP7132501B2 (en) | 2018-11-01 | 2022-09-07 | ミツミ電機株式会社 | ranging camera |
WO2020153264A1 (en) * | 2019-01-24 | 2020-07-30 | パナソニックIpマネジメント株式会社 | Calibration method and calibration device |
JP7291594B2 (en) * | 2019-10-02 | 2023-06-15 | 株式会社Subaru | Image processing device |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1127703A (en) * | 1997-06-30 | 1999-01-29 | Canon Inc | Display device and its control method |
JP4172554B2 (en) * | 1998-03-12 | 2008-10-29 | 富士重工業株式会社 | Stereo camera adjustment device |
JP2002077947A (en) * | 2000-09-05 | 2002-03-15 | Sanyo Electric Co Ltd | Method for correcting stereoscopic image and stereoscopic image apparatus using the same |
JP4260129B2 (en) * | 2005-03-22 | 2009-04-30 | 富士フイルム株式会社 | Compound eye photographing apparatus and adjustment method thereof |
JP4714176B2 (en) * | 2007-03-29 | 2011-06-29 | 富士フイルム株式会社 | Stereoscopic apparatus and optical axis adjustment method |
-
2011
- 2011-03-30 JP JP2011075931A patent/JP5672112B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012209895A (en) | 2012-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5672112B2 (en) | Stereo image calibration method, stereo image calibration apparatus, and computer program for stereo image calibration | |
US11546576B2 (en) | Systems and methods for dynamic calibration of array cameras | |
US9959455B2 (en) | System and method for face recognition using three dimensions | |
JP6897563B2 (en) | Image processing equipment and image processing methods and programs | |
JP5961945B2 (en) | Image processing apparatus, projector and projector system having the image processing apparatus, image processing method, program thereof, and recording medium recording the program | |
US10719727B2 (en) | Method and system for determining at least one property related to at least part of a real environment | |
US20150262346A1 (en) | Image processing apparatus, image processing method, and image processing program | |
CN108470356B (en) | Target object rapid ranging method based on binocular vision | |
WO2017076106A1 (en) | Method and device for image splicing | |
KR20110064117A (en) | Method for determining frontal pose of face | |
KR101510312B1 (en) | 3D face-modeling device, system and method using Multiple cameras | |
JP6172432B2 (en) | Subject identification device, subject identification method, and subject identification program | |
JP6515039B2 (en) | Program, apparatus and method for calculating a normal vector of a planar object to be reflected in a continuous captured image | |
WO2014084181A1 (en) | Image measurement device | |
KR20240089161A (en) | Filming measurement methods, devices, instruments and storage media | |
KR20170080116A (en) | Face Recognition System using Depth Information | |
WO2021163406A1 (en) | Methods and systems for determining calibration quality metrics for a multicamera imaging system | |
Kruger et al. | In-factory calibration of multiocular camera systems | |
JP2011232965A (en) | Plane area detection device and stereo camera system | |
JP5727969B2 (en) | Position estimation apparatus, method, and program | |
TWI784330B (en) | Method, procsesing device, and system for object tracking | |
WO2021049281A1 (en) | Image processing device, head-mounted display, and spatial information acquisition method | |
Kollmitzer | Object detection and measurement using stereo images | |
KR101142279B1 (en) | An apparatus for aligning images in stereo vision system and the method thereof | |
KR20190025267A (en) | Apparatus for detecting of inside wall frame in single image using orthogonal vanishing points and method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140617 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140708 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141125 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5672112 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |