JP6835455B2 - Programs, devices and methods for correcting depth values in time-series depth images - Google Patents
Programs, devices and methods for correcting depth values in time-series depth images Download PDFInfo
- Publication number
- JP6835455B2 JP6835455B2 JP2017248287A JP2017248287A JP6835455B2 JP 6835455 B2 JP6835455 B2 JP 6835455B2 JP 2017248287 A JP2017248287 A JP 2017248287A JP 2017248287 A JP2017248287 A JP 2017248287A JP 6835455 B2 JP6835455 B2 JP 6835455B2
- Authority
- JP
- Japan
- Prior art keywords
- depth
- time
- value
- depth value
- reliability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本発明は、時系列のＲＧＢ(Red-Green-Blue)画像に同期する奥行き画像を用いて、そのＲＧＢ画像に仮想オブジェクトを重畳する画像合成の技術に関する。 The present invention relates to an image composition technique for superimposing a virtual object on an RGB image using a depth image synchronized with a time-series RGB (Red-Green-Blue) image.
ＲＧＢカメラによる現実空間の撮影映像に、仮想オブジェクトを重畳的に表示する拡張現実（ＡＲ(Augmented Reality)）の技術がある。最も簡易には、撮影映像の上に、仮想オブジェクトを単に上書きしただけのものがある。
これに対し、デプスカメラを用いて得られたポイントクラウドデータと、仮想オブジェクトの世界座標との関係から、仮想オブジェクトが現実空間にあるように見せる技術もある。この技術によれば、カメラから見た、現実オブジェクト（現実空間の各物体）と仮想オブジェクトとの距離の前後関係を認識している。
There is a technology of augmented reality (AR (Augmented Reality)) in which virtual objects are superimposed and displayed on images taken in real space by an RGB camera. The simplest is to simply overwrite the virtual object on the captured video.
On the other hand, there is also a technology that makes the virtual object appear to be in the real space from the relationship between the point cloud data obtained by using the depth camera and the world coordinates of the virtual object. According to this technology, the context of the distance between a real object (each object in the real space) and a virtual object as seen from the camera is recognized.
図１は、撮影映像に仮想オブジェクトを重畳的に表示した拡張現実画像である。 FIG. 1 is an augmented reality image in which a virtual object is superimposed and displayed on a captured image.
図１によれば、現実オブジェクト（電子黒板）の後方に、仮想オブジェクト（白板）が表示されている。ここで、カメラから見て、仮想オブジェクトは現実オブジェクトの後方に表示すべき場合、如何にも、現実オブジェクトが手前に見えるように表示する。そのために、白板の仮想オブジェクトは、電子黒板の現実オブジェクトの輪郭に合わせて切り取って表示されている。 According to FIG. 1, a virtual object (white board) is displayed behind the real object (electronic blackboard). Here, when the virtual object should be displayed behind the real object when viewed from the camera, the real object is displayed so as to be visible in the foreground. Therefore, the virtual object on the whiteboard is cut out and displayed according to the outline of the real object on the electronic blackboard.
カメラと現実オブジェクトとの距離を把握するために、「奥行き画像」が必要となる。これは、デプスカメラによって撮影された画像の各画素に、現実オブジェクト表面までのデプス値（深度）を対応付けたものである。他の実施形態として、デプスカメラを用いてポイントクラウドデータが取得される場合、それらをカメラに投影することによって、奥行き画像を生成することができる。 A "depth image" is needed to determine the distance between the camera and the real object. In this, each pixel of the image taken by the depth camera is associated with the depth value (depth) up to the surface of the real object. As another embodiment, when point cloud data is acquired using a depth camera, a depth image can be generated by projecting them onto the camera.
デプスカメラの市販製品として、ＲＧＢ画像と奥行き画像とを同時に取得する「ＲＧＢ−Ｄカメラ」がある。例えばMicrosoft社製「Kinect」や、ASUS社製「Xtion」、Intel社製「RealSense」がある。
例えば対象物のＲＧＢ情報付き３次元モデルを作成する場合、既存のＲＧＢカメラを用いたならば、多視点の撮影画像が必要となり、且つ、その点群も疎となる。これに対し、ＲＧＢ−Ｄカメラを用いた場合、１視点からの撮影だけで密な３次元情報を取得することができ、高精度な３次元モデルを簡単に作成することができる。
As a commercially available depth camera product, there is an "RGB-D camera" that simultaneously acquires an RGB image and a depth image. For example, there are "Kinect" made by Microsoft, "Xtion" made by ASUS, and "RealSense" made by Intel.
For example, when creating a three-dimensional model with RGB information of an object, if an existing RGB camera is used, a photographed image from multiple viewpoints is required, and the point cloud is also sparse. On the other hand, when an RGB-D camera is used, dense three-dimensional information can be acquired only by shooting from one viewpoint, and a highly accurate three-dimensional model can be easily created.
図２は、従来技術におけるＲＧＢ画像のフレームレートと奥行き画像のフレームレートとの差を表す説明図である。 FIG. 2 is an explanatory diagram showing a difference between the frame rate of an RGB image and the frame rate of a depth image in the prior art.
図２によれば、奥行き画像のフレームレートは、ＲＧＢ画像のフレームレートよりも低い。即ち、ＲＧＢ画像に対してデプス値が間欠的にしか取得できないために、ＲＧＢ画像よりも遅れた時刻のデプス値しか取得できない。特に、ＲＧＢ−Ｄカメラ自体が動いた場合、ＲＧＢ画像の変化に対して、奥行き画像は追従できない。これは、ＲＧＢ画像に基づく現実オブジェクトの位置と、奥行き画像のデプス値とにズレが生じるという問題を生じる。 According to FIG. 2, the frame rate of the depth image is lower than the frame rate of the RGB image. That is, since the depth value can be acquired only intermittently with respect to the RGB image, only the depth value at a time later than that of the RGB image can be acquired. In particular, when the RGB-D camera itself moves, the depth image cannot follow the change in the RGB image. This causes a problem that the position of the real object based on the RGB image and the depth value of the depth image are deviated.
このような、ＲＧＢ画像に対する奥行き画像の取得の遅れに対して、ＲＧＢ−Ｄカメラの移動量に基づいて補正する技術もある（例えば特許文献１参照）。この技術によれば、ＲＧＢ−Ｄカメラに搭載されたセンサを用いて当該カメラの動きを検出し、ポイントクラウドデータの点群座標を、移動後のＲＧＢカメラ座標に変換する。そして、変換後のＲＧＢ画像に対する各画素のデプス値を構築することによって、デプス値の遅れを補正する。 There is also a technique for correcting such a delay in acquiring a depth image with respect to an RGB image based on the amount of movement of the RGB-D camera (see, for example, Patent Document 1). According to this technique, the movement of the camera is detected by using the sensor mounted on the RGB-D camera, and the point cloud coordinates of the point cloud data are converted into the coordinates of the RGB camera after the movement. Then, the delay of the depth value is corrected by constructing the depth value of each pixel with respect to the converted RGB image.
しかしながら、ＲＧＢ−Ｄカメラの移動量に応じてデプス値を補正しようとしても、移動量を完全に予測することはできない。そのために、デプス値の補正によっては、ＲＧＢ画像に重畳される仮想オブジェクトの前後関係にズレが生じ、拡張現実画像に違和感が生じる。 However, even if an attempt is made to correct the depth value according to the movement amount of the RGB-D camera, the movement amount cannot be completely predicted. Therefore, depending on the correction of the depth value, the context of the virtual object superimposed on the RGB image may shift, and the augmented reality image may feel uncomfortable.
図３は、従来技術における拡張現実画像の違和感を表す画像図である。 FIG. 3 is an image diagram showing a sense of discomfort in an augmented reality image in the prior art.
（時刻t0）図１と同様に、電子黒板の現実オブジェクトの後方に、白板の仮想オブジェクトが表示されている。
（時刻t1）ここで、ＲＧＢ−Ｄカメラが少し右側に移動し、ＲＧＢ画像全体も少し左側にずれたとする。このとき、現実オブジェクトと仮想オブジェクトとの境界部分が、ガタガタに遅延しながら表示されている。このような拡張現実画像の違和感は、ＲＧＢ−Ｄカメラを急に動かしたり、逆に急に止めた場合、その移動量に応じて過度な補正や逆に軽微な補正によって生じやすくなる。
（時刻t2）ＲＧＢ−Ｄカメラが静止することによって、現実オブジェクトと仮想オブジェクトとの境界部分の違和感が落ち着く。
(Time t0) Similar to FIG. 1, a white board virtual object is displayed behind the real object on the electronic blackboard.
(Time t1) Here, it is assumed that the RGB-D camera moves slightly to the right and the entire RGB image also shifts slightly to the left. At this time, the boundary portion between the real object and the virtual object is displayed with a rattling delay. When the RGB-D camera is suddenly moved or stopped suddenly, such a sense of discomfort in the augmented reality image is likely to occur due to excessive correction or, conversely, slight correction according to the amount of movement.
(Time t2) When the RGB-D camera is stationary, the sense of incongruity at the boundary between the real object and the virtual object is settled.
これに対し、本願の発明者らは、図３の拡張現実画像の違和感は、ＲＧＢ画像に対する奥行き画像の遅延によって生じている、と考えた。通常、直前に取得された奥行き画像のデプス値のみを用いるために、ＲＧＢ−Ｄカメラの移動によって直前のデプス値が外れ値となった場合、拡張現実画像の精度の劣化につながる。２時点前のデプス値が正確なものであっても、１時点前のデプス値が外れ値であれば、そのまま、拡張現実画像の違和感につながる。 On the other hand, the inventors of the present application considered that the discomfort of the augmented reality image of FIG. 3 is caused by the delay of the depth image with respect to the RGB image. Normally, since only the depth value of the depth image acquired immediately before is used, if the depth value immediately before becomes an outlier due to the movement of the RGB-D camera, the accuracy of the augmented reality image is deteriorated. Even if the depth value before 2 time points is accurate, if the depth value before 1 time point is an outlier, it directly leads to a sense of discomfort in the augmented reality image.
即ち、本願の発明者らは、奥行き画像のデプス値を、できる限りＲＧＢ画像の変化に対応できるように補正することはできないか、と考えた。特に、デプスカメラによって取得される奥行き画像やポイントクラウドデータの各点座標に付与される信頼度も、デプス値の補正に反映させることができないか、と考えた。 That is, the inventors of the present application wondered if the depth value of the depth image could be corrected so as to correspond to the change of the RGB image as much as possible. In particular, I wondered if the reliability given to each point coordinate of the depth image and point cloud data acquired by the depth camera could be reflected in the correction of the depth value.
そこで、本発明は、デプスカメラから得られた時系列の奥行き画像におけるデプス値を、カメラの動きにできる限り追従するように補正するプログラム、装置及び方法を提供することを目的とする。 Therefore, an object of the present invention is to provide a program, an apparatus, and a method for correcting a depth value in a time-series depth image obtained from a depth camera so as to follow the movement of the camera as much as possible.
本発明によれば、所定時刻毎に、点座標(ｘ,ｙ)とデプス値(ｚ)と信頼度ｃとの集合からなる奥行き画像を入力し、時刻t1よりも後の時刻t2の各点座標について、時刻t1のデプス値の信頼度ｃt1と時刻t2のデプス値の信頼度ｃt2との両方が第１の閾値以下となる場合に、時刻t2の当該点座標の周辺の所定複数の他の点座標におけるデプス値の代表値を、当該点座標におけるデプス値として補正するデプス値補正手段と
してコンピュータを機能させることを特徴とする。
According to the present invention, a depth image consisting of a set of point coordinates (x, y), depth value (z), and reliability c is input at predetermined time intervals, and each point at time t2 after time t1 is input. With respect to the coordinates, when both the reliability ct1 of the depth value at time t1 and the reliability ct2 of the depth value at time t2 are equal to or less than the first threshold value, a predetermined plurality of other coordinates around the point coordinates at time t2. It is characterized in that a computer functions as a depth value correction means for correcting a representative value of a depth value in point coordinates as a depth value in the point coordinates.
本発明のプログラムにおける他の実施形態によれば、
デプス値補正手段は、各点座標について、時刻t1のデプス値の信頼度ｃt1と時刻t2のデプス値の信頼度ｃt2との両方が第１の閾値以下であり、且つ、時刻t1のデプス値の信頼度ｃt1が時刻t2のデプス値の信頼度ｃt2よりも高い場合、時刻t1における又は時刻t1及びt2における当該点座標の周辺の所定複数の他の点座標におけるデプス値の代表値を、当該点座標におけるデプス値として補正する
ようにコンピュータを機能させることも好ましい。
According to other embodiments in the program of the present invention
In the depth value correction means, for each point coordinate, both the reliability ct1 of the depth value at time t1 and the reliability ct2 of the depth value at time t2 are equal to or less than the first threshold value, and the depth value at time t1 When the reliability ct1 is higher than the reliability ct2 of the depth value at time t2, the representative value of the depth value at a predetermined plurality of other point coordinates around the point coordinates at time t1 or at time t1 and t2 is used as the representative value of the depth value at the point. It is also preferable to have the computer function to correct as a depth value in coordinates.
本発明のプログラムにおける他の実施形態によれば、
デプス値補正手段は、各点座標について、時刻t1のデプス値の信頼度ｃt1と時刻t2のデプス値の信頼度ｃt2とのいずれか一方のみが第１の閾値以下となる場合に、信頼度ｃt1と信頼度ｃt2とを比較して信頼度が高い方のデプス値ｚを、当該点座標におけるデプス値として補正する
ようにコンピュータを機能させることも好ましい。
According to other embodiments in the program of the present invention
The depth value correction means has a reliability ct1 when only one of the reliability ct1 of the depth value at time t1 and the reliability ct2 of the depth value at time t2 is equal to or less than the first threshold value for each point coordinate. It is also preferable to make the computer function so as to correct the depth value z having the higher reliability by comparing with the reliability ct2 as the depth value at the point coordinates.
本発明のプログラムにおける他の実施形態によれば、
デプス値補正手段は、各点座標について、時刻t1のデプス値の信頼度ｃt1と時刻t2のデプス値の信頼度ｃt2との両方が第１の閾値よりも高く、且つ、デプス値ｚt1とデプス値ｚt2との差が第２の閾値以下である場合に、時刻t1のデプス値ｚt1と時刻t2のデプス値のデプス値ｚt2とを比較して小さい方のデプス値ｚを、当該点座標におけるデプス値として補正する
ようにコンピュータを機能させることも好ましい。
According to other embodiments in the program of the present invention
In the depth value correction means, for each point coordinate, both the reliability ct1 of the depth value at time t1 and the reliability ct2 of the depth value at time t2 are higher than the first threshold value, and the depth value zt1 and the depth value. When the difference from zt2 is equal to or less than the second threshold value, the depth value zt1 at time t1 is compared with the depth value zt2 at time t2, and the smaller depth value z is the depth value at the point coordinates. It is also preferable to make the computer function so as to correct as.
本発明のプログラムにおける他の実施形態によれば、
デプス値補正手段は、各点座標について、時刻t1のデプス値の信頼度ｃt1と時刻t2のデプス値の信頼度ｃt2との両方が第１の閾値よりも高く、且つ、デプス値ｚt1とデプス値ｚt2との差が第２の閾値よりも大きい場合に、時刻t2の各点座標についてその周辺の所定複数の点座標におけるデプス値の代表値を、当該点座標におけるデプス値として補正する
ようにコンピュータを機能させることも好ましい。
According to other embodiments in the program of the present invention
In the depth value correction means, for each point coordinate, both the reliability ct1 of the depth value at time t1 and the reliability ct2 of the depth value at time t2 are higher than the first threshold value, and the depth value zt1 and the depth value. When the difference from zt2 is larger than the second threshold value, the computer corrects the representative value of the depth value at a plurality of predetermined point coordinates around each point coordinate at time t2 as the depth value at the point coordinate. It is also preferable to make the function work.
本発明のプログラムにおける他の実施形態によれば、
デプス値補正手段は、各点座標について、時刻t1のデプス値の信頼度ｃt1と時刻t2のデプス値の信頼度ｃt2との両方が第１の閾値よりも高く、デプス値ｚt1とデプス値ｚt2との差が第２の閾値よりも大きく、且つ、時刻t1のデプス値の信頼度ｃt1が時刻t2のデプス値の信頼度ｃt2よりも高い場合、時刻t1における又は時刻t1及びt2における当該点座標の周辺の所定複数の他の点座標におけるデプス値の代表値を、当該点座標におけるデプス値として補正する
ようにコンピュータを機能させることも好ましい。
According to other embodiments in the program of the present invention
In the depth value correction means, for each point coordinate, both the reliability ct1 of the depth value at time t1 and the reliability ct2 of the depth value at time t2 are higher than the first threshold value, and the depth value zt1 and the depth value zt2 When the difference between the two is larger than the second threshold value and the reliability ct1 of the depth value at time t1 is higher than the reliability ct2 of the depth value at time t2, the coordinates of the point coordinates at time t1 or at time t1 and t2. It is also preferable to make the computer function so as to correct the representative value of the depth value at a predetermined plurality of other point coordinates in the vicinity as the depth value at the point coordinate.
本発明のプログラムにおける他の実施形態によれば、
デプス値の代表値は、デプス値の中央値、平均値、最頻値又は一定パーセンタイル値である
ようにコンピュータを機能させることも好ましい。
According to other embodiments in the program of the present invention
It is also preferable to operate the computer so that the representative value of the depth value is the median value, the average value, the mode value, or the constant percentile value of the depth value.
本発明のプログラムにおける他の実施形態によれば、
奥行き画像と同期するＲＧＢ画像に、仮想オブジェクトを重畳的に表示する画像合成手段と
して更に機能させ、
画像合成手段は、奥行き画像と仮想オブジェクトの奥行きとを比較し、当該奥行き画像が手前にある画素については当該仮想オブジェクトを描画しない
ようにコンピュータを機能させることも好ましい。
According to other embodiments in the program of the present invention
Further functions as an image compositing means for displaying virtual objects superimposed on an RGB image synchronized with a depth image.
It is also preferable that the image synthesizing means compares the depth image with the depth of the virtual object and causes the computer to function so as not to draw the virtual object for the pixel in front of the depth image.
本発明のプログラムにおける他の実施形態によれば、
ＲＧＢ画像は、ＲＧＢカメラから出力されたものであり、
奥行き画像は、デプスカメラ（深度センサ）から出力されたものである
ようにコンピュータを機能させることも好ましい。
According to other embodiments in the program of the present invention
The RGB image is output from the RGB camera.
It is also preferable to make the computer function as if the depth image was output from a depth camera (depth sensor).
本発明のプログラムにおける他の実施形態によれば、
ＲＧＢ画像は、ＲＧＢカメラから出力されたものであり、
デプスカメラから、３次元上の点(ｘ,ｙ,ｚ)と信頼度ｃとの集合であるポイントクラウドデータを取得するポイントクラウドデータ取得手段と、
ＲＧＢカメラとデプスカメラとの位置に基づく校正変換行列Ｍdを用いて、デプスカメラ座標系(ｘ,ｙ,ｚ)のポイントクラウドデータＰを、端末座標系のポイントクラウドデータＰ’へ変換する座標変換手段と、
端末座標系のポイントクラウドデータＰ’を投影し、射影変換行列Ｍsを用いて奥行き画像を生成する奥行き画像生成手段と、
して更に機能させ、
デプス値補正手段は、生成された奥行き画像に対してデプス値を補正する
ようにコンピュータを機能させることも好ましい。
According to other embodiments in the program of the present invention
The RGB image is output from the RGB camera.
A point cloud data acquisition means for acquiring point cloud data, which is a set of three-dimensional points (x, y, z) and reliability c, from a depth camera.
Coordinate conversion that converts the point cloud data P of the depth camera coordinate system (x, y, z) to the point cloud data P'of the terminal coordinate system using the calibration transformation matrix Md based on the positions of the RGB camera and the depth camera. Means and
A depth image generation means that projects the point cloud data P'of the terminal coordinate system and generates a depth image using the projective transformation matrix Ms.
And make it work further
It is also preferable that the depth value correction means causes the computer to function to correct the depth value with respect to the generated depth image.
本発明によれば、装置は、所定時刻毎に、点座標(ｘ,ｙ)とデプス値(ｚ)と信頼度ｃとの集合からなる奥行き画像を入力し、時刻t1よりも後の時刻t2の各点座標について、時刻t1のデプス値の信頼度ｃt1と時刻t2のデプス値の信頼度ｃt2との両方が第１の閾値以下となる場合に、時刻t2の当該点座標の周辺の所定複数の他の点座標におけるデプス値の代表値を、当該点座標におけるデプス値として補正するデプス値補正手段を有することを特徴とする。 According to the present invention, the apparatus inputs a depth image consisting of a set of point coordinates (x, y), depth value (z), and reliability c at predetermined time intervals , and time t2 after time t1. For each point coordinate of, when both the reliability ct1 of the depth value at time t1 and the reliability ct2 of the depth value at time t2 are equal to or less than the first threshold value, a predetermined plurality of coordinates around the point coordinate at time t2. It is characterized by having a depth value correcting means for correcting a representative value of a depth value at another point coordinate as a depth value at the point coordinate.
本発明によれば、装置が、所定時刻毎に、点座標(ｘ,ｙ)とデプス値(ｚ)と信頼度ｃとの集合からなる奥行き画像を入力し、時刻t1よりも後の時刻t2の各点座標について、時刻t1のデプス値の信頼度ｃt1と時刻t2のデプス値の信頼度ｃt2との両方が第１の閾値以下となる場合に、時刻t2の当該点座標の周辺の所定複数の他の点座標におけるデプス値の代表値を、当該点座標におけるデプス値として補正する
ように実行することを特徴とする。
According to the present invention, the apparatus inputs a depth image consisting of a set of point coordinates (x, y), depth value (z), and reliability c at predetermined time intervals , and time t2 after time t1. For each point coordinate of, when both the reliability ct1 of the depth value at time t1 and the reliability ct2 of the depth value at time t2 are equal to or less than the first threshold value, a predetermined plurality of coordinates around the point coordinate at time t2. It is characterized in that the representative value of the depth value at another point coordinate is corrected as the depth value at the point coordinate.
本発明のプログラム、装置及び方法は、デプスカメラから得られた時系列の奥行き画像におけるデプス値を、カメラの動きにできる限り追従するように補正することができる。 The program, apparatus and method of the present invention can correct the depth value in the time-series depth image obtained from the depth camera so as to follow the movement of the camera as much as possible.
以下、本発明の実施の形態について、図面を用いて詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図４は、本発明における撮影装置の機能構成図である。 FIG. 4 is a functional configuration diagram of the photographing apparatus according to the present invention.
図４によれば、ＲＧＢ−Ｄカメラ１は、以下のデバイスを搭載する。
ＲＧＢカメラ１０１（可視光カメラ）
デプスカメラ１０２（赤外線カメラ＋赤外線プロジェクタ）
ＲＧＢカメラ１０１は、市販のＷＥＢカメラと同様に、撮影したＲＧＢ画像を出力する。
デプスカメラ１０２は、赤外線プロジェクタから赤外線を照射し、その反射を計測することによって奥行き画像を出力する。
尚、デプスカメラは、ポイントクラウドデータを出力するものであってもよい。その場合の実施形態については、図９以降に詳述する。
According to FIG. 4, the RGB-D camera 1 is equipped with the following devices.
RGB camera 101 (visible light camera)
Depth camera 102 (infrared camera + infrared projector)
The RGB camera 101 outputs an captured RGB image in the same manner as a commercially available WEB camera.
The depth camera 102 irradiates infrared rays from an infrared projector and measures the reflection thereof to output a depth image.
The depth camera may output point cloud data. The embodiment in that case will be described in detail in FIG. 9 and after.
ここで、画像の種別を、以下のように定義する。
ＲＧＢ画像：各画素（点座標）に、ＲＧＢの色情報が付与された２次元データ
奥行き画像：各画素（点座標）に、デプス値と信頼度とが付与された２次元データ
ポイントクラウドデータ：信頼度が付与された点座標(ｘ,ｙ,ｚ)の集合となる
３次元データ
尚、信頼度は、０（低）〜１（高）の値である（例えば非特許文献１参照）。
Here, the type of image is defined as follows.
RGB image: Two-dimensional data in which RGB color information is added to each pixel (point coordinates) Depth image: Two-dimensional data in which depth value and reliability are added to each pixel (point coordinates) Point cloud data: It is a set of point coordinates (x, y, z) with reliability.
Three-dimensional data The reliability is a value from 0 (low) to 1 (high) (see, for example, Non-Patent Document 1).
図４によれば、撮影装置１は、デプス値補正部１１と、仮想オブジェクト記憶部１２と、画像合成部１３とを有する。これら機能構成部は、撮影装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、デプス値補正方法としても理解できる。 According to FIG. 4, the photographing device 1 has a depth value correction unit 11, a virtual object storage unit 12, and an image composition unit 13. These functional components are realized by executing a program that causes the computer mounted on the photographing device to function. Further, the processing flow of these functional components can be understood as a depth value correction method.
［デプス値補正部１１］
デプス値補正部１１は、所定時刻毎に、点座標(ｘ,ｙ)とデプス値(ｚ)と信頼度ｃとの集合からなる「奥行き画像」を入力し、その奥行き画像のデプス値を補正する。
[Depth value correction unit 11]
The depth value correction unit 11 inputs a "depth image" composed of a set of point coordinates (x, y), depth value (z), and reliability c at predetermined time intervals, and corrects the depth value of the depth image. To do.
図５は、本発明におけるＲＧＢ画像のフレームレートと奥行き画像のフレームレートとの差を表す説明図である。 FIG. 5 is an explanatory diagram showing the difference between the frame rate of the RGB image and the frame rate of the depth image in the present invention.
図５によれば、１時点のＲＧＢ画像に対して、過去２時点の奥行き画像が対応付けられている。即ち、時刻tのＲＧＢ画像に対応する奥行き画像のデプス値を、以下の２つを用いて補正する。
過去時刻t1における奥行き画像のデプス値ｚt1及び信頼度ｃt1
過去時刻t2における奥行き画像のデプス値ｚt2及び信頼度ｃt2
勿論、本発明によれば、過去３時点以上の奥行き画像を用いるものであってもよい。
According to FIG. 5, the RGB images at one time point are associated with the depth images at the past two time points. That is, the depth value of the depth image corresponding to the RGB image at time t is corrected by using the following two.
Depth image depth value zt1 and reliability ct1 at past time t1
Depth image depth value zt2 and reliability ct2 at past time t2
Of course, according to the present invention, depth images of the past three or more time points may be used.
図６は、本発明におけるデプス値の補正パターンを表すテーブルである。 FIG. 6 is a table showing the correction pattern of the depth value in the present invention.
デプス値補正部１１は、以下のような４つのパターンのいずれか１つのパターンで、奥行き画像のデプス値を補正する。 The depth value correction unit 11 corrects the depth value of the depth image with any one of the following four patterns.
（パターン１）［各点座標について、時刻t2（t1->t2)の各点座標について、時刻t1のデプス値の信頼度ｃt1と時刻t2のデプス値の信頼度ｃt2との両方が第１の閾値以下となる場合］
デプス値補正部１１は、時刻t2の当該点座標の周辺の所定複数（例えば８個）の他の点座標におけるデプス値の代表値を、時刻t2の当該点座標におけるデプス値として補正する。
デプス値の代表値は、例えば、所定複数の他の点座標のデプス値の中央値、平均値、最頻値又は一定パーセンタイル値であってもよい。これによって、１つの点座標のデプス値について外れ値を持ったとしても、全体的にバランスをとったデプス値に収束させることができる。
(Pattern 1) [For each point coordinate, for each point coordinate at time t2 (t1-> t2), both the reliability ct1 of the depth value at time t1 and the reliability ct2 of the depth value at time t2 are the first. When it falls below the threshold]
The depth value correction unit 11 corrects the representative value of the depth value at a predetermined plurality of (for example, eight) other point coordinates around the point coordinate at time t2 as the depth value at the point coordinate at time t2.
The representative value of the depth value may be, for example, the median value, the average value, the mode value, or the constant percentile value of the depth values of a plurality of predetermined other point coordinates. As a result, even if there are outliers for the depth value of one point coordinate, it can be converged to an overall balanced depth value.
オプション的に他の実施形態として、できる限り信頼度が高い方の周辺デプス値を用いるように、所定複数の他の点座標を、以下のように選択することもできる。
［時刻t1の信頼度＞時刻t2の信頼度］
時刻t1の周辺デプス値の代表値、又は、時刻t1+時刻t2の周辺デプス値の代表値
［時刻t1の信頼度≦時刻t2の信頼度］
時刻t2の周辺デプス値の代表値
Optionally, as another embodiment, a plurality of predetermined other point coordinates can be selected as follows so as to use the peripheral depth value having the highest reliability as possible.
[Reliability at time t1> Reliability at time t2]
Representative value of peripheral depth value at time t1 or representative value of peripheral depth value at time t1 + time t2 [Reliability at time t1 ≤ Reliability at time t2]
Representative value of peripheral depth value at time t2
（パターン２）［各点座標について、時刻t1のデプス値の信頼度ｃt1と時刻t2のデプス値の信頼度ｃt2とのいずれか一方のみが第１の閾値以下となる場合］
信頼度ｃt1と信頼度ｃt2とを比較して信頼度が高い方のデプス値ｚを、当該点座標におけるデプス値として補正する。
これによって、できる限り信頼度が高い方のデプス値によって補正する。
(Pattern 2) [When only one of the reliability ct1 of the depth value at time t1 and the reliability ct2 of the depth value at time t2 is equal to or less than the first threshold value for each point coordinate]
The reliability ct1 and the reliability ct2 are compared, and the depth value z having the higher reliability is corrected as the depth value at the point coordinates.
As a result, the depth value with the highest reliability is used for correction.
（パターン３）［各点座標について、時刻t1のデプス値の信頼度ｃt1と時刻t2のデプス値の信頼度ｃt2との両方が第１の閾値よりも高い場合］ (Pattern 3) [When both the reliability ct1 of the depth value at time t1 and the reliability ct2 of the depth value at time t2 are higher than the first threshold value for each point coordinate]
（パターン３−１）デプス値ｚt1とデプス値ｚt2との差が第２の閾値以下である場合：
時刻t1のデプス値ｚt1と時刻t2のデプス値のデプス値ｚt2とを比較して小さい方のデプス値ｚを、当該点座標におけるデプス値として補正する。
これによって、撮影装置１から見て手前のデプス値で補正し、現実オブジェクトが、仮想オブジェクトよりもできる限り手前に表示される。
(Pattern 3-1) When the difference between the depth value zt1 and the depth value zt2 is equal to or less than the second threshold value:
The depth value zt1 at time t1 is compared with the depth value zt2 of the depth value at time t2, and the smaller depth value z is corrected as the depth value at the point coordinates.
As a result, the depth value in front of the photographing device 1 is corrected, and the real object is displayed in front of the virtual object as much as possible.
（パターン３−２）デプス値ｚt1とデプス値ｚt2との差が第２の閾値よりも大きい場合：
時刻t2の各点座標についてその周辺の所定複数の点座標におけるデプス値の代表値を、当該点座標におけるデプス値として補正する。
ここでは、両方の時刻t1及びt2で高い信頼度のデプス値が得られているが、それらデプス値の差が大きいということは、デプスを取得しづらい物体がカメラに写っていることが考えられる。その場合、時刻t2における１つの点座標のデプス値を、時刻t2におけるその点座標周辺の例えば８個（所定複数）の他の点座標のデプス値の代表値として補正する。尚、ここでの周辺の他の点座標として、時刻t1及び時刻t2におけるその点座標周辺の他の点座標を用いてもよい。また、信頼度ｃt1の方が信頼度ｃt2より高い場合には、周辺の他の点座標として、時刻t1におけるその点座標周辺の例えば８個（所定複数）の他の点座標を用いてもよい。
これによって、１つの点座標のデプス値について外れ値を持ったとしても、全体的にバランスをとったデプス値に収束させることができる。
(Pattern 3-2) When the difference between the depth value zt1 and the depth value zt2 is larger than the second threshold value:
For each point coordinate at time t2, the representative value of the depth value at a plurality of predetermined point coordinates around the point coordinate is corrected as the depth value at the point coordinate.
Here, highly reliable depth values are obtained at both times t1 and t2, but the large difference between these depth values suggests that an object whose depth is difficult to obtain is captured by the camera. .. In that case, the depth value of one point coordinate at time t2 is corrected as a representative value of the depth values of, for example, eight (predetermined plurality) other point coordinates around the point coordinate at time t2. In addition, as other point coordinates around here, other point coordinates around the point coordinates at time t1 and time t2 may be used. When the reliability ct1 is higher than the reliability ct2, for example, eight (predetermined plurality) other point coordinates around the point coordinates at time t1 may be used as other point coordinates in the vicinity. ..
As a result, even if there are outliers for the depth value of one point coordinate, it can be converged to an overall balanced depth value.
パターン３−２についても、前述したパターン１と同様に、オプション的に他の実施形態として、できる限り信頼度が高い方の周辺デプス値を用いるように、所定複数の他の点座標を、以下のように選択することもできる。
［時刻t1の信頼度＞時刻t2の信頼度］
時刻t1の周辺デプス値の代表値、又は、時刻t1+時刻t2の周辺デプス値の代表値
［時刻t1の信頼度≦時刻t2の信頼度］
時刻t2の周辺デプス値の代表値
As for pattern 3-2, as in pattern 1 described above, as an optional other embodiment, predetermined plurality of other point coordinates are set so as to use the peripheral depth value having the higher reliability as much as possible. You can also select as follows.
[Reliability at time t1> Reliability at time t2]
Representative value of peripheral depth value at time t1 or representative value of peripheral depth value at time t1 + time t2 [Reliability at time t1 ≤ Reliability at time t2]
Representative value of peripheral depth value at time t2
［仮想オブジェクト記憶部１２］
仮想オブジェクト記憶部１２は、ＲＧＢ画像及び奥行き画像が対応付けられた仮想オブジェクトを記憶する。仮想オブジェクト記憶部１２は、画像合成部１３から参照される。
[Virtual object storage unit 12]
The virtual object storage unit 12 stores a virtual object associated with an RGB image and a depth image. The virtual object storage unit 12 is referred to by the image composition unit 13.
［画像合成部１３］
画像合成部１３は、デプス値補正部１１から出力された奥行き画像と、仮想オブジェクトの奥行き画像との前後関係を比較することによって、仮想オブジェクトの表示を制御する。画像合成部１３は、デプス値補正部１１から出力された奥行き画像が、仮想オブジェクトの奥行き画像よりも手前にある画素については、当該仮想オブジェクトを描画しない。これによって、仮想オブジェクトと実在する物体の前後関係が正しく反映された画像を生成することとができる。
このようにして、画像合成部１３は、ＲＧＢ画像と奥行き画像とを同期させて、ＲＧＢ画像に、仮想オブジェクトを重畳的に表示する。
[Image composition unit 13]
The image composition unit 13 controls the display of the virtual object by comparing the context of the depth image output from the depth value correction unit 11 with the depth image of the virtual object. The image composition unit 13 does not draw the virtual object for the pixels in which the depth image output from the depth value correction unit 11 is in front of the depth image of the virtual object. This makes it possible to generate an image that correctly reflects the context of the virtual object and the real object.
In this way, the image synthesizing unit 13 synchronizes the RGB image and the depth image, and displays the virtual object superimposed on the RGB image.
図７は、本発明におけるＲＧＢ画像と仮想オブジェクトとの奥行き関係を表すフロー図である。 FIG. 7 is a flow chart showing the depth relationship between the RGB image and the virtual object in the present invention.
図７（ａ）によれば、ＲＧＢ画像は、ＲＧＢ−Ｄカメラが左側に移動することによって、その画像全体も右側に移動している。
図７（ｂ）によれば、奥行き画像も、ＲＧＢ−Ｄカメラが左側に移動することによって、その画像全体も右側に移動している。但し、奥行き画像は、図７（ａ）のＲＧＢ画像よりも間欠的にしか取得することができない。
図７（ｃ）によれば、図７（ｂ）における現実オブジェクトの奥行き画像に対応させて、仮想オブジェクトの前後関係が決定されている。
図７（ｄ）によれば、図７（ｂ）の現実オブジェクトの奥行き画像のデプス値が補正され、その補正された奥行き画像に対応させて、仮想オブジェクトの前後関係が決定されている。そして、図７（ａ）について、奥行画像を取得できない時刻の現実オブジェクトのＲＧＢ画像に対して、現実のオブジェクトと重なった領域が欠けた形で、仮想オブジェクトが重畳的に表示されている。
According to FIG. 7A, the entire image of the RGB image is also moved to the right by moving the RGB-D camera to the left.
According to FIG. 7B, the entire depth image is also moved to the right by moving the RGB-D camera to the left. However, the depth image can be acquired only intermittently as compared with the RGB image of FIG. 7A.
According to FIG. 7 (c), the context of the virtual object is determined in correspondence with the depth image of the real object in FIG. 7 (b).
According to FIG. 7 (d), the depth value of the depth image of the real object of FIG. 7 (b) is corrected, and the context of the virtual object is determined in correspondence with the corrected depth image. Then, in FIG. 7A, the virtual object is superposed on the RGB image of the real object at the time when the depth image cannot be acquired, in a form in which the area overlapping the real object is missing.
図８は、本発明における拡張現実画像のスムーズさを表す画像図である。 FIG. 8 is an image diagram showing the smoothness of the augmented reality image in the present invention.
（時刻t0）図３と同様に、電子黒板の現実オブジェクトの後方に、白板の仮想オブジェクトが表示されている。
（時刻t1）ここで、ＲＧＢ−Ｄカメラが少し右側に移動し、ＲＧＢ画像全体も少し左側にずれたとする。このとき、図３のように、現実オブジェクトと仮想オブジェクトとの境界部分が、ガタガタに遅延することなくスムーズに表示されている。これは、奥行き画像のデプス値がスムーズに遷移したことによる。
（時刻t2）ＲＧＢ−Ｄカメラが静止することによって、現実オブジェクトと仮想オブジェクトとの境界部分も落ち着いている。
(Time t0) Similar to FIG. 3, a white board virtual object is displayed behind the real object on the electronic blackboard.
(Time t1) Here, it is assumed that the RGB-D camera moves slightly to the right and the entire RGB image also shifts slightly to the left. At this time, as shown in FIG. 3, the boundary portion between the real object and the virtual object is smoothly displayed without any rattling delay. This is because the depth value of the depth image transitions smoothly.
(Time t2) As the RGB-D camera stands still, the boundary between the real object and the virtual object is also settled.
図９は、ポイントクラウドデータを奥行き画像に変換する機能構成図である。 FIG. 9 is a functional configuration diagram for converting point cloud data into a depth image.
図９の撮影装置１によれば、デプスカメラ１０２は、奥行き画像ではなく、ポイントクラウドデータを出力する。この場合、撮影装置１は、図４と比較して、ポイントクラウドデータ取得部１４１と、座標変換部１４２と、奥行き画像生成部１４３とを更に有する。これら機能構成部は、撮影装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、ポイントクラウドデータから奥行き画像を生成する方法として理解できる。
デプス値補正部１１は、奥行き画像生成部１４３によって生成された奥行き画像に対してデプス値を補正する。
According to the photographing device 1 of FIG. 9, the depth camera 102 outputs point cloud data instead of a depth image. In this case, the photographing apparatus 1 further includes a point cloud data acquisition unit 141, a coordinate conversion unit 142, and a depth image generation unit 143 as compared with FIG. These functional components are realized by executing a program that causes the computer mounted on the photographing device to function. In addition, the processing flow of these functional components can be understood as a method of generating a depth image from point cloud data.
The depth value correction unit 11 corrects the depth value of the depth image generated by the depth image generation unit 143.
［ポイントクラウドデータ取得部１４１］
ポイントクラウドデータ取得部１４１は、アプリケーションソフトウェアの機能によって、デプスカメラ１０２から、デプスカメラ座標系のポイントクラウドデータを取得する。ポイントクラウドデータは、座標変換部１４２へ出力される。
[Point cloud data acquisition unit 141]
The point cloud data acquisition unit 141 acquires the point cloud data of the depth camera coordinate system from the depth camera 102 by the function of the application software. The point cloud data is output to the coordinate conversion unit 142.
［座標変換部１４２］
座標変換部１４２は、ＲＧＢカメラとデプスカメラとの位置に基づく校正変換行列Ｍdを用いて、ポイントクラウドデータＰを、端末座標系のポイントクラウドデータＰ’へ変換する。
ＲＧＢカメラ及びデプスカメラは、別デバイスであるために、それらのカメラ座標系は通常、一致しない。そのため、ＲＧＢカメラのＲＧＢ画像とデプスカメラの奥行き画像との間の、画素座標系の対応関係（校正変換行列Ｍd）が必要となる。画素座標系の対応関係は、通常、市販製品のＳＤＫ(Software Development Kit)や外部ライブラリにデフォルト値が用意されており、ＡＰＩ(Application Programming Interface)を用いて取得することができる。ＲＧＢカメラとデプスカメラとが一体的に組み込まれた市販のＲＧＢ−Ｄカメラ単体を用いる場合は、外部パラメータのキャリブレーション等の作業を別途行うことなく、メーカ側で用意されたデフォルト値を用いる
[Coordinate conversion unit 142]
The coordinate conversion unit 142 converts the point cloud data P into the point cloud data P'of the terminal coordinate system by using the calibration transformation matrix Md based on the positions of the RGB camera and the depth camera.
Since RGB cameras and depth cameras are separate devices, their camera coordinate systems usually do not match. Therefore, a correspondence relationship (calibration transformation matrix Md) of the pixel coordinate system between the RGB image of the RGB camera and the depth image of the depth camera is required. The correspondence of the pixel coordinate system is usually prepared as a default value in a commercially available product SDK (Software Development Kit) or an external library, and can be obtained by using API (Application Programming Interface). When using a commercially available RGB-D camera with an integrated RGB camera and depth camera, the default value prepared by the manufacturer is used without performing additional work such as calibration of external parameters.
図１０は、デプス座標系と端末座標系との関係を表す概説図である。 FIG. 10 is a schematic diagram showing the relationship between the depth coordinate system and the terminal coordinate system.
具体的に、時刻t0で取得されたデプスカメラ座標系の点座標(ｘ,ｙ,ｚ)は、以下のように算出される（例えば非特許文献２参照）。
［x' y' z' 1］T＝Ｍwt＊Ｍwt0-1＊Ｍd-1＊［x y z 1］T
Ｍwt：世界座標系から時刻tでの端末座標系への変換行列
Ｍd：デプスカメラ座標系から端末座標系への変換行列
（-1：逆行列、T：転置）
算出された端末座標系のポイントクラウドデータＰ’は、奥行き画像生成部１４３へ出力される。
Specifically, the point coordinates (x, y, z) of the depth camera coordinate system acquired at time t0 are calculated as follows (see, for example, Non-Patent Document 2).
[ X'y'z'1] T = Mwt * Mwt0 -1 * Md -1 * [xyz 1] T
Mwt: Transformation matrix from the world coordinate system to the terminal coordinate system at time t
Md: Transformation matrix from the depth camera coordinate system to the terminal coordinate system
( -1 : Inverse matrix, T : Transpose)
The calculated point cloud data P'of the terminal coordinate system is output to the depth image generation unit 143.
［奥行き画像生成部１４３］
奥行き画像生成部１４３は、端末座標系のポイントクラウドデータＰ’を投影し、射影変換行列Ｍsを用いて奥行き画像を生成する。
具体的には、以下のように算出される。
［px py pz］T＝ＭsＰ’
画素(px,py)に、Ｐ'のデプス値zが対応付けられる
このようにして生成された奥行き画像は、デプス値補正部１１へ出力される。
[Depth image generator 143]
The depth image generation unit 143 projects the point cloud data P'of the terminal coordinate system and generates a depth image using the projection conversion matrix Ms.
Specifically, it is calculated as follows.
[Px py pz] T = MsP'
The depth value z of P'is associated with the pixels (px, py). The depth image generated in this way is output to the depth value correction unit 11.
尚、撮影装置１の機能構成部（ＲＧＢカメラ１０１、デプスカメラ１０２、デプス値補正部１１、仮想オブジェクト記憶部１２、画像合成部１３、ポイントクラウドデータ取得部１４１、座標変換部１４２、奥行き画像生成部１４３）の一部を分離して、他の装置で実現し、その装置間をネットワーク等で接続するようなシステム構成にしてもよい。 The functional components of the photographing device 1 (RGB camera 101, depth camera 102, depth value correction unit 11, virtual object storage unit 12, image composition unit 13, point cloud data acquisition unit 141, coordinate conversion unit 142, depth image generation). A system configuration may be configured in which a part of part 143) is separated, realized by another device, and the devices are connected by a network or the like.
以上、詳細に説明したように、本発明のプログラム、装置及び方法によれば、デプスカメラから得られた奥行き画像におけるデプス値を、カメラの動きにできる限り追従するように補正することができる。これによって、ＲＧＢ画像に仮想オブジェクトを重畳的に表示する際に、取得タイミングが少ない奥行き画像やポイントクラウドデータであっても、できる限りオクルージョンに対応することができる。 As described in detail above, according to the program, apparatus and method of the present invention, the depth value in the depth image obtained from the depth camera can be corrected so as to follow the movement of the camera as much as possible. As a result, when displaying a virtual object superimposed on an RGB image, it is possible to support occlusion as much as possible even for a depth image or point cloud data with few acquisition timings.
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。 With respect to the various embodiments of the present invention described above, various changes, modifications and omissions in the technical idea and scope of the present invention can be easily made by those skilled in the art. The above explanation is just an example and does not attempt to restrict anything. The present invention is limited only to the scope of claims and their equivalents.
１ 撮影装置、ＲＧＢ−Ｄカメラ
１０１ ＲＧＢカメラ
１０２ デプスカメラ
１１ デプス値補正部
１２ 仮想オブジェクト記憶部
１３ 画像合成部
１４１ ポイントクラウドデータ取得部
１４２ 座標変換部
１４３ 奥行き画像生成部
1 Imaging device, RGB-D camera 101 RGB camera 102 Depth camera 11 Depth value correction unit 12 Virtual object storage unit 13 Image composition unit 141 Point cloud data acquisition unit 142 Coordinate conversion unit 143 Depth image generation unit
Claims (12)
してコンピュータを機能させることを特徴とするプログラム。 At each predetermined time, a depth image consisting of a set of point coordinates (x, y), depth value (z), and reliability c is input, and for each point coordinate at time t2 after time t1, at time t1. When both the reliability ct1 of the depth value and the reliability ct2 of the depth value at time t2 are equal to or less than the first threshold value, the depth value at a predetermined plurality of other point coordinates around the point coordinate at time t2. A program characterized in that a computer functions as a depth value correction means for correcting a representative value as a depth value at the point coordinates.
ようにコンピュータを機能させることを特徴とする請求項１に記載のプログラム。 In the depth value correcting means, for each point coordinate, both the reliability ct1 of the depth value at time t1 and the reliability ct2 of the depth value at time t2 are equal to or less than the first threshold value, and the depth value at time t1. When the reliability ct1 of is higher than the reliability ct2 of the depth value at time t2, the representative value of the depth value at a predetermined plurality of other point coordinates around the point coordinates at time t1 or at times t1 and t2 is used. The program according to claim 1, wherein the computer functions to correct it as a depth value in point coordinates.
ようにコンピュータを機能させることを特徴とする請求項１又は２に記載のプログラム。 The depth value correction means determines the reliability of each point coordinate when only one of the reliability ct1 of the depth value at time t1 and the reliability ct2 of the depth value at time t2 is equal to or less than the first threshold value. The program according to claim 1 or 2, wherein the computer functions so as to correct the depth value z having the higher reliability by comparing ct1 and the reliability ct2 as the depth value at the point coordinates. ..
ようにコンピュータを機能させることを特徴とする請求項１から３のいずれか１項に記載のプログラム。 In the depth value correction means, for each point coordinate, both the reliability ct1 of the depth value at time t1 and the reliability ct2 of the depth value at time t2 are higher than the first threshold value, and the depth value zt1 and the depth When the difference from the value zt2 is equal to or less than the second threshold value, the depth value zt1 at time t1 is compared with the depth value zt2 at time t2, and the smaller depth value z is the depth at the point coordinates. The program according to any one of claims 1 to 3, wherein the computer functions to be corrected as a value.
ようにコンピュータを機能させることを特徴とする請求項１から４のいずれか１項に記載のプログラム。 In the depth value correction means, for each point coordinate, both the reliability ct1 of the depth value at time t1 and the reliability ct2 of the depth value at time t2 are higher than the first threshold value, and the depth value zt1 and the depth When the difference from the value zt2 is larger than the second threshold value, the representative value of the depth value at a predetermined plurality of point coordinates around each point coordinate at time t2 is corrected as the depth value at the point coordinate. The program according to any one of claims 1 to 4, wherein the computer is operated.
ようにコンピュータを機能させることを特徴とする請求項５に記載のプログラム。 In the depth value correcting means, both the reliability ct1 of the depth value at time t1 and the reliability ct2 of the depth value at time t2 are higher than the first threshold value for each point coordinate, and the depth value zt1 and the depth value zt2 If the difference from the second threshold is larger than the second threshold and the reliability ct1 of the depth value at time t1 is higher than the reliability ct2 of the depth value at time t2, the point coordinates at time t1 or at time t1 and t2. The program according to claim 5, wherein the computer functions so as to correct a representative value of a depth value at a plurality of predetermined other point coordinates around the above point coordinates as a depth value at the point coordinate.
ようにコンピュータを機能させることを特徴とする請求項１から６のいずれか１項に記載のプログラム。 The representative value of the depth value according to any one of claims 1 to 6, wherein the computer functions so as to be a median value, an average value, a mode value, or a constant percentile value of the depth value. program.
して更に機能させ、
前記画像合成手段は、前記奥行き画像と前記仮想オブジェクトの奥行きとを比較し、当該奥行き画像が手前にある画素については当該仮想オブジェクトを描画しない
ようにコンピュータを機能させることを特徴とする請求項１から７のいずれか１項に記載のプログラム。 Further function as an image compositing means for displaying a virtual object superimposed on the RGB image synchronized with the depth image.
Claim 1 is characterized in that the image synthesizing means compares the depth image with the depth of the virtual object, and causes a computer to function so as not to draw the virtual object for pixels in which the depth image is in front. The program according to any one of 7 to 7.
前記奥行き画像は、デプスカメラ（深度センサ）から出力されたものである
ようにコンピュータを機能させることを特徴とする請求項８に記載のプログラム。 The RGB image is output from the RGB camera.
The program according to claim 8, wherein the depth image causes the computer to function as if it were output from a depth camera (depth sensor).
デプスカメラから、３次元上の点(ｘ,ｙ,ｚ)と信頼度ｃとの集合であるポイントクラウドデータを取得するポイントクラウドデータ取得手段と、
ＲＧＢカメラとデプスカメラとの位置に基づく校正変換行列Ｍdを用いて、デプスカメラ座標系(ｘ,ｙ,ｚ)のポイントクラウドデータＰを、端末座標系のポイントクラウドデータＰ’へ変換する座標変換手段と、
前記端末座標系のポイントクラウドデータＰ’を投影し、射影変換行列Ｍsを用いて奥行き画像を生成する奥行き画像生成手段と、
して更に機能させ、
前記デプス値補正手段は、生成された前記奥行き画像に対してデプス値を補正する
ようにコンピュータを機能させることを特徴とする請求項８又は９に記載のプログラム。 The RGB image is output from the RGB camera.
A point cloud data acquisition means for acquiring point cloud data, which is a set of three-dimensional points (x, y, z) and reliability c, from a depth camera.
Coordinate conversion that converts the point cloud data P of the depth camera coordinate system (x, y, z) to the point cloud data P'of the terminal coordinate system using the calibration transformation matrix Md based on the positions of the RGB camera and the depth camera. Means and
A depth image generation means that projects the point cloud data P'of the terminal coordinate system and generates a depth image using the projective transformation matrix Ms.
And make it work further
The program according to claim 8 or 9 , wherein the depth value correcting means causes a computer to function to correct the depth value with respect to the generated depth image.
ように実行することを特徴とする装置のデプス値補正方法。 The device inputs a depth image consisting of a set of point coordinates (x, y), depth value (z), and reliability c at predetermined time intervals, and for each point coordinate at time t2 after time t1 When both the reliability ct1 of the depth value at time t1 and the reliability ct2 of the depth value at time t2 are equal to or less than the first threshold value, at a predetermined plurality of other point coordinates around the point coordinate at time t2. A depth value correction method for an apparatus, characterized in that a representative value of the depth value is corrected as a depth value at the point coordinates.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017248287A JP6835455B2 (en) | 2017-12-25 | 2017-12-25 | Programs, devices and methods for correcting depth values in time-series depth images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017248287A JP6835455B2 (en) | 2017-12-25 | 2017-12-25 | Programs, devices and methods for correcting depth values in time-series depth images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019114131A JP2019114131A (en) | 2019-07-11 |
| JP6835455B2 true JP6835455B2 (en) | 2021-02-24 |
Family
ID=67223242
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017248287A Active JP6835455B2 (en) | 2017-12-25 | 2017-12-25 | Programs, devices and methods for correcting depth values in time-series depth images |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6835455B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113436242B (en) * | 2021-07-22 | 2024-03-29 | 西安电子科技大学 | Method for obtaining high-precision depth value of static object based on mobile depth camera |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3855812B2 (en) * | 2002-03-15 | 2006-12-13 | ソニー株式会社 | Distance measuring method, apparatus thereof, program thereof, recording medium thereof, and robot apparatus mounted with distance measuring apparatus |
| JP2013201688A (en) * | 2012-03-26 | 2013-10-03 | Konica Minolta Inc | Image processing apparatus, image processing method, and image processing program |
| JP5818773B2 (en) * | 2012-11-22 | 2015-11-18 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| US10341633B2 (en) * | 2015-11-20 | 2019-07-02 | Qualcomm Incorporated | Systems and methods for correcting erroneous depth information |
-
2017
- 2017-12-25 JP JP2017248287A patent/JP6835455B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019114131A (en) | 2019-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6425780B1 (en) | Image processing system, image processing apparatus, image processing method and program | |
| JP3745117B2 (en) | Image processing apparatus and image processing method | |
| JP6645151B2 (en) | Projection apparatus, projection method, and computer program for projection | |
| US11379034B1 (en) | Video timewarp for mixed reality and cloud rendering applications | |
| KR20180136445A (en) | Information processing apparatus, information processing method, and program | |
| JP2010171503A (en) | Obstacle detection display device | |
| JP2013235537A (en) | Image creation device, image creation program and recording medium | |
| KR102382247B1 (en) | Image processing apparatus, image processing method, and computer program | |
| JP2015114905A (en) | Information processor, information processing method, and program | |
| Zheng et al. | A general approach for closed-loop registration in AR | |
| JP2016071645A (en) | Object three-dimensional model restoration method, device, and program | |
| JP5847610B2 (en) | Computer graphics image processing system and method using AR technology | |
| JP2016218729A (en) | Image processor, image processing method and program | |
| US20190310475A1 (en) | Image display apparatus and image display method | |
| JP6835455B2 (en) | Programs, devices and methods for correcting depth values in time-series depth images | |
| JP2022058753A (en) | Information processing apparatus, information processing method, and program | |
| US11043019B2 (en) | Method of displaying a wide-format augmented reality object | |
| JP6807034B2 (en) | Image processing device and image processing method | |
| US11275434B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| JP2005063041A (en) | Three-dimensional modeling apparatus, method, and program | |
| JP2008021210A (en) | Method, device and program for generating free-viewpoint image using multi-viewpoint image | |
| JP2005141655A (en) | Three-dimensional modeling apparatus and three-dimensional modeling method | |
| JP2821042B2 (en) | Image synthesis device | |
| JP2020187557A (en) | Temperature image display device, temperature image display system and temperature image display program | |
| WO2022091811A1 (en) | Image processing device, image processing method, and image processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191124 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201225 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210203 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210203 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6835455 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |