WO2017094285A1 - 距離計測デバイス - Google Patents

距離計測デバイス Download PDF

Info

Publication number
WO2017094285A1
WO2017094285A1 PCT/JP2016/072529 JP2016072529W WO2017094285A1 WO 2017094285 A1 WO2017094285 A1 WO 2017094285A1 JP 2016072529 W JP2016072529 W JP 2016072529W WO 2017094285 A1 WO2017094285 A1 WO 2017094285A1
Authority
WO
WIPO (PCT)
Prior art keywords
stereo camera
imaging
distance
measuring device
distance measuring
Prior art date
Application number
PCT/JP2016/072529
Other languages
English (en)
French (fr)
Inventor
鈴木　章
学 石岡
英彦 小笠原
靖展 亘理
正朗 清水
隆行 石田
俊宏 楠
勇一郎 中村
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to US15/775,062 priority Critical patent/US10724859B2/en
Publication of WO2017094285A1 publication Critical patent/WO2017094285A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Definitions

  • the present invention relates to a distance measuring device used to measure the distance to an object around the device.
  • the present invention has been made in consideration of the above-described circumstances, and one of the objects thereof is to provide a distance measuring device with a relatively small blind angle when performing distance measurement to a surrounding object.
  • a distance measuring device is a distance measuring device provided with first and second stereo cameras used for measuring the distance to an object included in an imaging range, wherein the first stereo camera is The second stereo camera includes two imaging elements aligned along a second direction, and the second direction is an imaging direction of the first stereo camera And a direction including the first direction.
  • FIG. 1 is a front view of a user wearing the distance measurement device 10a according to the first embodiment of the present invention.
  • FIG. 2 is the figure seen from the left side.
  • the distance measurement device 10a in the present embodiment is an image display device that a user wears and uses on the head.
  • the distance measurement device 10a captures a surrounding image while presenting the image to the user.
  • the captured image is used to measure the distance to an object around the distance measuring device 10a.
  • the distance measurement device 10 a is configured to include an image presentation unit 11, a front stereo camera 12, a right side stereo camera 13, and a left side stereo camera 14.
  • the horizontal direction of the distance measurement device 10a is taken as the X-axis direction, the vertical direction as the Y-axis direction, and the depth direction as the Z-axis direction.
  • the X-axis direction, the Y-axis direction, and the Z-axis direction correspond to the left-right direction, the up-down direction, and the front-rear direction of the user when the user wears the distance measurement device 10a.
  • the right direction of the user is the positive direction of the X axis
  • the upper direction is the positive direction of the Y axis
  • the front direction is the positive direction of the Z axis.
  • the image presentation unit 11 is disposed in front of the user's eyes in a state where the user wears the distance measurement device 10a, and presents an image to the user.
  • the image presentation unit 11 includes, for example, a liquid crystal display element and an optical system, and projects an image displayed on the eye of the user by guiding the image displayed on the liquid crystal display element to the eye of the user with the optical system. As a result, the user can view an image such as a stereoscopic image presented by the image presentation unit 11.
  • the front stereo camera 12 is disposed on the front of the distance measurement device 10a, that is, on the front side of the user in a state where the user wears the distance measurement device 10a. More specifically, in the present embodiment, the front stereo camera 12 is disposed above the video presentation unit 11.
  • the front stereo camera 12 is composed of two imaging elements 12 a and 12 b arranged in the positive Z-axis direction. Therefore, the front stereo camera 12 sets the Z-axis positive direction as the imaging direction.
  • the two imaging elements 12a and 12b are arranged side by side at a predetermined distance along the Y-axis direction.
  • the direction in which two imaging elements constituting a stereo camera are arranged is referred to as a base line length direction.
  • the baseline length direction of the front stereo camera 12 coincides with the Y-axis direction.
  • the baseline length direction of the front stereo camera 12 substantially coincides with the horizontal direction in use, and also substantially coincides with the direction in which the user's left and right eyes are arranged.
  • the front stereo camera 12 is used to measure the distance to an object on the front side of the user. Specifically, in the images captured by the two imaging elements 12a and 12b, the same subject is captured at different positions due to the parallax of the imaging elements. The magnitude of this parallax varies depending on the distance from the front stereo camera 12 to the subject. Therefore, by analyzing the images captured by the two imaging elements 12a and 12b, it is possible to specify the distance to each object shown in the image. That is, a distance image (depth map) in the front direction of the distance measurement device 10a is obtained based on the image captured by the front stereo camera 12.
  • This depth map is obtained by imaging a range close to the user's field of view, and indicates the distance to each object that would be captured in the user's field of view.
  • the specification of the distance and the generation of the depth map do not need to be performed by the distance measuring device 10a itself, and may be performed by an information processing apparatus such as a personal computer or a home game machine connected to the distance measuring device 10a. .
  • the right-side stereo camera 13 and the left-side stereo camera 14 are configured to include two imaging elements in the same manner as the front-side stereo camera 12, and are used to generate depth maps in the direction of the right side and left side of the user. Used.
  • the imaging ranges of these side stereo cameras are adjacent to the left and right of the imaging range of the front stereo camera 12.
  • the imaging direction of the right side stereo camera 13 is the X axis positive direction, which corresponds to the right direction of the user.
  • the two imaging elements 13a and 13b constituting the right side stereo camera 13 are arranged along the Y axis direction, unlike the front stereo camera 12 whose base line length direction is parallel to the horizontal plane. That is, the right side stereo camera 13 is not simply disposed by rotating the front stereo camera 12 by 90 degrees in the horizontal plane and turning to the right, but is further disposed by 90 degrees in the vertical plane from there. .
  • the base length direction thereof is the Y axis direction
  • the two imaging elements 14a and 14b are arranged side by side along the Y axis direction.
  • the imaging direction of the left side stereo camera 14 is the X-axis negative direction
  • the left side stereo camera 14 is disposed symmetrically with the right side stereo camera 13 in the left-right direction.
  • FIG. 3 is a diagram showing a measurement target range of the distance by the distance measurement device 10a, and shows a state where the distance measurement device 10a is viewed from above.
  • the imaging range of the imaging element which comprises each of the front stereo camera 12, the right side stereo camera 13, and the left side stereo camera 14 is shown by the broken line in the figure.
  • An area in which the imaging ranges of two imaging elements constituting each stereo camera overlap is the range in which the distance can be measured (measurement target range).
  • the measurement target range is indicated by hatching.
  • a range in which no stereo camera is to be imaged and a range in which only one of the two imaging elements constituting the stereo camera is to be imaged are blind spots where the distance can not be measured.
  • the base length directions of the two side stereo cameras are orthogonal to the horizontal plane, so the imaging ranges of the two imaging elements constituting each side stereo camera coincide in plan view.
  • FIG. 4 shows, for comparison, a range to be measured of the distance when a plurality of stereo cameras are arranged such that the baseline length direction is included in the same plane.
  • the two imaging elements constituting each stereo camera must be arranged apart from each other by a constant distance, so the distance between adjacent stereo cameras is increased. Therefore, the range of the blind spot where distance measurement can not be performed by any of the adjacent stereo cameras becomes large.
  • the right side stereo camera 13 and the left side surface adjacent to a plane here, a horizontal surface
  • the base length directions of both stereo cameras 14 are arranged to intersect. Therefore, in plan view, both the blind spot between the front stereo camera 12 and the right side stereo camera 13 and the blind spot between the front stereo camera 12 and the left side stereo camera 14 are small compared to the example of FIG. can do.
  • a distance measurement device 10b according to a second embodiment of the present invention will be described.
  • the arrangement of the right side stereo camera 13 and the left side stereo camera 14 is different from the first embodiment, but the other points are common to the first embodiment. Therefore, common components are referred to by the same reference numerals, and the detailed description thereof is omitted.
  • the imaging directions of the right side stereo camera 13 and the left side stereo camera 14 are not right beside the user but in the front direction.
  • the imaging direction of the right side stereo camera 13 is a direction inclined 30 ° from the X-axis positive direction to the Z-axis positive direction side.
  • the imaging direction of the left side stereo camera 14 is a direction inclined 30 ° from the X axis negative direction to the Z axis positive direction side.
  • the baseline length direction of each side stereo camera is the Y-axis direction as in the first embodiment.
  • FIG. 5 is a top view of the user wearing the distance measuring device 10b according to the second embodiment.
  • the imaging directions of the two side stereo cameras are closer to the front. Thereby, the blind spot between the front stereo camera 12 and each side stereo camera can be made smaller than in the first embodiment.
  • a distance measurement device 10c according to a third embodiment of the present invention will be described. Also in the present embodiment, the arrangement of the right side stereo camera 13 and the left side stereo camera 14 is different from that of the first embodiment, but the other points are common to the first embodiment.
  • FIG. 6 is a top view of the user wearing the distance measurement device 10c according to the third embodiment.
  • FIG. 7 is a view from the left side.
  • both the right side stereo camera 13 and the left side stereo camera 14 are disposed between the imaging device 12 a and the imaging device 12 b that constitute the front stereo camera 12 in plan view. ing.
  • Such an arrangement is possible because the baseline length direction (Y-axis direction) of the two side stereo cameras intersects with the baseline length direction (X-axis direction) of the front stereo camera 12.
  • FIG. 8 is a diagram showing a measurement target range of the distance measurement device 10c according to the third embodiment.
  • the blind angle can be made smaller than in the first embodiment. it can.
  • a distance measurement device 10d according to a fourth embodiment of the present invention will be described.
  • the front stereo camera 12, the right side stereo camera 13, and the left side stereo camera 14 are mounted on the distance measurement device 10d in the same arrangement as in the first embodiment.
  • two stereo cameras, a rear stereo camera 15 and a lower stereo camera 16, are mounted on the distance measurement device 10d.
  • FIG. 9 is a front view of a user wearing the distance measurement device 10d according to the fourth embodiment.
  • FIG. 10 is a top view.
  • the rear stereo camera 15 is disposed on the rear side of the user, and the imaging directions of the two imaging elements 15a and 15b constituting the rear stereo camera 15 are the rear direction (Z-axis negative direction )It has become.
  • the lower surface stereo camera 16 is disposed below the image presentation unit 11, and the imaging directions of the two image sensors 16a and 16b that constitute the lower surface stereo camera 16 are the nadir direction (the negative direction of the Y axis).
  • the base line length direction is the X axis direction in the same manner as the front stereo camera 12.
  • the distance from the distance measurement device 10d can be measured even for an object located behind the user and below the position of the face.
  • the lower stereo camera 16 in combination with the front stereo camera 12, the right side stereo camera 13, and the left side stereo camera 14, it is possible to detect the movement of the user's hand in a wide range.
  • the depth map obtained by the lower surface stereo camera 16 it is also possible to specify the posture of the user (whether standing or sitting).
  • the base length directions of the two side stereo cameras intersect the plane including the imaging direction of the front stereo camera 12 and the base length direction.
  • Each stereo camera is arranged. As a result, it is possible to reduce the blind spot area where the distance can not be measured by each stereo camera.
  • each stereo camera in the above description is merely an example, and if the base length directions of adjacent stereo cameras cross each other, each stereo camera has a different position from that illustrated. It may be arranged in the direction.
  • the rear stereo camera 15 and the lower stereo camera 16 may be mounted also on the distance measurement devices according to the second and third embodiments.
  • the distance measurement device according to each embodiment may further include an upper surface stereo camera that captures an image in the zenith direction.
  • the imaging devices constituting each stereo camera are all the same type of camera device.
  • the type of imaging device may be different for each stereo camera.
  • the front stereo camera 12 may be configured by an imaging element such as an RGB camera capable of capturing a color image.
  • an imaging element capable of capturing a color image can be used for applications other than depth map generation.
  • the user browses the scenery which should be seen when the distance measuring device is not mounted as a stereoscopic video. Can.
  • a color image captured by the RGB camera may be converted into a monochrome image to be processed.
  • the imaging device constituting the right side stereo camera 13 and the left side stereo camera 14 may be, for example, a monochrome camera that captures a monochrome image, an infrared camera, or the like.
  • one stereo camera may be configured by an RGB camera and a monochrome camera.
  • RGB camera an RGB camera
  • monochrome camera it is possible to generate a depth map by converting a color image captured by the RGB camera into a monochrome image and using it with the monochrome image captured by the monochrome camera.
  • color images captured by an RGB camera can be used for other applications.
  • the distance measuring device is a head-mounted image display device, but the distance measuring device is not limited to such.
  • a plurality of stereo cameras may be mounted on various devices, such as a controller of a game machine held and used by a user, for which it is desired to acquire distance information around the device, and may be a distance measurement device according to the embodiment of the present invention .
  • 10a, 10b, 10c, 10d Distance measurement device 11 image presentation units, 12 front stereo cameras, 13 right side stereo cameras, 14 left side stereo cameras, 15 back stereo cameras, 16 bottom stereo cameras.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)

Abstract

それぞれ撮像範囲に含まれる物体までの距離の計測に用いられる第１及び第２のステレオカメラを備え、第１のステレオカメラは、第１方向に沿って並ぶ二つの撮像素子を含み、第２のステレオカメラは、第２方向に沿って並ぶ二つの撮像素子を含み、第２方向は、第１のステレオカメラの撮像方向と第１方向とを含む平面に対して交差する方向である距離計測デバイスである。

Description

距離計測デバイス
　本発明は、装置周囲の物体までの距離の計測に用いられる距離計測デバイスに関する。
　複数のカメラが並んで配置されたステレオカメラを用いることにより、被写体までの距離を計測する技術が知られている。このステレオカメラを、例えばヘッドマウントディスプレイなどのデバイスに搭載することで、そのデバイスの周囲に存在する物体までの距離を計測することができる。
　デバイスの前後左右などの広い範囲を距離計測の対象としたい場合、複数のステレオカメラを並べて配置する必要がある。しかしながら、並べて配置された複数のステレオカメラは、両者の中間の領域をカバーしにくく、距離計測の対象とできない死角が生じやすい。
　本発明は上記実情を考慮してなされたものであって、その目的の一つは、周囲の物体までの距離計測を行う際に、比較的死角の少ない距離計測デバイスを提供することにある。
　本発明に係る距離計測デバイスは、それぞれ撮像範囲に含まれる物体までの距離の計測に用いられる第１及び第２のステレオカメラを備える距離計測デバイスであって、前記第１のステレオカメラは、第１方向に沿って並ぶ二つの撮像素子を含み、前記第２のステレオカメラは、第２方向に沿って並ぶ二つの撮像素子を含み、前記第２方向は、前記第１のステレオカメラの撮像方向と前記第１方向とを含む平面に対して交差する方向であることを特徴とする。
本発明の第１の実施形態に係る距離計測デバイスをユーザーが装着した様子を正面から見た図である。 本発明の第１の実施形態に係る距離計測デバイスをユーザーが装着した様子を左側面から見た図である。 本発明の第１の実施形態に係る距離計測デバイスの計測対象範囲を示す図である。 複数のステレオカメラをその基線長方向が同一平面に含まれるように配置した距離計測デバイスの計測対象範囲の一例を示す図である。 本発明の第２の実施形態に係る距離計測デバイスをユーザーが装着した様子を上方から見た図である。 本発明の第３の実施形態に係る距離計測デバイスをユーザーが装着した様子を上方から見た図である。 本発明の第３の実施形態に係る距離計測デバイスをユーザーが装着した様子を左側面方向から見た図である。 本発明の第３の実施形態に係る距離計測デバイスの計測対象範囲を示す図である。 本発明の第４の実施形態に係る距離計測デバイスをユーザーが装着した様子を正面から見た図である。 本発明の第４の実施形態に係る距離計測デバイスをユーザーが装着した様子を上方から見た図である。
　以下、本発明の実施形態について、図面に基づき詳細に説明する。
[第１の実施形態]
　図１は、本発明の第１の実施形態に係る距離計測デバイス１０ａをユーザーが装着した様子を正面から見た図である。また、図２は左側面から見た図である。本実施形態における距離計測デバイス１０ａは、ユーザーが頭部に装着して使用する映像表示装置であるものとする。距離計測デバイス１０ａは、ユーザーに映像を提示している間に、周囲の映像を撮像する。撮像された映像は、距離計測デバイス１０ａの周囲にある物体までの距離を計測するために用いられる。距離計測デバイス１０ａは、映像提示部１１と、正面ステレオカメラ１２と、右側面ステレオカメラ１３と、左側面ステレオカメラ１４と、を含んで構成されている。
　以下では説明の便宜のために、距離計測デバイス１０ａの横方向をＸ軸方向、縦方向をＹ軸方向、奥行き方向をＺ軸方向とする。Ｘ軸方向、Ｙ軸方向、及びＺ軸方向は、それぞれユーザーが距離計測デバイス１０ａを装着した状態において、ユーザーの左右方向、上下方向、及び前後方向に相当する。また、ユーザーの右方向をＸ軸の正方向、上方向をＹ軸の正方向、前方向をＺ軸の正方向とする。
　映像提示部１１は、ユーザーが距離計測デバイス１０ａを装着した状態でユーザーの目の前方に配置され、ユーザーに映像を提示する。映像提示部１１は、例えば液晶表示素子と光学系とから構成され、液晶表示素子に表示される映像を光学系でユーザーの目に導くことによって、ユーザーの目に映像を投影する。これによりユーザーは、映像提示部１１が提示する立体映像などの映像を閲覧することができる。
　正面ステレオカメラ１２は、距離計測デバイス１０ａの前面、すなわちユーザーが距離計測デバイス１０ａを装着した状態においてユーザーの正面側に配置される。より具体的に、本実施形態では正面ステレオカメラ１２は、映像提示部１１の上方に配置されている。正面ステレオカメラ１２は、Ｚ軸正方向に向けて配置された二つの撮像素子１２ａ及び１２ｂによって構成されている。そのため、正面ステレオカメラ１２はＺ軸正方向を撮像方向としている。これら二つの撮像素子１２ａ及び１２ｂは、Ｙ軸方向に沿って所定距離だけ離れて並んで配置されている。以下では、ステレオカメラを構成する二つの撮像素子が並ぶ方向を基線長方向という。正面ステレオカメラ１２は、基線長方向がＹ軸方向に一致している。この正面ステレオカメラ１２の基線長方向は、使用時の水平方向に略一致し、ユーザーの左右の目が並ぶ方向にも略一致する。
　正面ステレオカメラ１２は、ユーザーの正面側にある物体までの距離の測定に用いられる。具体的に、二つの撮像素子１２ａ及び１２ｂが撮像する画像内においては、同じ被写体が撮像素子の視差によって互いに異なる位置に写ることになる。この視差の大きさは、正面ステレオカメラ１２から被写体までの距離によって異なる。そのため、二つの撮像素子１２ａ及び１２ｂが撮像した画像を解析することによって、その画像内に写っている各物体までの距離を特定できる。すなわち、正面ステレオカメラ１２が撮像する画像に基づいて、距離計測デバイス１０ａの正面方向の距離画像（デプスマップ）が得られる。このデプスマップは、ユーザーの視界に近い範囲を撮像して得られたものであり、ユーザーの視界に写るであろう各物体までの距離を示すことになる。なお、距離の特定、及びデプスマップの生成は、距離計測デバイス１０ａ自体が行う必要がなく、例えば距離計測デバイス１０ａと接続されたパーソナルコンピュータや家庭用ゲーム機などの情報処理装置によって実行されてよい。
　右側面ステレオカメラ１３及び左側面ステレオカメラ１４は、正面ステレオカメラ１２と同様にそれぞれ二つの撮像素子を含んで構成されており、ユーザーの右側面、及び左側面方向のデプスマップを生成するために用いられる。これらの側面ステレオカメラの撮像範囲は、正面ステレオカメラ１２の撮像範囲に対して左右の隣接する範囲になる。
　右側面ステレオカメラ１３の撮像方向はＸ軸正方向であって、ユーザーの右方向に相当する。そして、右側面ステレオカメラ１３を構成する二つの撮像素子１３ａ及び１３ｂは、基線長方向が水平面と平行な正面ステレオカメラ１２と異なり、Ｙ軸方向に沿って並んでいる。すなわち、右側面ステレオカメラ１３は、単に正面ステレオカメラ１２を水平面内において９０°回転させて右方向に向けた配置ではなく、そこからさらに鉛直面内において９０°回転させた向きに配置されている。
　左側面ステレオカメラ１４についても、右側面ステレオカメラ１３と同様に、その基線長方向がＹ軸方向になっており、二つの撮像素子１４ａ及び１４ｂがＹ軸方向に沿って並んで配置されている。なお、左側面ステレオカメラ１４の撮像方向はＸ軸負方向であって、左側面ステレオカメラ１４は右側面ステレオカメラ１３と左右対称に配置されていることになる。
　このような配置によれば、各ステレオカメラをいずれもその基線長方向が水平面内に含まれるように配置する場合と比較して、ステレオカメラで撮像できない死角を減らすことができる。これにつき、以下に説明する。
　図３は、距離計測デバイス１０ａによる距離の計測対象範囲を示す図であって、距離計測デバイス１０ａを上方から見た様子を示している。正面ステレオカメラ１２、右側面ステレオカメラ１３、及び左側面ステレオカメラ１４のそれぞれを構成する撮像素子の撮像範囲は、図中において破線で示されている。各ステレオカメラを構成する二つの撮像素子の撮像範囲が重なる領域が、距離の計測が可能な範囲（計測対象範囲）となる。図中において計測対象範囲はハッチングで示されている。どのステレオカメラでも撮像対象とされない範囲、及び、ステレオカメラを構成する二つの撮像素子の一方しか撮像対象としていない範囲は、距離の計測ができない死角となる。なお、本実施形態では二つの側面ステレオカメラの基線長方向が水平面と直交しているので、各側面ステレオカメラを構成する二つの撮像素子の撮像範囲は平面視において一致している。
　これに対して図４は、比較のために、複数のステレオカメラをその基線長方向が同一平面に含まれるように配置した場合の距離の計測対象範囲を示している。複数のステレオカメラを同一平面内に配置した場合、各ステレオカメラを構成する二つの撮像素子は互いに一定距離離して配置しなければならないため、隣接するステレオカメラ同士の間の距離が広がってしまう。そのため、隣接するステレオカメラのどちらでも距離計測を行うことのできない死角の範囲が大きくなる。これに対して図３に示すように、本実施形態では、正面ステレオカメラ１２の撮像方向と基線長方向とを含む平面（ここでは水平面）に対して、隣接する右側面ステレオカメラ１３及び左側面ステレオカメラ１４双方の基線長方向が交差するように配置されている。そのため、平面視において、正面ステレオカメラ１２と右側面ステレオカメラ１３との間の死角、及び正面ステレオカメラ１２と左側面ステレオカメラ１４との間の死角の双方を図４の例と比較して小さくすることができる。
[第２の実施形態]
　次に、本発明の第２の実施形態に係る距離計測デバイス１０ｂについて、説明する。本実施形態では、右側面ステレオカメラ１３及び左側面ステレオカメラ１４の配置が第１の実施形態と異なるが、その他の点については第１の実施形態と共通している。そのため、共通する構成要素は同一の参照符号で参照し、その詳細な説明は省略する。
　第２の実施形態では、右側面ステレオカメラ１３、及び左側面ステレオカメラ１４それぞれの撮像方向が、ユーザーの真横ではなく正面寄りの方向になっている。具体的に、右側面ステレオカメラ１３の撮像方向は、Ｘ軸正方向からＺ軸正方向側に３０°傾いた方向になっている。また、左側面ステレオカメラ１４の撮像方向は、Ｘ軸負方向からＺ軸正方向側に３０°傾いた方向になっている。ただし、各側面ステレオカメラの基線長方向は、第１の実施形態と同様にＹ軸方向になっている。
　図５は、第２の実施形態に係る距離計測デバイス１０ｂをユーザーが装着した様子を上方から見た図である。同図に示されるように、本実施形態では、二つの側面ステレオカメラの撮像方向を正面寄りにしている。これにより、第１の実施形態よりも正面ステレオカメラ１２と各側面ステレオカメラとの間の死角を小さくすることができる。
[第３の実施形態]
　次に、本発明の第３の実施形態に係る距離計測デバイス１０ｃについて、説明する。本実施形態でも、右側面ステレオカメラ１３及び左側面ステレオカメラ１４の配置が第１の実施形態と異なるが、その他の点については第１の実施形態と共通している。
　図６は第３の実施形態に係る距離計測デバイス１０ｃをユーザーが装着した様子を上方から見た図である。また、図７は左側面から見た図である。これらの図に示されるように、本実施形態では右側面ステレオカメラ１３と左側面ステレオカメラ１４の双方が、平面視において正面ステレオカメラ１２を構成する撮像素子１２ａと撮像素子１２ｂの間に配置されている。二つの側面ステレオカメラの基線長方向（Ｙ軸方向）が正面ステレオカメラ１２の基線長方向（Ｘ軸方向）と交差しているので、このような配置が可能になっている。
　図８は、第３の実施形態に係る距離計測デバイス１０ｃの計測対象範囲を示す図である。同図に示されるように、本実施形態では、二つの側面ステレオカメラを正面ステレオカメラ１２の撮像素子１２ａ及び１２ｂの間に配置することにより、第１の実施形態よりも死角を小さくすることができる。
[第４の実施形態]
　次に、本発明の第４の実施形態に係る距離計測デバイス１０ｄについて、説明する。本実施形態では、正面ステレオカメラ１２、右側面ステレオカメラ１３、及び左側面ステレオカメラ１４は第１の実施形態と同様の配置で距離計測デバイス１０ｄに搭載されている。さらに、背面ステレオカメラ１５、及び下面ステレオカメラ１６の二つのステレオカメラが距離計測デバイス１０ｄに搭載されている。
　図９は、第４の実施形態に係る距離計測デバイス１０ｄをユーザーが装着した様子を正面から見た図である。また、図１０は上方から見た図である。これらの図に示されるように、背面ステレオカメラ１５はユーザーの背面側に配置されており、背面ステレオカメラ１５を構成する二つの撮像素子１５ａ及び１５ｂの撮像方向は、背面方向（Ｚ軸負方向）になっている。また、下面ステレオカメラ１６は映像提示部１１の下方に配置されており、下面ステレオカメラ１６を構成する二つの撮像素子１６ａ及び１６ｂの撮像方向は、天底方向（Ｙ軸負方向）になっている。なお、背面ステレオカメラ１５及び下面ステレオカメラ１６については、いずれも基線長方向は正面ステレオカメラ１２と同様にＸ軸方向になっている。
　本実施形態に係る距離計測デバイス１０ｄによれば、ユーザーの背後、及び顔の位置から見て下方にある物体についても、距離計測デバイス１０ｄからの距離を計測することができる。特に正面ステレオカメラ１２、右側面ステレオカメラ１３、及び左側面ステレオカメラ１４とともに下面ステレオカメラ１６を組み合わせて用いることにより、ユーザーの手の動きを広範囲で検出することが可能になる。また、下面ステレオカメラ１６によって得られるデプスマップを利用することにより、ユーザーの姿勢（立っているか座っているかなど）を特定することもできる。
　以上説明した各実施形態に係る距離計測デバイスにおいては、いずれも、正面ステレオカメラ１２の撮像方向と基線長方向とを含む平面に対して、二つの側面ステレオカメラの基線長方向が交差するように、各ステレオカメラが配置されている。これにより、各ステレオカメラで距離を計測できない死角の領域を減らすことができる。
　なお、以上の説明における各ステレオカメラの配置は例示に過ぎず、隣接するステレオカメラ同士の基線長方向が交差するように配置されていれば、各ステレオカメラは図示されたものとは異なる位置や向きに配置されてもよい。また、第２及び第３の実施形態に係る距離計測デバイスに対しても、背面ステレオカメラ１５や下面ステレオカメラ１６を搭載してもよい。また、各実施形態に係る距離計測デバイスは、さらに天頂方向を撮像する上面ステレオカメラを備えてもよい。
　また、以上の説明では各ステレオカメラを構成する撮像素子は、いずれも同種のカメラデバイスであることとしている。しかしながら、ステレオカメラごとに撮像素子の種類が異なってもよい。例えば正面ステレオカメラ１２はカラー映像を撮像可能なＲＧＢカメラ等の撮像素子によって構成されてよい。このように、カラー映像を撮影可能な撮像素子を用いることで、デプスマップ生成以外の用途にも撮像画像を利用することができる。一例として、正面ステレオカメラ１２の撮像画像を用いて映像提示部１１が提示する映像を生成することで、ユーザーは距離計測デバイスを装着していないときに見えるはずの景色を立体映像として閲覧することができる。なお、デプスマップを生成する際には、ＲＧＢカメラによって撮像されたカラー画像をモノクロ画像に変換して処理対象としてもよい。これに対してデプスマップの生成だけに用いられるステレオカメラについては、カラー映像を撮影可能な撮像素子を利用する必要は必ずしもない。そこで、右側面ステレオカメラ１３や左側面ステレオカメラ１４を構成する撮像素子は、例えばモノクロ映像を撮像するモノクロカメラや、赤外線カメラ等であってもよい。
　また、一つのステレオカメラを構成する二つの撮像素子についても、その種類を互いに異ならせてもよい。例えば一つのステレオカメラがＲＧＢカメラとモノクロカメラによって構成されてもよい。この場合、ＲＧＢカメラで撮像されたカラー画像をモノクロ画像に変換し、モノクロカメラで撮像されたモノクロ画像とともに用いることによって、デプスマップを生成できる。また、ＲＧＢカメラで撮像されたカラー画像を他の用途に利用できる。
　また、以上の説明では距離計測デバイスは頭部装着型の映像表示装置であることとしたが、距離計測デバイスはこのようなものに限られない。例えばユーザーが把持して使用するゲーム機のコントローラなど、その周囲の距離情報を取得したい各種のデバイスに、複数のステレオカメラを搭載して、本発明の実施の形態に係る距離計測デバイスとしてもよい。
　１０ａ，１０ｂ，１０ｃ，１０ｄ　距離計測デバイス、１１　映像提示部、１２　正面ステレオカメラ、１３　右側面ステレオカメラ、１４　左側面ステレオカメラ、１５　背面ステレオカメラ、１６　下面ステレオカメラ。

Claims (5)

  1. 　それぞれ撮像範囲に含まれる物体までの距離の計測に用いられる第１及び第２のステレオカメラを備える距離計測デバイスであって、
    　前記第１のステレオカメラは、第１方向に沿って並ぶ二つの撮像素子を含み、
    　前記第２のステレオカメラは、第２方向に沿って並ぶ二つの撮像素子を含み、
    　前記第２方向は、前記第１のステレオカメラの撮像方向と前記第１方向とを含む平面に対して交差する方向である
    　ことを特徴とする距離計測デバイス。
  2. 　請求項１に記載の距離計測デバイスにおいて、
    　前記第２のステレオカメラは、前記平面と交差する方向から見て、前記第１のステレオカメラに含まれる二つの撮像素子の間に配置されている
    　ことを特徴とする距離計測デバイス。
  3. 　請求項１に記載の距離計測デバイスにおいて、
    　前記第１のステレオカメラは当該距離計測デバイスの正面方向を撮像方向とし、
    　前記第２のステレオカメラは当該距離計測デバイスの側面方向を撮像方向とする
    　ことを特徴とする距離計測デバイス。
  4. 　請求項１に記載の距離計測デバイスにおいて、
    　当該距離計測デバイスはユーザーの頭部に装着して使用され、ユーザーに映像を提示する映像提示部をさらに備え、
    　前記第１のステレオカメラは前記ユーザーの正面方向を撮像方向とする
    　ことを特徴とする距離計測デバイス。
  5. 　請求項１に記載の距離計測デバイスにおいて、
    　前記第１のステレオカメラに含まれる二つの撮像素子は、前記第２のステレオカメラに含まれる二つの撮像素子とは異なる種類の撮像素子である
    　ことを特徴とする距離計測デバイス。
PCT/JP2016/072529 2015-12-01 2016-08-01 距離計測デバイス WO2017094285A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/775,062 US10724859B2 (en) 2015-12-01 2016-08-01 Distance-measuring device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015234592A JP2019035584A (ja) 2015-12-01 2015-12-01 距離計測デバイス
JP2015-234592 2015-12-01

Publications (1)

Publication Number Publication Date
WO2017094285A1 true WO2017094285A1 (ja) 2017-06-08

Family

ID=58796777

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/072529 WO2017094285A1 (ja) 2015-12-01 2016-08-01 距離計測デバイス

Country Status (3)

Country Link
US (1) US10724859B2 (ja)
JP (1) JP2019035584A (ja)
WO (1) WO2017094285A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11233954B1 (en) * 2019-01-24 2022-01-25 Rockwell Collins, Inc. Stereo infrared imaging for head mounted devices

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6175265A (ja) * 1984-09-20 1986-04-17 Agency Of Ind Science & Technol 三次元速度計
JP2001211403A (ja) * 2000-01-25 2001-08-03 Mixed Reality Systems Laboratory Inc 頭部装着型表示装置及び頭部装着型表示システム
JP2001285692A (ja) * 2000-03-31 2001-10-12 Kazuhiko Yamamoto 全方向ステレオ画像撮影装置及びステレオ画像撮影装置
JP2007525054A (ja) * 2003-06-03 2007-08-30 スチュアート，レオナード，ピー．，Ｉｉｉ ディジタル３ｄ／３６０度カメラシステム
JP2011024079A (ja) * 2009-07-17 2011-02-03 Konica Minolta Opto Inc 周辺表示装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL139995A (en) * 2000-11-29 2007-07-24 Rvc Llc System and method for spherical stereoscopic photographing
US10217189B2 (en) * 2015-09-16 2019-02-26 Google Llc General spherical capture methods

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6175265A (ja) * 1984-09-20 1986-04-17 Agency Of Ind Science & Technol 三次元速度計
JP2001211403A (ja) * 2000-01-25 2001-08-03 Mixed Reality Systems Laboratory Inc 頭部装着型表示装置及び頭部装着型表示システム
JP2001285692A (ja) * 2000-03-31 2001-10-12 Kazuhiko Yamamoto 全方向ステレオ画像撮影装置及びステレオ画像撮影装置
JP2007525054A (ja) * 2003-06-03 2007-08-30 スチュアート，レオナード，ピー．，Ｉｉｉ ディジタル３ｄ／３６０度カメラシステム
JP2011024079A (ja) * 2009-07-17 2011-02-03 Konica Minolta Opto Inc 周辺表示装置

Also Published As

Publication number Publication date
US20180328727A1 (en) 2018-11-15
JP2019035584A (ja) 2019-03-07
US10724859B2 (en) 2020-07-28

Similar Documents

Publication Publication Date Title
WO2017090203A1 (ja) 視線検出システム、注視点特定方法及び注視点特定プログラム
US11184597B2 (en) Information processing device, image generation method, and head-mounted display
US20160295194A1 (en) Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images
JP5869712B1 (ja) 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム
CN108093244B (zh) 一种远程随动立体视觉系统
JP5167439B1 (ja) 立体画像表示装置及び立体画像表示方法
JP7005224B2 (ja) 情報処理装置、システム、画像処理方法、コンピュータプログラム、及び記憶媒体
KR102539427B1 (ko) 화상 처리장치, 화상 처리방법, 및 기억매체
US20190156586A1 (en) Virtual reality system using mixed reality and implementation method thereof
KR20030065379A (ko) 전방위 시각 시스템, 화상처리방법, 제어프로그램, 및판독가능한 기록매체
JP2009153574A (ja) 視機能検査装置
JP4580678B2 (ja) 注視点位置表示装置
JP6441581B2 (ja) フレキシブルディスプレイの曲げモーションに対する光検出
KR101046259B1 (ko) 응시위치를 추적하여 입체영상을 표시하는 입체영상 표시장치
JP6419118B2 (ja) 画像表示システム
US20180232945A1 (en) Image processing apparatus, image processing system, image processing method, and storage medium
EP3136724B1 (en) Wearable display apparatus, information processing apparatus, and control method therefor
JP6649010B2 (ja) 情報処理装置
US20200344463A1 (en) Camera Projection Technique System and Method
JP2011141381A (ja) 立体画像表示装置及び立体画像表示方法
WO2017094285A1 (ja) 距離計測デバイス
JP2016095458A5 (ja)
JP2015007722A (ja) 画像表示装置
CN107884930B (zh) 头戴式装置及控制方法
JP5331785B2 (ja) 立体画像分析装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16870226

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15775062

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16870226

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP