JP6351663B2

JP6351663B2 - Spherical video imaging device, global sphere video imaging system, omnidirectional video imaging program, recording medium recording the same, and omnidirectional video imaging method

Info

Publication number: JP6351663B2
Application number: JP2016124164A
Authority: JP
Inventors: 文彦小田部
Original assignee: 株式会社つくばマルチメディア
Priority date: 2016-06-23
Filing date: 2016-06-23
Publication date: 2018-07-04
Anticipated expiration: 2036-06-23
Also published as: JP2017228956A

Description

本発明は、撮影車や操作者が映らない全天球映像を生成する全天球映像撮影装置等に関する。 The present invention relates to an omnidirectional video image capturing device that generates an omnidirectional video image in which a photographing vehicle and an operator are not reflected.

現在、全国において地域創生の施策が実施されている。地域創生においては、地域中心商業施設や商店街の活性化、道の駅や直売所等の農産物販売施設の設置、観光施設のＰＲ（広報・宣伝活動）の情報発信が重要である。また、現在、福島の原子力事故において、建物の構図はあるが施設内に設置されている各設備がどのように設置されていたか分からないという事態がある。 Currently, regional revitalization measures are being implemented nationwide. In regional revitalization, it is important to revitalize regional commercial facilities and shopping streets, establish agricultural products sales facilities such as roadside stations and direct sales offices, and disseminate information on PR (public relations / advertisement activities) of tourist facilities. At present, in the nuclear accident in Fukushima, there is a situation where there is a composition of the building, but it is not known how each facility installed in the facility was installed.

特許文献１に記載の「地図誘導映像システム」は、インターネット等の通信回線を利用する地図データ紹介システムで、利用者のパソコンにおいて、検索した地域地図画面上での誘導矢印による誘導に沿って地図画面上を進行すると、それに同期して、実際にその道路を通行した際に見える道路通行視覚映像を表示するシステムに関するものである。 The "map guidance video system" described in Patent Document 1 is a map data introduction system that uses a communication line such as the Internet. A map along a guidance by a guidance arrow on a searched local map screen on a user's personal computer. The present invention relates to a system for displaying a road traffic visual image that is visible when the vehicle actually travels on the road as it progresses on the screen.

このシステムは、地図画面における道路を、交差点から交差点までの道路ブロック毎に道路ブロック番号を付与する構成とすることで、予め出発地から目的地を指定してこれらの道路ブロックを探査して組み合わせた経路を案内表示するか、あるいは利用者が交差点毎に左折、直進、右折、戻りを選択して道路ブロックを選択することができる。さらに進行速度もブロック毎に選択指定し変えることもでき、また、一時停止中や経路上を進行中の誘導矢印が飛び越えて移動するという移動地点の変更も可能な柔軟性ある道路誘導システムを実現している。 In this system, roads on the map screen are assigned a road block number for each road block from the intersection to the intersection, and these road blocks are searched and combined by designating the destination from the departure point in advance. The user can select a road block by guiding the displayed route, or selecting a left turn, straight ahead, right turn, or return for each intersection. In addition, you can select and change the traveling speed for each block, and realize a flexible road guidance system that can change the moving point such as temporarily stopping or moving the guidance arrow moving over the route doing.

また、特許文献２に記載の「地図誘導全方位映像システム」は、映像を全方位映像（上下の映像なし）としているが、映像の拡大や縮小はできたものの拡大すると映像の画質が悪くなる点や映像表示画面を大きくすることは通信回線上できないという問題があった。 In addition, the “map-guided omnidirectional video system” described in Patent Document 2 uses an omnidirectional video (without upper and lower videos), but although the video can be enlarged or reduced, the image quality of the video deteriorates when enlarged. However, there is a problem that it is impossible to increase the size and the video display screen on the communication line.

さらに、特許文献３に記載の「映像レイヤーリンク対応映像誘導システム」は、全方位走行映像にリンクを可能とするもので、インターネット等の通信回線を利用し、街路（道路）の走行や百貨店の売場通路を回遊して予め撮影された映像データにリンクをはることを可能とし、街路や売場通路を映像で誘導しながら、映像上の建物、店舗、売場等のリンクにより、それらのホームページやウェブカメラのライブ映像表示画面を見るものである。 Furthermore, the “video layer link-compatible video guidance system” described in Patent Document 3 enables a link to an omnidirectional running video, and uses a communication line such as the Internet to run on a street (road) or a department store. It is possible to make a link to video data taken in advance by going around the sales floor corridor, and guiding the streets and sales floor corridors with video, and by linking the buildings, stores, sales floors, etc. on the video, A live video display screen of a webcam is viewed.

これらのシステムは、ＡＤＳＬ（非対称デジタル加入者線）が一般的な頃のもので、現在のような光回線ではなかったため、映像配信とＧＩＳ（地理情報システム）における誘導を同時に配信するには通信回線速度に限界があった。また、携帯電話を利用したインターネット接続サービスが普及していたころで、現在一般的に利用されているスマートフォンはなく、全方位映像撮影サービスや地図誘導全方位映像システムのニーズもない状況であった。 These systems are the days when ADSL (Asymmetric Digital Subscriber Line) was common, and they were not optical lines as they are today. Therefore, communication is necessary to simultaneously distribute video distribution and guidance in GIS (Geographic Information System). There was a limit to the line speed. Also, when Internet connection services using mobile phones were widespread, there were no smartphones currently in general use, and there was no need for omnidirectional video shooting services or map-guided omnidirectional video systems. .

現在では、ハイビジョン映像レベルの撮影が可能であり、モバイル環境においても大容量の映像配信が可能となっている。また、家庭においても光通信が一般的で、スマートフォンやタブレット端末においてもＬＴＥ等の高速通信方式が採用され、大容量を要する映像配信も問題なく動作する環境が整っている。 Currently, high-definition video level photography is possible, and large-capacity video distribution is possible even in mobile environments. In addition, optical communication is common in homes, and high-speed communication methods such as LTE are adopted in smartphones and tablet terminals, and an environment in which video distribution requiring large capacity can be operated without any problem is set up.

特許第３８０９９０１号公報Japanese Patent No. 3809901 特許第３９５００８５号公報Japanese Patent No. 3950085 特許第４３４９９７３号公報Japanese Patent No. 4349973

世界中の道路沿いの風景をパノラマ写真で提供するインターネットサービスとして、米国Ｇｏｏｇｌｅ社の「ストリートビュー」があるが、ストリートビューは静止画であり、任意の始点と終点を自動的に誘導することはできない。 Google's “Street View” is an internet service that provides panoramic pictures of landscapes along roads around the world. Street View is a still image, and it is not possible to automatically guide any start and end points. Can not.

インターネットの通信回線を通して全天球映像の走行映像で商店街の街路、商業施設や店舗建物内の通路を誘導すれば、映像上の被写体をクリックすることにより施設情報や製品情報の提供、商品のネット販売が可能となる。なお、全天球映像とは、撮影基点を中心に複数のカメラがついている機材によって撮影される上下・左右・斜めの全周囲をパソコン上で見ることが可能な映像である。 If you guide a street in a shopping street, a commercial facility, or a passage in a store building with a traveling image of a celestial sphere through an Internet communication line, you can click on the subject on the image to provide facility information and product information, Online sales are possible. Note that the omnidirectional video is a video that can be viewed on a personal computer on the entire top / bottom, left / right, and diagonal surroundings taken by equipment equipped with a plurality of cameras with the photographing base point as the center.

例えば、インターネットを介して、商店街の街区を自由に経路選択し、その経路上の矢印の進行スピードにあわせて全天球映像が再生され、実際にその場所に行ったときのような臨場感で回遊することが可能となる。また、走行映像上にリンクを張りクリックすると店舗等の情報を表示すれば、より詳細な情報提供が可能となる。 For example, you can freely select a route in a shopping district via the Internet, and the celestial sphere image will be played according to the speed of the arrow on the route, making you feel as if you were actually at that location. It is possible to travel around. Further, if a link is clicked on the traveling image and clicked to display information such as a store, more detailed information can be provided.

全天球走行映像を撮影するためには、人が撮影機材を持って歩くか、撮影車で撮影しなければならない。その場合、撮影カメラの映像は、全天球映像であるため撮影する人や撮影車自体も映ってしまい、道路や通路等の下側の状況を撮影できないという問題がある。そのため、人（操作者）や撮影車の画像や映像の削除作業、画像マスク処理、類似画像で補正するといった作業を行う必要がある。 In order to shoot a celestial sphere image, a person must walk with a photographic equipment or shoot with a photographic car. In that case, since the image of the camera is a celestial sphere image, the person who is shooting and the shooting vehicle itself are also reflected, and there is a problem that the situation below the road or the passage cannot be taken. Therefore, it is necessary to perform operations such as deleting an image or video of a person (operator) or a photographing vehicle, image mask processing, and correcting with a similar image.

そこで、本発明は、撮影車や操作者が映らない全天球映像を生成することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to generate a spherical image that does not show a photographing vehicle or an operator.

上記の課題を解決するために、本発明である全天球映像撮影装置は、全方位の映像を撮影可能な複眼の全天球映像カメラと、一方向の映像を撮影する一眼映像カメラと、前記全天球映像カメラ及び前記一眼映像カメラを搭載するためのカメラ架台と、を備え、前記カメラ架台は、垂立する支柱から上方に延びる縦部材と、前記支柱から後方に延びる横部材と、を有し、前記全天球映像カメラは、前記縦部材に設置され、前記カメラ架台を設置した移動体を含む視野の全方位映像を撮影し、前記一眼映像カメラは、前記横部材に設置され、前記全方位映像の視野の一部であって前記移動体が含まれない視野の一方向映像を撮影し、前記全天球映像カメラで撮影した全方位映像に、前記一眼映像カメラで撮影した一方向映像が合成されて、前記移動体が含まれない全天球映像が生成される、ことを特徴とする。 In order to solve the above-described problems, the omnidirectional video imaging device according to the present invention includes a compound-eye omnidirectional video camera capable of capturing an omnidirectional video, a single-lens video camera that captures a unidirectional video, A camera frame for mounting the omnidirectional video camera and the single-lens video camera, and the camera frame includes a vertical member extending upward from a supporting column, and a horizontal member extending rearward from the column. The omnidirectional video camera is installed on the vertical member and shoots an omnidirectional video of a field of view including a moving body on which the camera mount is installed, and the single-lens video camera is installed on the horizontal member. A unidirectional image of a field of view that is a part of the field of view of the omnidirectional video and does not include the moving object was photographed, and an omnidirectional video photographed by the omnidirectional video camera was photographed by the single-lens video camera. A one-way video is synthesized and Omnidirectional images containing no body is generated, characterized in that.

また、前記全天球映像撮影装置は、前記全天球映像カメラ及び前記一眼映像カメラが、振動を防止するジンバルを介して前記カメラ架台に搭載される、ことを特徴とする。 The omnidirectional video imaging apparatus is characterized in that the omnidirectional video camera and the single-lens video camera are mounted on the camera mount via a gimbal that prevents vibration.

また、前記全天球映像撮影装置は、前記全天球映像が、前記全方位映像と前記一方向映像との、前記移動体の進行速度に伴う同一場面の撮影時間差が同期され、撮影範囲が一致する範囲が抽出され、高度差に基づいて遠近が補正されることによって合成される、ことを特徴とする。 In addition, the omnidirectional video imaging apparatus is configured such that the omnidirectional video is synchronized with the photographic time difference between the omnidirectional video and the unidirectional video in the same scene according to the moving speed of the moving body, A matching range is extracted and synthesized by correcting the perspective based on the altitude difference.

本発明である全天球映像撮影システムは、移動体の上方から撮影した全方位の映像を取得するための全天球映像撮影手段と、前記移動体の後方において撮影した一方向の映像を取得するための一眼映像撮影手段と、前記全天球映像撮影手段から取得した前記移動体を含む視野の全方位映像、及び前記一眼映像撮影手段から取得した前記全方位映像の視野の一部であって前記移動体が含まれない視野の一方向映像を記憶するための記憶手段と、を有し、コンピュータが、前記記憶手段に記憶された全方位映像に、前記記憶手段に記憶された一方向映像を合成することにより、前記移動体が含まれない全天球映像を生成する、ことを特徴とする。 An omnidirectional video imaging system according to the present invention acquires an omnidirectional video imaging means for acquiring an omnidirectional video imaged from above a moving body and a unidirectional video image taken behind the moving body. And a part of the field of view of the omnidirectional video acquired from the single-lens video imaging unit, and the omnidirectional video of the visual field including the moving body acquired from the omnidirectional video imaging unit. Storage means for storing a unidirectional image of a visual field that does not include the moving body, and the computer stores the unidirectional image stored in the storage device into an omnidirectional image stored in the storage device. A celestial sphere image that does not include the moving object is generated by synthesizing the images.

また、前記全天球映像撮影システムは、前記記憶手段が、コンピュータネットワーク上の記憶装置である、ことを特徴とする。 Further, the omnidirectional video imaging system is characterized in that the storage means is a storage device on a computer network.

本発明である全天球映像撮影プログラム（記録媒体に記録されたものを含む）は、移動体の上方から撮影した前記移動体を含む視野の全方位映像を取得して記憶手段に保存する全方位映像保存ステップと、前記移動体の後方において撮影した前記全方位映像の視野の一部であって前記移動体が含まれない視野の一方向映像を取得して記憶手段に保存する一方向映像保存ステップと、保存された前記全方位映像と保存された前記一方向映像との前記移動体の進行速度に伴う同一場面の撮影時間差を同期させる再生場面同期ステップと、同期された前記全方位映像の撮影範囲うち同期された前記一方向映像の撮影範囲と一致する部分を抽出する撮影範囲抽出ステップと、抽出された前記全方位映像と抽出された前記一方向映像との高度差に基づいて遠近を補正する遠近補正ステップと、補正された前記全方位映像に補正された前記一方向映像を合成し、前記移動体が含まれない全天球映像を生成する全天球映像合成ステップと、を有する、ことを特徴とする。 The omnidirectional video imaging program (including those recorded on a recording medium) according to the present invention acquires all omnidirectional video images of the field of view including the moving body taken from above the moving body and stores them in the storage means. An azimuth image storage step, and a unidirectional image that is a part of the field of view of the omnidirectional image captured behind the moving body and that does not include the moving body and that is stored in a storage unit A storing step, a reproduction scene synchronizing step of synchronizing a shooting time difference of the same scene according to a moving speed of the moving body between the stored omnidirectional video and the stored unidirectional video, and the synchronized omnidirectional video A shooting range extracting step of extracting a portion that coincides with the synchronized shooting range of the one-way video, and an altitude difference between the extracted omnidirectional video and the extracted one-way video. A perspective correction step for correcting perspective, and a omnidirectional video synthesis step for synthesizing the corrected unidirectional video with the corrected omnidirectional video to generate a omnidirectional video that does not include the moving body; It is characterized by having.

本発明である全天球映像撮影方法は、移動体の上方から撮影した前記移動体を含む視野の全方位映像を取得し、前記移動体の後方において撮影した前記全方位映像の視野の一部であって前記移動体が含まれない視野の一方向映像を取得し、取得された前記全方位映像と取得された前記一方向映像との前記移動体の進行速度に伴う同一場面の撮影時間差を同期させ、同期された前記全方位映像の撮影範囲うち同期された前記一方向映像の撮影範囲と一致する部分を抽出し、抽出された前記全方位映像と抽出された前記一方向映像との高度差に基づいて遠近を補正し、補正された前記全方位映像に補正された前記一方向映像を合成し、前記移動体が含まれない全天球映像を生成する、ことを特徴とする。 The omnidirectional video image capturing method according to the present invention acquires an omnidirectional video image of a visual field including the moving object imaged from above the mobile object, and a part of the visual field of the omnidirectional video imaged behind the mobile object. A unidirectional image of a field of view that does not include the moving object is acquired, and an imaging time difference of the same scene according to the moving speed of the moving object between the acquired omnidirectional image and the acquired unidirectional image is calculated. Synchronize and extract a portion that coincides with the synchronized shooting range of the unidirectional video out of the synchronized shooting range of the omnidirectional video, and the height of the extracted omnidirectional video and the extracted unidirectional video The perspective is corrected based on the difference, and the corrected unidirectional video is synthesized with the corrected omnidirectional video to generate an omnidirectional video that does not include the moving object.

本発明によれば、撮影車や操作者が映らない全天球映像を生成することができる。現在の通信環境に合わせた高画質画面や拡大再生画面等にして、ＯＳ（オペレーティングシステム）やインターネット利用モバイル機器など機種に左右されずに稼動させることが可能であり、街路（道路）の走行や商店街、店舗の売場、観光施設、公園、アミューズメント施設等に利用することができる。また、防災システムとしても活用が可能である。 According to the present invention, it is possible to generate a celestial sphere image that does not show a photographing vehicle or an operator. It can be operated without depending on the model such as OS (Operating System) and Internet-enabled mobile devices, with high-quality screens and enlarged playback screens adapted to the current communication environment, and can be run on streets (roads) It can be used for shopping streets, store floors, tourist facilities, parks, amusement facilities, etc. It can also be used as a disaster prevention system.

本発明である全天球映像撮影装置の概要を示す図である。It is a figure which shows the outline | summary of the omnidirectional video imaging device which is this invention. 本発明である全天球映像撮影システムの構成を示すブロック図である。It is a block diagram which shows the structure of the spherical image imaging | photography system which is this invention. 本発明である全天球映像撮影システムの制御装置と記憶装置の関係を示すブロック図である。It is a block diagram which shows the relationship between the control apparatus and memory | storage device of the omnidirectional video imaging system which is this invention. 本発明である全天球映像撮影プログラムの処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process of the spherical image imaging | photography program which is this invention. 本発明である全天球映像撮影方法の進行方向におけるカメラ配置のずれによる再生場面同期について説明する図である。It is a figure explaining the reproduction | regeneration scene synchronization by the shift | offset | difference of the camera arrangement | positioning in the advancing direction of the omnidirectional video imaging | photography method which is this invention. 本発明である全天球映像撮影方法の全方位映像における一方向映像の撮影範囲を一致させる撮影範囲抽出について説明する図である。It is a figure explaining the imaging | photography range extraction which makes the imaging | photography range of the one direction image in the omnidirectional image | video of the omnidirectional video imaging | photography method which is this invention correspond. 本発明である全天球映像撮影方法の全方位映像と一方向映像の遠近補正について説明する図である。It is a figure explaining the perspective correction of the omnidirectional video and unidirectional video of the omnidirectional video imaging method according to the present invention.

以下に、本発明の実施形態について図面を参照して詳細に説明する。なお、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する場合がある。 Embodiments of the present invention will be described below in detail with reference to the drawings. In addition, what has the same function attaches | subjects the same code | symbol, and the repeated description may be abbreviate | omitted.

ここで、全方位映像とは、全天球映像カメラを使用して上下方向及び左右方向（及び前後方向）を３６０度に渡り撮影した全方位の動画データとする。一方向映像とは、一眼映像カメラを使用して所定の方向（例えば、下向き）を撮影した一方向の動画データとする。全天球映像とは、全方位映像と一方向映像を合成して不要な情報を除去した動画データとし、それを球状に合成すればパノラマ的な映像となる。なお、動画データは、高精細な映像を使用しても良い。 Here, the omnidirectional video is omnidirectional video data obtained by shooting 360 degrees in the vertical direction and the horizontal direction (and the longitudinal direction) using an omnidirectional video camera. The unidirectional video is unidirectional video data obtained by photographing a predetermined direction (for example, downward) using a single-lens video camera. The omnidirectional video is a moving image data in which unnecessary information is removed by synthesizing the omnidirectional video and the unidirectional video, and if it is synthesized into a spherical shape, it becomes a panoramic video. Note that high-definition video may be used as the moving image data.

まず、本発明である全天球映像撮影装置について説明する。図１は、全天球映像撮影装置の概要を示す図である。図１に示すように、全天球映像撮影装置１００は、全天球映像カメラ２００、一眼映像カメラ３００、カメラ架台４００、及び移動体５００等を有する。 First, the omnidirectional video imaging apparatus according to the present invention will be described. FIG. 1 is a diagram showing an overview of an omnidirectional video imaging apparatus. As shown in FIG. 1, the omnidirectional video imaging apparatus 100 includes an omnidirectional video camera 200, a single-lens video camera 300, a camera mount 400, a moving body 500, and the like.

全天球映像カメラ２００は、全方位の映像を撮影可能な複眼のカメラ（例えば、６つのカメラ）であり、カメラ架台４００を介して移動体５００の上方に設置される。全天球映像カメラ２００において視野２２０を下方向にしたときは、全方位映像のうち撮影範囲２３０の映像が取得される。なお、視野２２０が示す二等辺三角形の範囲内に移動体５００や一眼映像カメラ３００が配置される。このとき、取得される映像は、撮影範囲２３０内の地面５１０以外に、移動体５００、カメラ架台４００、一眼映像カメラ３００等を含む映像となる。 The omnidirectional video camera 200 is a compound eye camera (for example, six cameras) that can shoot omnidirectional video, and is installed above the moving body 500 via the camera mount 400. When the visual field 220 is set downward in the omnidirectional video camera 200, an image in the shooting range 230 is acquired from the omnidirectional video. Note that the moving body 500 and the single-lens video camera 300 are disposed within the range of an isosceles triangle indicated by the visual field 220. At this time, the acquired image is an image including the moving body 500, the camera mount 400, the single-lens video camera 300, and the like in addition to the ground 510 in the shooting range 230.

一眼映像カメラ３００は、一方向の映像を撮影するカメラであり、カメラ架台４００を介して移動体５００の後方に設置される。一眼映像カメラ３００の視野３２０は、全天球映像カメラ２００で特定した視野２２０と同じ方向（下向き）にし、撮影範囲３３０の一方向映像を取得する。 The single-lens video camera 300 is a camera that captures video in one direction, and is installed behind the moving body 500 via the camera mount 400. The field of view 320 of the single-lens video camera 300 is set in the same direction (downward) as the field of view 220 specified by the omnidirectional video camera 200, and a one-way image of the shooting range 330 is acquired.

なお、一方向映像における撮影範囲３３０は、全方位映像における撮影範囲２３０の一部であって、移動体５００が含まれないようにする。全方位映像における撮影範囲２３０の後端を基点２３１としたとき、一方向映像における撮影範囲３３０は、移動体５００の後方から基点２３１までが映るように一眼映像カメラ３００の角度等を調整すれば良い。 Note that the shooting range 330 in the unidirectional video is a part of the shooting range 230 in the omnidirectional video and does not include the moving body 500. When the rear end of the shooting range 230 in the omnidirectional video is set as the base point 231, the angle of the single-lens video camera 300 is adjusted so that the shooting range 330 in the one-way video can be seen from the rear side of the moving body 500 to the base point 231. good.

カメラ架台４００は、全天球映像カメラ２００及び一眼映像カメラ３００を移動体５００に搭載するために設けられる。カメラ架台４００は、移動体５００の後部から支柱４１０を垂立させる。支柱４１０からは、さらに上方に延びる縦部材４２０と、後方に延びる横部材４３０とに分岐する。 The camera mount 400 is provided to mount the omnidirectional video camera 200 and the single-lens video camera 300 on the moving body 500. The camera mount 400 suspends the support column 410 from the rear part of the moving body 500. The support post 410 branches into a vertical member 420 that extends further upward and a horizontal member 430 that extends rearward.

縦部材４２０は、上下方向に伸縮可能であり、上端に全天球映像カメラ２００が設置される。横部材４３０は、前後方向に伸縮可能であり、後端に一眼映像カメラ３００が下向きに設置される。なお、支柱４１０についても上下方向に伸縮可能としても良い。 The vertical member 420 can expand and contract in the vertical direction, and the omnidirectional video camera 200 is installed at the upper end. The horizontal member 430 can expand and contract in the front-rear direction, and the single-lens video camera 300 is installed downward at the rear end. Note that the support column 410 may be extendable in the vertical direction.

全天球映像カメラ２００のカメラ架台４００への取り付けは、ジンバル２１０を介して縦部材４２０に行う。また、一眼映像カメラ３００のカメラ架台４００への取り付けは、ジンバル３１０を介して横部材４３０に行う。ジンバル２１０、３１０は、全天球映像カメラ２００及び一眼映像カメラ３００の撮影方向（例えば、水平方向）を維持するために用いる。ジンバル２１０、３１０は、加速度センサーやモーター等を利用して、重量に対して垂直位置を維持するものであれば良い。 The omnidirectional video camera 200 is attached to the camera mount 400 on the vertical member 420 via the gimbal 210. The single-lens video camera 300 is attached to the camera base 400 on the lateral member 430 via the gimbal 310. The gimbals 210 and 310 are used to maintain the shooting direction (for example, the horizontal direction) of the omnidirectional video camera 200 and the single-lens video camera 300. The gimbals 210 and 310 may be any one that maintains a vertical position with respect to the weight by using an acceleration sensor, a motor, or the like.

ジンバル２１０、３１０により移動体５００の移動に伴う振動を吸収し、全方位映像及び一方向映像のブレを取り除くことで、全天球映像カメラ２００及び一眼映像カメラ３００による撮影を安定させる。また、道路の勾配や段差に対して全天球映像カメラ２００及び一眼映像カメラ３００の角度を自動補正しても良い。 The gimbal 210, 310 absorbs the vibration accompanying the movement of the moving body 500 and removes blurring of the omnidirectional video and the unidirectional video, thereby stabilizing the shooting by the omnidirectional video camera 200 and the single-lens video camera 300. In addition, the angles of the omnidirectional video camera 200 and the single-lens video camera 300 may be automatically corrected with respect to road gradients and steps.

移動体５００は、全天球映像撮影装置１００を移動させるための撮影車である。人が搭乗して撮影車を直接操作しても、人が載らずに撮影車を遠隔操作しても、撮影車が自動走行しても良い。撮影車が走行できないような場所においては、ロボットや人等その他の移動手段を利用しても良い。 The moving body 500 is a photographing vehicle for moving the omnidirectional video photographing device 100. Even if a person gets on and operates the photographing vehicle directly, or the photographing vehicle can be remotely operated without a person on it, or the photographing vehicle can automatically run. In places where the photographing vehicle cannot travel, other moving means such as a robot or a person may be used.

全天球映像撮影装置１００については、全天球映像カメラ２００で撮影した全方位映像に、一眼映像カメラ３００で撮影した一方向映像を合成して、全天球映像を生成するための制御装置及び記憶装置を組み合わせた全天球映像撮影システムとしても良い。 The omnidirectional video imaging device 100 is a control device for generating a omnidirectional video by synthesizing a unidirectional video imaged by the single-lens video camera 300 with an omnidirectional video imaged by the omnidirectional video camera 200. And a omnidirectional video imaging system that combines a storage device.

全天球映像撮影システムでは、全方位映像と一方向映像とを、移動体５００の進行速度に伴う同一場面の撮影時間差を同期させ、撮影範囲が一致する範囲を抽出し、高度差に基づいて遠近を補正することによって合成し、移動体が含まれない全天球映像を生成する。 In the omnidirectional video shooting system, the omnidirectional video and the unidirectional video are synchronized with the shooting time difference of the same scene according to the traveling speed of the moving object 500, the range where the shooting ranges match is extracted, and based on the altitude difference A celestial sphere image that does not include a moving object is generated by combining by correcting the perspective.

次に、本発明である全天球映像撮影システムについて説明する。全天球映像撮影システムは、全天球映像撮影装置１００とコンピュータ等を組み合わせて全天球映像撮影方法を実現するための仕組みである。図２は、全天球映像撮影システムの構成を示すブロック図である。図２に示すように、全天球映像撮影システム１１０は、全天球映像カメラ２００、一眼映像カメラ３００、制御装置６００、及び記憶装置７００等を有する。 Next, the omnidirectional video imaging system according to the present invention will be described. The omnidirectional video imaging system is a mechanism for realizing an omnidirectional video imaging method by combining the omnidirectional video imaging device 100 and a computer or the like. FIG. 2 is a block diagram showing the configuration of the omnidirectional video imaging system. As shown in FIG. 2, the omnidirectional video imaging system 110 includes an omnidirectional video camera 200, a single-lens video camera 300, a control device 600, a storage device 700, and the like.

全天球映像カメラ２００は、移動体５００の上方から撮影した全方位映像を取得するための全天球映像撮影手段である。一眼映像カメラ３００は、移動体５００の後方において撮影した一方向映像を取得するための一眼映像撮影手段である。なお、全方位映像は、移動体５００を含む映像であり、一方向映像は、全方位映像の視野の一部であって移動体５００が含まれない視野の映像である。 The omnidirectional video camera 200 is omnidirectional video imaging means for acquiring an omnidirectional video imaged from above the moving body 500. The single-lens video camera 300 is a single-lens video shooting unit for acquiring a one-way video shot behind the moving body 500. The omnidirectional video is a video including the moving body 500, and the unidirectional video is a video of a visual field that is a part of the visual field of the omnidirectional video and does not include the mobile body 500.

制御装置６００は、コンピュータのＣＰＵ（中央処理装置）等のプロセッサである。制御装置６００は、全天球映像カメラ２００、一眼映像カメラ３００、及び記憶装置７００等を制御する。具体的には、全天球映像カメラ２００及び一眼映像カメラ３００に指示して全方位映像及び一方向映像を取得し、記憶装置７００に保存する。そして、記憶装置７００に保存された全方位映像及び一方向映像を演算により合成して移動体５００が含まれない全天球映像を生成し、記憶装置７００に保存する。 The control device 600 is a processor such as a CPU (Central Processing Unit) of a computer. The control device 600 controls the omnidirectional video camera 200, the single-lens video camera 300, the storage device 700, and the like. Specifically, the omnidirectional video camera 200 and the single-lens video camera 300 are instructed to acquire the omnidirectional video and the unidirectional video and store them in the storage device 700. Then, the omnidirectional video and the unidirectional video stored in the storage device 700 are combined by calculation to generate an omnidirectional video that does not include the moving object 500 and is stored in the storage device 700.

記憶装置７００は、半導体メモリ等の主記憶装置や、磁気ディスク等の補助記憶装置（リムーバブルディスク等の記録媒体を含む）等であり、全方位映像及び一方向映像を保存するための記憶手段である。主記憶装置は、主に制御装置６００が演算等をする際に一時的にデータを記憶し、補助記憶装置は、主に保存のために長期的にデータを記憶する。なお、記憶装置７００は、コンピュータネットワーク上のサーバ等が備える記憶手段であっても良い。 The storage device 700 is a main storage device such as a semiconductor memory, an auxiliary storage device such as a magnetic disk (including a recording medium such as a removable disk), and the like, and is a storage means for storing an omnidirectional video and a unidirectional video. is there. The main storage device temporarily stores data temporarily when the control device 600 performs calculations or the like, and the auxiliary storage device mainly stores data for long-term storage. Note that the storage device 700 may be storage means provided in a server or the like on a computer network.

図３は、全天球映像撮影システム１１０の制御装置６００と記憶装置７００の関係を示すブロック図である。図３に示すように、制御装置６００は、全方位映像保存部６１０、一方向映像保存部６２０、再生場面同期部６３０、同一映像範囲計算処理部６４０、映像遠近計算処理部６５０、及び全天球映像合成処理部６６０等を有する。 FIG. 3 is a block diagram showing the relationship between the control device 600 and the storage device 700 of the omnidirectional video imaging system 110. As shown in FIG. 3, the control device 600 includes an omnidirectional video storage unit 610, a unidirectional video storage unit 620, a playback scene synchronization unit 630, an identical video range calculation processing unit 640, a video perspective calculation processing unit 650, and an all-sky A spherical image composition processing unit 660 and the like are included.

全方位映像保存部６１０は、全天球映像カメラ２００に撮影の指示を出すとともに、全天球映像カメラ２００で撮影された全方位映像７１０を取得して、記憶装置７００に保存する。なお、全天球映像カメラ２００に対して、撮影の位置や方向、ズームの倍率などの撮影条件を指示しても良い。また、全方位映像７１０に対して、撮影場所の緯度、経度などの地図情報や時間情報を付加しても良い。さらに、速度、加速度、進行方向などの情報を付加しても良い。 The omnidirectional video storage unit 610 issues a shooting instruction to the omnidirectional video camera 200, acquires the omnidirectional video 710 captured by the omnidirectional video camera 200, and stores it in the storage device 700. Note that the omnidirectional video camera 200 may be instructed of shooting conditions such as a shooting position and direction, and a zoom magnification. Further, map information such as latitude and longitude of the shooting location and time information may be added to the omnidirectional video 710. Furthermore, information such as speed, acceleration, and traveling direction may be added.

一方向映像保存部６２０は、一眼映像カメラ３００に撮影の指示を出すとともに、一眼映像カメラ３００で撮影された一方向映像７２０を取得して、記憶装置７００に保存する。なお、一眼映像カメラ３００に対して、撮影の位置や方向、ズームの倍率などの撮影条件を指示しても良い。また、一方向映像７２０に対して、撮影場所の緯度、経度などの地図情報や時間情報を付加しても良い。さらに、速度、加速度、進行方向などの情報を付加しても良い。 The one-way video storage unit 620 issues a shooting instruction to the single-lens video camera 300, acquires the one-way video 720 shot by the single-lens video camera 300, and stores it in the storage device 700. Note that shooting conditions such as the shooting position and direction and zoom magnification may be instructed to the single-lens video camera 300. Also, map information such as latitude and longitude of the shooting location and time information may be added to the one-way video 720. Furthermore, information such as speed, acceleration, and traveling direction may be added.

再生場面同期部６３０は、記憶装置７００に保存された全方位映像７１０と一方向映像７２０との移動体５００の進行速度に伴う同一場面の撮影時間差を同期させる。同期させた全方位映像７１０ａと一方向映像７２０ａを記憶装置７００に一時的に保存する。なお、移動体５００の走行速度や走行方向について、移動体５００やＧＰＳ（全地球測位システム）等から情報を取得しても良いし、全方位映像７１０等から自動的に算出しても良い。 The playback scene synchronization unit 630 synchronizes the photographing time difference of the same scene according to the traveling speed of the moving body 500 between the omnidirectional video 710 and the unidirectional video 720 stored in the storage device 700. The synchronized omnidirectional video 710a and unidirectional video 720a are temporarily stored in the storage device 700. Note that the traveling speed and traveling direction of the moving body 500 may be acquired from the moving body 500, GPS (Global Positioning System), or the like, or may be automatically calculated from the omnidirectional video 710 or the like.

同一映像範囲計算処理部６４０は、同期された全方位映像７１０ａの撮影範囲うち、同期された一方向映像７１０ａの撮影範囲と一致する部分を抽出する。範囲抽出した全方位映像７１０ｂと一方向映像７２０ｂを記憶装置７００に一時的に保存する。 The same video range calculation processing unit 640 extracts a portion of the synchronized imaging range of the omnidirectional video 710a that matches the synchronized imaging range of the unidirectional video 710a. The range-extracted omnidirectional video 710 b and unidirectional video 720 b are temporarily stored in the storage device 700.

映像遠近計算処理部６５０は、範囲抽出された全方位映像７１０ｂと一方向映像７２０ｂとの高度差に基づいて遠近を補正する。遠近補正した全方位映像７１０ｃと一方向映像７２０ｃを記憶装置７００に一時的に保存する。 The video perspective calculation processing unit 650 corrects the perspective based on the altitude difference between the range-extracted omnidirectional video 710b and the one-way video 720b. The omnidirectional video 710c and the unidirectional video 720c corrected for perspective are temporarily stored in the storage device 700.

全天球映像合成処理部６６０は、遠近補正された全方位映像７１０ｃに一方向映像７２０ｃを合成し、移動体５００が含まれない全天球映像７３０を生成する。生成した全天球映像７３０は、記憶装置７００に保存する。 The omnidirectional video image synthesis processing unit 660 synthesizes the unidirectional video image 720c with the omnidirectional video image 710c corrected for perspective, and generates an omnidirectional video image 730 that does not include the moving object 500. The generated omnidirectional video 730 is stored in the storage device 700.

次に、本発明である全天球映像撮影プログラムについて説明する。全天球映像撮影システム１１０において、制御装置６００は、記憶装置７００に保存された全天球映像撮影プログラム１２０を読み込んで、処理を実行する。全天球映像撮影プログラム１２０は、全天球映像撮影方法について制御装置６００に実行させる命令を記述したものである。図４は、全天球映像撮影プログラム１２０の処理の流れを示すフローチャートである。 Next, the omnidirectional video shooting program according to the present invention will be described. In the omnidirectional video imaging system 110, the control device 600 reads the omnidirectional video imaging program 120 stored in the storage device 700 and executes processing. The omnidirectional video shooting program 120 describes instructions to be executed by the control device 600 for the omnidirectional video shooting method. FIG. 4 is a flowchart showing the flow of processing of the omnidirectional video shooting program 120.

図４に示すように、全天球映像撮影プログラム１２０は、移動体５００の上方から撮影した移動体５００を含む視野の全方位映像７１０を取得して記憶手段７００に保存するステップ（全方位映像保存８００）と、移動体５００の後方において撮影した全方位映像７１０の視野の一部であって移動体５００が含まれない視野の一方向映像７２０を取得して記憶手段７００に保存するステップ（一方向映像保存８１０）と、保存された全方位映像７１０と保存された一方向映像７２０との移動体５００の進行速度に伴う同一場面の撮影時間差を同期させるステップ（再生場面同期８２０）と、同期された全方位映像７１０ａの撮影範囲うち同期された一方向映像７２０ａの撮影範囲と一致する部分を抽出するステップ（撮影範囲抽出８３０）と、抽出された全方位映像７１０ｂと抽出された一方向映像７２０ｂとの高度差に基づいて遠近を補正するステップ（遠近補正８４０）と、補正された全方位映像７１０ｃに補正された一方向映像７２０ｃを合成し、移動体５００が含まれない全天球映像７３０を生成するステップ（全天球映像合成８５０）と、を有する。 As shown in FIG. 4, the omnidirectional video shooting program 120 obtains an omnidirectional video 710 of the visual field including the moving body 500 taken from above the moving body 500 and stores it in the storage means 700 (omnidirectional video). A storage 800), and a step of acquiring a unidirectional image 720 of a field of view that is part of the field of view of the omnidirectional image 710 photographed behind the moving body 500 and does not include the moving body 500, and storing it in the storage unit 700 ( Unidirectional video storage 810), and the step of synchronizing the shooting time difference of the same scene according to the traveling speed of the moving body 500 between the stored omnidirectional video 710 and the stored unidirectional video 720 (playback scene synchronization 820); A step (shooting range extraction 830) of extracting a portion that coincides with the shooting range of the synchronized one-way image 720a from the shooting range of the synchronized omnidirectional image 710a; A step of correcting perspective based on an altitude difference between the extracted omnidirectional video 710b and the extracted unidirectional video 720b (perspective correction 840), and the corrected unidirectional video 710c is corrected to the unidirectional video 720c. Synthesizing and generating an omnidirectional video 730 that does not include the moving object 500 (global celestial video synthesis 850).

なお、全方位映像保存８００と一方向映像保存８１０については、同時並行にしているが、ステップの順序を問わず、さらに他に必要な情報の入力を行っても良い。再生場面同期８２０、撮影範囲抽出８３０、及び遠近補正８４０については、他に加工・編集に関するステップを加えても良い。全天球映像合成８５０については、後に出力・送信に関するステップを加えても良い。 The omnidirectional video storage 800 and the unidirectional video storage 810 are performed in parallel, but other necessary information may be input regardless of the order of the steps. For the playback scene synchronization 820, the shooting range extraction 830, and the perspective correction 840, other steps relating to processing / editing may be added. For omnidirectional video composition 850, steps relating to output / transmission may be added later.

図５は、全天球映像撮影方法の進行方向におけるカメラ配置のずれによる再生場面同期８２０について説明する図である。図５に示すように、全天球映像カメラ２００が撮影した全方位映像７１０の再生コマ２４０と、一眼映像カメラ３００が撮影した一方向映像７２０の再生コマ３４０とは、同一範囲が撮影された映像について撮影時間差８２１が生じる。 FIG. 5 is a diagram for explaining the playback scene synchronization 820 due to a camera arrangement shift in the traveling direction of the omnidirectional video shooting method. As shown in FIG. 5, the playback frame 240 of the omnidirectional video 710 captured by the omnidirectional video camera 200 and the playback frame 340 of the unidirectional video 720 captured by the single-lens video camera 300 were captured in the same range. A shooting time difference 821 occurs for the video.

撮影時間差８２１は、移動体５００が水平に直進している場合に、全天球映像カメラ２００と一眼映像カメラ３００との水平距離だけ移動したときに経過した時間である。撮影時間差８２１は、移動体５００の走行速度に応じて変動するので、できるだけ走行速度を一定に維持するのが好ましい。なお、速度情報から撮影時間差８２１を自動調整しても良い。 The shooting time difference 821 is a time elapsed when the omnidirectional video camera 200 and the single-lens video camera 300 are moved by a horizontal distance when the moving object 500 is moving straight horizontally. Since the photographing time difference 821 varies according to the traveling speed of the moving body 500, it is preferable to keep the traveling speed as constant as possible. Note that the photographing time difference 821 may be automatically adjusted from the speed information.

同期の方法としては、全方位映像７１０と一方向映像７２０から、同一範囲が撮影された再生コマ２４０と再生コマ３４０を見つけてタイミングを合わせる。移動体５００の走行速度から撮影時間差８２１を算出してタイミングを合わせても良いし、全方位映像７１０及び一方向映像７２０に目印となる情報（例えば、座標など）を持たせて、目印となる情報が一致する再生コマ２４０と再生コマ３４０を見つけるようにしても良い。 As a synchronization method, the playback frame 240 and the playback frame 340 in which the same range is captured are found from the omnidirectional video 710 and the unidirectional video 720, and the timing is adjusted. The shooting time difference 821 may be calculated from the traveling speed of the moving body 500 to match the timing, or the omnidirectional video 710 and the unidirectional video 720 may be provided with information (for example, coordinates) as a mark. The playback frame 240 and the playback frame 340 having the same information may be found.

同じ撮影範囲の映像を有する全方位映像７１０の再生コマ２４０と一方向映像７２０の再生コマ３４０とを同期させ、全方位映像７１０ａ及び一方向映像７２０ａを生成しても良いし、再生コマ２４０と再生コマ３４０の対応関係を示す情報として保持しても良い。 The playback frame 240 of the omnidirectional video 710 having the video of the same shooting range and the playback frame 340 of the unidirectional video 720 may be synchronized to generate the omnidirectional video 710a and the unidirectional video 720a. You may hold | maintain as information which shows the correspondence of the reproduction | regeneration frame 340. FIG.

全方位映像７１０の各再生コマ２４０に対して、一方向映像７２０の何れかの再生コマ３４０を関連付けるが、対応する再生コマ３４０が存在しない場合は、前後の再生コマ３４０を利用する等して補完すれば良い。 Any playback frame 340 of the unidirectional video 720 is associated with each playback frame 240 of the omnidirectional video 710. If there is no corresponding playback frame 340, the previous and next playback frames 340 are used, for example. It only has to be supplemented.

図６は、全天球映像撮影方法の全方位映像における一方向映像の撮影範囲を一致させる撮影範囲抽出８３０について説明する図である。なお、図６（ａ）は、移動体５００が進行方向５０１に移動しているときに、全天球映像カメラ２００の撮影範囲２３０と、一眼映像カメラ３００の撮影範囲３３０を上方から見たもので、図６（ｂ）は、撮影時間差８２１の分だけ移動体５００が移動したものである。 FIG. 6 is a diagram for explaining the shooting range extraction 830 for matching the shooting range of the unidirectional video in the omnidirectional video in the omnidirectional video shooting method. 6A is a view of the shooting range 230 of the omnidirectional video camera 200 and the shooting range 330 of the single-lens video camera 300 as viewed from above when the moving body 500 is moving in the traveling direction 501. FIG. In FIG. 6B, the moving body 500 is moved by the photographing time difference 821.

図６（ａ）における全天球映像カメラ２００の撮影範囲２３０には移動体５００が映っているため、全方位映像（７１０ａ）から移動体５００を除去するためには、移動体５００の位置における移動体５００が映っていない一方向映像（７２０ａ）が必要となる。 Since the moving body 500 is shown in the imaging range 230 of the omnidirectional video camera 200 in FIG. 6A, in order to remove the moving body 500 from the omnidirectional image (710a), the moving body 500 is located at the position of the moving body 500. A one-way image (720a) in which the moving object 500 is not shown is required.

図６（ｂ）における一眼映像カメラ３００の撮影範囲３３０には移動体５００が映っておらず、図６（ａ）において移動体５００が存在していた位置を含むものであり、これを一致範囲８３１として抽出する。一致範囲８３１は、少なくとも除去したい移動体５００等の位置が含まれる範囲となれば良い。 The moving object 500 is not shown in the imaging range 330 of the single-lens video camera 300 in FIG. 6B, and includes the position where the moving object 500 exists in FIG. 831 is extracted. The coincidence range 831 may be a range that includes at least the position of the moving object 500 or the like to be removed.

なお、一致範囲８３１における全方位映像（７１０ｂ）及び一方向映像（７２０ｂ）に撮影時間差８２１による余計な映り込みが生じた場合には、マスク処理などにより除去しても良い。 Note that in the case where an extra reflection due to the shooting time difference 821 occurs in the omnidirectional video (710b) and the unidirectional video (720b) in the coincidence range 831, it may be removed by mask processing or the like.

図７は、全天球映像撮影方法の全方位映像と一方向映像の遠近補正８４０について説明する図である。なお、図７（ａ）は、移動体５００が進行方向５０１に移動しているときに、全天球映像カメラ２００の視野２２０と、一眼映像カメラ３００の視野３２０を側方から見たもので、図７（ｂ）は、撮影時間差８２１の分だけ移動体５００が移動したものである。 FIG. 7 is a diagram for explaining the perspective correction 840 of the omnidirectional video and the unidirectional video in the omnidirectional video shooting method. FIG. 7A shows the visual field 220 of the omnidirectional video camera 200 and the visual field 320 of the single-lens video camera 300 viewed from the side when the moving body 500 is moving in the traveling direction 501. FIG. 7B shows the moving body 500 moved by the photographing time difference 821.

全天球映像カメラ２００と一眼映像カメラ３００とは垂直距離だけ高度差８４１が存在するため、一致範囲８３１における全方位映像（７１０ｂ）及び一方向映像（７２０ｂ）には、遠近による歪みが生じる。 Since the omnidirectional video camera 200 and the single-lens video camera 300 have an altitude difference 841 corresponding to the vertical distance, the omnidirectional video (710b) and the unidirectional video (720b) in the coincidence range 831 are distorted due to perspective.

高度差８４１による画質等の補正は、一方向映像（７２０ｂ）の画質等を調整して、全方位映像（７１０ｂ）に合わせれば良い。また、全天球映像カメラ２００と一眼映像カメラ３００の撮影方向にズレがある場合には、角度などを補正すれば良い。さらに、地面５１０の傾斜や移動体５００の振動は、ジンバル２１０、３１０で吸収して調整しているが、全天球映像カメラ２００と一眼映像カメラ３００にズレが生じた場合にも補正を行えば良い。 The image quality and the like can be corrected by the altitude difference 841 by adjusting the image quality and the like of the unidirectional image (720b) to match the omnidirectional image (710b). Further, when there is a deviation in the shooting direction of the omnidirectional video camera 200 and the single-lens video camera 300, the angle or the like may be corrected. Furthermore, the inclination of the ground 510 and the vibration of the moving body 500 are adjusted by absorbing them by the gimbals 210 and 310, but correction is also performed when the omnidirectional video camera 200 and the single-lens video camera 300 are misaligned. Just do it.

補正された一方向映像（７２０ｃ）を全方位映像（７１０ｃ）に合成することにより、疑似的に移動体５００が除去された全天球映像７３０が生成される。例えば、マスク処理を施すなどして、全方位映像（７１０ｃ）と一方向映像（７２０ｃ）との違う部分、すなわち移動体５００などの不要な部分を抽出し、全方位映像（７１０ｃ）における当該部分を一方向映像（７２０ｃ）に置き換えることにより、全天球映像７３０を生成する。 By synthesizing the corrected one-directional image (720c) with the omnidirectional image (710c), an omnidirectional image 730 in which the moving body 500 is removed in a pseudo manner is generated. For example, by performing a mask process or the like, a different part between the omnidirectional video (710c) and the unidirectional video (720c), that is, an unnecessary part such as the moving object 500 is extracted, and the part in the omnidirectional video (710c) is extracted. Is replaced with a one-way image (720c) to generate an omnidirectional image 730.

全天球映像７３０は、地図座標と関連付ければ、その座標においてパノラマ状に映像を再生することが可能となる。また、経路探索を組み合わせれば、経路に従って映像を再生することも可能となる。 If the omnidirectional video 730 is associated with map coordinates, the video can be reproduced in a panoramic manner at the coordinates. In addition, if route search is combined, video can be reproduced according to the route.

このように、撮影車や操作者等の移動体５００が映らない全天球映像７３０を生成することができる。現在の通信環境に合わせた高画質画面や拡大再生画面等にして、ＯＳやインターネット利用モバイル機器など機種に左右されずに稼動させることが可能であり、街路（道路）の走行や商店街、店舗の売場、観光施設、公園、アミューズメント施設等に利用することができる。また、防災システムとしても活用が可能である。 In this way, it is possible to generate the omnidirectional video 730 in which the moving body 500 such as the photographing vehicle or the operator is not reflected. It can be operated regardless of the model, such as OS and Internet-enabled mobile devices, with high-quality screens and enlarged playback screens that match the current communication environment, and can be run on streets (streets), shopping streets, stores It can be used for sales floors, tourist facilities, parks, amusement facilities, etc. It can also be used as a disaster prevention system.

例えば、店舗・農産物直売所・ショッピングセンターのインターネット回遊サービス、商店街、公園、遊園地、テーマパーク、農場や観光農園、寺社・史跡等の案内サービス、津波避難シミュレーション、災害時における避難訓練や避難誘導、現場把握等の防災システム、全天球静止画コンテンツ提供サービスなどを提供することができる。このように、地域産業の活性化、地域観光案内、自立的な農業経営など創生政策に活用でき、地域の安全・安心対策にも貢献することができる。 For example, online shopping services for stores, agricultural direct sales offices, and shopping centers, shopping streets, parks, amusement parks, theme parks, farms and tourist farms, information services for temples and historical sites, tsunami evacuation simulation, evacuation drills and evacuation in times of disaster Disaster prevention systems such as guidance and on-site grasping, omnidirectional still image content providing services, etc. can be provided. In this way, it can be used for revitalization policies such as revitalization of local industries, regional tourism guidance, and independent farming management, and can also contribute to regional safety and security measures.

以上、本発明の実施例を述べたが、これらに限定されるものではない。例えば、全天球映像７３０は、予め取得した全方位映像７１０と一方向映像７２０とを合成した後に提供されるが、全天球映像撮影カメラ２００及び一眼映像撮影カメラ３００で撮影しながら全天球映像７３０の合成も行い、できるだけ遅延時間を短くすることにより、リアルタイムに提供できるようにしても良い。 As mentioned above, although the Example of this invention was described, it is not limited to these. For example, the omnidirectional video 730 is provided after combining the omnidirectional video 710 and the unidirectional video 720 acquired in advance, but the omnidirectional video 730 is captured by the omnidirectional video camera 200 and the single-lens video camera 300 while shooting. The spherical image 730 may also be synthesized so that it can be provided in real time by shortening the delay time as much as possible.

１００：全天球映像撮影装置
１１０：全天球映像撮影システム
１２０：全天球映像撮影プログラム
２００：全天球映像カメラ
２１０：ジンバル
２２０：視野
２３０：撮影範囲
２３１：基点
２４０：再生コマ
３００：一眼映像カメラ
３１０：ジンバル
３２０：視野
３３０：撮影範囲
３４０：再生コマ
４００：カメラ架台
４１０：支柱
４２０：縦部材
４３０：横部材
５００：移動体
５０１：進行方向
５１０：地面
６００：制御装置
６１０：全方位映像保存部
６２０：一方向映像保存部
６３０：再生場面同期部
６４０：同一映像範囲計算処理部
６５０：映像遠近計算処理部
６６０：全天球映像合成処理部
７００：記憶装置
７１０、７１０ａ、７１０ｂ、７１０ｃ：全方位映像
７２０、７２０ａ、７２０ｂ、７２０ｃ：一方向映像
７３０：全天球映像
８００：全方位映像保存
８１０：一方向映像保存
８２０：再生場面同期
８２１：撮影時間差
８３０：撮影範囲抽出
８３１：一致範囲
８４０：遠近補正
８４１：高度差
８５０：全天球映像合成 DESCRIPTION OF SYMBOLS 100: Spherical video imaging device 110: Spherical video imaging system 120: Spherical video imaging program 200: Spherical video camera 210: Gimbal 220: Field of view 230: Shooting range 231: Base point 240: Playback frame 300: Single-lens video camera 310: Gimbal 320: Field of view 330: Shooting range 340: Playback frame 400: Camera mount 410: Support column 420: Vertical member 430: Horizontal member 500: Moving body 501: Traveling direction 510: Ground 600: Control device 610: All Direction video storage unit 620: One-way video storage unit 630: Playback scene synchronization unit 640: Same video range calculation processing unit 650: Video perspective calculation processing unit 660: Spherical video synthesis processing unit 700: Storage devices 710, 710a, 710b , 710c: Omnidirectional video 720, 720a, 720b, 720c: Unidirectional video 730: Omnidirectional image 800: Omnidirectional image storage 810: Unidirectional image storage 820: Playback scene synchronization 821: Shooting time difference 830: Shooting range extraction 831: Matching range 840: Perspective correction 841: Altitude difference 850: Omnidirectional image Composition

Claims

A compound-eye omnidirectional video camera capable of shooting omnidirectional images,
A single-lens video camera that captures unidirectional video,
A camera mount for mounting the omnidirectional video camera and the single-lens video camera;
The camera mount has a vertical member that extends upward from a support column that suspends, and a horizontal member that extends rearward from the support column,
The omnidirectional video camera is installed on the vertical member and shoots an omnidirectional video of a field of view including a moving body on which the camera mount is installed,
The single-lens video camera is installed on the transverse member and shoots a unidirectional image of a field of view that is part of the field of view of the omnidirectional image and does not include the moving body,
The omnidirectional video shot by the single-lens video camera is combined with the omnidirectional video shot by the omnidirectional video camera to generate a omnidirectional video that does not include the moving object.
An omnidirectional video imaging device.

The omnidirectional video camera and the single-lens video camera are mounted on the camera mount via a gimbal that prevents vibrations.
The omnidirectional video imaging device according to claim 1.

As for the omnidirectional video, the shooting time difference of the same scene according to the traveling speed of the moving object is synchronized between the omnidirectional video and the unidirectional video, and the range where the shooting ranges match is extracted, based on the altitude difference Is synthesized by correcting the perspective,
The omnidirectional video imaging device according to claim 1 or 2, characterized in that

Omnidirectional video imaging means for acquiring an omnidirectional video imaged from above the moving body;
A single-lens image capturing means for acquiring a one-way image captured behind the moving body;
An omnidirectional image of the visual field including the moving object acquired from the omnidirectional video image capturing unit and a visual field that is a part of the visual field of the omnidirectional image acquired from the single-lens video image capturing unit and does not include the moving object. Storage means for storing a unidirectional video,
The computer generates an omnidirectional video that does not include the moving body by combining the unidirectional video stored in the storage with the omnidirectional video stored in the storage.
An omnidirectional video shooting system.

The storage means is a storage device on a computer network;
The omnidirectional video imaging system according to claim 4.

An omnidirectional video storage step of acquiring an omnidirectional video of a field of view including the moving body photographed from above the mobile body and storing it in a storage means;
A unidirectional image storage step of acquiring a unidirectional image of a field of view that is a part of the field of view of the omnidirectional image captured behind the moving body and does not include the moving body, and storing it in a storage unit;
A reproduction scene synchronization step of synchronizing a shooting time difference of the same scene according to a traveling speed of the moving body between the stored omnidirectional video and the stored unidirectional video;
A shooting range extracting step of extracting a portion that matches the synchronized shooting range of the one-way video out of the synchronized shooting range of the omnidirectional video;
A perspective correction step for correcting perspective based on an altitude difference between the extracted omnidirectional video and the extracted unidirectional video;
Combining the corrected unidirectional image with the corrected omnidirectional image and generating an omnidirectional image not including the moving object, and an omnidirectional image combining step.
An omnidirectional video shooting program.

The recording medium which recorded the spherical image imaging | photography program of Claim 6.

Obtain an omnidirectional image of the field of view including the moving body taken from above the moving body,
Obtaining a unidirectional image of a field of view that is part of the field of view of the omnidirectional image taken behind the moving object and does not include the moving object;
Synchronize the shooting time difference of the same scene with the traveling speed of the moving body between the acquired omnidirectional video and the acquired unidirectional video,
Extracting a portion of the synchronized shooting range of the omnidirectional video that matches the synchronized shooting range of the unidirectional video,
Correct perspective based on the altitude difference between the extracted omnidirectional video and the extracted unidirectional video,
Combining the corrected unidirectional image with the corrected omnidirectional image to generate an omnidirectional image that does not include the moving object;
A spherical image capturing method characterized by the above.