JP5927515B2 - Image editing method, image editing system, and image editing program - Google Patents
Image editing method, image editing system, and image editing program Download PDFInfo
- Publication number
- JP5927515B2 JP5927515B2 JP2014226216A JP2014226216A JP5927515B2 JP 5927515 B2 JP5927515 B2 JP 5927515B2 JP 2014226216 A JP2014226216 A JP 2014226216A JP 2014226216 A JP2014226216 A JP 2014226216A JP 5927515 B2 JP5927515 B2 JP 5927515B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- editing
- video
- image editing
- spherical omnidirectional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、画像編集方法、画像編集システム、及び画像編集プログラムに関し、特に、球面全方位カメラにより撮像された球面全方位動画を編集する画像編集方法、画像編集システム、及び画像編集プログラムに関する。 The present invention relates to an image editing method, an image editing system, and an image editing program, and more particularly to an image editing method, an image editing system, and an image editing program for editing a spherical omnidirectional moving image captured by a spherical omnidirectional camera.
最近では、仰角０度のパノラマ画像が撮像できる全方位カメラのみならず、鉛直方向、すなわち天空に向けたカメラを備え、仰角９０度までを含めた画像、すなわち少なくとも半球面の範囲の画像（以下、「球面全方位画像」と称す）、を撮像することができる球面全方位カメラも普及し始めている。また、それらの全方位カメラは、動画としても撮像できる。 Recently, not only an omnidirectional camera that can capture a panoramic image with an elevation angle of 0 degrees, but also a camera in the vertical direction, that is, a camera facing the sky, includes an elevation angle of up to 90 degrees, that is, an image in the range of at least a hemisphere Spherical omnidirectional cameras capable of capturing a "spherical omnidirectional image") are also becoming popular. Moreover, those omnidirectional cameras can also capture images as moving images.
このような複数のカメラを備えた全方位カメラにより動画が撮像された場合、時系列に係る各フレームごとに、各カメラで得られた画像情報は、球面変換されたうえで合成されてフレーム単位では１つの球面全方位画像として構成され、更にそれらの球面全方位画像がフレームごとに平面にマッピングされ、例えばＪＰＥＧ（Joint Photographic Expert Group）等の手法により圧縮符号化されて記憶部に記憶される。 When a moving image is captured by such an omnidirectional camera equipped with a plurality of cameras, the image information obtained by each camera for each frame related to time series is synthesized after being subjected to spherical transformation and then combined into frames. Is configured as one spherical omnidirectional image, and these spherical omnidirectional images are mapped onto a plane for each frame, and are compressed and encoded by a technique such as JPEG (Joint Photographic Expert Group), and stored in the storage unit. .
静止画としての球面全方位画像や、それらをフレームとして時系列に並べることにより構成される動画像（以下、「球面全方位動画」と称す）の情報は、例えば、ジャイロセンサを備えたヘッドマウントディスプレイ（Head Mount Display）（以下、「ＨＭＤ」と称す）に供給してやれば、それを装着したユーザは、頭の動き（向き）に応じて見る方向が変わる球面全方位画像又は動画を観賞することが可能となる。また、所定の処理により、立体視観賞も可能となる。 Information on spherical omnidirectional images as still images and moving images (hereinafter referred to as “spherical omnidirectional moving images”) arranged by arranging them in time series as a frame includes, for example, a head mount equipped with a gyro sensor. If it is supplied to a display (hereinafter referred to as “HMD”), the user wearing it can view a spherical omnidirectional image or video that changes its viewing direction according to the movement (orientation) of the head. Is possible. Also, stereoscopic viewing can be performed by a predetermined process.
ところで、昨今、動画を編集できる汎用ソフトウェアも各種提供されている（例えば、アドビシステムズ社製Adobe Premier、アップル社製Final Cut Pro等や、特許文献１参照）。かかる画像編集ソフトウェアにより、不要なシーンをカットしたり、あるシーンと他のシーンを直接連結する等の処理を行うことができる。 By the way, various types of general-purpose software that can edit moving images have been provided recently (for example, Adobe Premier by Adobe Systems, Final Cut Pro by Apple, etc., and Patent Document 1). With such image editing software, it is possible to perform processing such as cutting unnecessary scenes or directly connecting a certain scene to another scene.
しかしながら、旧来の仰角０度の複数のパノラマ画像で構成された動画や球面全方位動画を上述のような画像編集ソフトウェアにより編集する場合、各フレームごとに、平面にマッピングした状態で行われる（特許文献１の図８参照）。従って、行っている編集作業により所望の動画が構成できているか正確に確認が困難である。特に、球面全方位動画にあっては、パノラマ形式（矩形にマッピングする形式）やドーム形式（図３参照）のマッピング形式が可能であるが、いずれにしても異様に湾曲した表示となるので、極めて困難である。 However, when a moving image composed of a plurality of panoramic images having a conventional elevation angle of 0 degrees or a spherical omnidirectional moving image is edited by the image editing software as described above, each frame is mapped in a plane (patent) (See FIG. 8 of Document 1). Therefore, it is difficult to accurately confirm whether a desired moving image can be formed by the editing work being performed. In particular, for spherical omnidirectional videos, panorama format (format that maps to a rectangle) or dome format (see Fig. 3) can be mapped, but in any case the display will be strangely curved, It is extremely difficult.
かかる環境において、実際の球面全方位を確認しようとする場合、現状では、編集した動画情報を一旦ファイルに落とし、通常の再生と同様に、専用の再生ソフトウェアによりジャイロセンサを備えたヘッドマウントディスプレイや携帯端末等に再生するしか方策がなく、非常に手数がかかる。かかる課題を解決するためには、球面全方位動画をマッピング平面上で編集しつつ、実際の動画を逐次確認できることが望ましい。 In such an environment, when trying to check the actual spherical omnidirectional direction, currently, the edited moving picture information is once dropped into a file, and in the same way as normal playback, a head mounted display equipped with a gyro sensor by dedicated playback software, There is no other way but to play it on a portable terminal or the like, which is very troublesome. In order to solve such a problem, it is desirable that an actual moving image can be sequentially confirmed while editing a spherical omnidirectional moving image on a mapping plane.
本発明は上述のような事情から為されたものであり、本発明の目的は、効率よく球面全方位動画を編集できる画像編集方法、画像編集システム、及び画像編集プログラムを提供することにある。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an image editing method, an image editing system, and an image editing program capable of efficiently editing a spherical omnidirectional video.
上記目的を達成するため、本発明の画像編集方法は、球面全方位カメラにより撮像された球面全方位動画を、画像編集装置により各フレームごとに平面にマッピングされた状態で編集する画像編集方法であって、前記各フレームごとに平面にマッピングされた状態の前記球面全方位動画を、前記画像編集装置に備わる表示部に表示しつつ前記画像編集装置により編集する第一ステップと、前記画像編集装置に接続された、ジャイロセンサを備える映像出力機器が、前記画像編集装置における画像編集プログラムが前記映像出力機器への動画の出力に対応していない場合であっても、前記第一ステップによる任意の量の編集の後、編集された前記球面全方位動画を入力し、前記映像出力機器において、前記映像出力機器の向きに応じて、前記球面全方位動画の任意の方向の画像を見ることにより、前記任意の量の編集の正否を確認する第二ステップと、を備え、前記第二ステップにおいて、前記映像出力機器に再生される動画を見ながら、不本意な編集箇所があった場合に、その時点で、前記画像編集装置は、再生を止めるように指示され、前記第一ステップに戻って前記球面全方位動画の修正を行うというように、前記第一ステップ及び前記第二ステップを巡廻的に繰り返すことにより、前記球面全方位動画を所望の状態にまで編集することを要旨とする。 In order to achieve the above object, the image editing method of the present invention is an image editing method for editing a spherical omnidirectional video captured by a spherical omnidirectional camera in a state where it is mapped onto a plane for each frame by an image editing device. A first step of editing by the image editing apparatus while displaying the spherical omnidirectional moving image mapped to a plane for each frame on a display unit provided in the image editing apparatus; and Even if the video output device provided with the gyro sensor connected to the image editing device does not support the output of the moving image to the video output device, the arbitrary image processing according to the first step is performed. after the amount of editing, it enters the spherical omnidirectional video that has been edited, in the video output device, depending on the orientation of the video output device, the ball By looking at any direction of the image of the omnidirectional video, video and a second step of checking the correctness of editing the arbitrary amount, and have contact with the second step, it is reproduced in the video output device When there is an unintentional editing location, the image editing apparatus is instructed to stop playback at that point, and returns to the first step to correct the spherical omnidirectional video. Thus, the gist is to edit the spherical omnidirectional video to a desired state by cyclically repeating the first step and the second step.
例えば、前記映像出力機器は、前記表示部に表示された画像をスクリーンキャプチャすることにより得られた情報を入力したり、前記画像編集装置に備わるＨＤＭＩインターフェースから出力された映像信号をキャプチャすることにより前記球面全方位動画の情報を入力する。 For example, the video output device inputs information obtained by screen capture of an image displayed on the display unit, or captures a video signal output from an HDMI interface provided in the image editing apparatus. Information on the spherical omnidirectional video is input.
また、例えば、前記映像出力機器は、ヘッドマウントディスプレイ装置であったり、スマートフォンである。 Further, for example, the video output device is a head mounted display device or a smartphone.
また、上記目的を達成するため、本発明の画像編集システムは、球面全方位カメラにより撮像された球面全方位動画を、各フレームごとに平面にマッピングされた状態で編集する画像編集装置と、前記画像編集装置と接続された、ジャイロセンサを備えることにより入力される前記球面全方位動画の任意の方向の画像を見ることができる映像出力機器と、を備える画像編集システムであって、前記画像編集装置は、表示部と、前記各フレームごとに平面にマッピングされた状態の前記球面全方位動画を、前記表示部に表示しつつ、外部から入力される指示に応じて編集する編集制御手段と、前記表示部に表示された画像と同一の画像を、外部からの指示に応じて、前記映像出力機器に出力する出力制御手段と、を有し、前記映像出力機器は、前記画像編集装置における画像編集プログラムが前記映像出力機器への動画の出力に対応していない場合であっても、前記編集された前記球面全方位動画を入力し、前記ジャイロセンサの検知による前記映像出力機器の向きに応じて、前記画像編集装置から入力した前記編集された前記球面全方位動画の任意の方向の画像を出力する出力制御手段を有し、前記映像出力機器に出力された画像により前記画像編集装置の編集制御手段による編集の正否を確認し、不本意な編集箇所があった場合に、その時点で、前記画像編集装置は、再生を止めるように指示され、前記画像編集装置の編集制御手段による編集に戻るというように、前記画像編集装置の編集制御手段による編集と前記映像出力機器による編集正否の確認とを巡廻的に繰り返すことにより、前記球面全方位動画を所望の状態にまで編集することを要旨とする。 In order to achieve the above object, an image editing system of the present invention edits a spherical omnidirectional video captured by a spherical omnidirectional camera in a state where it is mapped onto a plane for each frame, and An image editing system comprising: a video output device that is connected to an image editing device and that can display an image in an arbitrary direction of the spherical omnidirectional video that is input by including a gyro sensor. The apparatus includes a display unit, an edit control unit that edits the spherical omnidirectional moving image in a state mapped to a plane for each frame on the display unit according to an instruction input from the outside, the same image as the image displayed on the display unit, in response to an instruction from the outside, has an output control means for outputting the video output device, the video output device, Serial also image editing program in the image editing apparatus in a case that does not correspond to the output of the video to the video output device, and enter the spherical omnidirectional video the edited, the video by the detection of the gyro sensor Output control means for outputting an image in any direction of the edited spherical omnidirectional video input from the image editing device in accordance with the orientation of the output device, to the image output to the video output device check the correctness editing by the editing control unit before Symbol image editing apparatus Ri good, when there is involuntary edits, at that time, the image editing apparatus is instructed to stop the reproduction, the image so on back to the editing by the editing control means of the editing device, repeating the confirmation and editing correctness and editing by the editing control unit of the image editing apparatus according to the video output device to Megumegu manner More, the gist to edit the spherical omnidirectional video to a desired state.
また、上記目的を達成するため、本発明の画像編集プログラムは、球面全方位カメラにより撮像された球面全方位動画を、各フレームごとに平面にマッピングされた状態で編集する画像編集装置と、前記画像編集装置と接続された、ジャイロセンサを備えることにより入力される前記球面全方位動画の任意の方向の画像を見ることができる映像出力機器と、に画像を編集させる画像編集プログラムであって、前記画像編集装置には、前記各フレームごとに平面にマッピングされた状態の前記球面全方位動画を、前記表示部に表示しつつ、外部から入力される指示に応じて編集する編集制御ステップと、前記表示部に表示された画像と同一の画像を、外部からの指示に応じて、前記映像出力機器に出力する出力制御ステップと、が含まれ、前記映像出力機器には、前記画像編集装置における画像編集プログラムが前記映像出力機器への動画の出力に対応していない場合であっても、前記編集された前記球面全方位動画を入力し、前記ジャイロセンサの検知による前記映像出力機器の向きに応じて、前記画像編集装置から入力した前記編集された前記球面全方位動画の任意の方向の画像を出力する出力制御ステップが含まれ、前記映像出力機器に出力された画像により前記画像編集装置における編集制御ステップによる編集の正否が確認され、不本意な編集箇所があった場合に、その時点で、前記画像編集装置の前記編集制御ステップに対し、再生を止めるような指示がなされ、前記編集制御ステップによる編集に戻るというように、前記画像編集装置における編集制御ステップによる編集と前記映像出力機器における出力制御ステップに基づく編集正否の確認とを巡廻的に繰り返すことにより、前記球面全方位動画を所望の状態にまで編集することを要旨とする。
To achieve the above object, the image editing program of the present invention edits a spherical omnidirectional video captured by a spherical omnidirectional camera in a state where it is mapped onto a plane for each frame; An image editing program connected to an image editing apparatus and allowing a video output device capable of viewing an image in any direction of the spherical omnidirectional video input by including a gyro sensor, to edit the image, In the image editing device, an editing control step of editing the spherical omnidirectional moving image in a state of being mapped to a plane for each frame on the display unit while editing in accordance with an instruction input from the outside, An output control step of outputting the same image as the image displayed on the display unit to the video output device in response to an instruction from the outside, and The image output device, even if the image editing program in the image editing apparatus does not correspond to the output of the video to the video output device, and enter the spherical omnidirectional video the edited, the gyro An output control step of outputting an image in an arbitrary direction of the edited spherical omnidirectional video input from the image editing device in accordance with a direction of the video output device detected by a sensor; If the correctness of the editing by the editing control step in by Ri before Symbol image editing apparatus to the output image is confirmed, there is involuntary edits to the, at that time, the edit control step of said image editing apparatus against, instruction to stop reproduction is performed, and so returns to editing by the editing control step, according to the edit control steps in said image editing apparatus By repeating the confirmation and editing correctness based on the output control step in current and the video output device to Megumegu manner, and be required to edit the spherical omnidirectional video to a desired state.
本発明の画像編集方法、画像編集システム、及び画像編集プログラムによれば、球面全方位動画をマッピング平面上で編集しつつ、ヘッドマウントディスプレイのようなジャイロセンサを備えた表示機器により、逐次実際の球面全方位動画を確認することができるので、効率よく球面全方位動画を編集できる。 According to the image editing method, the image editing system, and the image editing program of the present invention, a spherical omnidirectional moving image is edited on a mapping plane, and a display device having a gyro sensor such as a head mounted display is used to sequentially Since the spherical omnidirectional video can be confirmed, the spherical omnidirectional video can be edited efficiently.
以下、図面を参照して、本発明の実施の形態について詳細に説明する。
図１は、本発明の画像編集システムにおける一実施形態のハードウェア構成ブロック図である。同図に示す一実施形態たる画像編集システムは、画像編集装置１と、それに接続されたＨＭＤ装置２とで構成されている。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a hardware configuration block diagram of an embodiment of the image editing system of the present invention. An image editing system according to an embodiment shown in FIG. 1 includes an
そのうち、画像編集装置１は、概して、ＣＰＵ（Central Processing Unit）１１、ＲＡＭ（Random Access Memory）１２、ＲＯＭ（Read Only Memory）１３、ＨＤＤ（Hard Disk Drive）１４、キーボード１５、表示部１６、ＵＳＢ（Universal Serial Bus）インターフェース（Ｉ／Ｆ）１７を少なくとも備えている。本発明たる画像編集プログラムは、ＨＤＤ１４に格納されており、起動されると、ＲＡＭ１２に展開されつつ実行される。そして、操作者からのキーボード１５及び／又はマウス（図示せず）からの指示に応じて、表示部１６に表示されつつ実行される。なお、当該画像編集装置１は、典型的には汎用パーソナルコンピュータであるが、それに一般的に備わっている他の構成は省略している。
Among them, the
また、ＨＭＤ装置２は、制御装置２１と、ＨＭＤ２２とを備えている。ここでは、単体で動作可能なように、制御装置２１を含むＨＭＤ装置２として接続している。しかしながら、ＨＭＤと制御装置が別体で分離可能であるならば、画像編集装置１とのインターフェースに応じて、ＨＭＤ１を直接画像編集装置１に接続させるようにしてもよい。つまり、ここでは、ＵＳＢインターフェース１７を介して、画像編集装置１とＨＭＤ装置２とを接続しているが、他のインターフェースであってもよい。
The HMD device 2 includes a
図２は、本発明の画像処理プログラムの一実施形態の主要処理手順を示すフローチャートである。
まず、編集処理対象である球面全方位動画は、球面全方位動画を撮影可能な全方向カメラから直接入力してもよいし、一旦サーバに格納したものをダウンロードするような方法で入力してもよい。いずれにしても、典型的には、球面全方位動画は、時系列の各球面全方位画像がＪＰＥＧ（Joint Photographic Expert Group）方式により圧縮符号化されて構成されているので、まず、復号化の必要がある。
FIG. 2 is a flowchart showing the main processing procedure of an embodiment of the image processing program of the present invention.
First, the spherical omnidirectional video to be edited may be input directly from an omnidirectional camera capable of shooting a spherical omnidirectional video, or may be input by a method of downloading what is once stored in a server. Good. In any case, typically, a spherical omnidirectional video is composed by compressing and encoding each time-series spherical omnidirectional image by the JPEG (Joint Photographic Expert Group) method. There is a need.
そこで、図２の処理であるが、目的に応じて、編集を進めていく（ステップＳ１）。前述のように、ここでは、マッピング平面上での編集作業となる。そして、一段落の編集が終了したら確認するか否かを判断し（ステップＳ２）、確認しないのであれば、次の編集へ移行する（ステップＳ６，Ｓ１）。 Therefore, in the process of FIG. 2, editing is advanced according to the purpose (step S1). As described above, here, the editing work is performed on the mapping plane. When the editing of one paragraph is completed, it is determined whether or not to confirm (step S2). If not confirmed, the process proceeds to the next editing (steps S6 and S1).
一方、確認するのであれば（ステップＳ２において肯定判定）、表示部１６に表示されたプレビューウィンドウで再生表示させるとともに、ＵＳＢインターフェース１７を介してＨＭＤ装置２にも出力する（ステップＳ３）。なお、プレビューウィンドウに表示される動画は、前述のパノラマ形式又はドーム形式の動画である。そして、ＨＭＤ装置２の制御装置２１は、表示部１６のプレビューウィンドウに表示された表示情報と同一の情報を、三次元空間の球面（ポリゴン）に張り付ける処理を行うことにより、ＨＭＤ２２に表示するように制御を行う。従って、ＨＭＤ２２を装着した操作者（動画編集者）は、備わるジャイロセンサ（図示せず）により、頭の動き（向き）に応じて移行する球面全方位動画、すなわち仮想動画、をチェックすることができる。
On the other hand, if confirmation is to be made (Yes determination in step S2), reproduction is displayed in the preview window displayed on the
具体的な編集操作としては、例えば、ＨＭＤ装置２で流れる動画を見ながら、不本意な編集箇所のある時点で、再生を止めるようにキーボード１５等を介して画像編集装置１に指示し、そしてその時点での動画の編集を画像編集装置１で動作している画像編集プログラム（ソフトウェア）を介して行い、修正後再度ＨＭＤ２２でチェックを行い、所望の動画が構成されるまでそれを繰りかえす、というような具合である。
As a specific editing operation, for example, while watching the moving image flowing in the HMD device 2, the
つまり、図２に示すように、ＨＭＤ２２による確認によりＯＫと判断されなければ（ステップＳ４）、ステップＳ１に戻り、編集作業をやり直し、一方、ステップＳ４でＯＫと判断されれば、次に、編集全終了か否かを判断し、終了していなければ、次の一連の編集のために（ステップＳ６）、ステップＳ１に戻る。一方、編集全終了と判断すれば、処理を終了する。 That is, as shown in FIG. 2, if it is not determined to be OK by the confirmation by the HMD 22 (step S4), the process returns to step S1, and the editing operation is performed again. On the other hand, if it is determined OK in step S4, then editing is performed. It is determined whether or not all the processes have been completed. If they have not been completed, the process returns to step S1 for the next series of editing (step S6). On the other hand, if it is determined that all editing has been completed, the processing is terminated.
なお、上述のステップＳ３においては、画像編集プログラム自体が、プレビューウィンドウでの再生表示と同時に、ＨＭＤ装置２への出力を行ってＨＭＤ装置２を直接制御しているので好適であるが、画像編集プログラムとは独立して、いわゆるスクリーンキャプチャ又はＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）キャプチャすること等によっても、編集環境を構築することができる。すなわち、ＨＭＤ装置に対応するように作られていない画像編集プログラムでもそのまま利用することが可能である。 In step S3 described above, it is preferable that the image editing program itself directly controls the HMD device 2 by outputting to the HMD device 2 simultaneously with the playback display in the preview window. Independent of the program, the editing environment can also be constructed by so-called screen capture or HDMI (High-Definition Multimedia Interface) (registered trademark) capture. That is, even an image editing program that is not designed to correspond to the HMD device can be used as it is.
例えば、スクリーンキャプチャする場合、画像編集プログラムとは独立したプログラムにより、プレビュー画像をキャプチャしてＲＡＭ１２に格納し、ＨＭＤ装置２の制御装置２１に送信することができる。
For example, when screen capture is performed, a preview image can be captured and stored in the
また、例えば、ＨＤＭＩからキャプチャする場合、制御装置２１は、マルチメディア情報用のＡＰＩ（Application Programming Interface）であるDirectShow（Microsoft社の登録商標）などを利用して、ＵＳＢインターフェースを介して接続された汎用のビデオキャプチャ装置から、ＨＤＭＩに出力されたプレビュー画像を取得することができる。
Also, for example, when capturing from HDMI, the
なお、このように、狭義の画像編集プログラムとは独立したプログラムによりＨＭＤ装置２が動画情報を取得する場合においても、本明細書においては、便宜上、その狭義の画像編集プログラムと独立プログラムを併せて広義の画像編集プログラムと称する。 Even when the HMD device 2 acquires the moving image information by a program independent of the narrowly defined image editing program, in this specification, for the sake of convenience, the narrowly defined image editing program and the independent program are combined. This is called an image editing program in a broad sense.
また、上述した実施形態においては、ＨＭＤ装置２を採用しているが、その代わりに、ジャイロセンサを備えたスマートフォン等の携帯端末であってもよい。 Moreover, in embodiment mentioned above, although HMD apparatus 2 is employ | adopted, mobile terminals, such as a smart phone provided with the gyro sensor, may be sufficient instead.
以上のように、本発明の画像編集方法、画像編集システム、及び画像編集プログラムにおける一実施形態によれば、球面全方位動画の編集であっても、ＨＭＤ装置２により実際に見られるべき動画としてチェック可能であるので、効率よく球面全方位動画を編集することができる。 As described above, according to the embodiment of the image editing method, the image editing system, and the image editing program of the present invention, even when editing a spherical omnidirectional moving image, the moving image to be actually viewed by the HMD device 2 Since it can be checked, the spherical omnidirectional video can be edited efficiently.
本発明の画像編集方法、画像編集システム、及び画像編集プログラムは、例えば、バーチャルカメラで見ることができる仮想３次元空間に係る動画の編集に採用できる。 The image editing method, the image editing system, and the image editing program of the present invention can be employed for editing a moving image related to a virtual three-dimensional space that can be viewed with a virtual camera, for example.
１ 画像編集装置
１１ ＣＰＵ
１２ ＲＡＭ
１３ ＲＯＭ
１４ ＨＤＤ
１５ キーボード
１６ 表示部
１７ ＵＳＢインターフェース
２ ＨＭＤ装置
２１ 制御装置
２２ ＨＭＤ
1 Image Editing Device 11 CPU
12 RAM
13 ROM
14 HDD
15
Claims (7)
前記各フレームごとに平面にマッピングされた状態の前記球面全方位動画を、前記画像編集装置に備わる表示部に表示しつつ前記画像編集装置により編集する第一ステップと、
前記画像編集装置に接続された、ジャイロセンサを備える映像出力機器が、前記画像編集装置における画像編集プログラムが前記映像出力機器への動画の出力に対応していない場合であっても、前記第一ステップによる任意の量の編集の後、編集された前記球面全方位動画を入力し、前記映像出力機器において、前記映像出力機器の向きに応じて、前記球面全方位動画の任意の方向の画像を見ることにより、前記任意の量の編集の正否を確認する第二ステップと、を備え、
前記第二ステップにおいて、前記映像出力機器に再生される動画を見ながら、不本意な編集箇所があった場合に、その時点で、前記画像編集装置は、再生を止めるように指示され、前記第一ステップに戻って前記球面全方位動画の修正を行うというように、前記第一ステップ及び前記第二ステップを巡廻的に繰り返すことにより、前記球面全方位動画を所望の状態にまで編集することを特徴とする画像編集方法。 An image editing method for editing a spherical omnidirectional video captured by a spherical omnidirectional camera in a state where it is mapped to a plane for each frame by an image editing device,
A first step of editing by the image editing device while displaying the spherical omnidirectional video in a state mapped to a plane for each frame while being displayed on a display unit provided in the image editing device;
Even if the video output device including the gyro sensor connected to the image editing device is a case where the image editing program in the image editing device does not support the output of the moving image to the video output device, the first After editing an arbitrary amount by the step, the edited spherical omnidirectional video is input, and in the video output device, an image of an arbitrary direction of the spherical omnidirectional video is displayed according to the orientation of the video output device. A second step of confirming the correctness of the arbitrary amount of editing by looking,
And have you in the second step, while watching the video played on the video output device, when there is involuntary edits, at that time, the image editing apparatus is instructed to stop the reproduction, Edit the spherical omnidirectional video to a desired state by cyclically repeating the first step and the second step , such as returning to the first step and correcting the spherical omnidirectional video. An image editing method characterized by:
前記画像編集装置と接続された、ジャイロセンサを備えることにより入力される前記球面全方位動画の任意の方向の画像を見ることができる映像出力機器と、
を備える画像編集システムであって、
前記画像編集装置は、
表示部と、
前記各フレームごとに平面にマッピングされた状態の前記球面全方位動画を、前記表示部に表示しつつ、外部から入力される指示に応じて編集する編集制御手段と、
前記表示部に表示された画像と同一の画像を、外部からの指示に応じて、前記映像出力機器に出力する出力制御手段と、を有し、
前記映像出力機器は、
前記画像編集装置における画像編集プログラムが前記映像出力機器への動画の出力に対応していない場合であっても、前記編集された前記球面全方位動画を入力し、前記ジャイロセンサの検知による前記映像出力機器の向きに応じて、前記画像編集装置から入力した前記編集された前記球面全方位動画の任意の方向の画像を出力する出力制御手段を有し、
前記映像出力機器に出力された画像により前記画像編集装置の編集制御手段による編集の正否を確認し、不本意な編集箇所があった場合に、その時点で、前記画像編集装置は、再生を止めるように指示され、前記画像編集装置の編集制御手段による編集に戻るというように、前記画像編集装置の編集制御手段による編集と前記映像出力機器による編集正否の確認とを巡廻的に繰り返すことにより、前記球面全方位動画を所望の状態にまで編集することを特徴とする画像編集システム。 An image editing device that edits a spherical omnidirectional video captured by a spherical omnidirectional camera in a state where it is mapped to a plane for each frame;
A video output device connected to the image editing device and capable of viewing an image in any direction of the spherical omnidirectional video input by including a gyro sensor;
An image editing system comprising:
The image editing device includes:
A display unit;
Editing control means for editing the spherical omnidirectional video in a state mapped to a plane for each frame while displaying on the display unit according to an instruction input from the outside;
Output control means for outputting the same image as the image displayed on the display unit to the video output device in response to an instruction from the outside,
The video output device is:
Even if the image editing program in the image editing apparatus does not support the output of moving images to the video output device, the edited spherical omnidirectional moving image is input, and the video image detected by the gyro sensor is input. Output control means for outputting an image in any direction of the edited spherical omnidirectional video input from the image editing device according to the orientation of the output device,
The verify correctness of the editing by the editing control means of the video output by Ri before Symbol image editing apparatus to the image output of the device, when there is involuntary edits, at that time, the image editing apparatus, It is instructed to stop playback, and the editing by the editing control unit of the image editing apparatus and the confirmation of the correctness of editing by the video output device are cyclically performed such as returning to editing by the editing control unit of the image editing apparatus. An image editing system that edits the spherical omnidirectional video to a desired state by repeating.
前記画像編集装置と接続された、ジャイロセンサを備えることにより入力される前記球面全方位動画の任意の方向の画像を見ることができる映像出力機器と、に画像を編集させる画像編集プログラムであって、
前記画像編集装置には、
前記各フレームごとに平面にマッピングされた状態の前記球面全方位動画を、前記表示部に表示しつつ、外部から入力される指示に応じて編集する編集制御ステップと、
前記表示部に表示された画像と同一の画像を、外部からの指示に応じて、前記映像出力機器に出力する出力制御ステップと、が含まれ、
前記映像出力機器には、
前記画像編集装置における画像編集プログラムが前記映像出力機器への動画の出力に対応していない場合であっても、前記編集された前記球面全方位動画を入力し、前記ジャイロセンサの検知による前記映像出力機器の向きに応じて、前記画像編集装置から入力した前記編集された前記球面全方位動画の任意の方向の画像を出力する出力制御ステップが含まれ、
前記映像出力機器に出力された画像により前記画像編集装置における編集制御ステップによる編集の正否が確認され、不本意な編集箇所があった場合に、その時点で、前記画像編集装置の前記編集制御ステップに対し、再生を止めるような指示がなされ、前記編集制御ステップによる編集に戻るというように、前記画像編集装置における編集制御ステップによる編集と前記映像出力機器における出力制御ステップに基づく編集正否の確認とを巡廻的に繰り返すことにより、前記球面全方位動画を所望の状態にまで編集することを特徴とする画像編集プログラム。 An image editing device that edits a spherical omnidirectional video captured by a spherical omnidirectional camera in a state where it is mapped to a plane for each frame;
An image editing program for editing an image by a video output device connected to the image editing device and capable of viewing an image in any direction of the spherical omnidirectional video input by including a gyro sensor. ,
In the image editing apparatus,
An edit control step of editing the spherical omnidirectional video in a state of being mapped to a plane for each frame, while displaying on the display unit, according to an instruction input from the outside,
An output control step of outputting the same image as the image displayed on the display unit to the video output device according to an instruction from the outside, and
In the video output device,
Even if the image editing program in the image editing apparatus does not support the output of moving images to the video output device, the edited spherical omnidirectional moving image is input, and the video image detected by the gyro sensor is input. An output control step of outputting an image in an arbitrary direction of the edited spherical omnidirectional video input from the image editing device according to an orientation of the output device;
The correctness of the editing by the editing control steps in the video output by Ri before Symbol image editing apparatus to the image output to the device is checked, if there is involuntary edits, at that time, the said image editing apparatus The editing control step is instructed to stop playback, and the editing control step in the image editing apparatus and the editing control step based on the output control step in the video output device , such as returning to editing by the editing control step, are correct. An image editing program that edits the spherical omnidirectional video to a desired state by cyclically repeating the confirmation of the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014226216A JP5927515B2 (en) | 2014-11-06 | 2014-11-06 | Image editing method, image editing system, and image editing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014226216A JP5927515B2 (en) | 2014-11-06 | 2014-11-06 | Image editing method, image editing system, and image editing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016092642A JP2016092642A (en) | 2016-05-23 |
| JP5927515B2 true JP5927515B2 (en) | 2016-06-01 |
Family
ID=56019870
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014226216A Active JP5927515B2 (en) | 2014-11-06 | 2014-11-06 | Image editing method, image editing system, and image editing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5927515B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11308670B2 (en) | 2017-03-22 | 2022-04-19 | Sony Corporation | Image processing apparatus and method |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08289179A (en) * | 1995-04-12 | 1996-11-01 | Data Tec:Kk | Ominidirectional television system |
| JPH09106322A (en) * | 1995-10-09 | 1997-04-22 | Data Tec:Kk | Posture angle detector in head-mounted display |
| JP2001320460A (en) * | 2000-05-10 | 2001-11-16 | Ntt Docomo Inc | Mobile terminal and image transmission method |
| JP2005223416A (en) * | 2004-02-03 | 2005-08-18 | Sony Corp | Image processing system, image processing apparatus and image processing method, and program |
| JP2010256534A (en) * | 2009-04-23 | 2010-11-11 | Fujifilm Corp | Head-mounted display for omnidirectional image display |
| JP6075066B2 (en) * | 2012-12-28 | 2017-02-08 | 株式会社リコー | Image management system, image management method, and program |
-
2014
- 2014-11-06 JP JP2014226216A patent/JP5927515B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016092642A (en) | 2016-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10594988B2 (en) | Image capture apparatus, method for setting mask image, and recording medium | |
| US10021302B2 (en) | Video recording method and device | |
| JP6410918B2 (en) | System and method for use in playback of panoramic video content | |
| US10110871B2 (en) | Recording high fidelity digital immersive experiences through off-device computation | |
| US11699211B2 (en) | Spherical rotation for encoding wide view video | |
| US10382680B2 (en) | Methods and systems for generating stitched video content from multiple overlapping and concurrently-generated video instances | |
| US20170148488A1 (en) | Video data processing system and associated method for analyzing and summarizing recorded video data | |
| US20060221188A1 (en) | Method and apparatus for composing images during video communications | |
| CA2927046A1 (en) | Method and system for 360 degree head-mounted display monitoring between software program modules using video or image texture sharing | |
| JP7177034B2 (en) | Method, apparatus and stream for formatting immersive video for legacy and immersive rendering devices | |
| CN105306859A (en) | Information-processing device and information-processing method | |
| KR20200005591A (en) | Methods, systems, and media for generating and rendering immersive video content | |
| US20150036020A1 (en) | Method for sharing original photos along with final processed image | |
| US20130044258A1 (en) | Method for presenting video content on a hand-held electronic device | |
| US20180268819A1 (en) | Communication terminal, communication method, and computer program product | |
| JP5927515B2 (en) | Image editing method, image editing system, and image editing program | |
| US10783670B2 (en) | Method for compression of 360 degree content and electronic device thereof | |
| US20170061581A1 (en) | Image processing device that performs image rotation processing, method of controlling the same, and storage medium | |
| JP6261191B2 (en) | Display control apparatus, display control method, and program | |
| US20210382931A1 (en) | Information processing apparatus, control method of information processing apparatus, and non-transitory computer-readable storage medium | |
| US11825191B2 (en) | Method for assisting the acquisition of media content at a scene | |
| KR102630681B1 (en) | Display apparatus and method for generating capture image | |
| JP5919544B1 (en) | Image reproduction method, image reproduction apparatus, and image reproduction program | |
| KR102314478B1 (en) | Method and apparatus for monitoring moving picture using omni-directional multi-camera | |
| US20230072261A1 (en) | Computer system for rendering event-customized audio content, and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160301 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160310 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5927515 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |