JP7380088B2 - Imaging device, imaging method, program - Google Patents

Imaging device, imaging method, program Download PDF

Info

Publication number
JP7380088B2
JP7380088B2 JP2019198950A JP2019198950A JP7380088B2 JP 7380088 B2 JP7380088 B2 JP 7380088B2 JP 2019198950 A JP2019198950 A JP 2019198950A JP 2019198950 A JP2019198950 A JP 2019198950A JP 7380088 B2 JP7380088 B2 JP 7380088B2
Authority
JP
Japan
Prior art keywords
imaging device
image
speed
rotation
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019198950A
Other languages
Japanese (ja)
Other versions
JP2021072564A (en
Inventor
忍 篠岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2019198950A priority Critical patent/JP7380088B2/en
Publication of JP2021072564A publication Critical patent/JP2021072564A/en
Application granted granted Critical
Publication of JP7380088B2 publication Critical patent/JP7380088B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、撮像装置、撮像方法、及び、プログラムに関する。 The present invention relates to an imaging device, an imaging method, and a program.

撮像装置が動いている被写体を撮像する場合がある。例えば、人や自転車が接近しながら目の前を通過し、その後、遠ざかるようなシチュエーションで、より少ないぶれでユーザが被写体を撮像したい場合などである。 There are cases where an imaging device images a moving subject. For example, a user may want to capture an image of a subject with less blur in a situation where a person or bicycle approaches and passes in front of the user, and then moves away.

例えば、監視カメラではターゲットが常に画角の中央に位置するようにカメラのパン及び／又はチルトを制御する技術が知られている（例えば、特許文献１参照。）。特許文献１には制御遅延が生じる時間を推定して、遅延時間後のターゲットの位置を予測してパン及び／又はチルトを制御する追尾制御装置が開示されている。 For example, in a surveillance camera, a technique is known in which the pan and/or tilt of the camera is controlled so that the target is always located at the center of the angle of view (see, for example, Patent Document 1). Patent Document 1 discloses a tracking control device that estimates the time when a control delay occurs, predicts the position of a target after the delay time, and controls panning and/or tilting.

しかしながら、従来の技術は、撮像装置の回転速度の設定における操作性が悪いという問題がある。例えば、被写体が水平方向に移動する場合には撮像装置が水平方向に回転することで、被写体のぶれを少なくして撮像することができる。しかし、従来、被写体の移動速度に応じた回転速度をユーザが撮像装置に設定することは容易でなかった。 However, the conventional technology has a problem of poor operability in setting the rotational speed of the imaging device. For example, when the subject moves in the horizontal direction, by rotating the imaging device in the horizontal direction, it is possible to image the subject with less blur. However, conventionally, it has not been easy for a user to set the rotation speed of an imaging device according to the moving speed of the subject.

本発明は、上記課題に鑑み、回転速度の設定の操作性が向上された撮像装置を提供することを目的とする。 SUMMARY OF THE INVENTION In view of the above problems, it is an object of the present invention to provide an imaging device with improved operability in setting the rotation speed.

上記課題に鑑み、本発明は、撮像装置を水平方向に回転させる回転機構を有する撮像装置であって、タッチパネルと、前記タッチパネルをユーザがこする速度に基づいて前記撮像装置の回転速度を受け付ける回転速度受付部と、前記回転速度受付部が受け付けた前記回転速度で前記撮像装置を水平方向に回転させる回転制御部と、を有することを特徴とする。 In view of the above-mentioned problems, the present invention provides an imaging device having a rotation mechanism for horizontally rotating the imaging device, comprising: a touch panel; The image pickup apparatus is characterized in that it includes a speed receiving section and a rotation control section that horizontally rotates the imaging device at the rotational speed accepted by the rotational speed receiving section.

回転速度の設定の操作性が向上された撮像装置を提供することができる。 It is possible to provide an imaging device with improved operability in setting the rotation speed.

撮像装置又は撮像システムの構成例を示す図である。1 is a diagram illustrating a configuration example of an imaging device or an imaging system. 撮像装置のハードウェア構成図の一例である。1 is an example of a hardware configuration diagram of an imaging device. 情報処理装置のハードウェア構成図の一例である。1 is an example of a hardware configuration diagram of an information processing device. 回転に関する撮像装置と固定ボディのハードウェア構成例を示す図である。FIG. 2 is a diagram illustrating an example of a hardware configuration of an imaging device and a fixed body related to rotation. 撮像装置と情報処理装置の機能をブロック状に示す機能ブロック図の一例である。1 is an example of a functional block diagram showing functions of an imaging device and an information processing device in a block form. 撮像装置の使用イメージ図である。It is a usage image diagram of an imaging device. 半球画像（前側）、半球画像（後側）、及び、正距円筒射影画像の一例である。These are examples of a hemispherical image (front side), a hemispherical image (backward side), and an equirectangular projection image. 正距円筒射影画像で球を被う状態を示した概念図である。FIG. 2 is a conceptual diagram showing a state where a sphere is covered with an equirectangular projection image. 全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。FIG. 3 is a diagram showing the positions of a virtual camera and a predetermined area when the omnidirectional image is a three-dimensional solid sphere. ディスプレイに表示された場合の所定領域画像を表す図の一例である。It is an example of a figure showing a predetermined area image when displayed on a display. 所定領域情報と所定領域の画像との関係を示した図である。FIG. 3 is a diagram showing a relationship between predetermined area information and an image of the predetermined area. 撮像装置の回転方向における角度を説明する上面図の一例である。FIG. 3 is an example of a top view illustrating angles in the rotation direction of the imaging device. 撮像装置が撮像した画像を説明するための図である。FIG. 3 is a diagram for explaining an image captured by an imaging device. 想定されるシチュエーション等で撮像された被写体の画像を時系列に示す図の一例である。1 is an example of a diagram showing images of a subject captured in assumed situations in chronological order. 情報処理装置又は撮像装置に対して、ユーザが回転速度を入力する方法を説明する図の一例である。FIG. 2 is an example of a diagram illustrating a method for a user to input a rotation speed into an information processing device or an imaging device. こする速度の算出方法を説明する図の一例である。It is an example of a figure explaining the calculation method of the rubbing speed. 撮像装置が回転速度を算出する手順を示すフローチャート図の一例である。2 is an example of a flowchart diagram illustrating a procedure in which the imaging device calculates a rotational speed. 腕振り方式による回転速度の設定方法を説明する図である。It is a figure explaining the setting method of the rotational speed by the arm swing method. 図１８と同様の図において、腕を振る詳細な角度を示す図である。19 is a diagram similar to FIG. 18 showing detailed angles of swinging the arm; FIG. 撮像装置が回転速度を算出する手順を示すフローチャート図の一例である。2 is an example of a flowchart diagram illustrating a procedure in which the imaging device calculates a rotational speed.

以下、本発明を実施するための形態の一例として、撮像装置と撮像装置が行う撮像方法について図面を参照しながら説明する。 EMBODIMENT OF THE INVENTION Hereinafter, as an example of a form for carrying out the present invention, an imaging device and an imaging method performed by the imaging device will be described with reference to the drawings.

＜用語について＞
こするとは、押しつけた状態で摩擦することをいう。すなわち、指先を接触させたまま移動させることをいう。なぞる、又は、はじく、と称してもよい。 <About terms>
To rub means to rub something by pressing it against it. In other words, it means moving the fingertips while keeping them in contact. It may also be called tracing or flicking.

回転とは、例えば撮像装置の長手方向を軸にして水平に回転することをいい、回転速度は回転する速度である。必ずしも１回転以上しなくてもよい。 Rotation refers to, for example, horizontal rotation about the longitudinal direction of the imaging device, and rotation speed is the rotation speed. It is not necessary to make more than one revolution.

＜システム構成例＞
図１は、撮像装置又は撮像システムの構成例を示す。まず、図１（ａ）は撮像装置１がタッチパネルを有していない場合の撮像システムを示す。撮像装置１と情報処理装置３０は例えばBluetooth（登録商標）、又は、Wi－Fiなどで無線通信する。ＵＳＢケーブルなどの有線で通信してもよい。情報処理装置３０はタッチパネル４２１からユーザ（撮像者）の操作を受け付けるユーザインタフェースとなるため、図１（ｂ）のように撮像装置１がタッチパネル４２１を有していれば情報処理装置３０はなくてもよい。 <System configuration example>
FIG. 1 shows a configuration example of an imaging device or an imaging system. First, FIG. 1(a) shows an imaging system in which the imaging device 1 does not have a touch panel. The imaging device 1 and the information processing device 30 communicate wirelessly using, for example, Bluetooth (registered trademark) or Wi-Fi. Communication may be performed using a wired connection such as a USB cable. Since the information processing device 30 serves as a user interface that accepts operations from the user (imaging person) from the touch panel 421, if the imaging device 1 has the touch panel 421 as shown in FIG. 1(b), the information processing device 30 is not needed. Good too.

撮像装置１は、魚眼レンズや超広角レンズなどの広角レンズ６０２ａ、６０２ｂを複数使用して周囲３６０度又は全方位を一回の撮像操作で撮像する。図１（ａ）の撮像装置１は紙面に対し反対側にもう１つレンズを有している。撮像装置１は、各々のレンズからの像を各撮像素子に投影し、得られる各画像を画像処理によってつなぎ合わせることで、全天球画像を生成する。 The imaging device 1 uses a plurality of wide-angle lenses 602a and 602b, such as a fisheye lens or an ultra-wide-angle lens, to capture images of the surrounding 360 degrees or all directions in one imaging operation. The imaging device 1 in FIG. 1(a) has another lens on the opposite side to the plane of the paper. The imaging device 1 generates a celestial sphere image by projecting images from each lens onto each imaging element and stitching together the obtained images through image processing.

このような撮像装置１は全天球撮像装置などと呼ばれるが、撮像装置１は３６０度画像を生成するので（画角が広いので）、移動する被写体を撮像しやすい。しかし、シャッター速度によっては移動する被写体のぶれが発生する。そこで、本実施形態では撮像装置１に回転機構を設け、自動で回転することを可能にした。 Such an imaging device 1 is called a spherical imaging device or the like, and since the imaging device 1 generates a 360-degree image (has a wide angle of view), it is easy to image a moving subject. However, depending on the shutter speed, blurring of the moving subject may occur. Therefore, in this embodiment, the imaging device 1 is provided with a rotation mechanism to enable automatic rotation.

撮像装置１の底面からは回転メカ６２９が突出しており、固定ボディ２に回転メカ６２９が挿入されている。回転メカ６２９が回転モータで回転することで、撮像装置１は固定ボディ２に対し相対的に回転する。被写体の移動速度に対し適切な回転速度をユーザが設定することで、被写体のぶれを低減できる。図１（ａ）の構成では撮像装置１の回転速度を情報処理装置３０のタッチパネル４２１からユーザが容易に設定できる。 A rotating mechanism 629 protrudes from the bottom surface of the imaging device 1, and is inserted into the fixed body 2. The rotation mechanism 629 is rotated by the rotary motor, so that the imaging device 1 rotates relative to the fixed body 2. By allowing the user to set a rotation speed appropriate for the moving speed of the subject, blurring of the subject can be reduced. In the configuration of FIG. 1A, the user can easily set the rotation speed of the imaging device 1 from the touch panel 421 of the information processing device 30.

情報処理装置３０は、撮像装置１に専用のアプリケーションが動作しており、ユーザが撮像装置１に固有の識別情報をアプリケーションに設定する。これにより、アプリケーションは周囲の撮像装置１を電波で検索し、自動的に接続する。 In the information processing device 30, an application dedicated to the imaging device 1 is running, and a user sets identification information unique to the imaging device 1 in the application. Thereby, the application searches for surrounding imaging devices 1 using radio waves and automatically connects them.

情報処理装置３０は、このような無線の通信機能、及びタッチパネル４２１を有する一般的な端末でよい。例えば、スマートフォン、タブレット端末、ＰＤＡ（Personal Digital Assistant）、ウェアラブルＰＣ又はノートＰＣ等である。しかし、これらには限られない。 The information processing device 30 may be a general terminal having such a wireless communication function and a touch panel 421. Examples include a smartphone, a tablet terminal, a PDA (Personal Digital Assistant), a wearable PC, or a notebook PC. However, it is not limited to these.

情報処理装置３０はタッチパネル４２１を有しており、ユーザがタッチパネル４２１を指でこする速度に基づいて撮像装置１の回転速度を設定する。 The information processing device 30 has a touch panel 421, and sets the rotation speed of the imaging device 1 based on the speed at which the user rubs the touch panel 421 with a finger.

図１（ｂ）に示すように、撮像装置１がタッチパネル４２１を有する場合、情報処理装置３０がなくても、回転速度を受け付けることができる。 As shown in FIG. 1B, when the imaging device 1 has a touch panel 421, the rotation speed can be accepted even without the information processing device 30.

＜ハードウェア構成例＞
＜＜撮像装置＞＞
図２を用いて、撮像装置１のハードウェア構成を説明する。図２は、撮像装置１のハードウェア構成図である。以下では、撮像装置１は、２つの撮像素子を使用した全天球（全方位）撮像装置とするが、撮像素子は２つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に撮像装置１と同じ機能を有するようにしてもよい。 <Hardware configuration example>
<<Imaging device>>
The hardware configuration of the imaging device 1 will be explained using FIG. 2. FIG. 2 is a hardware configuration diagram of the imaging device 1. In the following, the imaging device 1 is assumed to be a spherical (omnidirectional) imaging device using two imaging devices, but the number of imaging devices may be any number greater than or equal to two. In addition, it does not necessarily have to be a device exclusively for omnidirectional imaging, and it may be possible to have substantially the same functions as the imaging device 1 by attaching an aftermarket omnidirectional imaging unit to a normal digital camera, smartphone, etc. good.

図２に示されているように、撮像装置１は、撮像ユニット６０１、画像処理ユニット６０４、画像処理ユニット６０５、マイク６０８、音処理ユニット６０９、ＣＰＵ６１１(Central Processing Unit)、ＲＯＭ６１２(Read Only Memory)、ＳＲＡＭ６１３(Static Random Access Memory)、ＤＲＡＭ６１４(Dynamic Random Access Memory)、操作部６１５、外部機器接続Ｉ／Ｆ６１６、遠距離通信回路６１７、アンテナ６１７ａ、加速度・方位センサ６１８、及び、ジャイロセンサ６１９を有している。 As shown in FIG. 2, the imaging device 1 includes an imaging unit 601, an image processing unit 604, an image processing unit 605, a microphone 608, a sound processing unit 609, a CPU 611 (Central Processing Unit), and a ROM 612 (Read Only Memory). , SRAM 613 (Static Random Access Memory), DRAM 614 (Dynamic Random Access Memory), operation unit 615, external device connection I/F 616, long-distance communication circuit 617, antenna 617a, acceleration/direction sensor 618, and gyro sensor 619. are doing.

このうち、撮像ユニット６０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ６０２ａ，６０２ｂ（いわゆる魚眼レンズ）と、各広角レンズに対応させて設けられている２つの撮像素子６０３ａ，６０３ｂを備えている。撮像素子６０３ａ，６０３ｂは、広角レンズ６０２ａ，６０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳセンサ(Complementary Metal Oxide Semiconductor)やＣＣＤセンサ(Charge Coupled Device)などの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。 Among these, the imaging unit 601 includes wide-angle lenses 602a and 602b (so-called fisheye lenses) each having an angle of view of 180° or more for forming a hemispherical image, and two imaging units provided corresponding to each wide-angle lens. It includes elements 603a and 603b. The image sensors 603a and 603b are image sensors such as CMOS sensors (Complementary Metal Oxide Semiconductor) and CCD sensors (Charge Coupled Devices) that convert optical images formed by wide-angle lenses 602a and 602b into electrical signal image data and output the image data. It includes a timing generation circuit that generates horizontal or vertical synchronization signals and pixel clocks for the sensor, and a group of registers in which various commands and parameters necessary for the operation of this image sensor are set.

撮像ユニット６０１の撮像素子６０３ａ，６０３ｂは、各々、画像処理ユニット６０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット６０１の撮像素子６０３ａ，６０３ｂは、画像処理ユニット６０５とは、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット６０４、画像処理ユニット６０５及び音処理ユニット６０９は、バス６１０を介してＣＰＵ６１１と接続される。更に、バス６１０には、ＲＯＭ６１２、ＳＲＡＭ６１３、ＤＲＡＭ６１４、操作部６１５、外部機器接続Ｉ／Ｆ６１６(Interface)、遠距離通信回路６１７、加速度・方位センサ６１８、及び、ジャイロセンサ６１９なども接続される。 The imaging elements 603a and 603b of the imaging unit 601 are each connected to the image processing unit 604 via a parallel I/F bus. On the other hand, the imaging elements 603a and 603b of the imaging unit 601 are connected to the image processing unit 605 via a serial I/F bus (such as an I2C bus). Image processing unit 604, image processing unit 605, and sound processing unit 609 are connected to CPU 611 via bus 610. Furthermore, the bus 610 is also connected to a ROM 612, an SRAM 613, a DRAM 614, an operation unit 615, an external device connection I/F 616 (Interface), a long distance communication circuit 617, an acceleration/direction sensor 618, a gyro sensor 619, and the like.

画像処理ユニット６０４は、撮像素子６０３ａ，６０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、正距円筒射影画像のデータを作成する。 The image processing unit 604 takes in image data output from the image sensors 603a and 603b through the parallel I/F bus, performs predetermined processing on each image data, and then synthesizes these image data. , create equirectangular projection image data.

画像処理ユニット６０５は、一般に画像処理ユニット６０５をマスタデバイス、撮像素子６０３ａ，６０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子６０３ａ，６０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ６１１から受け取る。また、画像処理ユニット６０５は、同じくＩ２Ｃバスを利用して、撮像素子６０３ａ，６０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ６１１に送る。 The image processing unit 605 generally uses the I2C bus to set commands and the like in register groups of the image sensors 603a and 603b, using the image processing unit 605 as a master device and the image sensors 603a and 603b as slave devices. Necessary commands and the like are received from the CPU 611. Further, the image processing unit 605 also uses the I2C bus to take in status data and the like of the register groups of the image sensors 603a and 603b, and sends it to the CPU 611.

また、画像処理ユニット６０５は、操作部６１５のシャッターボタンが押下されたタイミングで、撮像素子６０３ａ，６０３ｂに画像データの出力を指示する。撮像装置１によっては、ディスプレイ（例えば、情報処理装置３０のディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子６０３ａ，６０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。 Furthermore, the image processing unit 605 instructs the image sensors 603a and 603b to output image data at the timing when the shutter button of the operation unit 615 is pressed. Depending on the imaging device 1, it may have a preview display function or a function corresponding to moving image display on a display (for example, the display of the information processing device 30). In this case, image data is output continuously from the image sensors 603a and 603b at a predetermined frame rate (frames/minute).

また、画像処理ユニット６０５は、後述するように、ＣＰＵ６１１と協働して撮像素子６０３ａ，６０３ｂの画像データの出力タイミングと同期をとる同期制御手段としても機能する。なお、本実施形態では、撮像装置１にはディスプレイが設けられていないが、表示部を設けてもよい。 The image processing unit 605 also functions as a synchronization control unit that cooperates with the CPU 611 to synchronize the output timing of image data from the image sensors 603a and 603b, as will be described later. Note that in this embodiment, the imaging device 1 is not provided with a display, but may be provided with a display section.

マイク６０８は、音を音（信号）データに変換する。音処理ユニット６０９は、マイク６０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。 Microphone 608 converts sound into sound (signal) data. The sound processing unit 609 takes in sound data output from the microphone 608 through the I/F bus, and performs predetermined processing on the sound data.

ＣＰＵ６１１は、撮像装置１の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ６１２は、ＣＰＵ６１１のための種々のプログラムを記憶している。ＳＲＡＭ６１３及びＤＲＡＭ６１４はワークメモリであり、ＣＰＵ６１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ６１４は、画像処理ユニット６０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。 The CPU 611 controls the overall operation of the imaging device 1 and executes necessary processing. ROM612 stores various programs for CPU611. The SRAM 613 and DRAM 614 are work memories that store programs executed by the CPU 611, data being processed, and the like. In particular, the DRAM 614 stores image data that is currently being processed by the image processing unit 604 and data of processed equirectangular projection images.

操作部６１５は、シャッターボタン６１５ａなどの操作ボタンの総称である。ユーザは操作部６１５を操作することで、種々の撮像モードや撮像条件などを入力する。 The operation unit 615 is a general term for operation buttons such as the shutter button 615a. By operating the operation unit 615, the user inputs various imaging modes, imaging conditions, and the like.

外部機器接続Ｉ／Ｆ６１６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやＰＣ(Personal Computer)等である。ＤＲＡＭ６１４に記憶された正距円筒射影画像のデータは、この外部機器接続Ｉ／Ｆ６１６を介して外付けのメディアに記録されたり、必要に応じて外部機器接続Ｉ／Ｆ６１６を介してスマートフォン等の外部端末（装置）に送信されたりする。 The external device connection I/F 616 is an interface for connecting various external devices. The external device in this case is, for example, a USB (Universal Serial Bus) memory, a PC (Personal Computer), or the like. The data of the equirectangular projection image stored in the DRAM 614 can be recorded on an external media via this external device connection I/F 616, or transferred to an external device such as a smartphone via the external device connection I/F 616 as necessary. It may be sent to a terminal (device).

遠距離通信回路６１７は、撮像装置１に設けられたアンテナ６１７ａを介して、Wi－Fi、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信技術によって、スマートフォン等の外部端末（装置）と通信を行う。この遠距離通信回路６１７によっても、正距円筒射影画像のデータをスマートフォン等の外部端末（装置）に送信することができる。 The long-distance communication circuit 617 communicates with an external terminal such as a smartphone via an antenna 617a provided in the imaging device 1 using short-range wireless communication technology such as Wi-Fi, NFC (Near Field Communication), or Bluetooth (registered trademark). Communicate with (device). This long-distance communication circuit 617 can also transmit data of an equirectangular projection image to an external terminal (device) such as a smartphone.

加速度・方位センサ６１８は、地球の磁気から撮像装置１の方位を算出し、方位情報を出力する。この方位情報はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、及び画像データのデータ容量の各データも含まれている。また、加速度・方位センサ６１８は、撮像装置１の移動に伴う角度の変化（Roll角、Pitch角、Yaw角）を検出するセンサである。角度の変化はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。更に、加速度・方位センサ６１８は、３軸方向の加速度を検出するセンサである。撮像装置１は、加速度・方位センサ６１８が検出した加速度に基づいて、自装置（撮像装置１）の姿勢（重力方向に対する角度）を算出する。撮像装置１に、加速度・方位センサ６１８が設けられることによって、画像補正の精度が向上する。 The acceleration/azimuth sensor 618 calculates the azimuth of the imaging device 1 from the earth's magnetism and outputs azimuth information. This orientation information is an example of related information (metadata) in accordance with Exif, and is used for image processing such as image correction of captured images. Note that the related information also includes data such as the date and time when the image was captured and the data capacity of the image data. Further, the acceleration/azimuth sensor 618 is a sensor that detects changes in angle (roll angle, pitch angle, yaw angle) accompanying movement of the imaging device 1. A change in angle is an example of related information (metadata) according to Exif, and is used for image processing such as image correction of a captured image. Furthermore, the acceleration/direction sensor 618 is a sensor that detects acceleration in three axial directions. The imaging device 1 calculates the attitude (angle with respect to the direction of gravity) of its own device (imaging device 1) based on the acceleration detected by the acceleration/azimuth sensor 618. By providing the acceleration/azimuth sensor 618 in the imaging device 1, the accuracy of image correction is improved.

ジャイロセンサ６１９は、例えば３軸それぞれを中心として撮像装置１が回転した場合の角速度を検出する。 The gyro sensor 619 detects, for example, the angular velocity when the imaging device 1 rotates around each of three axes.

＜＜情報処理装置＞＞
図３は、情報処理装置３０のハードウェア構成図である。図３に示されているように、情報処理装置３０は、ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、ＥＥＰＲＯＭ４０４、ＣＭＯＳセンサ４０５、撮像素子Ｉ／Ｆ４０６、加速度・方位センサ４０７、メディアＩ／Ｆ４０９、ＧＰＳ受信部４１１を備えている。 <<Information processing device>>
FIG. 3 is a hardware configuration diagram of the information processing device 30. As shown in FIG. 3, the information processing device 30 includes a CPU 401, ROM 402, RAM 403, EEPROM 404, CMOS sensor 405, image sensor I/F 406, acceleration/direction sensor 407, media I/F 409, and GPS receiving section 411. We are prepared.

これらのうち、ＣＰＵ４０１は、情報処理装置３０全体の動作を制御する。ＲＯＭ４０２は、ＣＰＵ４０１やＩＰＬ等のＣＰＵ４０１の駆動に用いられるプログラムを記憶する。ＲＡＭ４０３は、ＣＰＵ４０１のワークエリアとして使用される。ＥＥＰＲＯＭ４０４は、ＣＰＵ４０１の制御に従って、情報処理装置３０用プログラム等の各種データの読み出し又は書き込みを行う。ＣＭＯＳセンサ４０５は、ＣＰＵ４０１の制御に従って被写体（主に自画像）を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、ＣＭＯＳセンサではなく、ＣＣＤ(Charge Coupled Device)センサ等の撮像手段であってもよい。撮像素子Ｉ／Ｆ４０６は、ＣＭＯＳセンサ４０５の駆動を制御する回路である。加速度・方位センサ４０７は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ４０９は、フラッシュメモリ等の記録メディア４０８に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部４１１は、ＧＰＳ衛星からＧＰＳ信号を受信する。 Among these, the CPU 401 controls the operation of the entire information processing device 30. The ROM 402 stores the CPU 401 and programs used to drive the CPU 401 such as IPL. RAM 403 is used as a work area for CPU 401. The EEPROM 404 reads or writes various data such as programs for the information processing device 30 under the control of the CPU 401 . The CMOS sensor 405 is a type of built-in imaging means that images a subject (mainly a self-portrait) and obtains image data under the control of the CPU 401 . Note that instead of a CMOS sensor, an imaging means such as a CCD (Charge Coupled Device) sensor may be used. The image sensor I/F 406 is a circuit that controls driving of the CMOS sensor 405. The acceleration/direction sensor 407 is a variety of sensors such as an electronic magnetic compass, a gyro compass, and an acceleration sensor that detect geomagnetism. A media I/F 409 controls reading or writing (storage) of data to a recording medium 408 such as a flash memory. GPS receiving section 411 receives GPS signals from GPS satellites.

また、情報処理装置３０は、遠距離通信回路４１２、ＣＭＯＳセンサ４１３、撮像素子Ｉ／Ｆ４１４、マイク４１５、スピーカ４１６、音入出力Ｉ／Ｆ４１７、ディスプレイ４１８、外部機器接続Ｉ／Ｆ４１９、近距離通信回路４２０、近距離通信回路４２０のアンテナ４２０ａ、及びタッチパネル４２１を備えている。 The information processing device 30 also includes a long-distance communication circuit 412, a CMOS sensor 413, an image sensor I/F 414, a microphone 415, a speaker 416, a sound input/output I/F 417, a display 418, an external device connection I/F 419, and a short-range communication It includes a circuit 420, an antenna 420a of a short-range communication circuit 420, and a touch panel 421.

これらのうち、遠距離通信回路４１２は、通信ネットワーク１００を介して、他の機器と通信する回路である。ＣＭＯＳセンサ４１３は、ＣＰＵ４０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ４１４は、ＣＭＯＳセンサ４１３の駆動を制御する回路である。マイク４１５は、音を電気信号に変える内蔵型の回路である。スピーカ４１６は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力Ｉ／Ｆ４１７は、ＣＰＵ４０１の制御に従ってマイク４１５及びスピーカ４１６との間で音信号の入出力を処理する回路である。ディスプレイ４１８は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬ(Electro Luminescence)などの表示手段の一種である。外部機器接続Ｉ／Ｆ４１９は、各種の外部機器を接続するためのインターフェースである。近距離通信回路４２０は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。タッチパネル４２１は、利用者がディスプレイ４１８を押下することで、情報処理装置３０を操作する入力手段の一種である。 Among these, the long-distance communication circuit 412 is a circuit that communicates with other devices via the communication network 100. The CMOS sensor 413 is a type of built-in imaging means that images a subject and obtains image data under the control of the CPU 401. The image sensor I/F 414 is a circuit that controls driving of the CMOS sensor 413. Microphone 415 is a built-in circuit that converts sound into electrical signals. The speaker 416 is a built-in circuit that converts electrical signals into physical vibrations to produce sounds such as music and voice. The sound input/output I/F 417 is a circuit that processes input/output of sound signals between the microphone 415 and the speaker 416 under the control of the CPU 401 . The display 418 is a type of display means such as a liquid crystal or organic EL (Electro Luminescence) that displays images of the subject, various icons, and the like. The external device connection I/F 419 is an interface for connecting various external devices. The near field communication circuit 420 is a communication circuit such as NFC (Near Field Communication) or Bluetooth (registered trademark). The touch panel 421 is a type of input means by which the user operates the information processing device 30 by pressing the display 418.

また、情報処理装置３０は、バスライン４１０を備えている。バスライン４１０は、図３に示されているＣＰＵ４０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。 The information processing device 30 also includes a bus line 410. The bus line 410 is an address bus, a data bus, etc. for electrically connecting each component such as the CPU 401 shown in FIG. 3.

＜＜回転に関する撮像装置と固定ボディのハードウェア構成例＞＞
図４は、回転に関する撮像装置１と固定ボディ２のハードウェア構成例を示す図である。まず、撮像装置１は、操作命令受信部６２６、イメージセンサ６２１、画像結合ユニット６２２、画像記憶ユニット６２３、回転モータ制御部６２４、回転モータ６２５、電源ユニット（撮像用）６２７、電源ユニット（回転用）６２８、及び、回転メカ６２９を有している。 <<Hardware configuration example of imaging device and fixed body related to rotation>>
FIG. 4 is a diagram showing an example of the hardware configuration of the imaging device 1 and the fixed body 2 regarding rotation. First, the imaging device 1 includes an operation command receiving section 626, an image sensor 621, an image combining unit 622, an image storage unit 623, a rotation motor control section 624, a rotation motor 625, a power supply unit (for imaging) 627, a power supply unit (for rotation), and a power supply unit (for rotation). ) 628 and a rotating mechanism 629.

イメージセンサ６２１と画像結合ユニット６２２は図２の撮像素子６０３ａ、６０３ｂ、及び、画像処理ユニット６０４、６０５に相当する。画像記憶ユニット６２３はＳＲＡＭ６１３又はＤＲＡＭ６１４である。 The image sensor 621 and the image combining unit 622 correspond to the image sensors 603a and 603b and the image processing units 604 and 605 in FIG. Image storage unit 623 is SRAM 613 or DRAM 614.

操作命令受信部６２６はユーザが操作した操作命令を固定ボディ２から受信する。例えば回転開始、停止、回転速度、又は回転方向などを受信する。回転モータ制御部６２４は操作命令受信部６２６が受信した操作命令で回転モータ６２５を回転制御する。回転速度に関しては、ユーザがマニュアルで設定する場合と、タッチパネル４２１を有する撮像装置１が受け付ける場合と、情報処理装置３０から送信される場合とがある。回転モータ６２５は、回転メカ６２９を回転するモータ（アクチュエータ）である。回転メカ６２９は撮像装置１と固定ボディ２を相対的に回転可能に接続する。 The operation command receiving unit 626 receives the operation command operated by the user from the fixed body 2 . For example, the rotation start, stop, rotation speed, rotation direction, etc. are received. The rotation motor control unit 624 controls the rotation of the rotation motor 625 based on the operation command received by the operation command reception unit 626. Regarding the rotation speed, there are cases where the user sets it manually, where it is accepted by the imaging device 1 having the touch panel 421, and where it is transmitted from the information processing device 30. The rotary motor 625 is a motor (actuator) that rotates the rotary mechanism 629. The rotation mechanism 629 connects the imaging device 1 and the fixed body 2 so as to be relatively rotatable.

電源ユニット（撮像用）６２７は撮像用のバッテリであり、電源ユニット（回転用）６２８は回転用のバッテリである。両者が別々なので撮像装置１の回転で撮像用の電力がなくなることを抑制できる。ただし、撮像用と回転用の区別なく１つのバッテリが搭載されていてもよい。なお、電源ユニット（回転用）６２８は電源ユニット（撮像用）６２７の補助電源となるとよい。 A power supply unit (for imaging) 627 is a battery for imaging, and a power supply unit (for rotation) 628 is a battery for rotation. Since both are separate, it is possible to prevent power for imaging from running out due to rotation of the imaging device 1. However, one battery may be installed regardless of whether it is used for imaging or for rotation. Note that the power supply unit (for rotation) 628 may serve as an auxiliary power supply for the power supply unit (for imaging) 627.

固定ボディ２は、ユーザが手にもって撮像装置１を構えたり、三脚などに固定したりすることが想定されている。固定ボディ２は操作命令送信部６３１、操作部６３３、及び、電源ユニット（操作用）６３２を有している。操作部６３３は、回転メカ６２９の回転に関する操作を受け付けるキーボードや液晶パネル（タッチパネル）などである。操作命令送信部６３１は操作部６３３が受け付けた操作命令を操作命令受信部６２６に送信する。通信方法は無線でも有線でもよい。電源ユニット（操作用）６３２は操作部６３３に電源を供給する。 It is assumed that the fixed body 2 is used for holding the imaging device 1 in the user's hand or for fixing it on a tripod or the like. The fixed body 2 has an operation command transmitting section 631, an operation section 633, and a power supply unit (for operation) 632. The operation unit 633 is a keyboard, a liquid crystal panel (touch panel), or the like that receives operations related to rotation of the rotation mechanism 629. The operation command transmitting section 631 transmits the operation command received by the operation section 633 to the operation command receiving section 626. The communication method may be wireless or wired. A power supply unit (for operation) 632 supplies power to the operation section 633.

＜機能について＞
図５は、本実施形態の撮像装置１と情報処理装置３０の機能をブロック状に示す機能ブロック図の一例である。 <About functions>
FIG. 5 is an example of a functional block diagram showing in block form the functions of the imaging device 1 and the information processing device 30 of this embodiment.

まず、撮像装置１がタッチパネル４２１を有さない場合、図５（ａ）に示すように、情報処理装置３０は通信部１５と回転速度受付部１４を有している。回転速度受付部１４は、ユーザが指でタッチパネル４２１をこする速度を検出して、該速度から撮像装置１の回転速度を算出する。回転速度受付部１４は回転速度だけでなく、指の移動方向に基づいて回転方向も受け付ける。通信部１５は、回転速度と回転方向を撮像装置１に送信する。 First, when the imaging device 1 does not have the touch panel 421, the information processing device 30 has the communication section 15 and the rotation speed receiving section 14, as shown in FIG. 5(a). The rotational speed reception unit 14 detects the speed at which the user rubs the touch panel 421 with a finger, and calculates the rotational speed of the imaging device 1 from the detected speed. The rotational speed receiving unit 14 receives not only the rotational speed but also the rotational direction based on the moving direction of the finger. The communication unit 15 transmits the rotation speed and rotation direction to the imaging device 1.

撮像装置１は、通信部１１と、回転速度設定部１２と、回転制御部１３とを有している。通信部１１は、情報処理装置３０から回転速度と回転方向を受信する。回転速度設定部１２は通信部１１が受信した回転速度と回転方向を回転制御部１３に設定する。回転制御部１３は設定された回転方向に設定された回転速度で回転メカ６２９を回転制御する。 The imaging device 1 includes a communication section 11, a rotation speed setting section 12, and a rotation control section 13. The communication unit 11 receives the rotation speed and rotation direction from the information processing device 30 . The rotation speed setting section 12 sets the rotation speed and rotation direction received by the communication section 11 in the rotation control section 13 . The rotation control unit 13 controls the rotation of the rotating mechanism 629 at a set rotation speed in a set rotation direction.

撮像装置１がタッチパネル４２１を有する場合、図５（ｂ）に示すように、撮像装置１が回転速度受付部１４と、回転速度設定部１２と、回転制御部１３とを有している。これらの機能は図５（ａ）と同様でよい。 When the imaging device 1 includes the touch panel 421, the imaging device 1 includes a rotation speed reception section 14, a rotation speed setting section 12, and a rotation control section 13, as shown in FIG. 5(b). These functions may be the same as those in FIG. 5(a).

＜全天球画像の作成＞
次に、図６～図１１を用いて全天球画像の作成方法等を説明する。図６は、撮像装置１の使用イメージ図である。撮像装置１は、図６に示されているように、例えば、ユーザが手に持ってユーザの周りの被写体を撮像するために用いられる。この場合、図２に示されている撮像素子６０３ａ及び撮像素子６０３ｂによって、それぞれユーザの周りの被写体が撮像されることで、２つの半球画像を得ることができる。 <Creating a spherical image>
Next, a method for creating a spherical image will be explained using FIGS. 6 to 11. FIG. 6 is an image diagram of how the imaging device 1 is used. As shown in FIG. 6, the imaging device 1 is used, for example, in a user's hand to capture an image of a subject around the user. In this case, two hemispherical images can be obtained by capturing images of objects around the user using the imaging device 603a and the imaging device 603b shown in FIG. 2, respectively.

次に、図７及び図８を用いて、撮像装置１で撮像された画像から正距円筒射影画像ＥＣ及び全天球画像ＣＥが作成されるまでの処理の概略を説明する。なお、図７（ａ）は撮像装置１で撮像された半球画像（前側）、図７（ｂ）は撮像装置１で撮像された半球画像（後側）、図７（ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。図８（ａ）は正距円筒射影画像で球を被う状態を示した概念図、図８（ｂ）は全天球画像を示した図である。 Next, using FIGS. 7 and 8, an outline of the process from which an equirectangular projection image EC and a celestial sphere image CE are created from an image captured by the imaging device 1 will be explained. Note that FIG. 7(a) is a hemispherical image (front side) captured by the imaging device 1, FIG. 7(b) is a hemispherical image (backside) captured by the imaging device 1, and FIG. 7(c) is an equirectangular cylinder image. FIG. 2 is a diagram showing an image represented by a projection method (hereinafter referred to as an "equirectangular projection image"). FIG. 8(a) is a conceptual diagram showing a state where a sphere is covered by an equirectangular projection image, and FIG. 8(b) is a diagram showing a spherical image.

図７（ａ）に示されているように、撮像素子６０３ａによって得られた画像は、広角レンズ６０２ａによって湾曲した半球画像（前側）となる。また、図７（ｂ）に示されているように、撮像素子６０３ｂによって得られた画像は、広角レンズ６０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、撮像装置１によって合成され、図７（ｃ）に示されているように、正距円筒射影画像ＥＣが作成される。 As shown in FIG. 7A, the image obtained by the image sensor 603a is a hemispherical image (front side) curved by the wide-angle lens 602a. Further, as shown in FIG. 7B, the image obtained by the image sensor 603b becomes a hemispherical image (rear side) curved by the wide-angle lens 602b. The hemisphere image (front side) and the hemisphere image (rear side) inverted by 180 degrees are combined by the imaging device 1, and as shown in FIG. 7(c), an equirectangular projection image EC is obtained. Created.

そして、OpenGL ES（Open Graphics Library for Embedded Systems）等が利用されることで、図８（ａ）に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、図８（ｂ）に示されているような全天球画像ＣＥが作成される。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2－Dimensions) 及び３Ｄ(3－Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像ＣＥは、静止画であっても動画であってもよい。 Then, by using OpenGL ES (Open Graphics Library for Embedded Systems), etc., the equirectangular projection image is pasted to cover the spherical surface, as shown in Figure 8(a). A spherical image CE as shown in (b) is created. In this way, the spherical image CE is represented as an image in which the equirectangular projection image EC faces the center of the sphere. Note that OpenGL ES is a graphics library used to visualize 2D (2-Dimensions) and 3D (3-Dimensions) data. Note that the omnidirectional image CE may be a still image or a moving image.

以上のように、全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球画像ＣＥの一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図９及び図１０を用いて説明する。 As described above, since the spherical image CE is an image pasted to cover a spherical surface, it feels strange when viewed by humans. Therefore, by displaying a predetermined area (hereinafter referred to as a "predetermined area image") of a part of the spherical image CE as a flat image with less curvature, it is possible to perform a display that does not give a sense of discomfort to humans. This will be explained using FIGS. 9 and 10.

なお、図９は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの視点の位置に相当するものである。また、図１０（ａ）は図９の立体斜視図、図１０（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図１０（ａ）では、図８に示されている全天球画像が、三次元の立体球ＣＳで表されている。このように生成された全天球画像ＣＥが、立体球ＣＳであるとすると、図９に示されているように、仮想カメラＩＣが全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮像領域である。所定領域Ｔのズームは、画角αの範囲（円弧）を広げたり縮めたりすることで表現することができる。また、所定領域Ｔのズームは、仮想カメラＩＣを全天球画像ＣＥに近づいたり、遠ざけたりすることで表現することもできる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。従って、所定領域Ｔは画角αと、仮想カメラＩＣから全天球画像ＣＥまでの距離ｆにより特定できる（図１１参照）。 Note that FIG. 9 is a diagram showing the positions of the virtual camera and the predetermined area when the omnidirectional image is a three-dimensional solid sphere. The virtual camera IC corresponds to the position of the viewpoint of the user who views the spherical image CE displayed as a three-dimensional solid sphere. Further, FIG. 10(a) is a three-dimensional perspective view of FIG. 9, and FIG. 10(b) is a diagram showing a predetermined area image when displayed on a display. Furthermore, in FIG. 10(a), the omnidirectional image shown in FIG. 8 is represented by a three-dimensional solid sphere CS. Assuming that the spherical image CE generated in this manner is a three-dimensional sphere CS, the virtual camera IC is located inside the spherical image CE, as shown in FIG. The predetermined area T in the spherical image CE is an imaging area of the virtual camera IC. Zooming of the predetermined area T can be expressed by expanding or contracting the range (circular arc) of the angle of view α. Furthermore, zooming of the predetermined area T can also be expressed by moving the virtual camera IC closer to or farther away from the omnidirectional image CE. The predetermined area image Q is an image of a predetermined area T in the omnidirectional image CE. Therefore, the predetermined area T can be specified by the angle of view α and the distance f from the virtual camera IC to the spherical image CE (see FIG. 11).

そして、図１０（ａ）に示されている所定領域画像Ｑは、図１０（ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮像領域の画像として表示される。図１０（ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報によって表された所定領域画像である。なお、所定領域Ｔは、画角αと距離ｆではなく、所定領域Ｔである仮想カメラＩＣの撮像領域（Ｘ，Ｙ，Ｚ）によって示してもよい。 The predetermined area image Q shown in FIG. 10(a) is displayed on a predetermined display as an image of the imaging area of the virtual camera IC, as shown in FIG. 10(b). The image shown in FIG. 10(b) is a predetermined area image represented by initialized (default) predetermined area information. Note that the predetermined area T may be indicated by the imaging area (X, Y, Z) of the virtual camera IC, which is the predetermined area T, instead of the angle of view α and the distance f.

次に、図１１を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。なお、図１１は、所定領域情報と所定領域Ｔの画像の関係との関係を示した図である。図１１に示されているように、仮想カメラＩＣの画角αによって表される所定領域Ｔの対角画角をαとした場合の中心点ＣＰが、所定領域情報の（ｘ，ｙ）パラメータとなる。ｆは仮想カメラＩＣから中心点ＣＰまでの距離である。Ｌは所定領域Ｔの任意の頂点と中心点ＣＰとの距離である（２Ｌは対角線）。そして、図１１では、一般的に以下の式（１）で示される三角関数が成り立つ。 Next, the relationship between the predetermined area information and the image of the predetermined area T will be explained using FIG. 11. Note that FIG. 11 is a diagram showing the relationship between the predetermined area information and the image of the predetermined area T. As shown in FIG. 11, when α is the diagonal angle of view of the predetermined area T represented by the angle of view α of the virtual camera IC, the center point CP is the (x, y) parameter of the predetermined area information. becomes. f is the distance from the virtual camera IC to the center point CP. L is the distance between an arbitrary vertex of the predetermined region T and the center point CP (2L is a diagonal line). In FIG. 11, the trigonometric function expressed by the following equation (1) generally holds true.

Ｌ／ｆ＝ｔａｎ（α／２）・・・（式１）
＜撮像装置に写る画像＞
次に、図１２～図１４を用いて撮像装置１に写る画像について説明する。まず、図１２は、撮像装置１の回転方向における角度を説明する上面図である。上面図であるため、正面の広角レンズ６０２ａと背面の広角レンズ６０２ｂ、撮像装置１の本体、及び、固定ボディ２が示されている。６つの領域に区分された円形３９は、回転角度を説明するための補足であって実際には存在しない。また、６つの領域の６という数字には意味がなく、８等分でも１０等分でもよい。 L/f=tan(α/2)...(Formula 1)
<Image captured by the imaging device>
Next, images captured by the imaging device 1 will be explained using FIGS. 12 to 14. First, FIG. 12 is a top view illustrating the angle in the rotation direction of the imaging device 1. Since this is a top view, the front wide-angle lens 602a, the back wide-angle lens 602b, the main body of the imaging device 1, and the fixed body 2 are shown. The circle 39 divided into six regions is a supplement for explaining the rotation angle and does not actually exist. Further, the number 6 in the six areas has no meaning, and may be divided into eight or ten equal parts.

図１３は、撮像装置１が撮像した画像を説明するための図である。図１３は、全天球画像を地図表記で知られるメルカトル図法（又は正距円筒射影図法でもよい）の要領で平面に示している。従って、画像の上方と下方では歪みが大きくなる。 FIG. 13 is a diagram for explaining an image captured by the imaging device 1. FIG. 13 shows a spherical image on a plane using the Mercator projection (or the equirectangular projection projection), which is known for map notation. Therefore, distortion becomes large in the upper and lower parts of the image.

正面レンズ範囲４１は、正面の広角レンズ６０２ａで撮像した部分で、それ以外の部分が背面の広角レンズ６０２ｂで撮像した部分である。全天球画像は正面の広角レンズ６０２ａと背面の広角レンズ６０２ｂによるそれぞれの画像が全天球画像になるように合成されているので、「画像の中央」という概念はない。図１３では、説明の便宜上、撮像装置１の正面の広角レンズ６０２ａの光軸が画像の中央に一致するように示した。正面の広角レンズ６０２ａの真正面に看板４２があり、画像の中央に看板４２が写っている。 The front lens range 41 is a portion imaged by the front wide-angle lens 602a, and the other portion is a portion imaged by the rear wide-angle lens 602b. Since the spherical image is composed of images taken by the front wide-angle lens 602a and the rear wide-angle lens 602b to form a spherical image, there is no concept of "the center of the image." In FIG. 13, for convenience of explanation, the optical axis of the wide-angle lens 602a in front of the imaging device 1 is shown to coincide with the center of the image. There is a signboard 42 directly in front of the front wide-angle lens 602a, and the signboard 42 is reflected in the center of the image.

看板４２のやや左には移動する被写体４３，４４が写っている。被写体４３，４４は例えば自転車、自動車、ランナーなどである。本実施例では、前を先導する自転車と、自転車の走っている選手を表している。 Moving subjects 43 and 44 are photographed slightly to the left of the signboard 42. The subjects 43 and 44 are, for example, bicycles, cars, runners, and the like. This example shows a bicycle leading the way and a rider running on a bicycle.

自転車と選手は道路４５上を走っている。道路４５はメルカトル図法の影響によりＵ字状に写っているが、実際はユーザの左前方から右後方へ道路４５が続いている。 Bicycles and athletes are running on Road 45. Although the road 45 appears U-shaped due to the influence of the Mercator projection, the road 45 actually continues from the front left to the rear right of the user.

図１３の下方には、撮像装置１の回転角度をわかりやすく説明するためのスケール（ゲージ）４６が示されている（実際の画像には存在しない）。 At the bottom of FIG. 13, a scale (gauge) 46 is shown for easily explaining the rotation angle of the imaging device 1 (not present in the actual image).

図１４は、想定されるシチュエーション等で撮像された被写体の画像を時系列に示す図である。図１４で想定される状況は以下のとおりである。
・シチュエーション
自転車競技の沿道観戦で、時速40km以上の速度で目の前を通過する選手の写真をユーザが流し撮りで撮像したいというシチュエーションである。
・ロケーション
撮像装置１は三脚などで沿道に設置されている。道路４５の中央から撮像装置１までの距離は約3.5〔m〕とする。撮像装置１に対して道路４５を挟んだ逆側には上記の看板４２が設置されている。自転車５２に乗った選手は、撮像装置１の左側から右側へ走行し、選手は平均的に時速約45〔km〕の速度で撮像装置１の前を通過する。
・撮像装置１の設定例
シャッター速度は1/30秒とする。この設定でシャッターは0.033秒開いており、この間に時速約45〔km〕の自転車５２は約40cm移動する。ユーザはシャッターチャンスを逃さないため撮像装置１に連射撮像を設定する。例えば、4.4〔コマ/秒〕の連射を設定する。これは、0.23秒間隔で撮像する計算となる。時速約45〔km〕で走る自転車５２は、0.23秒で約2.8〔m〕進む。 FIG. 14 is a diagram showing, in chronological order, images of a subject captured in assumed situations. The situations assumed in FIG. 14 are as follows.
- Situation This is a situation where the user is watching a bicycle race along the road and wants to take a panning shot of a rider passing in front of him at a speed of 40 km/h or more.
- Location The imaging device 1 is installed on a tripod or the like along the road. The distance from the center of the road 45 to the imaging device 1 is approximately 3.5 [m]. The above-mentioned signboard 42 is installed on the opposite side of the road 45 from the imaging device 1. The athlete riding the bicycle 52 runs from the left side to the right side of the image pickup device 1, and the athlete passes in front of the image pickup device 1 at an average speed of about 45 [km/h].
- Setting example for imaging device 1 The shutter speed is 1/30 second. With this setting, the shutter is open for 0.033 seconds, and during this time the bicycle 52 traveling at approximately 45 km/h moves approximately 40 cm. In order not to miss a photo opportunity, the user sets the imaging device 1 to perform continuous shooting. For example, set a continuous fire rate of 4.4 [frames/second]. This means that images are taken every 0.23 seconds. Bicycle 52, traveling at approximately 45 km/h, travels approximately 2.8 m in 0.23 seconds.

全天球（360度）を撮像できる撮像装置１の回転設定として、ユーザは33〔回転/分〕を情報処理装置３０に設定する。この設定では連射間隔である0.23秒間に約45度回転する計算となる。33〔回転/分〕は、撮像装置１に選手が一番近づく時に通り過ぎる速度と、その時の撮像装置１から選手までの距離から算出した回転数であり、撮像装置１から通過する選手を見たときに、視点を追いかけるのに都合が良い値となる。 The user sets 33 [rotations/min] in the information processing device 30 as the rotation setting of the imaging device 1 that can image the entire celestial sphere (360 degrees). With this setting, it is calculated that it will rotate approximately 45 degrees every 0.23 seconds, which is the firing interval. 33 [Revolutions/min] is the number of revolutions calculated from the speed at which the athlete passes when closest to the imaging device 1 and the distance from the imaging device 1 to the athlete at that time. Sometimes this is a convenient value for tracking viewpoints.

・上記のシチュエーションと設定で撮像した例について
図１４（ａ）～（ｇ）は0.23秒間隔の画像と、撮像装置１の回転角度と、選手の位置とを時系列に示す。 - For examples of images captured under the above situations and settings, FIGS. 14(a) to 14(g) show images at 0.23 second intervals, the rotation angle of the imaging device 1, and the player's position in chronological order.

撮像装置１の上面図に示すように、時間の経過に伴って撮像装置１が回転モータ６２５により時計回りに45度ずつ回転している。選手は、約2.8〔m〕ずつ移動している。画像には、二台の自転車５２が徐々に近づいて、遠ざかっていく様子が写っている。 As shown in the top view of the imaging device 1, the imaging device 1 is rotated clockwise by 45 degrees by the rotary motor 625 as time passes. The players are moving approximately 2.8 [m] at a time. The image shows two bicycles 52 gradually approaching and then moving away from each other.

図１４（ｄ）で自転車５２が最も撮像装置１に近づいており、その前後を含めた、図１４（ｃ）（ｅ）に着目すると、撮像装置１が回転することによって、ちょうど正面の広角レンズ６０２ａと背面の広角レンズ６０２ｂの境界付近で、選手をとらえ続けていることがわかる。 In FIG. 14(d), the bicycle 52 is closest to the imaging device 1, and if we pay attention to FIGS. It can be seen that the player continues to be captured near the boundary between the lens 602a and the wide-angle lens 602b on the back.

従って、上記のシャッター速度で撮像された画像は、選手がくっきりと写り、周囲の景色が流れた、いわゆる「流し撮り」としての写真が得られる。 Therefore, an image taken at the above-mentioned shutter speed is a so-called "panning shot" photograph in which the athlete is clearly shown and the surrounding scenery flows.

また、図１４の例において、２台の自転車５２が10〔m〕程度離れた状態で追走している場合、通常のカメラであれば、先頭の選手の撮像をすれば、追走する選手の撮像のためにカメラを向ける時間はないが、全天球画像を撮像できる撮像装置１では、１回の撮像で２名の選手を撮像できる。 In addition, in the example of FIG. 14, if two bicycles 52 are chasing each other about 10 meters apart, a normal camera can capture an image of the leading athlete, and the bicycles 52 that are chasing Although there is no time to point the camera to take an image, the imaging device 1 that can take a spherical image can take images of two players in one imaging.

＜回転速度の設定方法＞
図１４で説明した、撮像対象が最もカメラに接近する時に、「撮像対象が時速約45kmで通過する」、「撮像対象との距離が約3.5m程度である」、というシチュエーションに基づいて、撮像装置１の回転数を33〔回転/分〕と決定するには以下のような計算式が必要になる。

<撮像対象の速度[m/分]> / (<撮像装置と撮像対象の距離[m]> x 2 x <円周率>) = <撮像装置の回転速度[回転/分]> …(1)

このため、本実施形態の回転速度を入力するためには、以下のいずれかの操作が必要となる。
・回転の向き（右回り又は左回り）と、回転速度(１分毎の回転数等)をユーザが固定ボディ２部又は撮像装置１へ入力する ・・・(Ａ)
・回転の向き（右回り又は左回り）と、撮像対象の実速度と、撮像装置１と撮像対象の距離をユーザが固定ボディ２部又は撮像装置１へ入力する ・・・(Ｂ)
しかし、(Ａ)(Ｂ)共に、スポーツ観戦等の場でユーザが入力する項目としては、正確に知りうることが難しい数値となる。 <How to set the rotation speed>
As explained in Fig. 14, when the object to be imaged is closest to the camera, the object to be imaged is passing at a speed of approximately 45 km/h, and the distance to the object to be imaged is approximately 3.5 m. To determine the rotation speed of the device 1 as 33 [revolutions/minute], the following calculation formula is required.

<Velocity of the imaging device [m/min]> / (<Distance between the imaging device and the imaging device [m]> x 2 x <Pi>) = <Rotation speed of the imaging device [rotations/min]> …(1 )

Therefore, in order to input the rotation speed in this embodiment, one of the following operations is required.
・The user inputs the direction of rotation (clockwise or counterclockwise) and rotation speed (number of rotations per minute, etc.) to the fixed body 2 or the imaging device 1...(A)
- The user inputs the direction of rotation (clockwise or counterclockwise), the actual speed of the imaging target, and the distance between the imaging device 1 and the imaging target into the fixed body 2 or the imaging device 1...(B)
However, both (A) and (B) are numerical values that are difficult to know accurately as items that the user inputs when watching sports or the like.

そこで、本実施形態では、図１５に示す方法でユーザが回転速度を入力する。図１５は、情報処理装置３０又は撮像装置１に対して、ユーザが回転速度を入力する方法を説明する図である。図１５では撮像装置１がタッチパネル４２１を有する場合を示すが、情報処理装置３０の場合も同様である。 Therefore, in this embodiment, the user inputs the rotation speed using the method shown in FIG. FIG. 15 is a diagram illustrating a method for a user to input a rotation speed into the information processing device 30 or the imaging device 1. Although FIG. 15 shows a case where the imaging device 1 has a touch panel 421, the same applies to the information processing device 30.

まず、ユーザはボタンなどで回転速度設定モードをＯＮに切り替える。次に、図１５（ａ）～（ｃ）に示すように、移動する撮像対象の動きに合わせて、タッチパネル４２１をこする（スマートフォン等でフリックと呼ばれる動作を行う）。ユーザはこの「こする」速度を、動いている撮像対象が見えている速度とほぼ同じにする。従って、こする速度は「撮像対象の速度」に相当する。回転速度受付部１４はこする速度を算出して、式(1)に代入して回転速度を算出する。 First, the user switches the rotation speed setting mode to ON using a button or the like. Next, as shown in FIGS. 15A to 15C, the user rubs the touch panel 421 in accordance with the movement of the moving object to be imaged (performs an action called a flick on a smartphone or the like). The user makes this "scraping" speed approximately the same as the speed at which the moving object is visible. Therefore, the rubbing speed corresponds to the "velocity of the object to be imaged." The rotational speed reception unit 14 calculates the rubbing speed and substitutes it into equation (1) to calculate the rotational speed.

図１６は、こする速度の算出方法を説明する図である。回転速度受付部１４は、タッチパネル４２１をこすることで入力された軌跡５１のＸ方向の長さＬ〔m〕を、始点Ｓの検出時刻と終点Ｅの検出時刻の差である経過時間Ｔ（分）で割る。
撮像対象の速度＝Ｌ/Ｔ …(2)
ただし、Ｌ＝ＸE－ＸS
式(2)で得た「撮像対象の速度」を式(1)に代入すると撮像装置の回転数が求められる。「撮像装置と撮像対象の距離」は例えば3.5〔m〕などユーザの目測値でよい。 FIG. 16 is a diagram illustrating a method of calculating the rubbing speed. The rotation speed reception unit 14 converts the length L [m] of the trajectory 51 in the X direction input by rubbing the touch panel 421 into an elapsed time T (which is the difference between the detection time of the start point S and the detection time of the end point E). Divide by minutes).
Speed of imaging target = L/T…(2)
However, L=X E -X S
By substituting the "velocity of the imaging target" obtained in equation (2) into equation (1), the rotational speed of the imaging device can be determined. The "distance between the imaging device and the imaging target" may be a value measured visually by the user, such as 3.5 [m], for example.

なお、式(2)はタッチパネル４２１の左端に自転車５２が達して右端に達するまでと同期してユーザがこする場合の式であるが、これではあまりに短時間に自転車５２が通過してしまうおそれがある（ユーザが同期させることが困難になる）。このため図１５（ａ）～（ｃ）に示すように、情報処理装置３０の手前から先までの決まった距離（例えば、自転車の３台分）を自転車が移動する場合と同期してユーザがこするとよい。この場合、撮像装置１は式(2)のＬを決まった量だけ大きくする（例えば、３台分に応じた係数をかける）。 Note that formula (2) is for when the bicycle 52 reaches the left end of the touch panel 421 and is synchronously rubbed until it reaches the right end, but in this case there is a risk that the bicycle 52 will pass by in too short a time. (making it difficult for users to synchronize). For this reason, as shown in FIGS. 15(a) to 15(c), when a bicycle moves a fixed distance (for example, three bicycles) from the front to the front of the information processing device 30, the user Good to rub. In this case, the imaging device 1 increases L in equation (2) by a predetermined amount (for example, multiplies a coefficient corresponding to three devices).

＜動作手順＞
図１７は、撮像装置１が回転速度を算出する手順を示すフローチャート図の一例である。 <Operating procedure>
FIG. 17 is an example of a flowchart showing a procedure in which the imaging device 1 calculates the rotation speed.

ユーザが撮像装置１又は情報処理装置３０を操作して、回転速度設定モードをＯＮに操作する。撮像装置１又は情報処理装置３０は操作を受け付ける（Ｓ１）。 The user operates the imaging device 1 or the information processing device 30 to turn on the rotation speed setting mode. The imaging device 1 or the information processing device 30 accepts the operation (S1).

次に、回転速度受付部１４は始点Ｓの検出に応じて時間計測を開始する（Ｓ２）。始点Ｓはタッチパネル４２１に指（又は電子ペンでもよい）が最初に触れたことにより検出される。 Next, the rotational speed receiving unit 14 starts measuring time in response to the detection of the starting point S (S2). The starting point S is detected when a finger (or an electronic pen may be used) touches the touch panel 421 for the first time.

同様に、回転速度受付部１４は終点Ｅの検出に応じて時間計測を終了する（Ｓ３）。終点Ｅはタッチパネルから指（又は電子ペンでもよい）が離れたこと（検出できないこと）により検出される。 Similarly, the rotational speed reception unit 14 ends the time measurement in response to the detection of the end point E (S3). The end point E is detected when the finger (or the electronic pen may be used) leaves the touch panel (cannot be detected).

回転速度受付部１４は始点Ｓから終点Ｅまでの軌跡５１の水平方向の長さＬを算出する（Ｓ４）。回転速度受付部１４は長さＬを経過時間Ｔで割って、「撮像対象の速度」を算出し、これを式(1)に代入して回転速度を算出する（Ｓ５）。 The rotational speed receiving unit 14 calculates the horizontal length L of the trajectory 51 from the starting point S to the ending point E (S4). The rotational speed receiving unit 14 calculates the "velocity of the imaging target" by dividing the length L by the elapsed time T, and substitutes this into equation (1) to calculate the rotational speed (S5).

＜主な効果＞
以上説明したように、本実施例の撮像装置１は、ユーザがタッチパネル４２１をこするという簡単な操作で、ユーザの意のままの回転速度を撮像装置１へ入力することができる。 <Main effects>
As described above, the imaging device 1 of the present embodiment allows the user to input the desired rotational speed to the imaging device 1 by simply rubbing the touch panel 421.

本実施例では、腕振り方式という、回転速度の別の設定方法について説明する。 In this embodiment, another method of setting the rotational speed called the arm swing method will be described.

本実施例においては、上記の実施例にて説明した図２、図３のハードウェア構成図、及び、図５に示した機能ブロック図を援用できるものとして説明する。 In this embodiment, the hardware configuration diagrams shown in FIGS. 2 and 3 and the functional block diagram shown in FIG. 5 described in the above embodiments can be used.

図１８は、腕振り方式による回転速度の設定方法を説明する図である。本実施例では、ユーザは撮像装置１を手で把持している。ユーザはボタンなどで回転速度設定モードをＯＮに切り替えた状態で、撮像装置１を持って腕を伸ばす。 FIG. 18 is a diagram illustrating a method of setting the rotational speed using the arm swing method. In this embodiment, the user holds the imaging device 1 with his/her hand. The user holds the imaging device 1 and extends his arm while turning on the rotation speed setting mode using a button or the like.

図１８（ａ）に示すように、まず、接近してくる自転車５２の方向に腕を伸ばす。図１８（ａ）では正面の広角レンズ６０２ａの光軸が自転車５２を指している。ただし、光軸の向きはどこでもよい。 As shown in FIG. 18(a), first, extend your arm in the direction of the approaching bicycle 52. In FIG. 18A, the optical axis of the front wide-angle lens 602a points toward the bicycle 52. However, the direction of the optical axis may be any direction.

ユーザは自転車５２の動きに合わせて、腕を振る。すなわち、自分の身体を中心に、撮像装置１を持つこぶしの位置が円の弧を描くように移動する。図１８（ｂ）では腕が道路４５に垂直な方向を向いており、図１８（ｃ）では右方向を向いている。いずれの場合も腕の延長線の方向に自転車５２が存在する。 The user waves his arms in accordance with the movement of the bicycle 52. That is, the position of the fist holding the imaging device 1 moves in a circular arc centering on the user's own body. In FIG. 18(b), the arm is facing in a direction perpendicular to the road 45, and in FIG. 18(c), the arm is facing in the right direction. In either case, the bicycle 52 exists in the direction of the extension line of the arm.

図１８(ａ)～図１８（ｃ）の間にユーザ２０が振った腕の角度は180度に満たない。図１９は、図１８と同様の図において、腕を振る詳細な角度を示す図である。撮像装置１は、腕が振られる過程の撮像装置１の回転速度をモーションセンサでとらえ、撮像装置の回転速度を設定する。図示するように撮像装置１の光軸の向きは振った腕の角度だけ変化するので、モーションセンサとしては例えばジャイロセンサがあるとよい。ジャイロセンサは角速度を検出するセンサである。 The angle of the arm swung by the user 20 during FIGS. 18(a) to 18(c) is less than 180 degrees. FIG. 19 is a diagram similar to FIG. 18 showing detailed angles of swinging the arm. The imaging device 1 uses a motion sensor to detect the rotational speed of the imaging device 1 while the arm is being swung, and sets the rotational speed of the imaging device. As shown in the figure, since the direction of the optical axis of the imaging device 1 changes by the angle of the swung arm, a gyro sensor, for example, may be used as the motion sensor. A gyro sensor is a sensor that detects angular velocity.

撮像装置１の撮像装置１は図１８（ａ）～図１８（ｂ）の間の角速度ω〔rad/sec〕の平均を算出する。撮像装置１の１分間の回転数は
撮像装置の回転数＝｛（ω×57.3度）/360｝× 60
で求められる。 The imaging device 1 of the imaging device 1 calculates the average of the angular velocity ω [rad/sec] between FIG. 18(a) and FIG. 18(b). The rotation speed of the imaging device 1 per minute is the rotation speed of the imaging device = {(ω×57.3 degrees)/360}× 60
is required.

このように、ユーザは簡単な操作で回転数を設定できる。 In this way, the user can set the rotation speed with a simple operation.

図２０は、撮像装置１が回転速度を算出する手順を示すフローチャート図の一例である。 FIG. 20 is an example of a flowchart showing a procedure in which the imaging device 1 calculates the rotation speed.

ユーザが撮像装置１又は情報処理装置３０を操作して、回転速度設定モードをＯＮに操作する。撮像装置１又は情報処理装置３０は操作を受け付ける（Ｓ１１）。 The user operates the imaging device 1 or the information processing device 30 to turn on the rotation speed setting mode. The imaging device 1 or the information processing device 30 accepts the operation (S11).

次に、回転速度受付部１４は時間計測の開始を受け付ける（Ｓ１２）。操作時にユーザは接近してくる自転車に腕を向けている。この操作は例えば、ボタンの押下であるが、閾値以上の角速度の検出を時間計測の開始の契機としてもよい。 Next, the rotation speed receiving unit 14 receives a start of time measurement (S12). During operation, the user points his arm toward the approaching bicycle. This operation is, for example, pressing a button, but the detection of an angular velocity equal to or higher than a threshold value may be used as a trigger for starting time measurement.

ユーザが移動する自転車に腕を向けながら腕を回転させる間、回転速度受付部１４は角速度を記録する（Ｓ１３）。例えば、定期的に角速度を記録する。 While the user rotates his arm while pointing toward the moving bicycle, the rotational speed reception unit 14 records the angular velocity (S13). For example, record angular velocity periodically.

次に、回転速度受付部１４は時間計測の終了を受け付ける（Ｓ１４）。操作時にユーザは遠ざかる自転車に腕を向けている。この操作は例えば、ボタンの押下であるが、角速度が閾値未満になることを時間計測の終了の契機としてもよい。 Next, the rotational speed accepting unit 14 accepts the end of time measurement (S14). During operation, the user points his arm toward the bicycle that is moving away. This operation is, for example, pressing a button, but the end of time measurement may also be triggered by the angular velocity becoming less than a threshold value.

次に、回転速度受付部１４は角速度ωの平均を算出する（Ｓ１５）。必ずしも全ての角速度ωを平均の算出に使用する必要はなく、最小値からいくつかと最大値からいくつかを排除してよい。 Next, the rotation speed reception unit 14 calculates the average of the angular speeds ω (S15). It is not necessary to use all the angular velocities ω for calculating the average, and some of the minimum values and some of the maximum values may be excluded.

回転速度受付部１４は角速度ωの平均から撮像装置１の回転速度を算出する（Ｓ１６）。 The rotational speed reception unit 14 calculates the rotational speed of the imaging device 1 from the average of the angular velocities ω (S16).

＜主な効果＞
このようにユーザが腕を振るという簡単な操作で、ユーザの意のままの回転速度を撮像装置１へ入力することができる。 <Main effects>
In this way, the user can input the desired rotational speed to the imaging device 1 by simply waving his/her arm.

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。 <Other application examples>
Although the best mode for carrying out the present invention has been described above using examples, the present invention is not limited to these examples in any way, and various modifications can be made without departing from the gist of the present invention. and substitutions can be added.

例えば、本実施形態では全天球画像を撮像できる撮像装置１を例に説明したが、一般的な画角（例えば６０度未満）の撮像装置でもユーザは同様に回転速度を設定できる。また、全天球画像といっても画像処理の関係で一部が写っていなくてもよい。 For example, in the present embodiment, the imaging device 1 that can capture a spherical image has been described as an example, but the user can similarly set the rotation speed with an imaging device with a general angle of view (for example, less than 60 degrees). Further, even if the image is a spherical image, a portion of the image may not be included due to image processing.

また、本実施形態では撮像装置１が回転モータを有していたが、固定ボディが回転モータを有していてもよい。この場合、撮像装置１が回転速度を固定ボディに送信するか、固定ボディがタッチパネル４２１を有する。 Further, in this embodiment, the imaging device 1 has a rotary motor, but the fixed body may have a rotary motor. In this case, the imaging device 1 transmits the rotation speed to the fixed body, or the fixed body has the touch panel 421.

また、本実施形態では自転車や選手などの移動を例にして説明したが、動物に適用してもよいし、自動車などの無生物にも適用できる。また、水上を移動するボート競技、雪上を移動するスキーやスノーボードの競技にも適用できる。 Further, in this embodiment, the movement of bicycles, athletes, etc. has been described as an example, but the present invention can also be applied to animals or inanimate objects such as cars. It can also be applied to rowing competitions that involve moving on water, and skiing and snowboarding competitions that involve moving on snow.

また、本実施形態では、撮像装置１が回転速度を計算していたが、ネットワークを介して通信可能なサーバが回転速度を計算してもよい。 Further, in this embodiment, the imaging device 1 calculates the rotation speed, but a server that can communicate via a network may calculate the rotation speed.

また、図５などの構成例は、撮像装置１による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。撮像装置１は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。 Further, in the configuration example shown in FIG. 5 and the like, in order to facilitate understanding of the processing by the imaging device 1, the configuration is divided according to main functions. The present invention is not limited by the method of dividing the processing units or the names thereof. The imaging device 1 can also be divided into more processing units depending on the processing content. Furthermore, one processing unit can be divided to include more processing.

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。 Each function of the embodiments described above can be realized by one or more processing circuits. Here, the term "processing circuit" as used herein refers to a processor programmed to execute each function by software, such as a processor implemented by an electronic circuit, or a processor designed to execute each function explained above. This includes devices such as ASICs (Application Specific Integrated Circuits), DSPs (digital signal processors), FPGAs (field programmable gate arrays), and conventional circuit modules.

１ ：撮像装置
２ ：固定ボディ
１２ ：回転速度設定部
１３ ：回転制御部
１４ ：回転速度受付部
３０ ：情報処理装置 1: Imaging device 2: Fixed body 12: Rotation speed setting section 13: Rotation control section 14: Rotation speed reception section 30: Information processing device

特開２０１８－１９８４７０号公報Japanese Patent Application Publication No. 2018-198470

Claims (7)

撮像装置を水平方向に回転させる回転機構を有する撮像装置であって、
タッチパネルと、
前記タッチパネルをユーザがこする速度に基づいて前記撮像装置の回転速度を受け付ける回転速度受付部と、
前記回転速度受付部が受け付けた前記回転速度で前記撮像装置を水平方向に回転させる回転制御部と、
を有することを特徴とする撮像装置。 An imaging device having a rotation mechanism for horizontally rotating the imaging device,
touch panel and
a rotational speed reception unit that receives a rotational speed of the imaging device based on a speed at which a user rubs the touch panel;
a rotation control unit that rotates the imaging device in a horizontal direction at the rotation speed accepted by the rotation speed reception unit;
An imaging device comprising: 前記回転速度受付部は、移動する被写体を見ているユーザが前記被写体とほぼ同じ速度で前記タッチパネルをこする速度を算出して、前記撮像装置の回転速度を受け付けることを特徴とする請求項１に記載の撮像装置。 2. The rotational speed receiving unit calculates a speed at which a user looking at a moving subject rubs the touch panel at substantially the same speed as the subject, and receives the rotational speed of the imaging device. The imaging device described in . 前記回転速度受付部は、
前記タッチパネルをユーザがこする速度を撮像対象の速度として、
< 撮像対象の速度[m/分] > / (< 撮像装置と撮像対象の距離[m] > x 2 x <円周率>) = <撮像装置の回転速度[回転/分]>
に代入することで前記撮像装置の回転速度を算出することを特徴とする請求項１又は２に記載の撮像装置。 The rotational speed reception unit is
The speed at which the user rubs the touch panel is the speed of the imaging target,
<Velocity of the imaging device [m/min] > / (<Distance between the imaging device and the imaging device [m] > x 2 x <Pi>) = <Rotation speed of the imaging device [rotations/min]>
The imaging device according to claim 1 or 2, wherein the rotational speed of the imaging device is calculated by substituting . 前記撮像装置は、周囲３６０度を撮像できることを特徴とする請求項１～３のいずれか１項に記載の撮像装置。 The imaging device according to any one of claims 1 to 3, wherein the imaging device is capable of imaging a surrounding area of 360 degrees. 前記タッチパネル及び前記回転速度受付部を有する情報処理装置から、前記回転速度を受信する通信部を有し、
前記回転制御部は、前記通信部が受信した前記回転速度で前記撮像装置を水平方向に回転させることを特徴とする請求項１～４のいずれか１項に記載の撮像装置。 a communication unit that receives the rotation speed from an information processing device that includes the touch panel and the rotation speed reception unit;
The imaging device according to any one of claims 1 to 4, wherein the rotation control unit rotates the imaging device in a horizontal direction at the rotation speed received by the communication unit. 撮像装置を水平方向に回転させる回転機構を有する撮像装置が行う撮像方法であって、
回転速度受付部が、前記撮像装置が有するタッチパネルをユーザがこする速度に基づいて前記撮像装置の回転速度を受け付けるステップと、
回転制御部が、前記回転速度受付部が受け付けた前記回転速度で前記撮像装置を水平方向に回転させるステップと、
を有することを特徴とする撮像方法。 An imaging method performed by an imaging device having a rotation mechanism that rotates the imaging device in a horizontal direction,
a rotational speed receiving unit receiving a rotational speed of the imaging device based on a speed at which a user rubs a touch panel included in the imaging device;
a rotation control unit rotating the imaging device in a horizontal direction at the rotation speed accepted by the rotation speed reception unit;
An imaging method characterized by having the following. 撮像装置を水平方向に回転させる回転機構を有する前記撮像装置を、
前記撮像装置が有するタッチパネルをユーザがこする速度に基づいて前記撮像装置の回転速度を受け付ける回転速度受付部と、
前記回転速度受付部が受け付けた前記回転速度で前記撮像装置を水平方向に回転させる回転制御部、
として機能させるためのプログラム。 The imaging device has a rotation mechanism that rotates the imaging device in a horizontal direction,
a rotational speed reception unit that receives a rotational speed of the imaging device based on a speed at which a user rubs a touch panel of the imaging device;
a rotation control unit that rotates the imaging device in a horizontal direction at the rotation speed accepted by the rotation speed reception unit;
A program to function as
JP2019198950A 2019-10-31 2019-10-31 Imaging device, imaging method, program Active JP7380088B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019198950A JP7380088B2 (en) 2019-10-31 2019-10-31 Imaging device, imaging method, program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019198950A JP7380088B2 (en) 2019-10-31 2019-10-31 Imaging device, imaging method, program

Publications (2)

Publication Number Publication Date
JP2021072564A JP2021072564A (en) 2021-05-06
JP7380088B2 true JP7380088B2 (en) 2023-11-15

Family

ID=75713742

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019198950A Active JP7380088B2 (en) 2019-10-31 2019-10-31 Imaging device, imaging method, program

Country Status (1)

Country Link
JP (1) JP7380088B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013210989A (en) 2012-02-29 2013-10-10 Jvc Kenwood Corp Image processing device, image processing method, and image processing program
JP2015216543A (en) 2014-05-12 2015-12-03 キヤノン株式会社 Control apparatus, imaging system, control method, and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013210989A (en) 2012-02-29 2013-10-10 Jvc Kenwood Corp Image processing device, image processing method, and image processing program
JP2015216543A (en) 2014-05-12 2015-12-03 キヤノン株式会社 Control apparatus, imaging system, control method, and program

Also Published As

Publication number Publication date
JP2021072564A (en) 2021-05-06

Similar Documents

Publication Publication Date Title
CN103841332B (en) Panorama scene is shot and the mobile device of browsing, system and method
US10404915B1 (en) Method and system for panoramic video image stabilization
EP2779620B1 (en) Image generation device, and image generation method
KR20180075191A (en) Method and electronic device for controlling unmanned aerial vehicle
EP3786895A1 (en) Method, device and apparatus for repositioning in camera orientation tracking process, and storage medium
JP2020150330A (en) Image communication system, imaging apparatus, mode switching method, program
CN103907340A (en) Image generation device and image generation method
KR20200005332A (en) Calibration device and method of operation thereof
JP2020149635A (en) Imaging apparatus, image communication system, image processing method, and program
WO2017173933A1 (en) Object image display method, device, and system
CN111897429A (en) Image display method, image display device, computer equipment and storage medium
JP2018169601A (en) Cooperation device, imaging system, imaging method, and program
JP6859447B2 (en) Information processing system and object information acquisition method
JP7380088B2 (en) Imaging device, imaging method, program
WO2014087166A1 (en) Terrain-topography motion capture system, apparatus and method
KR102131369B1 (en) Method and apparatus for composing images of celestial bodies
JP7487464B2 (en) IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, VIDEO PLAYBACK SYSTEM, METHOD, AND PROGRAM
JP2000213953A (en) Navigation device for flying object
JP2018026642A (en) Image management system, image communication system, image management method, and program
US20210168285A1 (en) Image capturing device, image communication system, and method for display control, and recording medium
JP6586819B2 (en) Image management system, image communication system, image management method, and program
JP7434797B2 (en) Image processing device, imaging device, video playback system, method and program
JP6790206B1 (en) Control devices, control methods, programs, and recording media
JP7358938B2 (en) Communication terminal, image communication system, display method, and program
JP2022130180A (en) Image processing method, program, image processing device, and image processing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231016

R151 Written notification of patent or utility model registration

Ref document number: 7380088

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151