JP6711118B2 - Image management system, program and information terminal - Google Patents

Image management system, program and information terminal Download PDF

Info

Publication number
JP6711118B2
JP6711118B2 JP2016092674A JP2016092674A JP6711118B2 JP 6711118 B2 JP6711118 B2 JP 6711118B2 JP 2016092674 A JP2016092674 A JP 2016092674A JP 2016092674 A JP2016092674 A JP 2016092674A JP 6711118 B2 JP6711118 B2 JP 6711118B2
Authority
JP
Japan
Prior art keywords
image
omnidirectional image
audio data
display area
omnidirectional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016092674A
Other languages
Japanese (ja)
Other versions
JP2017201743A (en
Inventor
陽子 杉浦
陽子 杉浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2016092674A priority Critical patent/JP6711118B2/en
Publication of JP2017201743A publication Critical patent/JP2017201743A/en
Application granted granted Critical
Publication of JP6711118B2 publication Critical patent/JP6711118B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は画像管理システム、プログラム及び情報端末に関する。 The present invention relates to an image management system, a program and an information terminal.

例えば周囲３６０°の全方位を一度に撮像できる撮像装置がある。撮像装置が撮像により作成する全方位画像は全方位が写った画像である。このような全方位画像の所定領域に対して情報を付加できると便利である。 For example, there is an image pickup device capable of picking up images in all directions of 360 degrees around. The omnidirectional image created by the imaging device by imaging is an image in which all directions are captured. It would be convenient if information could be added to a predetermined area of such an omnidirectional image.

例えば全方位画像の所定領域画像に対するユーザのコメントを表示する技術は従来から知られている（例えば特許文献１参照）。 For example, a technique of displaying a user's comment on a predetermined area image of an omnidirectional image is conventionally known (see, for example, Patent Document 1).

全方位画像を撮像する撮像装置には、全方位画像を撮像する際に、音声を録音できるものもある。全方位画像を情報端末などで閲覧する場合は、全方位画像における表示領域を移動させることで全方位を閲覧できるが、閲覧している表示領域に応じた音声を出力できなかった。 Some imaging devices that capture an omnidirectional image can record sound when capturing an omnidirectional image. When viewing an omnidirectional image on an information terminal or the like, it is possible to view the omnidirectional image by moving the display area in the omnidirectional image, but it is not possible to output sound according to the display area being viewed.

本発明の一実施形態は、上記の点に鑑みなされたもので、全方位画像の表示領域に応じた音声を出力できる画像管理システムを提供することを目的とする。 An embodiment of the present invention has been made in view of the above points, and an object of the present invention is to provide an image management system capable of outputting sound according to a display area of an omnidirectional image.

上記目的を達成するため、本願請求項１は、撮像装置が撮像した全方位画像を管理する画像管理装置と、前記全方位画像の表示領域を表示する情報端末と、を有する画像管理システムであって、前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データを、前記撮像装置で撮像される全方位画像上の位置と対応付ける対応付け手段と、前記情報端末において立体球に貼り付けることで作成された前記全方位画像上の表示領域を表示する表示手段と、前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データのうち、表示する前記全方位画像上の少なくとも画角と座標で示される表示領域と、前記複数方向からの音声データに対応付けられた前記全方位画像上の位置と、に基づき、前記音声データを選択して再生する音声再生手段と、を有し、前記音声再生手段は、画角により前記全方位画像上の表示領域の拡大縮小を操作し、当該操作に応じて再生する前記音声データの音量を制御することを特徴とする。 In order to achieve the above object, claim 1 of the present application is an image management system including an image management device that manages an omnidirectional image captured by an imaging device, and an information terminal that displays a display area of the omnidirectional image. Then, associating means for associating voice data from a plurality of directions recorded by the image pickup device at the time of picking up the omnidirectional image with a position on the omnidirectional image picked up by the image pickup device, and a solid sphere in the information terminal. Display means for displaying a display area on the omnidirectional image created by pasting the omnidirectional image, and audio data from a plurality of directions recorded in the imaging device at the time of capturing the omnidirectional image. A voice that selects and reproduces the audio data based on at least the display area on the azimuth image indicated by the angle of view and the coordinates and the position on the omnidirectional image associated with the audio data from the plurality of directions. have a, and reproducing means, said sound reproduction means, characterized by controlling the volume of the audio data scaling of the display area on the omnidirectional image manipulated by angle and reproduces in response to the operation And

本発明の一実施形態によれば、全方位画像の表示領域に応じた音声を出力できる。 According to the embodiment of the present invention, it is possible to output a sound corresponding to the display area of the omnidirectional image.

撮像装置の左側面図、正面図、平面図の一例である。It is an example of a left side view, a front view, and a plan view of the imaging device. 撮像装置の使用イメージ図の一例である。It is an example of a usage image diagram of the imaging device. 撮像装置で撮像された半球画像（前）、撮像装置で撮像された半球画像（後）、メルカトル図法により表された画像を示した図の一例である。It is an example of a diagram showing a hemispherical image (front) imaged by the imaging device, a hemispherical image (rear) imaged by the imaging device, and an image represented by the Mercator projection. メルカトル画像で球を被う状態を示した概念図、全方位画像を示した図の一例である。It is an example of the figure which showed the state which covers a sphere with a Mercator image, and the figure which showed the omnidirectional image. 全方位画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図の一例である。It is an example of the figure which showed the position of a virtual camera and a predetermined area|region when an omnidirectional image is made into a three-dimensional solid sphere. 図４の立体斜視図、ディスプレイに表示された所定領域の画像を示す図の一例である。FIG. 5 is an example of a stereoscopic perspective view of FIG. 4, showing an image of a predetermined area displayed on a display. 所定領域情報と所定領域画像の関係との関係を示した図である。It is a figure showing the relation between the predetermined area information and the predetermined area image. 画像管理システムの概略構成図の一例である。It is an example of a schematic configuration diagram of an image management system. 撮像装置のハードウェア構成図の一例である。It is an example of the hardware block diagram of an imaging device. 無線通信機能を有したクレードルの場合の通信端末のハードウェア構成図の一例である。It is an example of a hardware configuration diagram of a communication terminal in the case of a cradle having a wireless communication function. 画像管理装置及び情報端末のハードウェア構成図の一例である。It is an example of a hardware configuration diagram of an image management device and an information terminal. 撮像装置の一例の機能ブロック図である。It is a functional block diagram of an example of an imaging device. 通信端末の一例の機能ブロック図である。It is a functional block diagram of an example of a communication terminal. 画像管理装置の一例の機能ブロック図である。It is a functional block diagram of an example of an image management device. 情報端末の一例の機能ブロック図である。It is a functional block diagram of an example of an information terminal. 画像管理装置にアクセスした情報端末に表示される画面の一例について説明する図である。It is a figure explaining an example of the screen displayed on the information terminal which accessed the image management device. 全方位画像の座標（画像位置）と対応付けられている複数方向の音声データを示した説明図である。It is explanatory drawing which showed the audio|voice data of the multiple directions matched with the coordinate (image position) of an omnidirectional image. 全方位画像の座標（画像位置）と複数方向の音声データとを対応付ける対応表の一例の構成図である。It is a block diagram of an example of a correspondence table that associates the coordinates (image position) of the omnidirectional image with the audio data in a plurality of directions. 情報端末において複数方向の音声から一方向の音声を選択して再生する処理の一例のフローチャートである。It is a flowchart of an example of a process of selecting and playing back one-way audio from a plurality of directions of audio in the information terminal. 全方位画像の表示領域が動かされた場合に、再生される音声データが切り替わる様子を示した説明図である。It is explanatory drawing which showed the mode that the audio data reproduced|regenerated when the display area of an omnidirectional image was moved. 全方位画像の表示領域が拡大される様子を示した説明図である。It is explanatory drawing which showed a mode that the display area of an omnidirectional image was expanded. 情報端末において表示領域の拡大縮小により再生する音声の音量を制御する処理の一例のフローチャートである。7 is a flowchart of an example of a process of controlling the volume of a sound reproduced by enlarging or reducing the display area in the information terminal. 情報端末において大きい音量で録音されている音声データの方向に、全方位画像の表示領域を切り替える処理の一例のフローチャートである。It is a flowchart of an example of a process of switching the display area of the omnidirectional image in the direction of audio data recorded at a high volume in the information terminal. ステップＳ３２においてテーブルを作成する処理の説明図である。It is explanatory drawing of the process which produces a table in step S32. 自動音声追従処理のオン、オフ操作を閲覧者Ｙから受け付ける表示画面の一例のイメージ図である。FIG. 11 is an image diagram of an example of a display screen that receives an on/off operation of an automatic voice tracking process from a viewer Y. 自動音声追従処理がオンである場合に、自動音声追従処理を行う一例のフローチャートである。It is an example of a flowchart which performs an automatic voice following process, when an automatic voice following process is ON. 情報端末において全方位画像の表示領域の中心と、音声データと対応付けられている全方位画像の座標（画像位置）との距離により、再生する音声の音量を制御する処理の一例のフローチャートである。7 is a flowchart of an example of a process for controlling the volume of audio to be reproduced by the distance between the center of the display area of the omnidirectional image and the coordinates (image position) of the omnidirectional image associated with the audio data in the information terminal. .. 複数の方向の音声を再生する様子を示した説明図である。It is explanatory drawing which showed the mode that the audio|voice of a some direction is reproduced.

以下、本発明を実施するための形態について図面を参照しながら説明する。
［第１の実施形態］
＜用語について＞
視点とは閲覧者の視線が注がれる場所を言う。本実施形態では、全方位画像の全体のうち閲覧者がディスプレイに表示させた一部の画像を便宜的に視点という場合がある。この一部の画像を所定領域画像という。全方位画像における所定領域画像を特定するための情報を所定領域情報という。 Hereinafter, modes for carrying out the present invention will be described with reference to the drawings.
[First Embodiment]
<About terms>
A viewpoint is a place where a viewer's gaze is focused. In the present embodiment, a part of the entire omnidirectional image displayed by the viewer on the display may be referred to as a viewpoint for convenience. This part of the image is called a predetermined area image. The information for specifying the predetermined area image in the omnidirectional image is called predetermined area information.

全方位画像は、周囲３６０°の全方位が撮像された画像であり、全天球画像、パノラマ画像、全天球パノラマ画像など、どのように呼ばれていてもよい。また、周囲３６０°の画像の一部が画像処理などの関係で欠けていても本実施形態の説明に支障がない場合は全方位画像と称する。 The omnidirectional image is an image in which all azimuths around 360° are captured, and may be referred to as an omnidirectional image, a panoramic image, an omnidirectional panoramic image, or the like. Further, if a part of the image of 360 degrees around is missing due to image processing or the like, it will be referred to as an omnidirectional image if it does not hinder the description of the present embodiment.

＜撮像装置について＞
ここでは図１〜図７を用いて、周囲３６０°の全方位を撮像可能な撮像装置について説明する。図１は撮像装置１の外観を説明する図の一例である。図１（ａ）は撮像装置１の左側面図であり、図１（ｂ）は撮像装置１の正面図であり、図１（ｃ）は撮像装置１の平面図である。 <About imaging device>
Here, an image pickup apparatus capable of picking up images in all directions around 360° will be described with reference to FIGS. 1 to 7. FIG. 1 is an example of a diagram for explaining the external appearance of the image pickup apparatus 1. 1A is a left side view of the image pickup apparatus 1, FIG. 1B is a front view of the image pickup apparatus 1, and FIG. 1C is a plan view of the image pickup apparatus 1.

図１（ａ）に示されているように、撮像装置１は、人間が片手で持つことができる大きさである。また、図１（ａ），図１（ｂ）及び図１（ｃ）に示されているように、撮像装置１の上部には、正面側（前側）に撮像素子１０３ａ及び背面側（後側）に撮像素子１０３ｂが設けられている。また、図１（ｂ）に示されているように、撮像装置１の正面側には、シャッターボタン等の操作部１１５が設けられている。 As shown in FIG. 1A, the image pickup apparatus 1 has a size that a person can hold with one hand. Further, as shown in FIGS. 1A, 1B, and 1C, in the upper part of the image pickup apparatus 1, the image pickup device 103a and the back face (rear side) are provided on the front side (front side). ) Is provided with the image sensor 103b. Further, as shown in FIG. 1B, an operation unit 115 such as a shutter button is provided on the front side of the image pickup apparatus 1.

次に、図２を用いて、撮像装置１の使用状況を説明する。なお、図２は、撮像装置の使用イメージ図である。撮像装置１は、図２に示されているように、ユーザが手に持って周りの被写体を撮影するために用いられる。この場合、撮像装置１は図１に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれユーザの周りの被写体を撮像することで、２つの半球画像を得ることができる。 Next, the usage status of the image pickup apparatus 1 will be described with reference to FIG. Note that FIG. 2 is a conceptual diagram of use of the image pickup apparatus. As shown in FIG. 2, the image pickup apparatus 1 is used by a user to hold an image in a hand and photograph a surrounding subject. In this case, the image pickup apparatus 1 can obtain two hemispherical images by picking up an image of the subject around the user by the image pickup element 103a and the image pickup element 103b shown in FIG.

次に、図３を用いて、撮像装置１で撮像された画像及び合成された画像を説明する。なお、図３（ａ）は撮像装置で撮像された半球画像（前側）、図３（ｂ）は撮像装置で撮像された半球画像（後側）、図３（ｃ）はメルカトル図法により表された画像（以下、「メルカトル画像」という）を示した図である。なお、正距円筒図法で表されてもよい。 Next, an image captured by the image capturing apparatus 1 and a combined image will be described with reference to FIG. It should be noted that FIG. 3A is a hemispherical image (front side) imaged by the imaging device, FIG. 3B is a hemispherical image (rear side) imaged by the imaging device, and FIG. 3C is a Mercator projection method. It is the figure which showed the image (henceforth "the Mercator image"). In addition, it may be represented by an equirectangular projection.

図３（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図３（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、撮像装置１によって合成され、図３（ｃ）に示されているように、メルカトル画像が作成される。 As shown in FIG. 3A, the image obtained by the image sensor 103a becomes a hemispherical image (front side) curved by the fisheye lens 102a described later. Further, as shown in FIG. 3B, the image obtained by the image pickup element 103b becomes a hemispherical image (rear side) curved by the fisheye lens 102b described later. Then, the hemispherical image (front side) and the 180°-inverted hemispherical image (rear side) are combined by the imaging device 1 to create a Mercator image as shown in FIG.

図４は、図３（ｃ）に示されている撮像画像（メルカトル画像）から、作成された全方位画像を示す。例えば、図４のような全方位画像は、立体球に図３(ｃ)に示されるメルカトル画像を貼り付けることで作成される。 FIG. 4 shows an omnidirectional image created from the captured image (Mercatl image) shown in FIG. For example, an omnidirectional image as shown in FIG. 4 is created by pasting the Mercator image shown in FIG. 3C on a solid sphere.

図５〜図７を用いて、全方位画像における所定領域の画像（これが上記の「所定領域画像」である）の作成及び表示の処理について説明する。なお、図５は、全方位画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、３次元の立体球として表示されている全方位画像に対して、その画像を見るユーザの視点の位置に相当するものである。 Processing for creating and displaying an image of a predetermined area (this is the above-mentioned “predetermined area image”) in an omnidirectional image will be described with reference to FIGS. 5 to 7. Note that FIG. 5 is a diagram showing the positions of the virtual camera and the predetermined area when the omnidirectional image is a three-dimensional solid sphere. The virtual camera IC corresponds to the position of the viewpoint of the user who views the omnidirectional image displayed as a three-dimensional solid sphere.

また、図６（ａ）は図５の立体斜視図、図６（ｂ）はディスプレイに表示された所定領域画像を示す図である。図６（ａ）は図４に示されている全方位画像を３次元の立体球ＣＳで見せている。このように生成された全方位画像の立体球ＣＳであるとすると、図５に示されているように、仮想カメラＩＣは全方位画像の中心に位置し、この中心から上下左右の回転と、この中心からの視点での回転(ROLL)の３軸の回転を行うことができる。 Further, FIG. 6A is a stereoscopic perspective view of FIG. 5, and FIG. 6B is a diagram showing a predetermined area image displayed on the display. FIG. 6A shows the omnidirectional image shown in FIG. 4 with a three-dimensional solid sphere CS. Assuming that it is the three-dimensional sphere CS of the omnidirectional image generated in this way, the virtual camera IC is located at the center of the omnidirectional image, as shown in FIG. It is possible to rotate the three axes of rotation (ROLL) from the viewpoint from this center.

この全方位画像における所定領域Ｔは、この全方位画像における仮想カメラＩＣの位置の所定領域情報によって特定される。この所定領域情報は、座標ｘ(rH)、座標ｙ(rV)、及び画角α(angle)によって示される。所定領域Ｔのズームは、画角αの範囲（円弧）を広げたり縮めたりすることで表現することができる。すなわち、座標ｘ、座標ｙで図７の中心点ＣＰを特定でき、画角αで所定領域画像の広さを特定できる。座標ｘ、座標ｙは全方位画像の例えば、左上コーナーを原点とする座標である。 The predetermined area T in this omnidirectional image is specified by the predetermined area information of the position of the virtual camera IC in this omnidirectional image. This predetermined area information is indicated by coordinates x(rH), coordinates y(rV), and angle of view α(angle). The zoom of the predetermined area T can be expressed by expanding or contracting the range (arc) of the angle of view α. That is, the center point CP of FIG. 7 can be specified by the coordinates x and the coordinates y, and the width of the predetermined area image can be specified by the angle of view α. Coordinates x and y are coordinates with the upper left corner of the omnidirectional image as the origin, for example.

図７を用いて、所定領域情報と所定領域画像の関係について説明する。図７は、所定領域情報と所定領域画像の関係との関係を示した図である。図７に示されているように、仮想カメラＩＣの画角αによって表される所定領域Ｔの対角線画角２Ｌとした場合の中心点ＣＰが、所定領域情報の（ｘ，ｙ）パラメータとなる。（ｘ，ｙ）は中心点ＣＰでなく所定領域画像の左上コーナーなどの座標でもよい。 The relationship between the predetermined area information and the predetermined area image will be described with reference to FIG. 7. FIG. 7 is a diagram showing a relationship between predetermined area information and a predetermined area image. As shown in FIG. 7, the center point CP when the diagonal line angle of view 2L of the predetermined area T represented by the angle of view α of the virtual camera IC is the (x, y) parameter of the predetermined area information. .. (X, y) may be coordinates such as the upper left corner of the predetermined area image instead of the center point CP.

なお、ｆは仮想カメラＩＣから中心点ＣＰまでの距離である。そして、図７では、一般的に以下の式（１）で示される関係が成り立つ。Ｌは所定領域画像の対角線の長さの半分である。 Note that f is the distance from the virtual camera IC to the center point CP. Then, in FIG. 7, the relationship represented by the following expression (1) is generally established. L is half the length of the diagonal line of the predetermined area image.

Ｌｆ＝ｔａｎ（α／２）・・・式（１）
所定領域画像のアスペクト比で対角線と下辺のなす角βが分かるので、所定領域画像の各コーナーの座標も算出できる。例えば、左上コーナーのｘ座標はｘ−Ｌcosβ、ｙ座標はｙ＋Ｌsinβである。 Lf=tan(α/2)...Equation (1)
Since the angle β formed by the diagonal and the lower side can be known from the aspect ratio of the predetermined area image, the coordinates of each corner of the predetermined area image can also be calculated. For example, the x coordinate of the upper left corner is x-Lcosβ, and the y coordinate is y+Lsinβ.

＜画像管理システム２００の構成＞
図８は、画像管理システム２００の概略構成図の一例である。画像管理システム２００は、通信ネットワーク９を介して接続された撮像装置１、通信端末３、画像管理装置５及び情報端末７を有している。撮像装置１は撮影者Ｘにより操作される。情報端末７は閲覧者Ｙにより操作される。 <Structure of image management system 200>
FIG. 8 is an example of a schematic configuration diagram of the image management system 200. The image management system 200 has an imaging device 1, a communication terminal 3, an image management device 5, and an information terminal 7, which are connected via a communication network 9. The imaging device 1 is operated by the photographer X. The information terminal 7 is operated by the viewer Y.

通信ネットワーク９は、閲覧者Ｙの所属先の企業のＬＡＮ、ＬＡＮをインターネットに接続するプロバイダのプロバイダネットワーク、及び、回線事業者が提供する回線等の少なくとも１つを含んで構築されている。撮像装置１、通信端末３又は情報端末７はＬＡＮを介さずに直接、回線電話網や携帯電話網に接続してもよい。 The communication network 9 is constructed to include at least one of a LAN of a company to which the viewer Y belongs, a provider network of a provider connecting the LAN to the Internet, and a line provided by a line carrier. The imaging device 1, the communication terminal 3 or the information terminal 7 may be directly connected to a line telephone network or a mobile telephone network without going through a LAN.

通信ネットワーク９にはＷＡＮやインターネット等が含まれる。通信ネットワーク９は有線又は無線のどちらで構築されてもよく、また、有線と無線とが組み合わされていてもよい。 The communication network 9 includes WAN, Internet, and the like. The communication network 9 may be constructed by either wired or wireless, or may be a combination of wired and wireless.

撮像装置１は、上記のように１度の撮像で周囲３６０度を撮像し、全方位画像を作成するカメラである。撮像装置１はデジタルスチルカメラ又はデジタルビデオカメラと呼ばれる場合がある。また、通信端末３にカメラが付いている場合は、通信端末３が全方位画像を得るためのデジタルカメラとなりうる。さらに、情報端末７にカメラが付いている場合は情報端末７が全方位画像を得るためのデジタルカメラとなりうる。 The image capturing apparatus 1 is a camera that captures 360 degrees of surroundings by one-time imaging as described above and creates an omnidirectional image. The image pickup apparatus 1 may be called a digital still camera or a digital video camera. When the communication terminal 3 has a camera, the communication terminal 3 can be a digital camera for obtaining an omnidirectional image. Furthermore, when the information terminal 7 is equipped with a camera, the information terminal 7 can be a digital camera for obtaining an omnidirectional image.

本実施形態では、説明を分かりやすくするために撮像装置１が全方位画像を得るためのデジタルカメラとして説明を行う。撮像装置１は周囲３６０を撮像し、全方位画像を得ると共に、指向性マイクなどにより録音した複数方向の音声データを得る。撮像装置１は定期的又は不定期に撮像してもよいし、撮影者Ｘの操作により撮像してもよいし、閲覧者Ｙによる画像管理装置５からの命令で撮像してもよい。なお、撮像装置１は、視線が異なる何枚かの風景を自動的に撮像し、複数の画像データを合成することで全方位画像を作成してもよい。 In the present embodiment, the image pickup apparatus 1 will be described as a digital camera for obtaining an omnidirectional image in order to make the description easy to understand. The image pickup apparatus 1 picks up an image of the surrounding 360, obtains an omnidirectional image, and obtains voice data in a plurality of directions recorded by a directional microphone or the like. The image pickup apparatus 1 may pick up images periodically or irregularly, may be picked up by the operation of the photographer X, or may be picked up by a command from the image management apparatus 5 by the viewer Y. Note that the image capturing apparatus 1 may automatically capture several landscapes with different lines of sight, and synthesize a plurality of image data to create an omnidirectional image.

通信端末３は、例えばクレードル(Cradle)である。クレードルとは、撮像装置１の機能を拡張する拡張機器をいう。通信端末３は撮像装置１と接続するためのインタフェースを有する。これにより撮像装置１は通信端末３の機能を利用できる。通信端末３は、このインタフェースを介して撮像装置１とデータ通信を行なう。また、通信端末３は無線ルータ９ａ及び通信ネットワーク９を介して画像管理装置５とデータ通信を行なう。 The communication terminal 3 is, for example, a cradle. The cradle is an expansion device that expands the function of the image pickup apparatus 1. The communication terminal 3 has an interface for connecting to the imaging device 1. Thereby, the imaging device 1 can use the function of the communication terminal 3. The communication terminal 3 performs data communication with the imaging device 1 via this interface. The communication terminal 3 also performs data communication with the image management device 5 via the wireless router 9a and the communication network 9.

また、情報端末７は撮像装置１と接続するためのインタフェースを有する。これにより撮像装置１は情報端末７の機能を利用できる。情報端末７は、このインタフェースを介して撮像装置１とデータ通信を行なう。また、情報端末７は無線ルータ９ａ及び通信ネットワーク９を介して画像管理装置５とデータ通信を行なう。 Further, the information terminal 7 has an interface for connecting to the imaging device 1. Thereby, the imaging device 1 can use the function of the information terminal 7. The information terminal 7 performs data communication with the imaging device 1 via this interface. The information terminal 7 also performs data communication with the image management device 5 via the wireless router 9a and the communication network 9.

撮像装置１は無線ルータ９ａや通信ネットワーク９と直接、データ通信する機能を有する場合、通信端末３又は情報端末７を介さず、無線ルータ９ａや通信ネットワーク９と通信を行う。撮像装置１は通信端末３又は情報端末７と一体に構成されていてもよい。 When the imaging device 1 has a function of directly performing data communication with the wireless router 9a or the communication network 9, it communicates with the wireless router 9a or the communication network 9 without going through the communication terminal 3 or the information terminal 7. The imaging device 1 may be configured integrally with the communication terminal 3 or the information terminal 7.

画像管理装置５は、例えば、サーバとして機能する情報処理装置である。画像管理装置５は、撮像装置１からの静止画及び動画を受信する機能、情報端末７に全方位画像を表示させる機能、全方位画像の座標に音声データを対応付ける機能、を有する。 The image management device 5 is, for example, an information processing device that functions as a server. The image management device 5 has a function of receiving a still image and a moving image from the imaging device 1, a function of displaying an omnidirectional image on the information terminal 7, and a function of associating audio data with coordinates of the omnidirectional image.

画像管理装置５は、通信ネットワーク９を介して、撮像装置１、通信端末３又は情報端末７とデータ通信を行なうことができる。画像管理装置５には、OpenGL ES（3Dグラフィックス用のＡＰＩ：Application Interface）がインストールされている。OpenGL ESを呼び出すことでメルカトル画像から全方位画像を作成したり、全方位画像の一部の画像（所定領域画像）のサムネイル画像を作成したりすることができる。 The image management device 5 can perform data communication with the imaging device 1, the communication terminal 3, or the information terminal 7 via the communication network 9. The image management apparatus 5 has OpenGL ES (API: Application Interface for 3D graphics) installed. By calling OpenGL ES, you can create an omnidirectional image from a Mercator image or a thumbnail image of a part of the omnidirectional image (predetermined area image).

なお、画像管理装置５は、クラウドコンピューティングが適用されていることが好ましい。クラウドコンピューティングの物理的な構成に厳密な定義はないが、情報処理装置を構成するＣＰＵ、ＲＡＭ、ストレージなどのリソースが負荷に応じて動的に接続・切断されることで情報処理装置の構成や設置場所が柔軟に変更される構成が知られている。 The image management device 5 is preferably applied with cloud computing. Although there is no strict definition in the physical configuration of cloud computing, the configuration of the information processing device is configured by dynamically connecting/disconnecting resources such as CPU, RAM, and storage that configure the information processing device according to the load. It is known that the installation location can be changed flexibly.

また、クラウドコンピューティングでは、画像管理装置５が仮想化されることが一般的である。１台の情報処理装置が仮想化によって複数の画像管理装置５としての機能を提供することや、複数の情報処理装置が仮想化によって一台の画像管理装置５としての機能を提供することができる。なお、画像管理装置５がクラウドコンピューティングとしてではなく単独の情報処理装置により提供されることも可能である。 In cloud computing, the image management device 5 is generally virtualized. One information processing device can provide the function as a plurality of image management devices 5 by virtualization, or a plurality of information processing devices can provide the function as one image management device 5 by virtualization. .. Note that the image management device 5 can be provided by a single information processing device instead of being provided as cloud computing.

情報端末７は、例えばノートＰＣ(Personal Computer)であり、通信ネットワーク９を介して画像管理装置５とデータ通信を行う。情報端末７は、ノートＰＣの他、タブレット端末、ＰＣ、ＰＤＡ（Personal Digital Assistant）、電子黒板、テレビ会議端末、ウェアラブルＰＣ、ゲーム機、携帯電話、カーナビゲーションシステム、スマートフォンなどでもよい。また、これらに限られるものではない。情報端末７は、全方位画像の表示領域を表示する機能、表示している全方位画像の表示領域に対応する音声データを選択して再生する機能を有する。 The information terminal 7 is, for example, a notebook PC (Personal Computer), and performs data communication with the image management device 5 via the communication network 9. The information terminal 7 may be a notebook PC, a tablet terminal, a PC, a PDA (Personal Digital Assistant), an electronic blackboard, a video conference terminal, a wearable PC, a game machine, a mobile phone, a car navigation system, a smartphone, or the like. Moreover, it is not limited to these. The information terminal 7 has a function of displaying the display area of the omnidirectional image and a function of selecting and reproducing audio data corresponding to the display area of the displayed omnidirectional image.

本実施形態に係る画像管理システム２００では、撮像装置１が全方位画像を撮像すると共に、複数方向の音声データを録音する。録音した音声データは、後述のように、全方位画像における座標と対応付けられる。撮像した全方位画像と録音した音声データとは撮像装置１から画像管理装置５に送信され、画像管理装置５に保存される。 In the image management system 200 according to this embodiment, the imaging device 1 captures an omnidirectional image and records audio data in a plurality of directions. The recorded voice data is associated with the coordinates in the omnidirectional image as described later. The imaged omnidirectional image and the recorded audio data are transmitted from the image pickup apparatus 1 to the image management apparatus 5 and stored in the image management apparatus 5.

閲覧者Ｙの操作する情報端末７から閲覧要求があると、画像管理装置５は閲覧者Ｙの操作する情報端末７が全方位画像の表示領域を表示し、その表示領域に対応する音声を再生するための画面情報を配信する。 When there is a browsing request from the information terminal 7 operated by the viewer Y, the image management apparatus 5 causes the information terminal 7 operated by the viewer Y to display the display area of the omnidirectional image and reproduce the sound corresponding to the display area. Deliver screen information to do.

＜実施形態のハードウェア構成＞
次に、図９〜図１１を用いて、本実施形態の撮像装置１、通信端末３，画像管理装置５及び情報端末７のハードウェア構成を説明する。 <Hardware configuration of the embodiment>
Next, the hardware configurations of the imaging device 1, the communication terminal 3, the image management device 5, and the information terminal 7 according to the present embodiment will be described with reference to FIGS. 9 to 11.

<<撮像装置>>
図９は、撮像装置１のハードウェア構成図の一例である。以下では、撮像装置１は、２つの撮像素子を使用した全方位撮像装置とするが、３つ以上の撮像素子を使用した全方位撮像装置としてもよい。また、撮像装置１は必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に撮像装置１と同じ機能を有するようにしてもよい。 <<Imaging device>>
FIG. 9 is an example of a hardware configuration diagram of the image pickup apparatus 1. In the following, the image pickup apparatus 1 is an omnidirectional image pickup apparatus using two image pickup elements, but may be an omnidirectional image pickup apparatus using three or more image pickup elements. Further, the image pickup device 1 does not necessarily have to be a device dedicated to omnidirectional image pickup, and by installing a retrofitted omnidirectional image pickup unit on an ordinary digital camera, smartphone, or the like, the image pickup device 1 has substantially the same function as the image pickup device 1. You can

図９に示されているように、撮像装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、複数のマイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、アンテナ１１７ａ、電子コンパス１１８及び加速度センサー１１９によって構成されている。 As illustrated in FIG. 9, the imaging apparatus 1 includes an imaging unit 101, an image processing unit 104, an imaging control unit 105, a plurality of microphones 108, a sound processing unit 109, a CPU (Central Processing Unit) 111, and a ROM (Read). Only Memory) 112, SRAM (Static Random Access Memory) 113, DRAM (Dynamic Random Access Memory) 114, operation unit 115, network I/F 116, communication unit 117, antenna 117a, electronic compass 118, and acceleration sensor 119. There is.

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。 Of these, the imaging unit 101 includes wide-angle lenses (so-called fish-eye lenses) 102a and 102b each having an angle of view of 180° or more for forming a hemispherical image, and two imaging provided corresponding to each wide-angle lens. It has elements 103a and 103b.

撮像素子１０３ａ，１０３ｂは、魚眼レンズによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサーやＣＣＤ(Charge Coupled Device)センサーなどの画像センサーを有している。また、撮像素子１０３ａ，１０３ｂは、画像センサーの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。 The image pickup elements 103a and 103b have image sensors such as a CMOS (Complementary Metal Oxide Semiconductor) sensor and a CCD (Charge Coupled Device) sensor that convert an optical image formed by a fisheye lens into image data of an electric signal and output the image data. Further, the image pickup devices 103a and 103b include a timing generation circuit that generates a horizontal or vertical synchronizing signal of the image sensor or a pixel clock, a register group in which various commands and parameters necessary for the operation of the image pickup device are set, and the like. Have

撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスで接続されている。撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５と、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４及び撮像制御ユニット１０５は、バス１１０を介してＣＰＵ１１１と接続される。さらに、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、電子コンパス１１８及び加速度センサー１１９なども接続される。 The image pickup devices 103a and 103b of the image pickup unit 101 are each connected to the image processing unit 104 by a parallel I/F bus. The image pickup devices 103a and 103b of the image pickup unit 101 are connected to the image pickup control unit 105 via a serial I/F bus (I2C bus or the like). The image processing unit 104 and the imaging control unit 105 are connected to the CPU 111 via the bus 110. Further, the bus 110 is also connected to the ROM 112, SRAM 113, DRAM 114, operation unit 115, network I/F 116, communication unit 117, electronic compass 118, acceleration sensor 119, and the like.

画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込む。そして、画像処理ユニット１０４は、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、例えば図３（ｃ）に示されているようなメルカトル画像のデータを作成する。 The image processing unit 104 takes in image data output from the image pickup devices 103a and 103b through a parallel I/F bus. Then, the image processing unit 104 performs a predetermined process on each image data, and then performs a synthesizing process on these image data, for example, data of a Mercator image as shown in FIG. 3C. To create.

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、該撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。 The image pickup control unit 105 generally sets the image pickup control unit 105 as a master device and the image pickup devices 103a and 103b as slave devices, and sets a command or the like in a register group of the image pickup devices 103a and 103b using the I2C bus. Necessary commands and the like are received from the CPU 111. Further, the image pickup control unit 105 also uses the I2C bus to fetch the status data and the like of the register group of the image pickup elements 103a and 103b and send them to the CPU 111.

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。なお、撮像装置１は、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を有している場合もある。この場合、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。 The imaging control unit 105 also instructs the imaging elements 103a and 103b to output image data at the timing when the shutter button of the operation unit 115 is pressed. The image pickup apparatus 1 may have a preview display function on a display or a function corresponding to moving image display. In this case, the output of the image data from the image pickup devices 103a and 103b is continuously performed at a predetermined frame rate (frame/minute).

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮像装置１には表示部が設けられていないが、表示部を設けてもよい。 Further, the image pickup control unit 105 also functions as a synchronization control unit that synchronizes the output timing of the image data of the image pickup devices 103a and 103b in cooperation with the CPU 111, as described later. In addition, in the present embodiment, the display unit is not provided in the imaging device 1, but the display unit may be provided.

複数のマイク１０８には、特定の方向の音を捉えやすい性質を持っている単一指向性や超指向性などの指向性マイクを利用する。複数のマイク１０８は例えば図１に示した撮像装置１の正面側、背面側、左側面側、右側面側、上部側、下部側からの音を捉えやすい位置にそれぞれ配置される。マイク１０８は捉えた音を音（信号）データに変換する。音処理ユニット１０９は、複数のマイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。 As the plurality of microphones 108, directional microphones such as unidirectionality and superdirectiveness, which have a property of easily capturing a sound in a specific direction, are used. The plurality of microphones 108 are respectively arranged at positions where it is easy to capture sounds from the front side, the back side, the left side surface, the right side surface, the upper side, and the lower side of the image pickup apparatus 1 shown in FIG. The microphone 108 converts the captured sound into sound (signal) data. The sound processing unit 109 takes in the sound data output from the plurality of microphones 108 through the I/F bus and performs a predetermined process on the sound data.

ＣＰＵ１１１は撮像装置１の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みのメルカトル画像のデータを記憶する。 The CPU 111 controls the entire operation of the image pickup apparatus 1 and executes necessary processing. The ROM 112 stores various programs for the CPU 111. The SRAM 113 and the DRAM 114 are work memories, and store programs executed by the CPU 111, data in the middle of processing, and the like. In particular, the DRAM 114 stores image data in the process of being processed by the image processing unit 104 and data of a processed Mercator image.

操作部１１５は、操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮像モードや撮像条件などを入力する。ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータ等とのインタフェース回路（ＵＳＢＩ／Ｆ等）の総称である。 The operation unit 115 is a general term for an operation button, a power switch, a shutter button, a touch panel having a display and operation function, and the like. The user operates the operation buttons to input various imaging modes, imaging conditions, and the like. The network I/F 116 is a generic term for an interface circuit (USB I/F, etc.) with an external medium such as an SD card or a personal computer.

また、ネットワークＩ／Ｆ１１６は無線、有線を問わずにネットワークインタフェースである場合も考えられる。ＤＲＡＭ１１４に記憶されたメルカトル画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、通信端末３等の外部装置に送信されたりする。 The network I/F 116 may be a network interface regardless of whether it is wireless or wired. The data of the Mercator image stored in the DRAM 114 is recorded on an external medium via this network I/F 116 or transmitted to an external device such as the communication terminal 3.

通信部１１７は、撮像装置１に設けられたアンテナ１１７ａを介して、WiFi(wireless fidelity)、ＮＦＣ、又はＬＴＥ（Long Term Evolution）等の無線技術によって、通信端末３等の外部装置と通信を行う。この通信部１１７によっても、メルカトル画像のデータを通信端末３の外部装置に送信することができる。 The communication unit 117 communicates with an external device such as the communication terminal 3 via a radio technology such as WiFi (wireless fidelity), NFC, or LTE (Long Term Evolution) via the antenna 117a provided in the imaging device 1. .. The communication unit 117 can also transmit the data of the Mercator image to the external device of the communication terminal 3.

電子コンパス１１８は、地球の磁気から撮像装置１の方位及び傾き(Roll回転角)を算出して、方位・傾き情報を出力する。この方位・傾き情報は、Exifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、及び画像データのデータ容量の各データも含まれている。加速度センサー１１９は撮像装置１の運動による動きの変化や重力による運動の変化を計測することで、撮像装置１の傾きを算出し、出力する。 The electronic compass 118 calculates the azimuth and tilt (Roll rotation angle) of the imaging device 1 from the magnetism of the earth, and outputs azimuth/tilt information. The azimuth/tilt information is an example of related information (metadata) along Exif, and is used for image processing such as image correction of a captured image. It should be noted that the related information also includes each data of the image pickup date and time of the image and the data capacity of the image data. The acceleration sensor 119 calculates and outputs the tilt of the image pickup apparatus 1 by measuring a change in movement due to the movement of the image pickup apparatus 1 or a change in movement due to gravity.

<<通信端末>>
次に、図１０を用いて、通信端末３のハードウェア構成を説明する。図１０は、無線通信機能を有したクレードルの場合の通信端末３のハードウェア構成図である。 << communication terminal >>
Next, the hardware configuration of the communication terminal 3 will be described with reference to FIG. FIG. 10 is a hardware configuration diagram of the communication terminal 3 in the case of the cradle having the wireless communication function.

図１０に示されているように、通信端末３は、通信端末３全体の動作を制御するＣＰＵ３０１、基本入出力プログラムを記憶したＲＯＭ３０２、ＣＰＵ３０１のワークエリアとして使用されるＲＡＭ(Random Access Memory)３０４、Wi-fi、ＮＦＣ、ＬＴＥ等でデータ通信する通信部３０５、撮像装置１と有線で通信するためのＵＳＢ Ｉ／Ｆ３０３、カレンダーや時間情報を保持するＲＴＣ（Real Time Clock）３０６を有している。 As shown in FIG. 10, the communication terminal 3 includes a CPU 301 that controls the overall operation of the communication terminal 3, a ROM 302 that stores a basic input/output program, and a RAM (Random Access Memory) 304 that is used as a work area of the CPU 301. , A communication unit 305 for data communication by Wi-fi, NFC, LTE, etc., a USB I/F 303 for wired communication with the imaging device 1, and an RTC (Real Time Clock) 306 for holding calendar and time information. There is.

また、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン３１０を備えている。なお、ＲＯＭ３０２には、ＣＰＵ３０１が実行するオペレーティングシステム（ＯＳ）、その他のプログラム、及び、種々データが記憶されている。また、通信部３０５は、アンテナ３０５ａを利用して無線通信信号により、無線ルータ９ａ等と通信を行う。 Further, a bus line 310 such as an address bus or a data bus for electrically connecting the above-mentioned respective parts is provided. The ROM 302 stores an operating system (OS) executed by the CPU 301, other programs, and various data. Further, the communication unit 305 communicates with the wireless router 9a or the like by a wireless communication signal using the antenna 305a.

図示する他、通信端末３はＧＰＳ（Global Positioning Systems）衛星又は屋内ＧＰＳとしてのＩＭＥＳ(Indoor MEssaging System）によって通信端末３の位置情報（緯度、経度、及び高度）を含んだＧＰＳ信号を受信するＧＰＳ受信部を備えていてもよい。 In addition to the figures, the communication terminal 3 receives a GPS signal including position information (latitude, longitude, and altitude) of the communication terminal 3 by a GPS (Global Positioning Systems) satellite or an IMES (Indoor MEssaging System) as an indoor GPS. A receiver may be provided.

<<画像管理装置、情報端末>>
図１１を用いて、画像管理装置５及び情報端末７のハードウェア構成例を説明する。図１１は画像管理装置５及び情報端末７のハードウェア構成図である。図１１は、情報端末７がノートＰＣの場合を示している。なお、画像管理装置５及び情報端末７は、ともにコンピュータである。そこで、以下では、画像管理装置５の構成について説明する。情報端末７の構成は画像管理装置５と同様であるとし、相違があるとしても本実施形態の説明に関し、支障がないものとする。 <<Image management device, information terminal>>
An example of the hardware configuration of the image management device 5 and the information terminal 7 will be described with reference to FIG. FIG. 11 is a hardware configuration diagram of the image management device 5 and the information terminal 7. FIG. 11 shows a case where the information terminal 7 is a notebook PC. The image management device 5 and the information terminal 7 are both computers. Therefore, the configuration of the image management device 5 will be described below. The configuration of the information terminal 7 is the same as that of the image management apparatus 5, and even if there is a difference, it does not hinder the description of the present embodiment.

画像管理装置５は画像管理装置５全体の動作を制御するＣＰＵ５０１、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶したＲＯＭ５０２、ＣＰＵ５０１のワークエリアとして使用されるＲＡＭ５０３を有する。また、画像管理装置５は画像管理装置５用のプログラム等の各種データを記憶するＨＤ５０４、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)５０５を有する。 The image management apparatus 5 includes a CPU 501 that controls the overall operation of the image management apparatus 5, a ROM 502 that stores a program used to drive the CPU 501 such as an IPL, and a RAM 503 that is used as a work area of the CPU 501. Further, the image management apparatus 5 has an HD 504 that stores various data such as a program for the image management apparatus 5, and an HDD (Hard Disk Drive) 505 that controls reading or writing of various data with respect to the HD 504 under the control of the CPU 501.

また、画像管理装置５はフラッシュメモリ等の記録メディア５０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ５０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ５０８を有する。ディスプレイ５０８にはタッチパネルが装着されていることが好ましい。また、画像管理装置５は通信ネットワーク９を利用してデータ通信するためのネットワークＩ／Ｆ５０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード５１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス５１２を有する。 The image management device 5 also includes a media drive 507 for controlling the reading or writing (storage) of data to the recording medium 506 such as a flash memory, and a display 508 for displaying various information such as a cursor, a menu, a window, characters, or an image. Have. A touch panel is preferably attached to the display 508. Further, the image management apparatus 5 uses a network I/F 509 for data communication using the communication network 9, a keyboard 511 having a plurality of keys for inputting characters, numerical values, various instructions, selection of various instructions, and the like. It has a mouse 512 for executing, selecting a processing target, moving a cursor, and the like.

また、画像管理装置５は、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Compact Disc Read Only Memory)５１３に対する各種データの読み出し又は書き込みを制御するＣＤ−ＲＯＭドライブ５１４を有する。また、画像管理装置５は、上記各構成要素を図１１に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５１０を備えている。 The image management device 5 also includes a CD-ROM drive 514 that controls reading or writing of various data from or into a CD-ROM (Compact Disc Read Only Memory) 513, which is an example of a removable recording medium. Further, the image management device 5 is provided with a bus line 510 such as an address bus or a data bus for electrically connecting the above components to each other as shown in FIG.

＜画像管理システム２００の機能について＞
ここでは、本実施形態の画像管理システム２００の一部を構成する、撮像装置１、通信端末３、画像管理装置５、及び情報端末７の各機能ブロックについて説明する。 <About the function of the image management system 200>
Here, each functional block of the imaging device 1, the communication terminal 3, the image management device 5, and the information terminal 7, which form a part of the image management system 200 of the present embodiment, will be described.

<<撮像装置１の機能構成>>
図１２は撮像装置の一例の機能ブロック図である。撮像装置１は、受付部１２、撮像部１３、集音部１４、接続部１５、記憶・読出部１９、記憶部１０００を有している。記憶部１０００には撮像装置１用のプログラム及び各種データが記憶されている。 <<Functional configuration of the imaging device 1>>
FIG. 12 is a functional block diagram of an example of the image pickup apparatus. The image pickup apparatus 1 includes a reception unit 12, an image pickup unit 13, a sound collection unit 14, a connection unit 15, a storage/readout unit 19, and a storage unit 1000. The storage unit 1000 stores programs and various data for the image pickup apparatus 1.

受付部１２はユーザ（図８では、撮影者Ｘ）からの操作入力を受け付ける。なお、撮像装置１は撮影者Ｘによる撮像のための操作がなくても自動的かつ定期的に周囲を撮像するようにしてもよい。また、撮像装置１は閲覧者Ｙによる画像管理装置５を介した操作入力を受け付けてもよい。 The reception unit 12 receives an operation input from the user (the photographer X in FIG. 8). Note that the image capturing apparatus 1 may automatically and periodically capture the surroundings without the image capturing operation of the photographer X. The imaging device 1 may also accept an operation input by the viewer Y via the image management device 5.

撮像部１３は、全方位画像を撮像する。集音部１４は複数の指向性マイクにより撮像装置１の周囲（各方向）の音を収音し、音データに変換する。接続部１５は、通信端末３からの電力供給を受けると共に、通信端末３とデータ通信を行う。また、記憶・読出部１９は記憶部１０００に各種データを記憶したり、記憶部１０００から各種データを読み出したりする。 The image capturing unit 13 captures an omnidirectional image. The sound collection unit 14 collects sounds around the imaging device 1 (in each direction) with a plurality of directional microphones and converts the sounds into sound data. The connection unit 15 receives power supply from the communication terminal 3 and performs data communication with the communication terminal 3. The storage/reading unit 19 also stores various data in the storage unit 1000 and reads various data from the storage unit 1000.

<<通信端末３の機能構成>>
図１３は通信端末の一例の機能ブロック図である。通信端末３は、送受信部３１、受付部３２、接続部３３、記憶・読出部３９及び記憶部３０００を有している。送受信部３１は無線ルータ９ａ及び通信ネットワーク９を介して、画像管理装置５と各種データの送受信を行う。 <<Functional configuration of communication terminal 3>>
FIG. 13 is a functional block diagram of an example of a communication terminal. The communication terminal 3 includes a transmission/reception unit 31, a reception unit 32, a connection unit 33, a storage/readout unit 39, and a storage unit 3000. The transmission/reception unit 31 transmits/receives various data to/from the image management device 5 via the wireless router 9 a and the communication network 9.

受付部３２はユーザからの操作入力を受け付ける。接続部３３は撮像装置１に電力供給すると共に、データ通信を行う。記憶部３０００は各種データを記憶する。記憶・読出部３９は記憶部３０００に各種データを記憶したり、記憶部３０００から各種データを読み出したりする。 The reception unit 32 receives an operation input from the user. The connection unit 33 supplies power to the imaging device 1 and performs data communication. The storage unit 3000 stores various data. The storage/readout unit 39 stores various data in the storage unit 3000 and reads out various data from the storage unit 3000.

<<画像管理装置５の機能構成>>
図１４は画像管理装置の一例の機能ブロック図である。図１４の画像管理装置５は、送受信部５１、人物検出部５２、サムネイル作成部５３、画面作成部５４、音声付加部５５及び記憶・読出部５９を有している。 <<Functional configuration of the image management device 5>>
FIG. 14 is a functional block diagram of an example of the image management device. The image management device 5 of FIG. 14 includes a transmission/reception unit 51, a person detection unit 52, a thumbnail creation unit 53, a screen creation unit 54, a voice addition unit 55, and a storage/readout unit 59.

また、画像管理装置５は記憶部５０００を有している。この記憶部５０００には、拠点管理ＤＢ、解析情報管理ＤＢ、撮像管理ＤＢ、画像管理ＤＢ、サムネイル管理ＤＢ、全方位画像などの画像データ、音声データを保存している。 The image management device 5 also has a storage unit 5000. The storage unit 5000 stores image data such as a site management DB, an analysis information management DB, an imaging management DB, an image management DB, a thumbnail management DB, an omnidirectional image, and audio data.

送受信部５１は通信ネットワーク９を介して通信端末３又は情報端末７と各種データの送受信を行う。人物検出部５２は、画像データから人物を検出する。この人物の検出は適切な特徴量の設定と、学習識別装置の設定により行われる。例えば、特徴量としては、Haar-like特徴、LBP(Local Binary Patterns)特徴、HOG(Histogram of Oriented Gradients)特徴などが知られている。また、学習識別装置としては、ＳＶＭ(Support Vector Machines)、AdaBoostを用いたカスケード分類などが知られている。ただし、これらに限られるものではなく人を検出できればよい。 The transmission/reception unit 51 transmits/receives various data to/from the communication terminal 3 or the information terminal 7 via the communication network 9. The person detection unit 52 detects a person from the image data. The detection of this person is performed by setting an appropriate feature amount and setting of the learning identification device. For example, Haar-like features, LBP (Local Binary Patterns) features, HOG (Histogram of Oriented Gradients) features, and the like are known as feature amounts. Known learning and identifying devices include SVM (Support Vector Machines) and cascade classification using AdaBoost. However, the present invention is not limited to these, as long as a person can be detected.

サムネイル作成部５３は、所定領域画像のサムネイル画像を作成する。画面作成部５４は情報端末７からの要求に応じて画面情報を生成する機能、生成した画面情報を配信する機能を有する。画面情報は、情報端末７が画面を表示するためのコンテンツである。例えば情報端末７のＷｅｂブラウザからアクセスがあった場合、画面作成部５４は記憶部５０００にアクセスし、コンテンツを動的に生成して、Ｗｅｂブラウザに返す。生成されるコンテンツは、ＨＴＭＬ、ＣＳＳやＪａｖａＳｃｒｉｐｔ（登録商標）などである。コンテンツを返されたＷｅｂブラウザはコンテンツを処理して画面をレンダリングする。 The thumbnail creating unit 53 creates a thumbnail image of a predetermined area image. The screen creation unit 54 has a function of generating screen information in response to a request from the information terminal 7 and a function of distributing the generated screen information. The screen information is content for the information terminal 7 to display a screen. For example, when there is access from the web browser of the information terminal 7, the screen creation unit 54 accesses the storage unit 5000, dynamically generates the content, and returns the content to the web browser. The generated content is HTML, CSS, Javascript (registered trademark), or the like. The web browser that returns the content processes the content and renders the screen.

また、音声付加部５５は全方位画像の画像位置（座標）に複数方向の音声データを対応付ける。記憶・読出部５９は、記憶部５０００に各種データを記憶したり、記憶部５０００から各種データを読み出したりする。 Further, the voice adding unit 55 associates voice data of a plurality of directions with image positions (coordinates) of the omnidirectional image. The storage/reading unit 59 stores various data in the storage unit 5000 and reads various data from the storage unit 5000.

<<情報端末７の機能構成>>
図１５は情報端末の一例の機能ブロック図である。情報端末７は、送受信部７１、受付部７２、表示制御部７３、表示部７４、音声再生部７５、記憶・読出部７９及び記憶部７０００を有している。記憶部７０００は各種データを記憶する。 <<Functional configuration of information terminal 7>>
FIG. 15 is a functional block diagram of an example of the information terminal. The information terminal 7 includes a transmission/reception unit 71, a reception unit 72, a display control unit 73, a display unit 74, a sound reproduction unit 75, a storage/readout unit 79, and a storage unit 7000. The storage unit 7000 stores various data.

送受信部７１は、通信ネットワーク９を介して画像管理装置５と各種データの送受信を行う。受付部７２はユーザ（図８では、閲覧者Ｙ）からの操作入力を受け付ける。表示制御部７３は画像管理装置５から送信されたコンテンツ（画面情報）を解釈して情報端末７のディスプレイ５０８に各種画面を表示させるための制御を行なう。 The transmission/reception unit 71 transmits/receives various data to/from the image management device 5 via the communication network 9. The reception unit 72 receives an operation input from the user (browser Y in FIG. 8). The display control unit 73 interprets the content (screen information) transmitted from the image management device 5 and controls the display 508 of the information terminal 7 to display various screens.

表示部７４はディスプレイ５０８に各種画面を表示させる。音声再生部７５は表示されている全方位画像の表示領域に応じた音声データを後述のように選択し、再生する。音声再生部７５は、全方位画像の表示領域に応じた音声データの音量を後述するように制御してもよい。音声追従制御部５７は、音声データの音量に応じて全方位画像の表示領域を後述のように切り替えてもよい。また、記憶・読出部７９は記憶部７０００に各種データを記憶したり、記憶部７０００から各種データを読み出したりする。 The display unit 74 causes the display 508 to display various screens. The audio reproducing unit 75 selects and reproduces audio data corresponding to the display area of the displayed omnidirectional image as described later. The audio reproduction unit 75 may control the volume of audio data corresponding to the display area of the omnidirectional image as described later. The voice tracking control unit 57 may switch the display area of the omnidirectional image according to the volume of the voice data as described below. Further, the storage/readout unit 79 stores various data in the storage unit 7000 and reads out various data from the storage unit 7000.

＜情報端末７に表示される画面例＞
図１６は画像管理装置にアクセスした情報端末に表示される画面の一例について説明する図である。図１６（ａ）は図３（ｃ）のメルカトル画像であり、全方位画像の全体を表している。情報端末７は全方位画像の表示領域が表示された図１６（ｂ）に示す表示画面を表示する。このように、情報端末７には全方位画像の一部分である表示領域が画面に表示されることになる。 <Example of screen displayed on information terminal 7>
FIG. 16 is a diagram illustrating an example of a screen displayed on the information terminal that has accessed the image management device. FIG. 16A is the Mercator image of FIG. 3C and shows the entire omnidirectional image. The information terminal 7 displays the display screen shown in FIG. 16B in which the display area of the omnidirectional image is displayed. In this way, the display area, which is a part of the omnidirectional image, is displayed on the screen of the information terminal 7.

本実施形態に係る画像管理システム２００では、撮像装置１においてマイク１０８で録音した複数方向の音声データを、図１７のように、全方位画像の座標（画像位置）と対応付けておく。図１７は、全方位画像の座標（画像位置）と対応付けられている複数方向の音声データを示した説明図である。 In the image management system 200 according to the present embodiment, audio data in a plurality of directions recorded by the microphone 108 in the image pickup apparatus 1 is associated with the coordinates (image position) of the omnidirectional image as shown in FIG. FIG. 17 is an explanatory diagram showing audio data in a plurality of directions associated with the coordinates (image positions) of the omnidirectional image.

なお、図１７は複数のマイク１０８で録音した方向が６つである例を示している。図１７は理解を容易とするために、音声データが対応付けられている座標を「×」で示しているが、表示しなくてもよい。また、例えば全方位画像の座標（画像位置）と複数方向の音声データとの対応付けは例えば図１８に示すような対応表により設定しておく。 Note that FIG. 17 shows an example in which the directions recorded by the plurality of microphones 108 are six. In FIG. 17, the coordinates associated with the audio data are indicated by “x” for easy understanding, but they may not be displayed. Further, for example, the correspondence between the coordinates (image positions) of the omnidirectional image and the audio data in a plurality of directions is set in advance by a correspondence table as shown in FIG.

図１８は全方位画像の座標（画像位置）と複数方向の音声データとを対応付ける対応表の一例の構成図である。なお、図１８の対応表は、撮像装置１の撮像ユニット１０１により撮像される全方位画像と、撮像装置１に配置されたマイク１０８の指向性の方向とに基づき、予め設定しておき、撮像装置１の記憶部１０００などに保存しておく。例えば撮像装置１は全方位画像や音声データを画像管理装置５に送信する際、図１８の対応表も画像管理装置５に送信しておく。また、図１８では全方位画像の座標（画像位置）を二次元座標で表しているが、図５に示したような全方位画像を３次元の立体球とし、三次元座標で表すようにしてもよい。 FIG. 18 is a block diagram of an example of a correspondence table that associates the coordinates (image positions) of the omnidirectional image with the audio data in a plurality of directions. The correspondence table of FIG. 18 is set in advance based on the omnidirectional image captured by the image capturing unit 101 of the image capturing apparatus 1 and the directionality of the microphone 108 arranged in the image capturing apparatus 1, and the image capturing is performed. It is saved in the storage unit 1000 or the like of the device 1. For example, when the image pickup apparatus 1 transmits an omnidirectional image or audio data to the image management apparatus 5, the correspondence table of FIG. 18 is also transmitted to the image management apparatus 5. Further, in FIG. 18, the coordinates (image position) of the omnidirectional image are represented by two-dimensional coordinates. However, the omnidirectional image as shown in FIG. 5 is a three-dimensional solid sphere and is represented by three-dimensional coordinates. Good.

情報端末７のＷｅｂブラウザからアクセスがあった場合、画像管理装置５の画面作成部５４は、情報端末７が例えば図１６（ｂ）のような画面を表示するための画面情報を生成する。また、画像管理装置５の音声付加部５５は、図１８の対応表により、全方位画像の画像位置（座標）に複数方向の音声データを対応付ける。 When there is access from the Web browser of the information terminal 7, the screen creation unit 54 of the image management device 5 generates screen information for the information terminal 7 to display a screen as shown in FIG. 16B, for example. Further, the audio adding unit 55 of the image management apparatus 5 associates the audio data of a plurality of directions with the image positions (coordinates) of the omnidirectional image according to the correspondence table of FIG.

情報端末７のＷｅｂブラウザは画像管理装置５からの画面情報及び図１８の対応表に基づいて全方位画像の初期表示領域を表示し、その初期表示領域に含まれる座標と対応付けられている音声データを再生する。図１７の例では、表示領域に「方向４音声に対応付けられた座標」が含まれるため、方向４音声の音声データが選択される。なお、選択される音声データは、図１８の対応表の画像位置（座標）が、表示領域の中心の座標に一番近いものであってもよい。 The Web browser of the information terminal 7 displays the initial display area of the omnidirectional image based on the screen information from the image management apparatus 5 and the correspondence table of FIG. 18, and the voice associated with the coordinates included in the initial display area. Play the data. In the example of FIG. 17, since the display area includes “coordinates associated with direction 4 voice”, voice data of direction 4 voice is selected. The selected audio data may have the image position (coordinates) in the correspondence table of FIG. 18 closest to the coordinates of the center of the display area.

図１９は情報端末において複数方向の音声から一方向の音声を選択して再生する処理の一例のフローチャートである。情報端末７の表示制御部７３は、例えば閲覧者Ｙから全方位画像の表示が要求されると、ステップＳ１１からステップＳ１２に進む。ステップＳ１２において、表示制御部７３は画像管理装置５から送信された画面情報により全方位画像の初期表示領域を表示する。 FIG. 19 is a flowchart of an example of a process of selecting and playing back one-direction audio from a plurality of directions of audio in the information terminal. For example, when the viewer Y requests the display of the omnidirectional image, the display control unit 73 of the information terminal 7 proceeds from step S11 to step S12. In step S12, the display control unit 73 displays the initial display area of the omnidirectional image based on the screen information transmitted from the image management device 5.

また、音声再生部７５は初期表示領域に対応する音声データを選択し、再生する。ここで言う「初期表示領域に対応する音声データ」とは、図１８の対応表の画像位置が、初期表示領域の中心の座標に一番近い音声データとする。なお、一番近い音声データが複数ある場合、音声再生部７５は例えば単位時間あたりの音量が大きい方を選択するようにしてもよい。なお、ステップＳ１２において、全方位画像と音声とは記録時間で同期して再生される。このように、本実施形態によれば、閲覧者Ｙは全方位画像が撮像された場所で表示領域の方向を見て立っているかのような臨場感のある体験ができる。 Further, the audio reproducing unit 75 selects and reproduces the audio data corresponding to the initial display area. The "audio data corresponding to the initial display area" referred to here is audio data whose image position in the correspondence table of FIG. 18 is closest to the coordinates of the center of the initial display area. If there is a plurality of closest audio data, the audio reproducing unit 75 may select, for example, one having a higher volume per unit time. In step S12, the omnidirectional image and the sound are reproduced in synchronization with each other during the recording time. As described above, according to this embodiment, the viewer Y can have a realistic experience as if he/she stands while looking at the direction of the display area at the place where the omnidirectional image is captured.

例えば閲覧者Ｙから全方位画像の表示領域を図２０のように動かす操作を受け付けると情報端末７はステップＳ１３からステップＳ１４に進む。ステップＳ１４において表示制御部７３は表示されていた全方位画像の初期表示領域を図２０のように移動させる。情報端末７は例えば閲覧者Ｙから全方位画像の表示終了が要求されるまでステップＳ１３〜Ｓ１５の処理を繰り返す。 For example, when the operation of moving the display area of the omnidirectional image as shown in FIG. 20 is accepted from the viewer Y, the information terminal 7 proceeds from step S13 to step S14. In step S14, the display control unit 73 moves the initial display area of the displayed omnidirectional image as shown in FIG. The information terminal 7 repeats the processing of steps S13 to S15 until the viewer Y requests the display end of the omnidirectional image, for example.

図２０は全方位画像の表示領域が動かされた場合に、再生される音声データが切り替わる様子を示した説明図である。音声再生部７５は移動後の表示領域に対応する音声データを選択し、再生する。図２０の例では移動後の表示領域の中心の座標に、図１８の対応表の画像位置が一番近い音声データである「方向３音声」の音声データが選択される。このように、本実施形態によれば、閲覧者Ｙは全方位画像が撮像された場所で顔の向きを変えたような臨場感のある体験ができる。 FIG. 20 is an explanatory diagram showing a state in which reproduced audio data is switched when the display area of the omnidirectional image is moved. The audio reproducing unit 75 selects and reproduces the audio data corresponding to the display area after the movement. In the example of FIG. 20, the voice data of “direction 3 voice”, which is the voice data whose image position in the correspondence table of FIG. 18 is closest to the center coordinate of the display area after movement, is selected. As described above, according to this embodiment, the viewer Y can have a realistic experience as if he or she changed the face direction at the place where the omnidirectional image was captured.

また、情報端末７は図２１に示すように、閲覧者Ｙから全方位画像の表示領域を拡大縮小する操作を受け付ける。図２１は全方位画像の表示領域が拡大される様子を示した説明図である。 In addition, as shown in FIG. 21, the information terminal 7 accepts an operation for enlarging or reducing the display area of the omnidirectional image from the viewer Y. FIG. 21 is an explanatory diagram showing a state in which the display area of the omnidirectional image is enlarged.

ここで言う「表示領域の拡大」は、いわゆるズームアップのことであり、画像を拡大する意味である。表示領域の拡大により、情報端末７の音声再生部７５は再生する音声の音量を大きくする。また「表示領域の縮小」は、いわゆるズームバックのことであり、画像を縮小する意味である。表示領域の縮小により、情報端末７の音声再生部７５は再生する音声の音量を小さくする。 The “enlargement of the display area” here is so-called zoom-up, and means enlarging the image. By expanding the display area, the audio reproducing unit 75 of the information terminal 7 increases the volume of the reproduced audio. Further, “reduction of display area” is so-called zoom back and means reduction of an image. By reducing the display area, the audio reproducing unit 75 of the information terminal 7 reduces the volume of the reproduced audio.

図２２は情報端末において表示領域の拡大縮小により再生する音声の音量を制御する処理の一例のフローチャートである。情報端末７の表示制御部７３は、例えば閲覧者Ｙから全方位画像の表示が要求されると、ステップＳ２１からステップＳ２２に進む。ステップＳ２２において、表示制御部７３は画像管理装置５から送信された画面情報により全方位画像の初期表示領域を等倍で表示する。また、音声再生部７５は初期表示領域に対応する音声データを選択し、標準音量で再生する。 FIG. 22 is a flowchart of an example of a process of controlling the volume of a sound reproduced by scaling the display area in the information terminal. For example, when the viewer Y requests the display of the omnidirectional image, the display control unit 73 of the information terminal 7 proceeds from step S21 to step S22. In step S22, the display control unit 73 displays the initial display area of the omnidirectional image at the same size according to the screen information transmitted from the image management device 5. Further, the audio reproducing unit 75 selects the audio data corresponding to the initial display area and reproduces it at the standard volume.

例えば閲覧者Ｙから全方位画像の表示領域を図２０のように動かす操作を受け付けると情報端末７はステップＳ２３からステップＳ２４に進む。ステップＳ２４において表示制御部７３は表示されていた全方位画像の初期表示領域を図２０のように移動させる。音声再生部７５は移動後の表示領域に対応する音声データを選択し、再生する。 For example, when the operation of moving the display area of the omnidirectional image as shown in FIG. 20 is accepted from the viewer Y, the information terminal 7 proceeds from step S23 to step S24. In step S24, the display control unit 73 moves the initial display area of the displayed omnidirectional image as shown in FIG. The audio reproducing unit 75 selects and reproduces the audio data corresponding to the display area after the movement.

一方、閲覧者Ｙから全方位画像の表示領域を図２０のように動かす操作を受け付けなければ情報端末７はステップＳ２３からステップＳ２５に進む。ステップＳ２５において表示制御部７３は閲覧者Ｙから全方位画像の表示領域を拡大縮小する操作を受け付けたか否かを判定する。 On the other hand, if the operation of moving the display area of the omnidirectional image as shown in FIG. 20 is not accepted from the viewer Y, the information terminal 7 proceeds from step S23 to step S25. In step S25, the display control unit 73 determines whether or not an operation of enlarging or reducing the display area of the omnidirectional image has been received from the viewer Y.

全方位画像の表示領域を拡大縮小する操作を受け付けたと判定すると、情報端末７の音声再生部７５はステップＳ２６に進み、表示領域の拡大縮小により再生する音声の音量を制御する。例えば音声再生部７５は表示領域が最大限に拡大された状態である場合に最大音量、表示領域が最小限に縮小された状態である場合に最小音量、表示領域が等倍の状態である場合に標準音量とする。 When it is determined that the operation for enlarging or reducing the display area of the omnidirectional image is received, the voice reproducing unit 75 of the information terminal 7 proceeds to step S26, and controls the volume of the voice to be reproduced by the enlargement or reduction of the display area. For example, the audio reproducing unit 75 has the maximum volume when the display area is enlarged to the maximum, the minimum volume when the display area is reduced to the minimum, and the display area is at the same size. To standard volume.

ステップＳ２３〜Ｓ２６の処理は例えば閲覧者Ｙから全方位画像の表示終了が要求されるまで繰り返される。なお、全方位画像の表示領域の拡大縮小の上限は、画面の仕様に従えばよい。このように、本実施形態によれば、閲覧者Ｙは全方位画像が撮像された場所にいて、表示領域に表示されている物体に近づいたり離れたりするような臨場感のある体験ができる。
［第２の実施形態］
第１の実施形態は、表示している全方位画像の表示領域に対応する音声を選択して再生していた。第２の実施形態は、より大きい音量で録音されている音声データの方向に、全方位画像の表示領域を自動的に切り替えるものである。 The processing of steps S23 to S26 is repeated until, for example, the viewer Y requests the display end of the omnidirectional image. The upper limit of enlargement/reduction of the display area of the omnidirectional image may be in accordance with the screen specifications. As described above, according to the present embodiment, the viewer Y can have a realistic experience of approaching or moving away from the object displayed in the display area at the place where the omnidirectional image is captured.
[Second Embodiment]
In the first embodiment, the sound corresponding to the display area of the displayed omnidirectional image is selected and reproduced. The second embodiment automatically switches the display area of the omnidirectional image in the direction of the audio data recorded at a higher volume.

図２３は、情報端末において大きい音量で録音されている音声データの方向に、全方位画像の表示領域を切り替える処理の一例のフローチャートである。情報端末７の表示制御部７３は、例えば閲覧者Ｙから全方位画像の表示が要求されると、ステップＳ３１からステップＳ３２に進む。ステップＳ３２において、表示制御部７３は画像管理装置５から送信された複数方向の音声データを参照し、どの時間に、どの音声データと表示領域とを選択するかを示す図２４のようなテーブルを作成する。 FIG. 23 is a flowchart of an example of a process of switching the display area of the omnidirectional image in the direction of the audio data recorded at a high volume in the information terminal. For example, when the viewer Y requests the display of the omnidirectional image, the display control unit 73 of the information terminal 7 proceeds from step S31 to step S32. In step S32, the display control unit 73 refers to the audio data in a plurality of directions transmitted from the image management device 5, and creates a table as shown in FIG. 24, which shows at which time the audio data and the display area are selected. create.

図２４はステップＳ３２においてテーブルを作成する処理の説明図である。図２４は４方向の音声データである例を示している。図２４（ａ）は４方向の音声データの時間ｔごとの音量レベルを表している。また、図２４（ｂ）はステップＳ３２で作成されるテーブルの一例を表している。 FIG. 24 is an explanatory diagram of the process of creating a table in step S32. FIG. 24 shows an example of four-direction audio data. FIG. 24A shows the volume level of the audio data in four directions for each time t. Further, FIG. 24B shows an example of the table created in step S32.

表示制御部７３は図２４（ａ）に示したように所定時間ごとに音量レベルの平均が最も大きい音声データの方向を選択し、図２４（ｂ）に示すようなテーブルを作成する。図２４（ｂ）は所定時間ごとに音量レベルの平均が最も大きい音声データの方向を表した一例のテーブルである。 The display control unit 73 selects the direction of the audio data having the largest average volume level at predetermined time intervals as shown in FIG. 24A, and creates a table as shown in FIG. FIG. 24B is an example of a table showing the direction of audio data having the largest average volume level for each predetermined time.

図２３のステップＳ３３に進み、表示制御部７３は図２４（ｂ）のテーブルに表された所定時間ごとの音声データの方向に基づき、その音声データと対応付けられた座標を中心とする全方位画像の表示領域を表示し、その音声データを再生する。ステップＳ３３の処理は例えば閲覧者Ｙから全方位画像の表示終了が要求されるまで繰り返される。 In step S33 of FIG. 23, the display control unit 73, based on the direction of the audio data for each predetermined time shown in the table of FIG. 24(b), has all directions centered on the coordinates associated with the audio data. The display area of the image is displayed and the audio data is reproduced. The process of step S33 is repeated until, for example, the viewer Y requests the end of the display of the omnidirectional image.

なお、より大きい音量で録音されている音声データの方向に、全方位画像の表示領域を自動的に切り替える処理（以下、自動音声追従処理という）は、例えば図２５に示すようにオン、オフできるようにしてもよい。 Note that the process of automatically switching the display area of the omnidirectional image in the direction of the audio data recorded at a higher volume (hereinafter referred to as the automatic audio tracking process) can be turned on and off as shown in FIG. 25, for example. You may do it.

図２５は自動音声追従処理のオン、オフ操作を閲覧者Ｙから受け付ける表示画面の一例のイメージ図である。図２５（ｂ）に示すように、情報端末７を操作する閲覧者Ｙは表示画面から自動音声追従処理のオン、オフを設定できる。 FIG. 25 is an image diagram of an example of a display screen for accepting the on/off operation of the automatic voice tracking process from the viewer Y. As shown in FIG. 25B, the viewer Y who operates the information terminal 7 can set ON/OFF of the automatic voice tracking process from the display screen.

図２６は自動音声追従処理がオンである場合に、自動音声追従処理を行う一例のフローチャートである。情報端末７の表示制御部７３は、例えば閲覧者Ｙから全方位画像の表示が要求されると、ステップＳ４１からステップＳ４２に進む。 FIG. 26 is a flowchart of an example of performing the automatic voice following process when the automatic voice following process is ON. When the viewer Y requests the display of the omnidirectional image, the display control unit 73 of the information terminal 7 proceeds from step S41 to step S42.

ステップＳ４２において、表示制御部７３は自動音声追従処理の設定がオン（ＯＮ）であるか否かを判定する。自動音声追従処理の設定がオンであれば、表示制御部７３は図２３に示したステップＳ３２〜Ｓ３３と同様な処理であるステップＳ４３〜Ｓ４４の処理を行う。 In step S42, the display control unit 73 determines whether or not the setting of the automatic voice tracking process is on (ON). When the setting of the automatic voice tracking process is on, the display control unit 73 performs the processes of steps S43 to S44 which are the same as the processes of steps S32 to S33 shown in FIG.

自動音声追従処理の設定がオンでなければ、ステップＳ４５において、表示制御部７３は画像管理装置５から送信された画面情報により全方位画像の初期表示領域を等倍で表示する。また、音声再生部７５は初期表示領域に対応する音声データを選択し、標準音量で再生する。 If the setting of the automatic voice tracking process is not on, the display control unit 73 displays the initial display area of the omnidirectional image at the same size in step S45 based on the screen information transmitted from the image management device 5. Further, the audio reproducing unit 75 selects the audio data corresponding to the initial display area and reproduces it at the standard volume.

例えば閲覧者Ｙから全方位画像の表示領域を図２０のように動かす操作を受け付けると情報端末７はステップＳ４５からステップＳ４６に進む。ステップＳ４６において表示制御部７３は、表示していた全方位画像の初期表示領域が動かされると、ステップＳ４７に進む。 For example, when the operation of moving the display area of the omnidirectional image as shown in FIG. 20 is accepted from the viewer Y, the information terminal 7 proceeds from step S45 to step S46. In step S46, the display control unit 73 proceeds to step S47 when the initial display area of the displayed omnidirectional image is moved.

ステップＳ４７において、音声再生部７５は移動後の表示領域に対応する音声データを選択し、再生する。ステップＳ４２〜Ｓ４７の処理は例えば閲覧者Ｙから全方位画像の表示終了が要求されるまで繰り返される。 In step S47, the audio reproduction unit 75 selects and reproduces the audio data corresponding to the display area after the movement. The processes of steps S42 to S47 are repeated until, for example, the viewer Y requests the end of the display of the omnidirectional image.

本実施形態によれば、閲覧者Ｙが音のしている方向を注視したい場合に、音のしている方向の表示領域に自動で表示が切り替えられる。また、音のしている方向の表示領域に自動で表示が切り替えられる機能は設定によりオン／オフできる。したがって、閲覧者Ｙは音のしている方向を注視しなくてもよい場合など、利用状況に合わせて機能をオン／オフできる。
［第３の実施形態］
第３の実施形態は、全方位画像の表示領域の中心と、図１８の対応表により音声データと対応付けられている全方位画像の座標（画像位置）との距離により、再生する音声の音量を制御するものである。 According to the present embodiment, when the viewer Y wants to gaze at the direction in which the sound is made, the display is automatically switched to the display area in the direction in which the sound is made. Also, the function of automatically switching the display to the display area in the direction of the sound can be turned on/off by setting. Therefore, the viewer Y can turn on/off the function according to the usage situation, such as when the viewer Y does not have to pay attention to the direction of the sound.
[Third Embodiment]
In the third embodiment, the volume of the sound to be reproduced is determined by the distance between the center of the display area of the omnidirectional image and the coordinates (image position) of the omnidirectional image associated with the audio data in the correspondence table of FIG. Is to control.

図２７は情報端末において全方位画像の表示領域の中心と、音声データと対応付けられている全方位画像の座標（画像位置）との距離により、再生する音声の音量を制御する処理の一例のフローチャートである。 FIG. 27 shows an example of a process of controlling the volume of a reproduced sound by the distance between the center of the display area of the omnidirectional image and the coordinates (image position) of the omnidirectional image associated with the audio data in the information terminal. It is a flowchart.

ステップＳ５１〜Ｓ５３の処理は図１９のステップＳ１１〜Ｓ１３と同様である。例えば閲覧者Ｙから全方位画像の表示領域を図２０のように動かす操作を受け付けると情報端末７はステップＳ５３からステップＳ５４に進む。ステップＳ５４において表示制御部７３は表示されていた全方位画像の初期表示領域を図２０のように移動させる。 The processes of steps S51 to S53 are the same as steps S11 to S13 of FIG. For example, when the operation of moving the display area of the omnidirectional image as shown in FIG. 20 is accepted from the viewer Y, the information terminal 7 proceeds from step S53 to step S54. In step S54, the display control unit 73 moves the initial display area of the displayed omnidirectional image as shown in FIG.

ステップＳ５５に進み、音声再生部７５は移動後の表示領域の中心の座標に、図１８の対応表の画像位置が一番近い音声データを選択される。ステップＳ５６に進み、音声再生部７５は移動後の表示領域の中心の座標と、ステップＳ５５で選択した音声データの画像位置との距離により、再生する音声の音量を決定する。例えば音声再生部７５は距離が近い（短い）ほど音量を大きくする。また、音声再生部７５は距離が遠い（長い）ほど音量を小さくする。 In step S55, the audio reproducing unit 75 selects the audio data whose image position in the correspondence table of FIG. 18 is closest to the coordinates of the center of the display area after the movement. In step S56, the audio reproducing unit 75 determines the volume of the audio to be reproduced based on the distance between the coordinates of the center of the display area after the movement and the image position of the audio data selected in step S55. For example, the sound reproducing unit 75 increases the volume as the distance is shorter (shorter). Further, the sound reproducing unit 75 reduces the volume as the distance becomes longer (longer).

ステップＳ５７に進み、音声再生部７５はステップＳ５６で決定した音量で音声の再生を行う。ステップＳ５３〜Ｓ５７の処理は例えば閲覧者Ｙから全方位画像の表示終了が要求されるまで繰り返される。このように、本実施形態によれば、閲覧者Ｙは全方位画像が撮像された場所にいて、表示領域に表示されている物体に近づいたり離れたりするような臨場感のある体験ができる。
［第４の実施形態］
第１〜第３の実施形態は、複数方向の音声から一つの方向の音声を選択して再生するものである。第４の実施形態は、閲覧者Ｙの周りに複数の音声再生部を配置し、複数の方向の音声を複数の音声再生部（例えばスピーカ）に割り当てて再生するものである。 Proceeding to step S57, the audio reproducing unit 75 reproduces audio at the volume determined in step S56. The processes of steps S53 to S57 are repeated until, for example, the viewer Y requests the end of the display of the omnidirectional image. As described above, according to the present embodiment, the viewer Y can have a realistic experience of approaching or moving away from the object displayed in the display area at the place where the omnidirectional image is captured.
[Fourth Embodiment]
In the first to third embodiments, a sound in one direction is selected from sounds in a plurality of directions and reproduced. In the fourth embodiment, a plurality of audio reproducing units are arranged around the viewer Y, and sounds in a plurality of directions are assigned to a plurality of audio reproducing units (for example, speakers) and reproduced.

図２８は複数の方向の音声を再生する様子を示した説明図である。第４の実施形態では全方位画像の表示領域の中心に図１８の対応表の画像位置が一番近い音声データを、閲覧者Ｙの前方に配置した音声再生部から再生するように処理を行う。 FIG. 28 is an explanatory diagram showing a state in which sounds in a plurality of directions are reproduced. In the fourth embodiment, processing is performed so that the audio data whose image position in the correspondence table of FIG. 18 is closest to the center of the display area of the omnidirectional image is reproduced from the audio reproduction unit arranged in front of the viewer Y. ..

例えば図２８の例では、閲覧者Ｙの前方に配置した音声再生部から、表示領域の中心に一番近い画像位置の音声データ（方向４音声）が再生される。また、閲覧者Ｙの後方、右側面、左側面に設置した音声再生部からも、対応する方向の音声データ（例えば後方：方向２音声、右側面：方向５音声、左側面：方向３音声）が再生される。 For example, in the example of FIG. 28, audio data (direction 4 audio) at the image position closest to the center of the display area is reproduced from the audio reproduction unit arranged in front of the viewer Y. In addition, the audio data of the corresponding direction is also output from the audio reproducing units installed on the back, right side, and left side of the viewer Y (for example, rear: direction 2 voice, right side: direction 5 voice, left side: direction 3 voice). Is played.

なお、複数の方向の音声を複数の音声再生部に割り当てる方法は図２８の例に限定するものではなく、既存のサラウンド方式を利用して、複数の音声再生部から音声を再生するようにしてもよい。 Note that the method of assigning audio in a plurality of directions to a plurality of audio reproduction units is not limited to the example of FIG. 28, and audio can be reproduced from a plurality of audio reproduction units using the existing surround method. Good.

＜まとめ＞
本実施形態では、全方位画像（静止画、動画）に対し、録音に使用したマイクの指向性を考慮した全方位画像上の座標に音声データを対応付けることができる。このように本実施形態では、全方位画像（静止画、動画）と、音声を方向ごとに録音できるマイクにより録音した音声データとを、全方位画像上の座標で対応付けておくことで、閲覧している表示領域に応じた音声を出力できる。 <Summary>
In this embodiment, audio data can be associated with the omnidirectional image (still image, moving image) and the coordinates on the omnidirectional image in consideration of the directivity of the microphone used for recording. As described above, in the present embodiment, the omnidirectional image (still image, moving image) and the voice data recorded by the microphone capable of recording the voice in each direction are associated with the coordinates on the omnidirectional image, so that the browsing is performed. A sound can be output according to the displayed area.

本実施形態によれば、閲覧している全方位画像の表示領域の方向からの音声を選択して出力できるので、より臨場感のある再生が可能となる。 According to the present embodiment, the sound from the direction of the display area of the omnidirectional image being viewed can be selected and output, so that more realistic reproduction is possible.

また、以上の実施例で示した図８などの構成例は、撮像装置１、通信端末３、画像管理装置５及び情報端末７の処理の理解を容易にするために、主な機能に応じて分割したものである。しかし、各処理単位の分割の仕方や名称によって、本願発明が制限されることはない。 In addition, in order to facilitate the understanding of the processing of the imaging device 1, the communication terminal 3, the image management device 5, and the information terminal 7, the configuration examples such as FIG. It is divided. However, the present invention is not limited by the division method or name of each processing unit.

撮像装置１、通信端末３、画像管理装置５及び情報端末７の処理は、処理内容に応じてさらに多くの処理単位に分割することもできる。また、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、画像管理装置５が有する機能の全て又は１以上を情報端末７が有していてよく、情報端末７が有する機能の全て又は１以上を画像管理装置５が有していてもよい。画像管理装置５の記憶部５０００は、画像管理装置５が直接有する他、画像管理装置５が読み書き可能な通信ネットワーク９上にあってもよい。 The processes of the imaging device 1, the communication terminal 3, the image management device 5, and the information terminal 7 can be divided into more processing units according to the processing content. It is also possible to divide one processing unit so as to include more processing. The information terminal 7 may have all or one or more of the functions of the image management apparatus 5, and the image management apparatus 5 may have all or one or more of the functions of the information terminal 7. The storage unit 5000 of the image management apparatus 5 may be directly included in the image management apparatus 5, or may be on the communication network 9 in which the image management apparatus 5 can read and write.

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。対応表、音声付加部５５は特許請求の範囲に記載した対応付け手段の一例である。表示制御部７３、表示部７４は表示手段の一例である。音声再生部７５は音声再生手段の一例である。送受信部５１は受信手段及び送信手段の一例である。 The present invention is not limited to the above specifically disclosed embodiments, and various modifications and changes can be made without departing from the scope of the claims. The correspondence table/speech addition unit 55 is an example of the associating unit described in the claims. The display control unit 73 and the display unit 74 are examples of display means. The audio reproduction unit 75 is an example of an audio reproduction unit. The transmitting/receiving unit 51 is an example of a receiving unit and a transmitting unit.

１ 撮像装置
３ 通信端末
５ 画像管理装置
７ 情報端末
９ 通信ネットワーク
９ａ 無線ルータ
１３ 撮像部
１４ 集音部
５４ 画面作成部
５５ 音声付加部
７３ 表示制御部
７４ 表示部
７５ 音声再生部
２００ 画像管理システム
１０００ 記憶部 DESCRIPTION OF SYMBOLS 1 Imaging device 3 Communication terminal 5 Image management device 7 Information terminal 9 Communication network 9a Wireless router 13 Imaging part 14 Sound collection part 54 Screen creation part 55 Audio addition part 73 Display control part 74 Display part 75 Audio reproduction part 200 Image management system 1000 Memory

特開２０１４−１１２３０２号公報JP, 2014-112302, A

Claims (9)

撮像装置が撮像した全方位画像を管理する画像管理装置と、前記全方位画像の表示領域を表示する情報端末と、を有する画像管理システムであって、
前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データを、前記撮像装置で撮像される全方位画像上の位置と対応付ける対応付け手段と、
前記情報端末において立体球に貼り付けることで作成された前記全方位画像上の表示領域を表示する表示手段と、
前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データのうち、表示する前記全方位画像上の少なくとも画角と座標で示される表示領域と、前記複数方向からの音声データに対応付けられた前記全方位画像上の位置と、に基づき、前記音声データを選択して再生する音声再生手段と、
を有し、
前記音声再生手段は、画角により前記全方位画像上の表示領域の拡大縮小を操作し、当該操作に応じて再生する前記音声データの音量を制御すること
を特徴とする画像管理システム。 An image management system comprising: an image management device that manages an omnidirectional image captured by an imaging device; and an information terminal that displays a display area of the omnidirectional image,
Corresponding means for associating voice data from a plurality of directions recorded in the image capturing device at the time of capturing the omnidirectional image with a position on the omnidirectional image captured by the image capturing device,
Display means for displaying a display area on the omnidirectional image created by pasting on a solid sphere in the information terminal,
Of the audio data recorded from the plurality of directions at the time of capturing the omnidirectional image, the display area indicated by at least the angle of view and the coordinates on the omnidirectional image to be displayed, and the audio data from the plurality of directions. Based on the position on the omnidirectional image associated with, the audio reproduction means for selecting and reproducing the audio data ,
Have a,
The audio reproduction means operates the enlargement/reduction of the display area on the omnidirectional image according to the angle of view, and controls the volume of the audio data to be reproduced according to the operation.
Image management system characterized by. 前記音声再生手段は、前記全方位画像上の表示領域が動かされた場合、移動後の前記全方位画像上の表示領域と、前記複数方向からの音声データに対応付けられた前記全方位画像上の位置と、に基づき選択した前記音声データに切り替えて再生すること
を特徴とする請求項１記載の画像管理システム。 When the display area on the omnidirectional image is moved, the audio reproducing unit displays the display area on the omnidirectional image after movement and the omnidirectional image associated with the audio data from the plurality of directions. 2. The image management system according to claim 1, wherein the audio data selected based on the position and is reproduced. 前記表示手段は、前記複数方向からの音声データのうち、最も大きい音量で録音されている前記音声データと対応付けられた前記全方位画像上の位置が表示されるように、前記全方位画像上の表示領域を切り替えること
を特徴とする請求項１又は２記載の画像管理システム。 The display means displays, on the omnidirectional image, a position on the omnidirectional image associated with the audio data recorded at the highest volume among the audio data from the plurality of directions. The image management system according to claim 1 or 2, wherein the display area is switched. 前記表示手段は、最も大きい音量で録音されている前記音声データと対応付けられた前記全方位画像上の位置が表示されるように、前記全方位画像上の表示領域を切り替える機能を設定によりオン／オフできること
を特徴とする請求項３記載の画像管理システム。 The display means is turned on by setting a function of switching the display area on the omnidirectional image so that the position on the omnidirectional image associated with the voice data recorded at the highest volume is displayed. The image management system according to claim 3, wherein the image management system can be turned on/off. 前記音声再生手段は、前記全方位画像上の表示領域の中心の座標と、再生する前記音声データと対応付けられた前記全方位画像上の位置の座標との距離により、再生する前記音声データの音量を制御すること
を特徴とする請求項１又は２記載の画像管理システム。 The audio reproduction means reproduces the audio data to be reproduced by the distance between the coordinates of the center of the display area on the omnidirectional image and the coordinates of the position on the omnidirectional image associated with the audio data to be reproduced. The image management system according to claim 1 or 2, wherein the volume is controlled. 前記音声再生手段は、前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データのうち、表示する前記全方位画像上の少なくとも画角と座標で示される表示領域と、前記複数方向からの音声データに対応付けられた前記全方位画像上の位置と、に基づき、ユーザの前方から再生する前記音声データを選択し、該選択した前記音声データを基準として前記ユーザの前方以外から再生する前記音声データを選択すること
を特徴とする請求項１乃至５何れか一項記載の画像管理システム。 The audio reproduction means includes a display area indicated by at least an angle of view and coordinates on the omnidirectional image to be displayed, out of audio data from a plurality of directions recorded by the imaging device when the omnidirectional image is captured. Based on the position on the omnidirectional image associated with the audio data from a plurality of directions, the audio data to be reproduced from the front of the user is selected, and other than the front of the user based on the selected audio data. The image management system according to any one of claims 1 to 5, wherein the audio data to be reproduced is selected from. 前記全方位画像を撮像すると共に、前記全方位画像の撮像時に前記複数方向からの音声データを録音する前記撮像装置、を更に有すること
を特徴とする請求項１乃至６何れか一項記載の画像管理システム。 7. The image according to any one of claims 1 to 6, further comprising: the imaging device that captures the omnidirectional image and that records audio data from the plurality of directions when the omnidirectional image is captured. Management system. 撮像装置が撮像した全方位画像の表示領域を表示する情報端末であって、
立体球に貼り付けることで作成された前記全方位画像上の表示領域を表示する表示手段と、
前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データのうち、表示する前記全方位画像上の少なくとも画角と座標で示される表示領域と、前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データを、前記撮像装置で撮像される全方位画像上の位置と対応付ける対応表により、前記複数方向からの音声データに対応付けられた前記全方位画像上の位置と、に基づき、前記音声データを選択して再生する音声再生手段と、
を有し、
前記音声再生手段は、画角により前記全方位画像上の表示領域の拡大縮小を操作し、当該操作に応じて再生する前記音声データの音量を制御すること
を特徴とする情報端末。 An information terminal for displaying a display area of an omnidirectional image captured by an imaging device,
Display means for displaying a display area on the omnidirectional image created by pasting on a solid sphere,
Of audio data from a plurality of directions recorded in the image pickup device at the time of capturing the omnidirectional image, a display area indicated by at least an angle of view and coordinates on the omnidirectional image to be displayed, and at the time of capturing the omnidirectional image. The omnidirectional image associated with the audio data from the plurality of directions by a correspondence table that associates the audio data recorded in the image capturing apparatus from the plurality of directions with the position on the omnidirectional image captured by the image capturing apparatus. An audio reproducing means for selecting and reproducing the audio data based on the position above;
Have
The audio reproduction means operates the enlargement/reduction of the display area on the omnidirectional image according to the angle of view, and controls the volume of the audio data to be reproduced according to the operation.
Information terminal characterized by. 撮像装置が撮像した全方位画像の表示領域を表示する情報端末を、
立体球に貼り付けることで作成された前記全方位画像上の表示領域を表示する表示手段、
前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データのうち、表示する前記全方位画像上の少なくとも画角と座標で示される表示領域と、前記全方位画像の撮像時に前記撮像装置において録音された複数方向からの音声データを、前記撮像装置で撮像される全方位画像上の位置と対応付ける対応表により、前記複数方向からの音声データに対応付けられた前記全方位画像上の位置と、に基づき、前記音声データを選択して再生する音声再生手段、
として機能させ、
前記音声再生手段は、画角により前記全方位画像上の表示領域の拡大縮小を操作し、当該操作に応じて再生する前記音声データの音量を制御すること
を特徴とするプログラム。 An information terminal that displays the display area of the omnidirectional image captured by the imaging device,
Display means for displaying a display area on the omnidirectional image created by pasting on a solid sphere,
Of audio data from a plurality of directions recorded in the image pickup device at the time of capturing the omnidirectional image, a display area indicated by at least an angle of view and coordinates on the omnidirectional image to be displayed, and at the time of capturing the omnidirectional image. The omnidirectional image associated with the audio data from the plurality of directions by a correspondence table that associates the audio data recorded in the image capturing apparatus from the plurality of directions with the position on the omnidirectional image captured by the image capturing apparatus. Audio reproduction means for selecting and reproducing the audio data based on the position above
Function as
The audio reproduction means operates the enlargement/reduction of the display area on the omnidirectional image according to the angle of view, and controls the volume of the audio data to be reproduced according to the operation.
A program characterized by .
JP2016092674A 2016-05-02 2016-05-02 Image management system, program and information terminal Active JP6711118B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016092674A JP6711118B2 (en) 2016-05-02 2016-05-02 Image management system, program and information terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016092674A JP6711118B2 (en) 2016-05-02 2016-05-02 Image management system, program and information terminal

Publications (2)

Publication Number Publication Date
JP2017201743A JP2017201743A (en) 2017-11-09
JP6711118B2 true JP6711118B2 (en) 2020-06-17

Family

ID=60264706

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016092674A Active JP6711118B2 (en) 2016-05-02 2016-05-02 Image management system, program and information terminal

Country Status (1)

Country Link
JP (1) JP6711118B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3503102A1 (en) 2017-12-22 2019-06-26 Nokia Technologies Oy An apparatus and associated methods for presentation of captured spatial audio content
JP2022007824A (en) * 2020-06-25 2022-01-13 蔵人 小方 Digital camera focusing sound in front, back, left, right, and up and down six directions of digital camera imaging environment, starting accumulating sound source information from operation stage, and registering environmental sound within time specified by shutter operation with video in sd memory

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0955925A (en) * 1995-08-11 1997-02-25 Nippon Telegr & Teleph Corp <Ntt> Picture system
JP4414708B2 (en) * 2003-09-19 2010-02-10 株式会社リコー Movie display personal computer, data display system, movie display method, movie display program, and recording medium
JP2012119803A (en) * 2010-11-30 2012-06-21 Canon Inc Super-wide-angle video recording and reproducing device
US9930225B2 (en) * 2011-02-10 2018-03-27 Villmer Llc Omni-directional camera and related viewing software
JP5884421B2 (en) * 2011-11-14 2016-03-15 ソニー株式会社 Image processing apparatus, image processing apparatus control method, and program
JP5992210B2 (en) * 2012-06-01 2016-09-14 任天堂株式会社 Information processing program, information processing apparatus, information processing system, and information processing method
JP2014143678A (en) * 2012-12-27 2014-08-07 Panasonic Corp Voice processing system and voice processing method
JP6471418B2 (en) * 2014-06-25 2019-02-20 株式会社リコー Image / sound distribution system, image / sound distribution device, and image / sound distribution program
WO2016004258A1 (en) * 2014-07-03 2016-01-07 Gopro, Inc. Automatic generation of video and directional audio from spherical content

Also Published As

Publication number Publication date
JP2017201743A (en) 2017-11-09

Similar Documents

Publication Publication Date Title
JP6756269B2 (en) Communication terminals, image communication systems, communication methods, and programs
US10979751B2 (en) Communication management apparatus, method and computer-readable storage medium for generating image data identification information communication
US10778865B2 (en) Image processing apparatus, image processing system, and image processing method
US10721116B2 (en) Communication terminal, method for controlling display of image, and non-transitory computer-readable storage medium
JP2021039468A (en) Imaging device, communication system, communication method, and program
JP7420126B2 (en) System, management system, image management method, and program
JP6816465B2 (en) Image display systems, communication systems, image display methods, and programs
JP2014165763A (en) Editing device, editing method, and editing program
JP2017212510A (en) Image management device, program, image management system, and information terminal
US10147160B2 (en) Image management apparatus and system, and method for controlling display of captured image
JP6711118B2 (en) Image management system, program and information terminal
US10817980B2 (en) Information processing apparatus, information processing system, data generation method, and recording medium storing program code
JP7017045B2 (en) Communication terminal, display method, and program
JP2018026642A (en) Image management system, image communication system, image management method, and program
JP6586819B2 (en) Image management system, image communication system, image management method, and program
JP7006356B2 (en) Communication terminals, communication systems, communication methods, and programs
JP7205323B2 (en) Communication terminal, image communication system, display method, and program
JP6992338B2 (en) Communication system, communication management method, program, system and communication method
JP7354733B2 (en) Communication terminal, image communication system, display method, and program
JP6816403B2 (en) Image management system, image communication system, image management method, and program
JP2020162118A (en) Photographing device, photographing system, image processing method, and program
JP2022050534A (en) Communication terminal, communication system, communication method, display control method, and program
JP2017037423A (en) Image management system, image management method, image communication system, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200428

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200511

R151 Written notification of patent or utility model registration

Ref document number: 6711118

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151