JP7021900B2

JP7021900B2 - Image provision method

Info

Publication number: JP7021900B2
Application number: JP2017205549A
Authority: JP
Inventors: 英司岩田; 学植草
Original assignee: M Solutions Inc
Current assignee: M Solutions Inc
Priority date: 2017-10-24
Filing date: 2017-10-24
Publication date: 2022-02-17
Anticipated expiration: 2037-10-24
Also published as: JP2019080165A

Description

本発明は、画像提供方法に関し、特にドローンに搭載したカメラで被写体の周りを被写体に向けて撮影した動画から静止画像を切り出し、ポインティングデバイスの動きに合わせて静止画像を差し替える形で切り出した画像を提供する画像提供方法に関する。 The present invention relates to an image providing method, and in particular, cuts out a still image from a moving image taken by a camera mounted on a drone with the surroundings of the subject facing the subject, and replaces the still image according to the movement of a pointing device. Regarding the image providing method to be provided.

インターネットを通じて様々な商品を購入することが盛んになり、消費者は実店舗に行かずに、商品の販売元が提供するＷｅｂサイトの商品画像のみを見てその商品の購入を判断することも多い。
そのため商品画像は鮮明で見やすいことはもちろん、全体や細部の情報が十分に提供される必要がある。家電製品やインテリア商品などデザインを気にする商品では様々な角度から撮影された画像が提供されることが多い。特に自動車などでは画像をマウスなどのポインティングデバイスでクリックした状態で左右に動かすことにより、自動車の画像が回転するように表示され、３６０度の全ての方向から観察するように画像が提供されるものがある。 Purchasing various products through the Internet has become popular, and consumers often make decisions about purchasing products by looking only at the product images on the website provided by the seller of the product, without going to the actual store. ..
Therefore, it is necessary that the product image is clear and easy to see, and that sufficient information on the whole and details is provided. Images taken from various angles are often provided for products that care about design, such as home appliances and interior products. Especially in automobiles, by clicking the image with a pointing device such as a mouse and moving it left or right, the image of the automobile is displayed to rotate, and the image is provided so that it can be observed from all directions of 360 degrees. There is.

このように３６０度の全周を撮影した画像は、購入を希望する消費者にとって非常に便利であり、販売元にとっても商品を知ってもらうよいツールとなる。
しかし商品の３６０度の全周を撮影して提供するのは一般的には容易ではない。また
３６０度を閲覧できるように提供される画像は、従来被写体の周囲から撮影した画像を合成して１枚のパノラマ写真のように構成されるのが一般的で、画像合成の際に境界がひずまないようにするひずみ補正などの処理が必要であった。 The image of the entire circumference of 360 degrees is very convenient for the consumer who wants to purchase it, and it is a good tool for the seller to know the product.
However, it is generally not easy to photograph and provide the entire 360-degree circumference of a product. In addition, the image provided so that the 360-degree view can be viewed is generally composed as a single panoramic photograph by synthesizing the images taken from the surroundings of the subject in the past, and the boundary is set at the time of image composition. Processing such as strain correction to prevent distortion was required.

特許文献１には、アクチュエータにより回転位置、高さ、向きを変えることができるカメラで被写体の周りをまわりながら被写体を撮影し、画像を位置、時間と関連付けて保存し、表示装置ではマウスのポインタの座標に対応してマトリックス状に配列された画像の一枚が表示されることが開示されている。
カメラを回転させる専用の撮影システムを使用することで撮影が容易となるが、自動車などのように被写体が大型化すると、撮影システムも大がかりとなり撮影の費用や準備の時間も大幅に増加する。また家屋などの構造物の場合は専用システムを設置すること自体が困難である。 In Patent Document 1, a camera that can change the rotation position, height, and orientation by an actuator takes a picture of the subject while rotating around the subject, saves the image in association with the position and time, and displays the pointer of a mouse on the display device. It is disclosed that one of the images arranged in a matrix corresponding to the coordinates of is displayed.
Shooting becomes easier by using a dedicated shooting system that rotates the camera, but when the subject becomes large, such as in a car, the shooting system becomes large and the cost of shooting and the preparation time increase significantly. In the case of structures such as houses, it is difficult to install a dedicated system.

一方、大型の構造物の撮影にドローンに搭載したカメラを使うことも行われている。
特許文献２には、ドローンで撮影した対象物の動画から、一連の複数の画像を抽出し、位置関連情報と関連付けして管理する画像管理装置が開示されている。しかしこれは構造物の点検を目的とし構造物の経時変化が観察できることを狙ったものであり、商品の３６０度の全周を撮影して提供するものではない。 On the other hand, the camera mounted on the drone is also used for shooting large structures.
Patent Document 2 discloses an image management device that extracts a series of a plurality of images from a moving image of an object taken by a drone and manages them in association with position-related information. However, this is for the purpose of inspecting the structure, and is intended to be able to observe the change over time of the structure, and is not provided by photographing the entire circumference of the product at 360 degrees.

特開２００４－２４８２３１号公報Japanese Unexamined Patent Publication No. 2004-248231 特開２０１６－２１８６２６号公報Japanese Unexamined Patent Publication No. 2016-218626

本発明は、上記従来の画像提供方法における問題点に鑑みてなされたものであって、本発明の目的は、ドローンに搭載したカメラで被写体の周りを被写体に向けて撮影した動画から静止画像を切り出し、ポインティングデバイスの動きに合わせて静止画像を差し替える形で切り出した画像を提供する画像提供方法を提供することにある。 The present invention has been made in view of the problems in the above-mentioned conventional image providing method, and an object of the present invention is to obtain a still image from a moving image taken by a camera mounted on a drone with the surroundings of the subject directed toward the subject. It is an object of the present invention to provide an image providing method for providing a cut-out image in a form of replacing a still image according to the movement of a cut-out and pointing device.

上記目的を達成するためになされた本発明による画像提供方法は、被写体に対し撮影の中心となる中心点座標を設定し、ドローンで被写体の周りを周回しながらドローンに搭載したカメラで常に中心点座標に向けた動画を撮影して保存する段階と、画像提供装置にて前記撮影された動画から静止画像を切り出す段階と、画像提供装置が、閲覧端末におけるポインティングデバイスの操作を検出し、ポインティングデバイスの動きに合わせて静止画像を差し替える形で切り出した静止画像を閲覧端末に提供する段階と、を有し、前記撮影された動画は、被写体の形状により周回する高さを段階的に変えて飛行しながら同じ中心点座標に向けて撮影されたものであり、前記静止画像を閲覧端末に提供する段階は、閲覧端末におけるポインティングデバイスの操作がドラッグ操作の場合、ドラッグ操作に対応して保存した静止画像をそのままの形で高速で差し替えながら被写体が回転するように提供することを特徴とする。 In the image providing method according to the present invention, which has been made to achieve the above object, the center point coordinates that are the center of shooting are set for the subject, and the center point is always set by the camera mounted on the drone while orbiting around the subject with the drone. The stage of shooting and saving a moving image toward the coordinates, the stage of cutting out a still image from the shot moving image by the image providing device, and the image providing device detects the operation of the pointing device on the viewing terminal and the pointing device. It has a stage of providing a still image cut out in the form of replacing a still image according to the movement of the camera to a viewing terminal, and the captured moving image flies by gradually changing the orbiting height according to the shape of the subject. However, the images were taken toward the same center point coordinates, and the stage of providing the still image to the browsing terminal was saved in response to the drag operation when the operation of the pointing device on the browsing terminal was a drag operation. It is characterized by providing a still image as it is while replacing it at high speed so that the subject rotates .

前記ドローンが被写体の周りを周回する飛行ルートは被写体の平面形状に基づき設定され、前記静止画像を切り出す段階は、ドローンの飛行ルートと飛行速度に基づき、動画から切出す静止画像と該静止画像を撮影した位置の前記中心点座標を通る鉛直線を中心とする中心角とを対応付ける段階と、対応付けした中心角に基づき動画から一連の静止画像を選定する段階とを含むことが好ましい。
前記閲覧端末に提供される静止画像は、前記選定された一連の静止画像の中から抽出されることが好ましい。 The flight route around which the drone orbits the subject is set based on the planar shape of the subject, and the stage of cutting out the still image is based on the flight route and flight speed of the drone, and the still image cut out from the moving image and the still image are cut out. It is preferable to include a step of associating a central angle centered on a vertical straight line passing through the center point coordinates of the imaged position and a step of selecting a series of still images from moving images based on the associated central angle.
The still image provided to the viewing terminal is preferably extracted from the selected series of still images.

本発明に係る画像提供方法によれば、ドローンを使って被写体を撮影するため被写体が大きくても、また設置された被写体でも特別な器具を準備することなく簡単に撮影ができる。また飛行ルートを自由に設定できるため縦横比の大きい被写体や形状の複雑な被写体でも形状に合わせて周囲からの撮影をすることもできる。
撮影に際しては、被写体に対し撮影の中心となる中心点座標を設定し、常に中心点座標に向けた動画を撮影するため、３６０度の全周の閲覧に対しても自然な回転で静止画像の提供ができる。
また切出した静止画像は合成することなく、閲覧者のポインティングデバイスの操作に合わせて静止画像を差し替える形で提供されるため、切り出した静止画像に特別な加工が不要であり、ひずみ補正処理が不要で高解像度の画像を提供することができる。 According to the image providing method according to the present invention, since the subject is photographed by using the drone, even if the subject is large or the installed subject can be easily photographed without preparing a special instrument. In addition, since the flight route can be set freely, it is possible to shoot from the surroundings according to the shape of a subject with a large aspect ratio or a subject with a complicated shape.
When shooting, the coordinates of the center point, which is the center of shooting, are set for the subject, and the video is always shot toward the coordinates of the center point. Can be provided.
In addition, since the cut out still image is provided in the form of replacing the still image according to the operation of the viewer's pointing device without compositing, no special processing is required for the cut out still image, and no distortion correction processing is required. Can provide high resolution images.

本発明の実施形態による画像提供方法を実現するための画像提供システムを概略的に示すブロック図である。It is a block diagram schematically showing the image providing system for realizing the image providing method by embodiment of this invention. 本発明の実施形態による画像提供方法における動画を撮影する方法を説明するための図である。It is a figure for demonstrating the method of taking a moving image in the image providing method by embodiment of this invention. 本発明の実施形態による画像提供方法における切り出した静止画像を提供する方法を説明するための図である。It is a figure for demonstrating the method of providing the cut-out still image in the image providing method by embodiment of this invention. 本発明の実施形態による画像提供方法を説明するためのフローチャートである。It is a flowchart for demonstrating the image providing method by embodiment of this invention.

次に、本発明に係る画像提供方法を実施するための形態の具体例を、図面を参照しながら詳細に説明する。
図１は、本発明の実施形態による画像提供方法を実現するための画像提供システムを概略的に示すブロック図である。
図１を参照すると、画像提供システム１は、ネットワーク５を介して接続される画像提供装置１０、閲覧端末３０、及び画像提供装置１０とは分離されたドローン２０を含む。
ネットワーク５は、インターネットなどの広域ネットワークである。 Next, a specific example of the embodiment for carrying out the image providing method according to the present invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram schematically showing an image providing system for realizing an image providing method according to an embodiment of the present invention.
Referring to FIG. 1, the image providing system 1 includes an image providing device 10, a viewing terminal 30, and a drone 20 separated from the image providing device 10 connected via the network 5.
The network 5 is a wide area network such as the Internet.

画像提供装置１０は、被写体の周りをドローン２０で段階的に高さを変えて飛行しながらドローン２０に備えられたカメラにより被写体に対し設定された中心点座標に常に向くように撮影された動画を取り込み、動画から静止画像を切り出して元の動画の撮影位置と対応付けて保存しておき、ユーザが被写体の画像の閲覧を希望する場合に、閲覧端末３０におけるポインタの動きを感知して、保存した静止画像を補正したり合成したりすることなく、ポインタの動きに対応して逐次差し替える形で提供する装置である。 The image providing device 10 is a moving image taken by the camera provided in the drone 20 so as to always face the center point coordinates set for the subject while flying around the subject by gradually changing the height with the drone 20. Is taken in, a still image is cut out from the moving image, and the image is saved in association with the shooting position of the original moving image. It is a device that provides a saved still image in the form of sequentially replacing it according to the movement of the pointer without correcting or synthesizing it.

このように画像提供装置１０は、保存した静止画像をそのままの形で高速で差し替えながら提供するために、ユーザはあたかも連続した３Ｄ画像を、視点を変えながら動かして観察しているように閲覧でき、商品の３６０度の全周及び上方からの視点の静止画像を違和感なく見ることができる。また画像提供装置１０の提供する静止画像は事前に連続画像に合成する必要がなく、隣接する画像とのひずみを合わせるための補正も必要がなく、切り出した画像を、解像度を落とさずに提供することもできる。 In this way, the image providing device 10 provides the saved still image as it is while replacing it at high speed, so that the user can browse the continuous 3D image as if he / she is moving and observing while changing the viewpoint. , You can see the still image of the 360-degree whole circumference of the product and the viewpoint from above without any discomfort. Further, the still image provided by the image providing device 10 does not need to be combined with a continuous image in advance, and does not need to be corrected to match the distortion with the adjacent image, and the cut out image is provided without degrading the resolution. You can also do it.

画像提供装置１０が取り込む動画は、事前にドローン２０に備えられたカメラにより撮影される。そこでまずドローン２０について説明する。
図１を参照すると、ドローン２０は、飛行のための制御情報や設定データなどを入出力する入出力部２２、撮影した動画データや制御プログラムなどを保存する記憶部２３、飛行するためのプロペラやプロペラを回転するためのモータなどの駆動部２４、動画を撮影する画像取得部２５、及びこれら構成要素を制御する制御部２１を含む。画像取得部２５はドローン２０に後から取り付けるカメラのように、ドローン２０の本体には内蔵せず、外付けの構成要素としてもよい。この場合カメラが撮影した動画を保存する記憶部はドローン２０本体の記憶部２３とは別に、カメラに装着するメモリカードのような記憶媒体に設けるようにしてもよい。 The moving image captured by the image providing device 10 is shot by a camera provided in the drone 20 in advance. Therefore, the drone 20 will be described first.
Referring to FIG. 1, the drone 20 has an input / output unit 22 for inputting / outputting control information and setting data for flight, a storage unit 23 for storing captured video data and control programs, a propeller for flight, and the like. It includes a drive unit 24 such as a motor for rotating a propeller, an image acquisition unit 25 for capturing moving images, and a control unit 21 for controlling these components. The image acquisition unit 25 may not be built in the main body of the drone 20 like a camera attached to the drone 20 later, but may be an external component. In this case, the storage unit for storing the moving image captured by the camera may be provided in a storage medium such as a memory card attached to the camera, separately from the storage unit 23 of the drone 20 main body.

以下では画像取得部２５はドローン２０に取り付けられたカメラを含み、カメラで撮影する動画はカメラに装着されるメモリカードに保存されるものとして説明する。但し、この構成はあくまで説明のためであり、ドローン２０が内蔵するカメラで撮影し、撮影した動画をドローン２０本体の記憶部２３に保存する構成でも、これらの組み合わせでも構わない。 Hereinafter, the image acquisition unit 25 includes a camera attached to the drone 20, and a moving image taken by the camera will be described as being stored in a memory card mounted on the camera. However, this configuration is for the sake of explanation only, and may be a configuration in which a camera built in the drone 20 is used and the shot moving image is stored in the storage unit 23 of the drone 20 main body, or a combination thereof may be used.

現在様々な形状や仕様を備えたドローンが開発され、実用化されているが、画像提供システム１で使用するドローン２０は、特別なものである必要はなく、飛行条件が設定でき、飛行しながら被写体の動画が撮影できれば、こうした既に実用化されたドローンであってもよい。 Currently, drones with various shapes and specifications have been developed and put into practical use, but the drone 20 used in the image providing system 1 does not need to be special, flight conditions can be set, and while flying. As long as a moving image of the subject can be taken, such a drone that has already been put into practical use may be used.

ドローン２０は被写体の全周を撮影するために、ドローン２０が被写体の周りを飛行する飛行ルートが設定される。飛行ルートの設定に当たり、被写体には飛行ルートの中心でありまた撮影の中心となる中心点座標が設定される。
飛行ルートは中心点座標を通る鉛直線を中心軸とし、被写体の周囲を周回するように設定する。被写体の周りを１周する間、一定の高さを維持するような飛行ルートとし、さらに、上方から見下ろすような視点の画像を提供するように、１周するごとに段階的に高さを変える飛行ルートとする。 In order for the drone 20 to photograph the entire circumference of the subject, a flight route through which the drone 20 flies around the subject is set. When setting the flight route, the coordinates of the center point, which is the center of the flight route and the center of shooting, are set for the subject.
The flight route is set to orbit around the subject with the vertical straight line passing through the coordinates of the center point as the central axis. The flight route maintains a constant height while making one round around the subject, and the height is changed step by step with each round so as to provide an image of the viewpoint looking down from above. The flight route.

設定された飛行ルートは、ドローン２０の本体の記憶部２３に保存される。他の実施形態では、飛行ルートはドローン２０本体とは別に設けられたドローン２０のコントローラの記憶部に保存され、コントローラの指示により飛行ルートに沿った飛行をするように制御してもよい。 The set flight route is stored in the storage unit 23 of the main body of the drone 20. In another embodiment, the flight route is stored in the storage unit of the controller of the drone 20 provided separately from the drone 20 main body, and may be controlled to fly along the flight route according to the instruction of the controller.

このように設定した飛行ルートをドローン２０が飛行しながらドローン２０に搭載されたカメラで被写体の動画を撮影するが、カメラは常に中心点座標を向くようにして撮影を行う。このためドローン２０のカメラを取り付ける取付台は、図示していないが、アクチュエータを備え、ドローン２０の制御部２１は、飛行に伴いカメラが常に中心点座標を向くように制御する。
こうしてドローン２０が設定された飛行ルートに沿って飛行する間、ドローン２０本体に取り付けられたカメラにより被写体の動画が撮影され、撮影された動画はカメラに装着されたメモリカードに保存される。
撮影された動画は、画像提供装置１０で加工されて利用される。 While the drone 20 is flying on the flight route set in this way, the camera mounted on the drone 20 shoots a moving image of the subject, but the camera always shoots so as to face the center point coordinates. Therefore, although the mounting base on which the camera of the drone 20 is mounted is not shown, an actuator is provided, and the control unit 21 of the drone 20 controls the camera so that the camera always faces the center point coordinate during flight.
While the drone 20 flies along the set flight route in this way, a moving image of the subject is shot by a camera attached to the drone 20 main body, and the shot moving image is stored in a memory card attached to the camera.
The captured moving image is processed by the image providing device 10 and used.

画像提供装置１０は、データの入出力を行う入出力部１２、取得した動画やそれから切り出した静止画像などのデータの他、自身の動作を制御するプログラムなどを記憶する記憶部１３、静止画像などのデータや動画から静止画像を切り出す条件を設定するプログラムなどを表示する表示部１４、ドローン２０が撮影した動画を取得して静止画像を切り出して管理する撮影情報管理部１５、及びユーザの操作する閲覧端末３０のポインティングデバイスの動きに合わせて静止画像を提供する閲覧情報管理部１６を含む。 The image providing device 10 has an input / output unit 12 for inputting / outputting data, a storage unit 13 for storing data such as acquired moving images and still images cut out from the acquired video, and a storage unit 13 for controlling its own operation, still images, and the like. A display unit 14 that displays a program for setting conditions for cutting out still images from data and moving images, a shooting information management unit 15 that acquires videos taken by the drone 20 and cuts out and manages still images, and a user operation. It includes a browsing information management unit 16 that provides a still image according to the movement of the pointing device of the browsing terminal 30.

撮影情報管理部１５は、ドローン２０が飛行しながらドローン２０に備えられたカメラで撮影された動画を取り込み、記憶部１３に保存する。動画の取り込みは、撮影終了後、カメラに装着されて動画が保存されたメモリカードを抜き取り、画像提供装置１０に読み込ませることで行う。ドローン２０が通信機能を備える場合は、インターネットを介してカメラから画像提供装置１０に撮影した動画を送信するようにしてもよい。 The shooting information management unit 15 captures a moving image taken by a camera provided in the drone 20 while the drone 20 is flying, and stores the moving image in the storage unit 13. After the shooting is completed, the moving image is taken out by removing the memory card attached to the camera and storing the moving image and loading it into the image providing device 10. When the drone 20 has a communication function, the moving image taken by the camera may be transmitted from the camera to the image providing device 10 via the Internet.

撮影情報管理部１５は、保存した動画から静止画像を切り出す。動画から静止画像を切り出すアプリケーションはさまざまなものが実用化されているが、切り出した複数の静止画像を閲覧端末３０におけるポインタの動きに合わせて提供しやすいように、静止画像同士の位置関係を対応付けておく必要があり、専用のアプリケーションを使用する。 The shooting information management unit 15 cuts out a still image from the saved moving image. Various applications for cutting out still images from moving images have been put into practical use, but the positional relationship between the still images is supported so that a plurality of cut out still images can be easily provided according to the movement of the pointer on the viewing terminal 30. Must be attached and use a dedicated application.

カメラが撮影した動画から静止画像を切り出す際に、切り出した静止画像同士の位置関係を明確にしておくために、その静止画像が撮影された位置をその静止画像と対応付けて保存する。動画は時間当たりの撮影コマ数が決まっており、撮影開始から何コマ目の画像かによって撮影された時刻が特定できる一方、ドローン２０の飛行速度がわかれば、飛行ルート上の時間ごとのドローンの２０の位置が割り出せるので、動画の中の各画像との関連を求めることができる。そこでドローン２０は撮影の間一定速度で飛行することが好ましい。ただしドローン２０の飛行条件からドローン２０の時間ごとの位置が特定できれば、撮影の間一定速度で飛行する必要はない。 When a still image is cut out from a moving image taken by a camera, the position where the still image is taken is saved in association with the still image in order to clarify the positional relationship between the cut out still images. The number of frames shot per hour is fixed for the video, and the time when the video was shot can be specified by the number of frames from the start of shooting, while if the flight speed of the drone 20 is known, the drone for each hour on the flight route can be specified. Since the positions of 20 can be determined, the relationship with each image in the moving image can be obtained. Therefore, it is preferable that the drone 20 flies at a constant speed during shooting. However, if the position of the drone 20 for each hour can be specified from the flight conditions of the drone 20, it is not necessary to fly at a constant speed during shooting.

ドローン２０の飛行ルート及び飛行速度などの飛行条件は、撮影した動画と共に、或は動画とは別に画像提供装置１０に入力される。撮影情報管理部１５は、入力された飛行条件からドローン２０の時間ごとの位置を特定し、動画から静止画像を切り出す際に、その画像が撮影された位置をその画像と対応付けを行う。 Flight conditions such as the flight route and flight speed of the drone 20 are input to the image providing device 10 together with the captured moving image or separately from the moving image. The shooting information management unit 15 identifies the position of the drone 20 for each time from the input flight conditions, and when cutting out a still image from the moving image, associates the position where the image was taken with the image.

保存された動画は、段階的に高さを変えて撮影されており、同じ高さの動画をひとまとまりの動画データのブロックと見ることができる。一つのブロックは同一平面上で被写体の周りを１周する画像の集合と見なせるので、この平面上における基準方向からの中心角でその撮影位置を確定することができる。
撮影情報管理部１５は、それぞれの高さの飛行ルートに沿って撮影された動画から静止画像を切り出し、上記のように中心点座標を通る鉛直線を中心軸とし、基準方向からの中心軸周りの中心角と対応付けて保存する。 The saved video is shot at different heights in stages, and videos of the same height can be viewed as a block of video data. Since one block can be regarded as a set of images that make one round around the subject on the same plane, the shooting position can be determined by the central angle from the reference direction on this plane.
The shooting information management unit 15 cuts out a still image from the moving image shot along the flight route at each height, sets the vertical straight line passing through the center point coordinates as the central axis as described above, and around the center axis from the reference direction. Save in association with the central angle of.

ところで、ユーザが閲覧端末３０で商品画像を回転するように閲覧する際、必ずしも動画をそのまま閲覧するほどの連続性は必要ない。即ち撮影した動画を全て静止画像に切出して提供する必要はない。
一実施形態では、それぞれの高さの飛行ルートに沿って撮影された動画から静止画像を切出して中心角と対応付けを行った後、互いに一定の中心角Δθだけずれた位置に相当する静止画像のみを選定してひとまとまりの提供画像データとして保存する。 By the way, when the user browses the product image in a rotating manner on the browsing terminal 30, it is not always necessary to have the continuity of browsing the moving image as it is. That is, it is not necessary to cut out all the captured moving images into still images and provide them.
In one embodiment, a still image is cut out from a moving image taken along a flight route at each height, associated with a central angle, and then a still image corresponding to a position deviated from each other by a certain central angle Δθ. Select only and save it as a set of provided image data.

閲覧情報管理部１６は、ユーザの操作する閲覧端末３０のポインタの動きに合わせて撮影情報管理部１５が保存した静止画像を抽出して提供する。
ユーザが閲覧したい商品の画像を多方向から閲覧することを希望する場合、画像提供装置１０が静止画像を３Ｄ画像のように提供するＷｅｂページにアクセスすると、商品の代表的な静止画像が閲覧端末３０に提供され表示される。閲覧情報管理部１６は、ユーザの閲覧端末３０の閲覧のためのポインティングデバイスの操作を検出する。閲覧端末３０がマウスで操作される場合、閲覧のためのポインティングデバイスの操作の検出は、マウスのドラッグ操作の開始位置、移動方向や速度などを検出することで行われる。閲覧端末３０がタッチパネルにより操作される場合、閲覧のためのポインティングデバイスの操作の検出は、タッチパネルのドラッグ操作の開始位置、移動方向や速度などを検出することで行われる。 The browsing information management unit 16 extracts and provides a still image saved by the shooting information management unit 15 according to the movement of the pointer of the browsing terminal 30 operated by the user.
When the user wishes to browse the image of the product he / she wants to browse from multiple directions, when the image providing device 10 accesses a Web page that provides a still image like a 3D image, a typical still image of the product is viewed as a viewing terminal. Provided and displayed at 30. The browsing information management unit 16 detects the operation of the pointing device for browsing the browsing terminal 30 of the user. When the browsing terminal 30 is operated with a mouse, the operation of the pointing device for browsing is detected by detecting the start position, the moving direction, the speed, and the like of the drag operation of the mouse. When the browsing terminal 30 is operated by the touch panel, the operation of the pointing device for browsing is detected by detecting the start position, the moving direction, the speed, and the like of the drag operation of the touch panel.

閲覧情報管理部１６は、検出した閲覧のためのポインティングデバイスの操作に合わせて静止画像を抽出し差し替える形で撮影情報管理部１５が保存した静止画像を提供する。
画像提供装置１０が提供する静止画像は、動画から切り出したままひずみ補正等の加工を行うことがなく解像度も高いまま提供できるため、拡大表示しても不鮮明になることがない。そのため一実施形態では、閲覧情報管理部１６は閲覧端末３０でのドラッグ操作に対応して被写体が回転するように静止画像を提供するとともに、閲覧端末３０での拡大操作に対応して静止画像を拡大表示するように提供する。このために閲覧情報管理部１６は画像提供装置１０が静止画像を３Ｄ画像のように提供するＷｅｂページに、商品の画像を回転するように表示するモードと商品の画像を拡大するように表示するモードとの切り替えスイッチを含んでもよい。このような構成とすることで、例えば中古製品を紹介するような場合、ユーザは観察したい視野に製品を回転表示した後拡大表示して汚れや傷の状況などを詳細に観察することができる。 The browsing information management unit 16 provides a still image saved by the shooting information management unit 15 in a form of extracting and replacing a still image according to the operation of the detected browsing pointing device.
Since the still image provided by the image providing device 10 can be provided with high resolution without performing processing such as distortion correction while being cut out from the moving image, it does not become unclear even if it is enlarged and displayed. Therefore, in one embodiment, the browsing information management unit 16 provides a still image so that the subject rotates in response to a drag operation on the browsing terminal 30, and also provides a still image in response to an enlargement operation on the browsing terminal 30. Provide to enlarge. For this purpose, the browsing information management unit 16 displays a mode in which the image of the product is displayed so as to rotate and the image of the product is enlarged on the Web page in which the image providing device 10 provides the still image as a 3D image. It may include a switch for switching with the mode. With such a configuration, for example, when introducing a used product, the user can rotate the product in the field of view to be observed and then enlarge the display to observe the condition of dirt and scratches in detail.

入出力部１２は、閲覧端末３０からの静止画像の閲覧要求や静止画像の閲覧時のポインタの動きのデータなどを受信したり、これに対応して静止画像を送信したりするための通信手段を有する。また画像提供装置１０にデータやコマンドを入力するためのキーボードや、カメラで撮影された動画を読み込むためのカードリーダなどを含む。
記憶部１３は、動画やそれから切り出した静止画像などのデータを保存するため、ハードディスク装置や容量の大きい半導体メモリ装置などで具現化でき、記憶する情報が多い場合は外付けのメモリ装置として構成してもよい。
表示部１４は、液晶ディスプレイなどの表示装置で具現化される。
制御部１１は、マイクロプロセッサなどの論理回路を含む半導体装置を含んで具現化され、各構成要素間のデータの授受を行うバスの制御を含め１つの実装基板に収めた制御モジュールとして具現化してもよい。 The input / output unit 12 is a communication means for receiving a still image viewing request from the viewing terminal 30, data of pointer movement when viewing the still image, and transmitting the still image in response to the data. Have. It also includes a keyboard for inputting data and commands to the image providing device 10, a card reader for reading a moving image taken by a camera, and the like.
Since the storage unit 13 stores data such as moving images and still images cut out from it, it can be embodied in a hard disk device, a semiconductor memory device having a large capacity, or the like, and if there is a lot of information to be stored, it is configured as an external memory device. You may.
The display unit 14 is embodied in a display device such as a liquid crystal display.
The control unit 11 is embodied including a semiconductor device including a logic circuit such as a microprocessor, and is embodied as a control module housed in one mounting board including control of a bus that exchanges data between each component. May be good.

閲覧端末３０は、ユーザが被写体である商品の画像の閲覧を希望する場合に、静止画像を提供するＷｅｂページにアクセスしたり、ポインティングデバイスの操作に合わせて画像提供装置１０から提供される静止画像を表示したりするのに使用される。
このため閲覧端末３０は、入出力部３２、記憶部３３、表示部３４、及びこれらの構成要素を制御する制御部３１を含む。 The viewing terminal 30 accesses a Web page that provides a still image when the user wishes to view an image of a product that is a subject, or a still image provided from the image providing device 10 in accordance with an operation of a pointing device. Is used to display.
Therefore, the viewing terminal 30 includes an input / output unit 32, a storage unit 33, a display unit 34, and a control unit 31 that controls these components.

入出力部３２はインターネットを介して画像提供装置１０が静止画像を提供するＷｅｂページにアクセスしたり、静止画像を受信したりする通信手段を含む。また被写体の静止画像を別の視点から閲覧できるように被写体の静止画像をドラッグ操作するマウス又はタッチパネルなどのポインティングデバイスを含む。
記憶部３３は、自身を制御するプログラムなどを保存し、半導体メモリやハードディスク装置などの記憶装置で具現化される。
表示部３４は、Ｗｅｂページや画像提供装置１０から提供される静止画像を表示する液晶表示装置や有機ＥＬを用いた表示装置などで具現化される。
閲覧端末３０は、パーソナルコンピュータ、タブレット端末、スマートフォンなどで具現化される。 The input / output unit 32 includes a communication means for the image providing device 10 to access a Web page for providing a still image and receive a still image via the Internet. It also includes a pointing device such as a mouse or touch panel that drags the still image of the subject so that the still image of the subject can be viewed from another viewpoint.
The storage unit 33 stores a program or the like that controls itself, and is embodied in a storage device such as a semiconductor memory or a hard disk device.
The display unit 34 is embodied in a liquid crystal display device for displaying a still image provided by a Web page or an image providing device 10, a display device using an organic EL, or the like.
The browsing terminal 30 is embodied in a personal computer, a tablet terminal, a smartphone, or the like.

図２は本発明の実施形態による画像提供方法における動画を撮影する方法を説明するための図である。
図２を参照すると、被写体２１０は自動車であり、撮影のための駐車スペース２２０に駐車した状態で動画を撮影する方法を模式的に示している。
ドローン２０は、飛行のための４つのプロペラなどを含む駆動部２４と、ドローン２０本体の下部に取り付けられたカメラを含む画像取得部２５を備える。 FIG. 2 is a diagram for explaining a method of shooting a moving image in the image providing method according to the embodiment of the present invention.
With reference to FIG. 2, the subject 210 is an automobile, and a method of shooting a moving image while parked in a parking space 220 for shooting is schematically shown.
The drone 20 includes a drive unit 24 including four propellers for flight and the like, and an image acquisition unit 25 including a camera attached to the lower part of the drone 20 main body.

ドローン２０が被写体２１０の周りを飛行する飛行ルートの設定に当たり、被写体２１０には飛行ルートの中心でありまた撮影の中心となる中心点座標２３０が設定される。
図２では被写体２１０である自動車の屋根の中心付近に中心点座標２３０を示しているが、中心点座標２３０は仮想的なものであり、被写体２１０の外表面上である必要はなく、被写体２１０である自動車の室内の中心付近に設定してもよい。飛行ルートは中心点座標２３０を通る鉛直線を中心軸とし、被写体２１０の周囲を周回するように設定する。 When the drone 20 sets a flight route to fly around the subject 210, the center point coordinates 230, which is the center of the flight route and the center of shooting, are set in the subject 210.
In FIG. 2, the center point coordinates 230 are shown near the center of the roof of the automobile, which is the subject 210, but the center point coordinates 230 are virtual and do not have to be on the outer surface of the subject 210, and the subject 210. It may be set near the center of the interior of the automobile. The flight route is set so as to orbit around the subject 210 with the vertical straight line passing through the center point coordinates 230 as the central axis.

自然な３６０度の静止画像を取得するには中心点座標２３０を中心とする円形の飛行ルートが望ましいが、自動車のように幅と長さの差が大きい被写体２１０の場合や被写体２１０の周りにドローン２０が飛行する十分な空間が取れない場合は、被写体２１０の平面形状を考慮した飛行ルートとしてもよい。例えば被写体２１０が自動車の場合、車体の略長方形の平面形状に基づき楕円の飛行ルートとしてもよい。さらには被写体２１０が家などの複雑な平面形状の建物の場合は、建物の外形の平面形状に沿うような飛行ルートとしてもよい。 A circular flight route centered on the center point coordinates 230 is desirable for acquiring a natural 360-degree still image, but in the case of a subject 210 with a large difference in width and length such as a car, or around the subject 210. If there is not enough space for the drone 20 to fly, the flight route may be set in consideration of the planar shape of the subject 210. For example, when the subject 210 is an automobile, the flight route may be an ellipse based on the substantially rectangular planar shape of the vehicle body. Further, when the subject 210 is a building having a complicated plane shape such as a house, the flight route may be along the plane shape of the outer shape of the building.

ドローン２０は被写体２１０の周りを１周する間、一定の高さを維持し、１周するごとに段階的に高さを変えて、上方から見下ろすような視点の動画を撮影する。
図２では地面からの高さｈ１の飛行ルートｈ１と、高さをｈ２に変えた飛行ルートｈ２の２例のみを示したが、飛行ルートｈ２の上方にさらに高さを変えて飛行ルートｈ３、ｈ４、・・・を設定してもよい。
尚、図２では飛行ルートｈ１と飛行ルートｈ２は高さだけが異なるように示したが、高さが増すにつれて周回するルートを小回りに設定してもよい。この場合、例えば高さを変えても中心点座標２３０を中心とする仮想球面上を周回するような飛行ルートとしてもよい。 The drone 20 maintains a constant height while making one round around the subject 210, changes the height stepwise each time, and shoots a moving image from a viewpoint looking down from above.
In FIG. 2, only two examples of the flight route h1 having a height h1 from the ground and the flight route h2 having the height changed to h2 are shown, but the flight route h3 is further changed in height above the flight route h2. h4, ... may be set.
Although the flight route h1 and the flight route h2 are shown to differ only in height in FIG. 2, the route to be circulated may be set to a small turn as the height increases. In this case, for example, the flight route may be a flight route that orbits on a virtual sphere centered on the center point coordinate 230 even if the height is changed.

図２には、飛行ルートｈ１に沿って撮影された動画２４０と、飛行ルートｈ２に沿って撮影された動画２５０を撮影位置と対応するように示している。図２では被写体２１０である自動車の正面前方方向を基準方向とし、この方向から時計回りに中心角θを設定している。そこで高さｈ１で撮影された動画２４０の中の画像２４１は中心角θと対応付けられ、動画２４０の中の画像２４２は画像２４１と中心角Δθだけずれており、中心角（θ＋Δθ）と対応付けられる。 FIG. 2 shows the moving image 240 taken along the flight route h1 and the moving image 250 taken along the flight route h2 so as to correspond to the shooting positions. In FIG. 2, the front front direction of the automobile, which is the subject 210, is set as a reference direction, and the central angle θ is set clockwise from this direction. Therefore, the image 241 in the moving image 240 taken at the height h1 is associated with the central angle θ, and the image 242 in the moving image 240 is deviated from the image 241 by the central angle Δθ, and corresponds to the central angle (θ + Δθ). Attached.

飛行ルートｈ２に沿って地面からの高さｈ２で撮影された動画２５０も同様に、被写体２１０である自動車の正面前方方向を基準方向とし中心角にて、その位置を特定できる。動画２５０の中の画像２５１は画像２４１と同じ中心角で高さが異なる画像である。このように中心角で位置を規定することで、高さの異なる動画でもその位置関係を把握することができる。 Similarly, the moving image 250 shot at a height h2 from the ground along the flight route h2 can also specify its position at a central angle with the front front direction of the vehicle as the subject 210 as a reference direction. The image 251 in the moving image 250 is an image having the same central angle as the image 241 but different heights. By defining the position by the central angle in this way, it is possible to grasp the positional relationship even in moving images having different heights.

動画の撮影前の設定で時間当たりの撮影コマ数が決まっているので、ドローン２０が一定の速度で円を描くように飛行する場合は、被写体２１０の周りを１周する間に撮影したコマ数からそれぞれのコマに相当する静止画像の中心角を求めることができる。例えば撮影開始点を中心角０とし、被写体２１０の周りを１周する間にｎ（ｎは自然数）コマを撮影したとするとｍ（ｍは自然数）番目のコマに相当する静止画像の中心角θ_ｍは
θ_ｍ＝３６０（ｍ／ｎ）・・・（１）
で表すことができる。 Since the number of shots per hour is determined by the settings before shooting the movie, if the drone 20 flies in a circle at a constant speed, the number of shots taken while making one round around the subject 210. The central angle of the still image corresponding to each frame can be obtained from. For example, assuming that the shooting start point is a central angle of 0 and n (n is a natural number) frame is photographed while making one round around the subject 210, the central angle θ of the still image corresponding to the m (m is a natural number) th frame. _m is θ _m = 360 (m / n) ・・・ (1)
Can be represented by.

しかし、ドローン２０の飛行ルートが円でなかったり、飛行速度が一定でなかったりした場合は動画だけからでは中心角が求められない。そこで実施形態ではドローン２０の飛行ルートと飛行速度に基づき中心角を求める。
例えばドローン２０が基準方向から飛行開始し、飛行開始と同時に撮影コマ数ａ／秒で撮影を開始したとすると、ｍ（ｍは自然数）番目のコマに相当する画像を撮影した時点は撮影開始から（ｍ／ａ）秒後であるので、ドローン２０の飛行ルートと飛行速度に基づき飛行開始から（ｍ／ａ）秒後の位置を求め、これに対する基準方向からの中心軸周りの中心角を求めることにより、ｍ（ｍは自然数）番目のコマに相当する静止画像とその静止画像が取得された中心角とを対応付けることができる。 However, if the flight route of the drone 20 is not a circle or the flight speed is not constant, the central angle cannot be obtained from the video alone. Therefore, in the embodiment, the central angle is obtained based on the flight route and flight speed of the drone 20.
For example, if the drone 20 starts flying from the reference direction and starts shooting at the number of shot frames a / sec at the same time as the flight starts, the time when the image corresponding to the m (m is a natural number) th frame is taken is from the start of shooting. Since it is (m / a) seconds later, the position after (m / a) seconds from the start of flight is obtained based on the flight route and flight speed of the drone 20, and the central angle around the central axis from the reference direction is obtained. Thereby, the still image corresponding to the m (m is a natural number) th frame can be associated with the central angle from which the still image was acquired.

一実施形態では、それぞれの高さの飛行ルートに沿って撮影された動画から静止画像を切出して中心角と対応付けを行った後、切り出した静止画像を全て使用するのではなく、互いに一定の中心角Δθだけずれた位置に相当する静止画像のみを選定してひとまとまりの提供画像データとして保存する。そこで高さｈ１と高さｈ２で撮影された一連の動画からは高さと中心角により（ｈ１、０）、（ｈ１、Δθ）、（ｈ１、２Δθ）、（ｈ１、３Δθ）・・・で対応付けられる静止画像と、（ｈ２、０）、（ｈ２、Δθ）、（ｈ２、２Δθ）、（ｈ２、３Δθ）・・・で対応付けられる静止画像とが選定され保存される。 In one embodiment, a still image is cut out from a moving image taken along a flight route at each height and associated with a central angle, and then all the cut out still images are not used, but are constant to each other. Only the still images corresponding to the positions deviated by the central angle Δθ are selected and saved as a set of provided image data. Therefore, from a series of moving images shot at heights h1 and height h2, (h1, 0), (h1, Δθ), (h1, 2Δθ), (h1, 3Δθ), ... The attached still image and the still image associated with (h2, 0), (h2, Δθ), (h2, 2Δθ), (h2, 3Δθ), ... Are selected and saved.

この時、例えばΔθ、Δθ’、Δθ’’のように中心角のずれ量を変えた静止画像のセットをいくつか選定して画像を提供する際に使い分けられるようにして保存してもよい。
また他の実施形態では、撮影された動画から静止画像を切出す際に、全ての静止画像を切り出さずに、互いに一定の中心角Δθだけずれた位置に相当する静止画像のみを選定して切出すようにしてもよい。このように静止画像を間引いて切出すことにより、処理にかかる負荷を低減することができる。 At this time, some sets of still images with different central angle deviations, such as Δθ, Δθ', and Δθ'', may be selected and saved so that they can be used properly when providing the images.
In another embodiment, when cutting out a still image from a captured moving image, only the still image corresponding to a position deviated from each other by a certain central angle Δθ is selected and cut without cutting out all the still images. You may try to put it out. By thinning out still images in this way and cutting them out, the load on the processing can be reduced.

図３は、本発明の実施形態による画像提供方法における切り出した静止画像を提供する方法を説明するための図である。
図３を参照すると閲覧端末３０の表示画面３１０に閲覧する商品である被写体３２０が表示されており、被写体３２０は図２で示した被写体２１０と同じ自動車である。
矢印３４０は、矢印３４０の始点から終点に向かってドラッグ操作が行われたことを示し、この操作に伴い閲覧端末３０の表示画面３１０におけるポインタは、３３０から３３３と移動する。途中段階のポインタ３３１、３３２は移動の途中を示しており停止点を示しているわけではない。 FIG. 3 is a diagram for explaining a method of providing a cut-out still image in the image providing method according to the embodiment of the present invention.
Referring to FIG. 3, the subject 320, which is a product to be browsed, is displayed on the display screen 310 of the browsing terminal 30, and the subject 320 is the same automobile as the subject 210 shown in FIG.
The arrow 340 indicates that the drag operation has been performed from the start point to the end point of the arrow 340, and the pointer on the display screen 310 of the viewing terminal 30 moves from 330 to 333 with this operation. The pointers 331 and 332 in the middle stage indicate the middle of the movement and do not indicate the stop point.

ｈ１画像３５０は、高さｈ１の飛行ルートｈ１に沿って撮影された動画から切り出されて選定された一連の静止画像であり、ｈ２画像３６０は、高さｈ２の飛行ルートｈ２に沿って撮影された動画から切り出されて選定された一連の静止画像であり、ともに画像提供装置１０に保存されている。 The h1 image 350 is a series of still images selected by cutting out from a moving image taken along the flight route h1 at height h1, and the h2 image 360 is taken along the flight route h2 at height h2. It is a series of still images selected by cutting out from the moving image, and both are stored in the image providing device 10.

ドラッグが開始される位置のポインタ３３０の時点では、閲覧情報管理部１６により静止画像３５１が提供され、表示画面３１０に表示されている。ドラッグ操作が進んだ状態のポインタ３３１に対応して静止画像３５１の代わりに静止画像３５２が提供され、さらにドラッグ操作が進んだ状態のポインタ３３２に対応して静止画像３５２の代わりに静止画像３５３が提供され、ドラッグ操作が終了する状態のポインタ３３３に対応して静止画像３５４が提供される。
このように閲覧情報管理部１６は、ポインティングデバイスによるポインタ操作の進行に伴い対応する静止画像を次々と差し替えながらあたかも連続する画像を見るように閲覧端末３０に提供して表示させる。 At the time of the pointer 330 at the position where the drag is started, the browsing information management unit 16 provides the still image 351 and displays it on the display screen 310. A still image 352 is provided instead of the still image 351 corresponding to the pointer 331 in the advanced drag operation, and a still image 353 is provided instead of the still image 352 corresponding to the pointer 332 in the advanced drag operation. The still image 354 is provided corresponding to the pointer 333 in the state where the drag operation is completed.
In this way, the browsing information management unit 16 provides the browsing terminal 30 to display the continuous images while replacing the corresponding still images one after another as the pointer operation by the pointing device progresses.

静止画像の提供はドラッグ操作中のポインタの移動速度に応じて提供する静止画像を変えてもよい。即ち、ポインタの移動速度が遅い場合は、上記の例の静止画像３５０、３５１、３５２・・・のように連続する静止画像を差し替える形で提供し、ポインタの移動速度が速い場合は、静止画像３５０、３５２、３５４・・・のように飛び飛びに静止画像を抽出して差し替えるように提供するようにしてもよい。 The still image may be provided by changing the provided still image according to the moving speed of the pointer during the drag operation. That is, when the moving speed of the pointer is slow, continuous still images such as the still images 350, 351, 352 ... In the above example are provided in the form of replacement, and when the moving speed of the pointer is fast, the still image is provided. It is also possible to provide the still images to be extracted and replaced in a discrete manner such as 350, 352, 354 ....

また実施形態では、前述のように中心角のずれ量を変えた静止画像のセットを変えて提供するようにしてもよい。即ちポインタ速度が遅い場合は、中心角のずれ量の小さい静止画像のセットを選定し、その中から連続する静止画像を差し替える形で提供し、ポインタの移動速度が速い場合は、中心角のずれ量の大きい静止画像のセットを選定し、その中から連続する静止画像を差し替える形で提供するようにしてもよい。 Further, in the embodiment, as described above, a set of still images in which the amount of deviation of the central angle is changed may be provided differently. That is, when the pointer speed is slow, a set of still images with a small amount of deviation of the central angle is selected and provided in the form of replacing continuous still images, and when the moving speed of the pointer is fast, the deviation of the central angle is provided. A large amount of still image sets may be selected and the continuous still images may be provided in the form of replacement.

図３ではポインタを水平方向にドラッグするように操作する場合を示すが、ユーザが上方からの視点で閲覧を希望する場合、上方向へのドラッグ操作を行うとｈ１画像３５０の代わりにｈ２画像３６０から対応する画像を選定して提供する。さらに高い視点のｈ３画像、ｈ４画像が保存されている場合は、上方向へのドラッグ操作の状況によりｈ３画像やｈ４画像から静止画像を提供する。 FIG. 3 shows a case where the pointer is operated to be dragged in the horizontal direction, but when the user wants to view from the viewpoint from above, when the drag operation is performed in the upward direction, the h2 image 360 is used instead of the h1 image 350. Select and provide the corresponding image from. When the h3 image and the h4 image of a higher viewpoint are stored, the still image is provided from the h3 image and the h4 image depending on the situation of the upward drag operation.

画像提供装置１０が提供する静止画像は、動画から切り出したままひずみ補正等の加工を行うことがなく解像度も高いまま提供できるため、拡大表示しても不鮮明になることがない。そのため閲覧情報管理部１６は閲覧端末３０でのドラッグ操作に対応して被写体３２０が回転するように静止画像を提供するとともに、閲覧端末３０での拡大操作に対応して静止画像を拡大表示するように提供する。このために閲覧情報管理部１６は画像提供装置１０が静止画像を３Ｄ画像のように提供するＷｅｂページに、商品の画像を回転するように表示するモードと商品の画像を拡大するように表示するモードとの切り替えスイッチを含んでもよい。このような構成とすることで、例えば中古製品を紹介するような場合、ユーザは観察したい視野に製品を回転表示した後、拡大表示して汚れや傷の状況などを詳細に観察することができる。 Since the still image provided by the image providing device 10 can be provided with high resolution without performing processing such as distortion correction while being cut out from the moving image, it does not become unclear even if it is enlarged and displayed. Therefore, the browsing information management unit 16 provides a still image so that the subject 320 rotates in response to the drag operation on the browsing terminal 30, and enlarges and displays the still image in response to the enlargement operation on the browsing terminal 30. To provide to. For this purpose, the browsing information management unit 16 displays a mode in which the image of the product is displayed so as to rotate and a mode in which the image of the product is enlarged is displayed on the Web page in which the image providing device 10 provides the still image as a 3D image. A switch for switching between modes may be included. With such a configuration, for example, when introducing a used product, the user can rotate the product in the field of view to be observed and then enlarge the display to observe the condition of dirt and scratches in detail. ..

図４は、本発明の実施形態による画像提供方法を説明するためのフローチャートである。
図４を参照すると、段階Ｓ４１０でドローン２０は被写体の周囲を飛行しながらカメラで動画を撮影し、カメラに装着されたメモリカードに撮影した動画を保存する。ドローン２０は被写体の周りを一周する間、高さを一定に保ち、一周した後高さを変えてその高さを保ったままさらに被写体の周りを一周する。被写体の形状によりさらに高い視点からの撮影が必要な場合は、さらに高さを変えて一周し、これを繰り返して、被写体が必要な視点での十分な観察できるようになるまで段階的に高さを変えて飛行し、飛行の間被写体の動画を撮影する。 FIG. 4 is a flowchart for explaining an image providing method according to an embodiment of the present invention.
Referring to FIG. 4, in step S410, the drone 20 shoots a moving image with a camera while flying around the subject, and saves the shot moving image in a memory card mounted on the camera. The drone 20 keeps the height constant while making a round around the subject, and after making a round, changes the height and makes a further round around the subject while keeping the height. If it is necessary to shoot from a higher viewpoint due to the shape of the subject, change the height further and go around, and repeat this step by step until the subject can sufficiently observe from the required viewpoint. Fly with different speeds and shoot a video of the subject during the flight.

このようにドローン２０は、被写体の形状により周回する高さを段階的に変えて飛行しながら被写体を撮影するが、被写体に対し中心点座標を設定し、どの高さの動画もカメラが中心点座標を向くようにして撮影を行う。
動画が保存されたメモリカードを、カメラから抜き取り画像提供装置１０に読み込ませることで、画像提供装置１０は被写体の動画の取り込みを行う（段階Ｓ４２０）。取り込んだ動画は記憶部１３に保存する。 In this way, the drone 20 shoots the subject while flying by changing the orbiting height step by step according to the shape of the subject, but the center point coordinates are set for the subject, and the camera is the center point for movies of any height. Take a picture with the coordinates facing.
By extracting the memory card in which the moving image is stored from the camera and loading it into the image providing device 10, the image providing device 10 captures the moving image of the subject (step S420). The captured moving image is stored in the storage unit 13.

画像提供装置１０は段階Ｓ４３０にて保存した動画から静止画像を切り出す。この時切り出した静止画像同士の位置関係が明確になるように、撮影に使用したドローン２０の飛行ルート、飛行速度に基づきそれぞれの静止画像が撮影された位置をもとめ、切り出した静止画像と撮影位置を対応付けて記憶部１３に保存する。ドローン２０の飛行ルートは高さを一定に保ちながら被写体の周りを一周し、段階的に高さを変えながらこれを繰り返すので、画像提供装置１０は撮影された高さと被写体に設定した中心点座標を通る中心軸周りの中心角との組み合わせでそれぞれの静止画像が撮影された位置を求める。
また画像提供装置１０は切り出した静止画像の内から、中心角の差が一定となる位置関係の静止画像を選定し、選定した一連の静止画像を、ひとまとまりの提供画像データとして保存する。 The image providing device 10 cuts out a still image from the moving image saved in step S430. In order to clarify the positional relationship between the still images cut out at this time, the position where each still image was taken was determined based on the flight route and flight speed of the drone 20 used for shooting, and the cut out still image and the shooting position were obtained. Are associated with each other and stored in the storage unit 13. The flight route of the drone 20 goes around the subject while keeping the height constant, and repeats this while changing the height step by step. Therefore, the image providing device 10 uses the captured height and the center point coordinates set for the subject. The position where each still image was taken is obtained in combination with the central angle around the central axis passing through.
Further, the image providing device 10 selects a still image having a positional relationship in which the difference in the central angle is constant from the cut out still images, and saves the selected series of still images as a set of provided image data.

段階Ｓ４４０にて被写体となった商品の閲覧を希望するユーザは、閲覧端末３０により切り出した静止画像を提供する商品のＷｅｂページにアクセスする。Ｗｅｂページには切り出した静止画像の内代表的な１つが表示される。
段階Ｓ４５０にて閲覧端末３０に表示された静止画像をクリックして商品を回転して閲覧するようにドラッグ操作が行われると、閲覧端末３０はそれに伴うドラッグ操作の操作データ、即ちポインタの座標データの推移を画像提供装置１０に送信する。 A user who wishes to browse the product that is the subject in step S440 accesses the Web page of the product that provides the still image cut out by the browsing terminal 30. One of the representative still images cut out is displayed on the Web page.
When a drag operation is performed so as to click the still image displayed on the browsing terminal 30 in step S450 to rotate and browse the product, the browsing terminal 30 performs the operation data of the drag operation accompanying the drag operation, that is, the coordinate data of the pointer. Is transmitted to the image providing device 10.

画像提供装置１０は、受信した閲覧端末３０のドラッグ操作の操作データからドラッグ操作の方向と速度を検出する（段階Ｓ４６０）。
画像提供装置１０は、ドラッグ操作の方向と速度に基づき、元の代表的な静止画像に対しドラッグ操作の方向に対応する静止画像を抽出し、ドラッグ操作の速度に応じて、次々差し替える形で閲覧端末３０に送信して表示させる。この時ドラッグ速度が所定の速度以下であればひとまとまりの提供画像の内から隣接する位置関係の静止画像を続けて送信し、ドラッグ速度が所定の速度を超える場合はひとまとまりの提供画像の内から飛び飛びに選定して送信するようにしてもよい。 The image providing device 10 detects the direction and speed of the drag operation from the received operation data of the drag operation of the viewing terminal 30 (step S460).
The image providing device 10 extracts a still image corresponding to the direction of the drag operation from the original typical still image based on the direction and speed of the drag operation, and browses the still image in a form of being replaced one after another according to the speed of the drag operation. It is transmitted to the terminal 30 and displayed. At this time, if the drag speed is less than the predetermined speed, the still images of the adjacent positional relationship are continuously transmitted from the group of provided images, and if the drag speed exceeds the predetermined speed, the group of provided images is transmitted. It may be selected and transmitted in a discrete manner.

閲覧端末３０は、段階Ｓ４８０でポインティングデバイスによるドラッグ操作が引き続き行われる場合は次のドラッグ操作が行われるのを待機する。
図３には示していないが、切り出した静止画像を提供する商品のＷｅｂページが商品の画像を回転するように表示するモードと商品の画像を拡大するように表示するモードとの切り替えスイッチを含んでいる場合は、画像提供装置１０は切り替えスイッチの選択状況に応じて静止画像を差し替える形で送信するか拡大画像を送信する。この場合商品の画像を回転するように表示するモードと商品の画像を拡大するように表示するモードで提供する静止画像の解像度を変えてもよい。即ち差し替える形で提供する静止画像は処理の負荷を低減するために解像度を落とし、拡大して提供する静止画像は元の解像度の静止画像を提供する。このような画像提供方法にすることにより、ユーザは商品の画像を回転するように閲覧して全体をとらえ、必要な場合に拡大して確認することができユーザにとって利便性の高い商品画像が提供される。 If the drag operation by the pointing device is continuously performed in the step S480, the browsing terminal 30 waits for the next drag operation to be performed.
Although not shown in FIG. 3, it includes a switch for switching between a mode in which the Web page of the product that provides the cut-out still image rotates the image of the product and a mode in which the image of the product is displayed in an enlarged manner. If so, the image providing device 10 transmits the still image in a replaced manner or transmits an enlarged image according to the selection status of the changeover switch. In this case, the resolution of the still image provided in the mode in which the image of the product is displayed to rotate and the mode in which the image of the product is displayed in an enlarged manner may be changed. That is, the still image provided in the form of replacement has a reduced resolution in order to reduce the processing load, and the still image provided in an enlarged manner provides a still image having the original resolution. By adopting such an image providing method, the user can browse the image of the product in a rotating manner to capture the whole, and enlarge and check the image when necessary, so that the product image highly convenient for the user is provided. Will be done.

以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更することが可能である。 Although the embodiments of the present invention have been described in detail with reference to the drawings, the present invention is not limited to the above-described embodiments and is variously modified within the range not departing from the technical scope of the present invention. It is possible to do.

１画像提供システム
５ネットワーク
１０画像提供装置
１１、２１、３１制御部
１２、２２、３２入出力部
１３、２３、３３記憶部
１４、３４表示部
１５撮影情報管理部
１６閲覧情報管理部
２０ドローン
２４駆動部
２５画像取得部
３０閲覧端末
２１０、３２０被写体
２３０中心点座標
３１０表示画面 1 Image providing system 5 Network 10 Image providing device 11, 21, 31 Control unit 12, 22, 32 Input / output unit 13, 23, 33 Storage unit 14, 34 Display unit 15 Shooting information management unit 16 Browsing information management unit 20 Drone 24 Drive unit 25 Image acquisition unit 30 Browsing terminal 210, 320 Subject 230 Center point coordinates 310 Display screen

Claims

At the stage of setting the center point coordinates that will be the center of shooting for the subject, and while orbiting around the subject with the drone, the camera mounted on the drone always shoots and saves the video toward the center point coordinates.
At the stage of cutting out a still image from the video taken by the image providing device,
The image providing device has a stage of detecting the operation of the pointing device in the viewing terminal and providing the viewing terminal with a still image cut out in a form of replacing the still image according to the movement of the pointing device.
The video shot above was shot toward the same center point coordinates while flying while changing the orbiting height step by step depending on the shape of the subject .
At the stage of providing the still image to the browsing terminal, when the operation of the pointing device on the browsing terminal is a drag operation, the subject rotates while replacing the still image saved in response to the drag operation as it is at high speed. An image providing method characterized by providing.

The flight route around which the drone orbits the subject is set based on the planar shape of the subject.
At the stage of cutting out the still image, the still image cut out from the moving image is associated with the central angle centered on the vertical line passing through the center point coordinates of the position where the still image was taken, based on the flight route and flight speed of the drone. Stages and
The image providing method according to claim 1, further comprising a step of selecting a series of still images from moving images based on the associated central angle.

The image providing method according to claim 2, wherein the still image provided to the viewing terminal is extracted from the selected series of still images.