JP6056664B2 - Image processing apparatus and imaging system - Google Patents

Image processing apparatus and imaging system Download PDF

Info

Publication number
JP6056664B2
JP6056664B2 JP2013117923A JP2013117923A JP6056664B2 JP 6056664 B2 JP6056664 B2 JP 6056664B2 JP 2013117923 A JP2013117923 A JP 2013117923A JP 2013117923 A JP2013117923 A JP 2013117923A JP 6056664 B2 JP6056664 B2 JP 6056664B2
Authority
JP
Japan
Prior art keywords
imaging
imaging device
data
unit
information terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013117923A
Other languages
Japanese (ja)
Other versions
JP2014236426A (en
Inventor
貴之 荒瀬
貴之 荒瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2013117923A priority Critical patent/JP6056664B2/en
Publication of JP2014236426A publication Critical patent/JP2014236426A/en
Application granted granted Critical
Publication of JP6056664B2 publication Critical patent/JP6056664B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像処理装置および撮像システムに関する。   The present invention relates to an image processing apparatus and an imaging system.

従来、別個の機器で同時に撮像された静止画像データと動画像データとを関連付ける技術が知られている（特許文献１参照。）。このような技術により、静止画像データを動画像データのインデックスとして利用したり、動画像データの特定の場面を静止画像データで鑑賞させたりすることができる。   Conventionally, a technique for associating still image data and moving image data simultaneously captured by different devices is known (see Patent Document 1). With such a technique, still image data can be used as an index of moving image data, or a specific scene of moving image data can be viewed with still image data.

特開２０１０−１９３３０７号公報JP 2010-193307 A

ところで、近年、スポーツ中の競技者自身またはその競技者が操作する車等に撮像装置を取り付けて、動画像データを撮像する場合がある。このように撮像された動画像データは、通常の撮影方法とは視点が異なるので、映像内容から一見して撮影状況が理解できない場合がある。また、このような別個の機器で同時に撮影された静止画像データを動画像データのインデックスとして用いても、鑑賞者には動画像データの視点と静止画像データの視点との関係が理解できないので、動画像データの撮影状況を理解することは困難である。   Incidentally, in recent years, there are cases where moving image data is captured by attaching an imaging device to the athlete himself / herself during the sport or to a car or the like operated by the athlete. The moving image data picked up in this way has a different viewpoint from the normal shooting method, and therefore the shooting situation may not be understood at a glance from the video content. In addition, even if still image data captured simultaneously with such separate devices is used as an index of moving image data, the viewer cannot understand the relationship between the viewpoint of moving image data and the viewpoint of still image data. It is difficult to understand the shooting situation of moving image data.

本発明は、上記に鑑みてなされたものであって、同時に撮像された２つの撮像データの視点の位置関係を示して、撮影状況を容易に理解させることができる画像処理装置および撮像システムを提供することを目的とする。   The present invention has been made in view of the above, and provides an image processing apparatus and an imaging system that show the positional relationship between the viewpoints of two imaged data that have been imaged at the same time so that the imaging situation can be easily understood. The purpose is to do.

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置および撮像システムは、第１撮像装置により撮像された第１撮像データおよび第２撮像装置により撮像された第２撮像データを取得する画像取得部と、前記第１撮像データの撮像時における前記第１撮像装置の位置と前記第２撮像データの撮像時における前記第２撮像装置の位置とを取得して、前記第１撮像装置に対する前記第２撮像装置の相対位置を算出する相対位置算出部と、前記第２撮像データの撮像時における前記第１撮像装置の撮像方向と前記第２撮像装置の撮像方向とを取得して、前記第１撮像装置の撮像方向と前記第２撮像装置の撮像方向との角度差を算出する角度差算出部と、前記第１撮像装置に対する前記第２撮像装置の相対位置および前記第２撮像データの撮像時における前記第２撮像装置の撮像方向に基づき、前記第２撮像装置の撮像視野に前記第１撮像装置を基準とした予め設定された領域が含まれるかを判定する判定部と、前記第２撮像装置の撮像視野に前記第１撮像装置を基準位置とした予め設定された領域が含まれると前記判定部が判定した場合に、前記第１撮像データの画面上における前記角度差に対応する位置に、前記第２撮像データを合成する合成部と、を備える。前記画像取得部は、同一期間に撮像された前記第１撮像データおよび前記第２撮像データを取得する。 In order to solve the above-described problems and achieve the object, an image processing apparatus and an imaging system according to the present invention include first imaging data captured by a first imaging apparatus and second imaging captured by a second imaging apparatus. An image acquisition unit for acquiring data; a position of the first imaging device at the time of imaging the first imaging data; and a position of the second imaging device at the time of imaging the second imaging data; A relative position calculation unit that calculates a relative position of the second imaging device with respect to one imaging device, and an imaging direction of the first imaging device and an imaging direction of the second imaging device at the time of imaging of the second imaging data are acquired. Then, an angle difference calculation unit that calculates an angle difference between the imaging direction of the first imaging device and the imaging direction of the second imaging device, a relative position of the second imaging device with respect to the first imaging device, and the first 2 A determination unit configured to determine whether a pre-set region based on the first imaging device is included in an imaging field of view of the second imaging device based on an imaging direction of the second imaging device at the time of imaging image data; The angle difference on the screen of the first imaging data when the determination unit determines that the imaging field of view of the second imaging device includes a preset area with the first imaging device as a reference position. And a synthesizing unit that synthesizes the second imaging data at a position corresponding to. The image acquisition unit acquires the first imaging data and the second imaging data captured in the same period.

本発明によれば、同時に撮像された２つの撮像データの視点の位置関係を示して、撮影状況を容易に理解させることができる。   According to the present invention, it is possible to easily understand the photographing situation by showing the positional relationship between the viewpoints of two pieces of image data that are simultaneously imaged.

図１は、実施形態に係る撮像システム１０の外観を示す図である。FIG. 1 is a diagram illustrating an appearance of an imaging system 10 according to the embodiment. 図２は、実施形態に係る撮像システム１０の構成を示す図である。FIG. 2 is a diagram illustrating a configuration of the imaging system 10 according to the embodiment. 図３は、画像処理部４８の構成を示す図である。FIG. 3 is a diagram illustrating a configuration of the image processing unit 48. 図４は、カメラ装置２０と情報端末３０との相対位置、および、カメラ装置２０の撮像方向と情報端末３０の撮像方向との角度差の一例を示す図である。FIG. 4 is a diagram illustrating an example of a relative position between the camera device 20 and the information terminal 30 and an angle difference between the imaging direction of the camera device 20 and the imaging direction of the information terminal 30. 図５は、動画像データの画面上のサムネイル画像の合成位置の一例を示す図である。FIG. 5 is a diagram illustrating an example of a combination position of thumbnail images on the screen of moving image data. 図６は、角度差が＋９０度である場合の合成例を示す図である。FIG. 6 is a diagram illustrating a synthesis example when the angle difference is +90 degrees. 図７は、角度差が＋１８０度である場合の合成例を示す図である。FIG. 7 is a diagram illustrating a synthesis example when the angle difference is +180 degrees. 図８は、角度差が＋２２５度である場合の合成例を示す図である。FIG. 8 is a diagram illustrating a synthesis example when the angle difference is +225 degrees. 図９は、撮像時のカメラ装置２０および情報端末３０の処理フローを示す図である。FIG. 9 is a diagram illustrating a processing flow of the camera device 20 and the information terminal 30 during imaging. 図１０は、合成時のカメラ装置２０および情報端末３０の処理フローを示す図である。FIG. 10 is a diagram illustrating a processing flow of the camera device 20 and the information terminal 30 at the time of composition. 図１１は、縮小画像７２の表示方法の第１変形例を示す図である。FIG. 11 is a diagram illustrating a first modification of the display method of the reduced image 72. 図１２は、縮小画像７２の表示方法の第２変形例を示す図である。FIG. 12 is a diagram illustrating a second modification example of the display method of the reduced image 72. 図１３は、カメラ装置２０と情報端末３０とが同一の被写体を撮像する場合の撮像位置の一例を示す図である。FIG. 13 is a diagram illustrating an example of an imaging position when the camera device 20 and the information terminal 30 capture the same subject. 図１４は、カメラ装置２０と情報端末３０とが同一の被写体を撮像する場合の合成例を示す図である。FIG. 14 is a diagram illustrating a synthesis example when the camera apparatus 20 and the information terminal 30 capture the same subject.

以下に、本発明の実施形態を詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。   Hereinafter, embodiments of the present invention will be described in detail. In addition, this invention is not limited by this embodiment.

図１は、実施形態に係る撮像システム１０の外観を示す図である。本実施形態に係る撮像システム１０は、カメラ装置２０と、情報端末３０とを備える。   FIG. 1 is a diagram illustrating an appearance of an imaging system 10 according to the embodiment. The imaging system 10 according to the present embodiment includes a camera device 20 and an information terminal 30.

カメラ装置２０は、第１撮像装置の一例であって、被写体を撮像して動画像データ（第１撮像データ）を記録する。カメラ装置２０は、一例として、スポーツ中の競技者自身またはその競技者が操作する車等に取り付けられ、競技中に競技者の視点から被写体を撮像する。   The camera device 20 is an example of a first imaging device, images a subject, and records moving image data (first imaging data). As an example, the camera device 20 is attached to the athlete himself / herself during the sport or a car operated by the athlete, and images the subject from the viewpoint of the athlete during the competition.

情報端末３０は、第１撮像装置とは別体の第２撮像装置の一例であって、被写体を撮像して静止画像データ（第２撮像データ）を記録する。情報端末３０は、一例として、スマートフォンまたは携帯電話機等の撮像機能を有する小型情報機器である。   The information terminal 30 is an example of a second imaging device that is separate from the first imaging device. The information terminal 30 images a subject and records still image data (second imaging data). As an example, the information terminal 30 is a small information device having an imaging function such as a smartphone or a mobile phone.

情報端末３０は、一例として、競技者とは異なる人物である操作者により保持されて操作される。情報端末３０は、操作者による操作に応じて、被写体を撮像する。   For example, the information terminal 30 is held and operated by an operator who is a person different from the player. The information terminal 30 captures an image of a subject in response to an operation by the operator.

情報端末３０は、カメラ装置２０と、Ｗｉ−Ｆｉ（登録商標）等の無線通信により接続される。情報端末３０は、カメラ装置２０の動作を無線通信を介して制御することができる。従って、カメラ装置２０は、情報端末３０を介した操作者による操作に応じて、撮像の開始および停止をする。   The information terminal 30 is connected to the camera device 20 by wireless communication such as Wi-Fi (registered trademark). The information terminal 30 can control the operation of the camera device 20 via wireless communication. Accordingly, the camera device 20 starts and stops imaging in response to an operation by the operator via the information terminal 30.

図２は、実施形態に係る撮像システム１０の構成を示す図である。カメラ装置２０は、第１撮像部４１と、第１時刻検出部４２と、第１位置検出部４３と、第１方向検出部４４と、第１無線通信部４５と、第１記憶部４６と、第１制御部４７とを有する。   FIG. 2 is a diagram illustrating a configuration of the imaging system 10 according to the embodiment. The camera device 20 includes a first imaging unit 41, a first time detection unit 42, a first position detection unit 43, a first direction detection unit 44, a first wireless communication unit 45, and a first storage unit 46. And a first control unit 47.

第１撮像部４１は、被写体を撮像して動画像データを出力する。第１時刻検出部４２は、第１撮像部４１の撮像時における時刻を示す撮像時刻情報を、動画像データに対応させて出力する。   The first imaging unit 41 images a subject and outputs moving image data. The first time detection unit 42 outputs imaging time information indicating the time when the first imaging unit 41 is imaging in association with moving image data.

第１位置検出部４３は、第１撮像部４１の撮像時における、カメラ装置２０の位置を示す位置情報を、動画像データに対応させて出力する。第１位置検出部４３は、一例として、ＧＰＳ（Global Positioning System）を利用した位置検出装置であって、位置情報として、緯度情報および経度情報をリアルタイムで出力する。   The first position detection unit 43 outputs position information indicating the position of the camera device 20 at the time of imaging by the first imaging unit 41 in association with moving image data. As an example, the first position detection unit 43 is a position detection device that uses GPS (Global Positioning System), and outputs latitude information and longitude information in real time as position information.

第１方向検出部４４は、第１撮像部４１の撮像時における撮像方向を示す撮像方向情報を、動画像データに対応させて出力する。第１方向検出部４４は、一例として、地球の地磁気を検出する電子コンパスであって、第１撮像部４１の対物レンズの光軸の向いている方位、すなわち、カメラ装置２０から被写体へ向かう方位を、撮像方向情報としてリアルタイムで出力する。   The first direction detection unit 44 outputs imaging direction information indicating an imaging direction at the time of imaging by the first imaging unit 41 in association with moving image data. As an example, the first direction detection unit 44 is an electronic compass that detects the earth's geomagnetism, and the direction in which the optical axis of the objective lens of the first imaging unit 41 faces, that is, the direction from the camera device 20 toward the subject. Are output in real time as imaging direction information.

第１無線通信部４５は、情報端末３０と無線通信で情報を送受信する。第１無線通信部４５は、一例として、Ｗｉ−Ｆｉ（登録商標）により情報端末３０と情報を送受信する。   The first wireless communication unit 45 transmits / receives information to / from the information terminal 30 by wireless communication. For example, the first wireless communication unit 45 transmits and receives information to and from the information terminal 30 by Wi-Fi (registered trademark).

第１記憶部４６は、第１撮像部４１から出力された動画像データを記録する。また、第１記憶部４６は、動画像データに対応付けて、第１時刻検出部４２から出力された時刻情報、第１位置検出部４３から出力された位置情報、および、第１方向検出部４４から出力された撮像方向情報を記憶する。   The first storage unit 46 records the moving image data output from the first imaging unit 41. The first storage unit 46 also associates the moving image data with the time information output from the first time detection unit 42, the position information output from the first position detection unit 43, and the first direction detection unit. The imaging direction information output from 44 is stored.

第１制御部４７は、例えばＣＰＵ（Central Processing Unit）であって、カメラ装置２０の全体を制御する。第１制御部４７は、一例として、第１撮像部４１の撮像動作を制御する。また、第１制御部４７は、一例として、第１撮像部４１、第１時刻検出部４２、第１位置検出部４３および第１方向検出部４４から出力された各データおよび情報の第１記憶部４６に対する書き込みおよび読み出しを制御する。また、第１制御部４７は、第１無線通信部４５を制御して、情報端末３０との間の情報の送受信を制御する。   The first control unit 47 is, for example, a CPU (Central Processing Unit), and controls the entire camera device 20. The 1st control part 47 controls the imaging operation of the 1st imaging part 41 as an example. Moreover, the 1st control part 47 is the 1st memory | storage of each data and information output from the 1st imaging part 41, the 1st time detection part 42, the 1st position detection part 43, and the 1st direction detection part 44 as an example. Controls writing to and reading from the unit 46. Further, the first control unit 47 controls the first wireless communication unit 45 to control transmission / reception of information to / from the information terminal 30.

さらに、第１制御部４７は、画像処理部４８を含む。画像処理部４８は、例えば、ＣＰＵがプログラムを実行することにより実現される画像処理装置の一例である。画像処理部４８は、第１撮像部４１により撮像された動画像データの画面上に、情報端末３０により撮像された静止画像データの縮小画像を合成する。画像処理部４８の構成については、図３を参照して詳細に説明する。   Further, the first control unit 47 includes an image processing unit 48. The image processing unit 48 is an example of an image processing device that is realized by a CPU executing a program, for example. The image processing unit 48 synthesizes a reduced image of still image data captured by the information terminal 30 on the screen of moving image data captured by the first imaging unit 41. The configuration of the image processing unit 48 will be described in detail with reference to FIG.

一方、情報端末３０は、第２撮像部５１と、第２時刻検出部５２と、第２位置検出部５３と、第２方向検出部５４と、第２無線通信部５５と、第２記憶部５６と、表示入力部５７と、第２制御部５８とを有する。   On the other hand, the information terminal 30 includes a second imaging unit 51, a second time detection unit 52, a second position detection unit 53, a second direction detection unit 54, a second wireless communication unit 55, and a second storage unit. 56, a display input unit 57, and a second control unit 58.

第２撮像部５１は、被写体を撮像して静止画像データを出力する。第２時刻検出部５２は、第２撮像部５１による静止画像データの撮像時における時刻を示す撮像時刻情報を出力する。   The second imaging unit 51 images a subject and outputs still image data. The second time detection unit 52 outputs imaging time information indicating the time when the second imaging unit 51 captures still image data.

第２位置検出部５３は、第２撮像部５１による静止画像データの撮像時における情報端末３０の位置を示す位置情報を出力する。第２位置検出部５３は、一例として、ＧＰＳを利用した位置検出装置であって、位置情報として、緯度情報および経度情報を出力する。   The second position detection unit 53 outputs position information indicating the position of the information terminal 30 when the second image pickup unit 51 takes still image data. The 2nd position detection part 53 is a position detection apparatus using GPS as an example, Comprising: Latitude information and longitude information are output as position information.

第２方向検出部５４は、第２撮像部５１による静止画像データの撮像時における撮像方向を示す撮像方向情報を出力する。第２方向検出部５４は、一例として、電子コンパスであって、第２撮像部５１の対物レンズの光軸の向いている方位、すなわち、情報端末３０から被写体へ向かう方位を、撮像方向情報として出力する。   The second direction detection unit 54 outputs imaging direction information indicating the imaging direction when the second imaging unit 51 captures still image data. As an example, the second direction detection unit 54 is an electronic compass, and the azimuth direction of the optical axis of the objective lens of the second imaging unit 51, that is, the azimuth direction from the information terminal 30 to the subject is used as imaging direction information. Output.

第２無線通信部５５は、カメラ装置２０と無線通信で情報を送受信する。第２無線通信部５５は、一例として、Ｗｉ−Ｆｉ（登録商標）によりカメラ装置２０と情報を送受信する。   The second wireless communication unit 55 transmits and receives information to and from the camera device 20 by wireless communication. For example, the second wireless communication unit 55 transmits and receives information to and from the camera device 20 by Wi-Fi (registered trademark).

第２記憶部５６は、第２撮像部５１から出力された静止画像データを記録する。また、第２記憶部５６は、静止画像データに対応付けて、第２時刻検出部５２から出力された時刻情報、第２位置検出部５３から出力された位置情報、および、第２方向検出部５４から出力された撮像方向情報を記憶する。   The second storage unit 56 records still image data output from the second imaging unit 51. In addition, the second storage unit 56 associates the still image data with the time information output from the second time detection unit 52, the position information output from the second position detection unit 53, and the second direction detection unit. The imaging direction information output from 54 is stored.

表示入力部５７は、例えばタッチパネルであって、操作者に対して情報を表示するとともに、操作者から情報を入力する。   The display input unit 57 is a touch panel, for example, and displays information to the operator and inputs information from the operator.

第２制御部５８は、例えばＣＰＵであって、情報端末３０の全体を制御する。また、第２制御部５８は、一例として、第２撮像部５１の撮像動作を制御する。また、第２制御部５８は、一例として、第２撮像部５１、第２時刻検出部５２、第２位置検出部５３および第２方向検出部５４から出力された各データおよび情報の第２記憶部５６に対する書き込みおよび読み出しを制御する。また、第２制御部５８は、第２無線通信部５５を制御して、カメラ装置２０との間の情報の送受信を制御する。   The second control unit 58 is a CPU, for example, and controls the entire information terminal 30. Moreover, the 2nd control part 58 controls the imaging operation of the 2nd imaging part 51 as an example. For example, the second control unit 58 stores each data and information output from the second imaging unit 51, the second time detection unit 52, the second position detection unit 53, and the second direction detection unit 54 as a second storage. Controls writing to and reading from the unit 56. Further, the second control unit 58 controls the second wireless communication unit 55 to control transmission / reception of information with the camera device 20.

図３は、画像処理部４８の構成を示す図である。画像処理部４８は、第１の画像取得部６１と、時刻取得部６２と、第２の画像取得部６３と、相対位置算出部６４と、角度差算出部６５と、判定部６６と、デコード部６７と、合成部６８と、エンコード部６９とを含む。   FIG. 3 is a diagram illustrating a configuration of the image processing unit 48. The image processing unit 48 includes a first image acquisition unit 61, a time acquisition unit 62, a second image acquisition unit 63, a relative position calculation unit 64, an angle difference calculation unit 65, a determination unit 66, and a decoding unit. A unit 67, a synthesis unit 68, and an encoding unit 69 are included.

第１の画像取得部６１は、情報端末３０により撮像された静止画像データを、情報端末３０から取得する。時刻取得部６２は、第１の画像取得部６１が取得した静止画像データの撮像時刻情報を、情報端末３０から取得する。   The first image acquisition unit 61 acquires still image data captured by the information terminal 30 from the information terminal 30. The time acquisition unit 62 acquires imaging time information of still image data acquired by the first image acquisition unit 61 from the information terminal 30.

第２の画像取得部６３は、第１の画像取得部６１が取得した静止画像データと、同一期間に撮像された動画像データを第１記憶部４６から取得する。より具体的には、第２の画像取得部６３は、一例として、時刻取得部６２が取得した撮像時刻情報に示された時刻を含む一定の期間の動画像データを取得する。すなわち、第２の画像取得部６３は、取得した静止画像データを撮像した時刻を含む一定期間にカメラ装置２０により撮像された動画像データを、第１記憶部４６から取得する。   The second image acquisition unit 63 acquires from the first storage unit 46 still image data acquired by the first image acquisition unit 61 and moving image data captured during the same period. More specifically, the 2nd image acquisition part 63 acquires the moving image data of the fixed period containing the time shown by the imaging time information which the time acquisition part 62 acquired as an example. That is, the second image acquisition unit 63 acquires, from the first storage unit 46, moving image data captured by the camera device 20 during a certain period including the time when the acquired still image data is captured.

相対位置算出部６４は、第１の画像取得部６１が取得した静止画像データの撮像時における情報端末３０の位置を示す位置情報を、情報端末３０から取得する。また、相対位置算出部６４は、第２の画像取得部６３が取得した動画像データの撮像時におけるカメラ装置２０の位置を示す位置情報を第１記憶部４６から取得する。   The relative position calculation unit 64 acquires position information indicating the position of the information terminal 30 at the time of capturing the still image data acquired by the first image acquisition unit 61 from the information terminal 30. Further, the relative position calculation unit 64 acquires position information indicating the position of the camera device 20 at the time of capturing the moving image data acquired by the second image acquisition unit 63 from the first storage unit 46.

そして、相対位置算出部６４は、第１の画像取得部６１が取得した静止画像データの撮像時における、カメラ装置２０に対する情報端末３０の相対位置を算出する。相対位置算出部６４は、一例として、カメラ装置２０の緯度および経度と、情報端末３０の緯度および経度から、カメラ装置２０を基準位置とした場合の情報端末３０の距離および方位を算出する。例えば、図４のＡの場合であれば、相対位置算出部６４は、カメラ装置２０と情報端末３０との間の距離がｘメートルの位置にあり、且つ、情報端末３０がカメラ装置２０の東の方位に位置することを算出する。   Then, the relative position calculation unit 64 calculates the relative position of the information terminal 30 with respect to the camera device 20 when the still image data acquired by the first image acquisition unit 61 is captured. For example, the relative position calculation unit 64 calculates the distance and azimuth of the information terminal 30 when the camera device 20 is used as the reference position from the latitude and longitude of the camera device 20 and the latitude and longitude of the information terminal 30. For example, in the case of A in FIG. 4, the relative position calculation unit 64 is at a position where the distance between the camera device 20 and the information terminal 30 is x meters, and the information terminal 30 is east of the camera device 20. It is calculated to be located in the azimuth.

角度差算出部６５は、第１の画像取得部６１が取得した静止画像データの撮像時における情報端末３０の撮像方向を示す撮像方向情報を、情報端末３０から取得する。また、角度差算出部６５は、第１の画像取得部６１が取得した静止画像データの撮像時におけるカメラ装置２０の撮像方向を示す撮像方向情報を第１記憶部４６から取得する。   The angle difference calculation unit 65 acquires imaging direction information indicating the imaging direction of the information terminal 30 at the time of imaging the still image data acquired by the first image acquisition unit 61 from the information terminal 30. Further, the angle difference calculation unit 65 acquires imaging direction information indicating the imaging direction of the camera device 20 at the time of imaging of still image data acquired by the first image acquisition unit 61 from the first storage unit 46.

そして、角度差算出部６５は、第１の画像取得部６１が取得した静止画像データの撮像時における、カメラ装置２０の撮像方向と情報端末３０の撮像方向との角度差を算出する。角度差算出部６５は、一例として、カメラ装置２０の対物レンズの向いている方位と、情報端末３０の対物レンズの向いている方位との角度差を算出する。例えば、図４のＡの場合であれば、カメラ装置２０の対物レンズが北を向いていて、情報端末３０の対物レンズが西を向いているので、角度差算出部６５は、＋９０°の角度差を算出する。また、例えば、図４のＢの場合であれば、カメラ装置２０の対物レンズが北を向いていて、情報端末３０の対物レンズが南を向いているので、角度差算出部６５は、＋１８０°の角度差を算出する。また、例えば、図４のＣの場合であれば、カメラ装置２０の対物レンズが北を向いていて、情報端末３０の対物レンズが南東を向いているので、角度差算出部６５は、＋２２５°の角度差を算出する。   Then, the angle difference calculation unit 65 calculates the angle difference between the imaging direction of the camera device 20 and the imaging direction of the information terminal 30 when the still image data acquired by the first image acquisition unit 61 is captured. As an example, the angle difference calculation unit 65 calculates the angle difference between the direction in which the objective lens of the camera device 20 is facing and the direction in which the objective lens of the information terminal 30 is facing. For example, in the case of A in FIG. 4, since the objective lens of the camera device 20 faces north and the objective lens of the information terminal 30 faces west, the angle difference calculation unit 65 has an angle of + 90 °. Calculate the difference. For example, in the case of B in FIG. 4, since the objective lens of the camera device 20 faces north and the objective lens of the information terminal 30 faces south, the angle difference calculation unit 65 is + 180 °. The angle difference is calculated. Further, for example, in the case of C in FIG. 4, since the objective lens of the camera device 20 faces north and the objective lens of the information terminal 30 faces southeast, the angle difference calculation unit 65 is + 225 °. The angle difference is calculated.

判定部６６は、相対位置算出部６４により算出されたカメラ装置２０に対する情報端末３０の相対位置を示す情報、および、静止画像データの撮像時における情報端末３０の撮像方向を取得する。そして、判定部６６は、これらの情報に基づき、情報端末３０の撮像視野にカメラ装置２０を基準位置とした予め設定された領域が含まれるかを判定する。例えば、判定部６６は、情報端末３０の撮像視野に、カメラ装置２０を保持する被写体（例えば、競技者自身または競技者が搭乗する車）が含まれるかを判定する。   The determination unit 66 acquires information indicating the relative position of the information terminal 30 with respect to the camera device 20 calculated by the relative position calculation unit 64 and the imaging direction of the information terminal 30 at the time of capturing still image data. Based on these pieces of information, the determination unit 66 determines whether the imaging field of view of the information terminal 30 includes a preset area with the camera device 20 as a reference position. For example, the determination unit 66 determines whether the subject that holds the camera device 20 (for example, the athlete himself or a vehicle on which the athlete is boarded) is included in the imaging field of view of the information terminal 30.

例えば、図４に示すように、カメラ装置２０と情報端末３０との相対位置および情報端末３０の撮像方向によって、情報端末３０の撮像視野に、カメラ装置２０またはカメラ装置２０を保持する被写体が含まれるかどうかが変わる。例えば、図４のＡ、Ｂ、Ｃのように、情報端末３０の撮像方向がカメラ装置２０側に向いており、カメラ装置２０と情報端末３０との相対位置がカメラ装置２０の撮影可能距離内であれば、情報端末３０の撮像視野にカメラ装置２０を保持する被写体等が含まれる。   For example, as shown in FIG. 4, depending on the relative position between the camera device 20 and the information terminal 30 and the imaging direction of the information terminal 30, the imaging field of view of the information terminal 30 includes the subject that holds the camera device 20 or the camera device 20. Whether or not For example, as illustrated in A, B, and C of FIG. 4, the imaging direction of the information terminal 30 is directed toward the camera device 20, and the relative position between the camera device 20 and the information terminal 30 is within the shootable distance of the camera device 20. If so, the subject or the like holding the camera device 20 is included in the imaging field of view of the information terminal 30.

しかしながら、図４のＤの場合のように、情報端末３０の撮像方向がカメラ装置２０とは反対側に向いている場合には、情報端末３０の撮像視野に、カメラ装置２０またはカメラ装置２０を保持する被写体が含まれない。また、カメラ装置２０と情報端末３０との相対位置がカメラ装置２０の倍率を最大としても撮像できないような撮影可能距離以上である場合には、情報端末３０の撮像視野にカメラ装置２０を保持する被写体等が含まれない。   However, when the imaging direction of the information terminal 30 is facing away from the camera device 20 as in the case of D in FIG. 4, the camera device 20 or the camera device 20 is placed in the imaging field of view of the information terminal 30. The subject to be held is not included. In addition, when the relative position between the camera device 20 and the information terminal 30 is equal to or longer than a shootable distance that cannot be captured even when the magnification of the camera device 20 is maximized, the camera device 20 is held in the imaging field of the information terminal 30. The subject is not included.

そこで、判定部６６は、カメラ装置２０と情報端末３０との相対位置および情報端末３０の撮像方向によって、情報端末３０の撮像視野に、カメラ装置２０またはカメラ装置２０を保持する被写体が含まれるかを判定する。つまり、判定部６６は、カメラ装置２０と情報端末３０との相対位置および情報端末３０の撮像方向によって、情報端末３０が撮像した静止画像データにカメラ装置２０またはカメラ装置２０を保持する被写体が含まれるかどうかを判断する。   Therefore, whether the determination unit 66 includes the camera device 20 or the subject holding the camera device 20 in the imaging field of the information terminal 30 depending on the relative position between the camera device 20 and the information terminal 30 and the imaging direction of the information terminal 30. Determine. That is, the determination unit 66 includes the camera device 20 or the subject holding the camera device 20 in the still image data captured by the information terminal 30 depending on the relative position between the camera device 20 and the information terminal 30 and the imaging direction of the information terminal 30. To determine whether or not

デコード部６７は、第１の画像取得部６１により取得された静止画像データ、および、第２の画像取得部６３により取得された動画像データのそれぞれを、合成可能なデータ形式にデコードする。   The decoding unit 67 decodes each of the still image data acquired by the first image acquisition unit 61 and the moving image data acquired by the second image acquisition unit 63 into a data format that can be combined.

合成部６８は、判定部６６が、情報端末３０の撮像視野にカメラ装置２０を基準位置とした予め設定された領域が含まれると判定した場合に、デコードされた動画像データの画面上に、デコードした静止画像データを合成する。   When the determination unit 66 determines that the imaging field of view of the information terminal 30 includes a preset area with the camera device 20 as a reference position, the combining unit 68 displays the decoded moving image data on the screen. The decoded still image data is synthesized.

この場合において、合成部６８は、動画像データにおける静止画像データの撮像時刻に対応する時間位置に、静止画像データを合成する。例えば、合成部６８は、静止画像データの撮像時刻における、前後の予め定められた期間（１０秒間等）に、静止画像データを合成する。   In this case, the synthesizing unit 68 synthesizes the still image data at a time position corresponding to the imaging time of the still image data in the moving image data. For example, the synthesizing unit 68 synthesizes still image data during a predetermined period (such as 10 seconds) before and after the still image data capturing time.

さらに、この場合において、合成部６８は、動画像データの画面周縁における、角度差算出部６５により算出された角度差に応じた位置に、動画像データより小さい画面サイズの静止画像データを合成する。   Further, in this case, the synthesizing unit 68 synthesizes still image data having a screen size smaller than that of the moving image data at a position corresponding to the angle difference calculated by the angle difference calculating unit 65 at the periphery of the screen of the moving image data. .

例えば、図５に示すように、合成部６８は、動画像の画面７１の周縁のそれぞれの位置に、予め角度を割り当てる。例えば、合成部６８は、動画像の画面７１の下辺側の中央に０°、右辺側の中央に＋９０°、上辺側の中央に＋１８０°、左辺側の中央に＋２７０°といったように、予め角度を割り当てる。   For example, as illustrated in FIG. 5, the composition unit 68 assigns an angle in advance to each position on the periphery of the moving image screen 71. For example, the compositing unit 68 preliminarily sets an angle such as 0 ° at the center of the lower side of the moving image screen 71, + 90 ° at the center of the right side, + 180 ° at the center of the upper side, and + 270 ° at the center of the left side. Assign.

そして、合成部６８は、予め割り当てた角度に対応する位置上に、静止画像データの縮小画像７２を合成する。例えば、合成部６８は、角度差が＋９０°の場合には、図６に示すように、動画像の画面７１上の右辺側略中央に縮小画像７２を表示する。また、例えば、合成部６８は、角度差が＋１８０°の場合には、図７に示すように、動画像の画面７１上の上辺側略中央に縮小画像７２を表示する。例えば、合成部６８は、角度差が＋２２５°の場合には、図８に示すように、動画像の画面７１上の左上の角に縮小画像７２を表示する。   Then, the combining unit 68 combines the reduced image 72 of the still image data on the position corresponding to the angle assigned in advance. For example, when the angle difference is + 90 °, the synthesizing unit 68 displays the reduced image 72 at the approximate center of the right side of the moving image on the screen 71 as shown in FIG. For example, when the angle difference is + 180 °, the composition unit 68 displays the reduced image 72 at the approximate center of the upper side on the moving image screen 71 as shown in FIG. For example, when the angle difference is + 225 °, the combining unit 68 displays the reduced image 72 at the upper left corner on the moving image screen 71 as shown in FIG.

合成部６８は、このように静止画像データを合成した動画像データを、エンコード部６９に出力する。なお、合成部６８は、情報端末３０の撮像視野にカメラ装置２０を基準位置とした予め設定された領域が含まれないと判定した場合には、静止画像データを合成せずに、動画像データをエンコード部６９に出力する。   The synthesizing unit 68 outputs the moving image data obtained by synthesizing the still image data in this way to the encoding unit 69. Note that when the combining unit 68 determines that the imaging field of view of the information terminal 30 does not include a preset region with the camera device 20 as the reference position, the combining unit 68 does not combine the still image data, but the moving image data. Is output to the encoding unit 69.

エンコード部６９は、合成部６８から受け取った動画像データを、予め定められたデータ形式にエンコードする。エンコード部６９は、一例として、情報端末３０で再生が可能なビットレートの低いデータ形式に動画像データをエンコードする。そして、エンコード部６９は、エンコードした動画像データを情報端末３０に無線通信により送信する。   The encoding unit 69 encodes the moving image data received from the synthesizing unit 68 into a predetermined data format. As an example, the encoding unit 69 encodes moving image data in a data format with a low bit rate that can be reproduced by the information terminal 30. Then, the encoding unit 69 transmits the encoded moving image data to the information terminal 30 by wireless communication.

図９は、撮像時のカメラ装置２０および情報端末３０の処理フローを示す図である。まず、ステップＳ１１において、情報端末３０は、ユーザの操作に応じて、カメラ装置２０に対して動画像の撮像の開始指示を無線通信を介して送信する。続いて、ステップＳ１２において、カメラ装置２０は、撮像の開始指示を受信すると、動画像の撮像を開始する。   FIG. 9 is a diagram illustrating a processing flow of the camera device 20 and the information terminal 30 during imaging. First, in step S11, the information terminal 30 transmits an instruction to start capturing a moving image to the camera device 20 via wireless communication in accordance with a user operation. Subsequently, in step S <b> 12, when receiving an imaging start instruction, the camera device 20 starts capturing a moving image.

カメラ装置２０は、動画像の撮像を開始すると、生成した動画像データを第１記憶部４６に記録する。これとともに、カメラ装置２０は、時刻情報、撮像位置を示す位置情報および方位を示す撮像方向情報を動画像データに対応させて第１記憶部４６に記録する。   When the camera device 20 starts capturing a moving image, the camera device 20 records the generated moving image data in the first storage unit 46. At the same time, the camera device 20 records time information, position information indicating the imaging position, and imaging direction information indicating the azimuth in the first storage unit 46 in association with the moving image data.

続いて、情報端末３０は、ユーザのシャッタボタンの操作タイミングにおいて（ステップＳ１３−１、Ｓ１３−２、…Ｓ１３−Ｎ）、静止画像を撮像する。情報端末３０は、静止画像を撮像すると、生成した静止画像データを第２記憶部５６に記録する。これとともに、情報端末３０は、静止画像の撮像時刻を示す時刻情報、静止画像の撮像時における撮像位置を示す位置情報および静止画像の撮像時における方位を示す撮像方向情報を、静止画像データに対応させて第２記憶部５６に記録する。   Subsequently, the information terminal 30 captures a still image at the operation timing of the user's shutter button (steps S13-1, S13-2,... S13-N). When the information terminal 30 captures a still image, the information terminal 30 records the generated still image data in the second storage unit 56. At the same time, the information terminal 30 corresponds to still image data with time information indicating the still image capturing time, position information indicating the capturing position when capturing the still image, and imaging direction information indicating the orientation when capturing the still image. And recorded in the second storage unit 56.

続いて、ステップＳ１４において、情報端末３０は、ユーザの操作に応じて、カメラ装置２０に対して動画像の撮像の終了指示を無線通信を介して送信する。続いて、ステップＳ１５において、カメラ装置２０は、撮像の終了指示を受信すると、動画像の撮像を終了する。   Subsequently, in step S <b> 14, the information terminal 30 transmits a moving image capturing end instruction to the camera device 20 via wireless communication in accordance with a user operation. Subsequently, in step S15, when the camera apparatus 20 receives an imaging end instruction, the camera apparatus 20 ends imaging of the moving image.

続いて、ステップＳ１６において、カメラ装置２０は、記録した動画像データを特定するためのパス情報を、情報端末３０に無線通信を介して送信する。カメラ装置２０は、一例として、動画像データのファイル名および格納アドレス等をパス情報として情報端末３０に送信する。   Subsequently, in step S <b> 16, the camera device 20 transmits path information for specifying the recorded moving image data to the information terminal 30 via wireless communication. As an example, the camera device 20 transmits the file name and storage address of the moving image data to the information terminal 30 as path information.

続いて、ステップＳ１７において、情報端末３０は、パス情報を受信すると、撮像の開始指示（ステップＳ１１）を送信してから、撮像の終了指示（ステップＳ１４）を送信するまでに記録したそれぞれの静止画像データに関連付けて、パス情報を記憶する。情報端末３０は、一例として、パス情報と、それぞれの静止画像データのファイル名および格納アドレス等とを対応付けて記憶する。   Subsequently, in step S17, when the information terminal 30 receives the path information, the information terminal 30 records each still image recorded from when the imaging start instruction (step S11) is transmitted until the imaging end instruction (step S14) is transmitted. Path information is stored in association with image data. As an example, the information terminal 30 stores path information in association with the file name and storage address of each still image data.

図１０は、合成時のカメラ装置２０および情報端末３０の処理フローを示す図である。まず、ステップＳ２１において、情報端末３０は、上述のステップＳ１１からステップＳ１７までの処理で撮像した静止画像データを集めて１つの画面に表示したインデックス画面を表示する。操作者は、インデックス画面に表示されたそれぞれの静止画像を選択することができる。   FIG. 10 is a diagram illustrating a processing flow of the camera device 20 and the information terminal 30 at the time of composition. First, in step S21, the information terminal 30 displays an index screen in which still image data captured by the processing from the above-described steps S11 to S17 is collected and displayed on one screen. The operator can select each still image displayed on the index screen.

ステップＳ２２において、情報端末３０は、インデックス画面に対する操作者による静止画像の選択を受け付ける。続いて、ステップＳ２３において、情報端末３０は、選択された静止画像に対応するパス情報、静止画像データ、時刻情報、位置情報および撮像方向情報をカメラ装置２０に無線通信を介して送信する。この場合において、情報端末３０は、縮小してデータサイズを小さくした静止画像データを送信してもよい。   In step S22, the information terminal 30 accepts selection of a still image by the operator for the index screen. Subsequently, in step S <b> 23, the information terminal 30 transmits path information, still image data, time information, position information, and imaging direction information corresponding to the selected still image to the camera device 20 via wireless communication. In this case, the information terminal 30 may transmit still image data that has been reduced to reduce the data size.

続いて、ステップＳ２４において、カメラ装置２０は、パス情報等を受信すると、パス情報により特定される動画像データを抽出する。この場合において、カメラ装置２０は、受信した時刻情報に基づき、静止画像の撮像時を含む一定期間（例えば、静止画像の撮像時の前後の１分の期間等）の動画像データを抽出する。   Subsequently, in step S24, when receiving the path information or the like, the camera apparatus 20 extracts moving image data specified by the path information. In this case, based on the received time information, the camera device 20 extracts moving image data for a certain period (for example, a one-minute period before and after the still image is captured) including the still image is captured.

続いて、ステップＳ２５において、カメラ装置２０は、静止画像の撮像時の情報端末３０の位置情報および撮像方向情報、並びに、静止画像の撮像時のカメラ装置２０の位置情報に基づき、動画像データに静止画像データを合成するか否かを判定する。具体的には、判定部６６は、これらの情報に基づき、静止画像の撮像時における情報端末３０の撮像視野に、カメラ装置２０を保持する被写体（例えば、競技者自身または競技者が搭乗する車）が含まれるかを判定する。例えば、カメラ装置２０は、静止画像の撮像時における、カメラ装置２０と情報端末３０との位置が一定の距離以下であり、且つ、情報端末３０の撮像方向がカメラ装置２０側を向いている場合には、動画像データに静止画像データを合成すると判定する。   Subsequently, in step S25, the camera device 20 converts the moving image data into the moving image data based on the position information and the imaging direction information of the information terminal 30 when the still image is captured, and the position information of the camera device 20 when the still image is captured. It is determined whether to synthesize still image data. Specifically, based on these pieces of information, the determination unit 66 is a subject that holds the camera device 20 in the imaging field of view of the information terminal 30 at the time of capturing a still image (for example, the athlete himself or a vehicle on which the athlete is boarded). ) Is included. For example, when the camera device 20 captures a still image, the position of the camera device 20 and the information terminal 30 is equal to or less than a certain distance, and the imaging direction of the information terminal 30 faces the camera device 20 side. Is determined to synthesize still image data with moving image data.

動画像データに静止画像データを合成しないと判定した場合（ステップＳ２５のＦａｌｓｅ）、カメラ装置２０は、ステップＳ２６において、動画像データを情報端末３０での再生に適したデータ形式にトランスコードする（デコードして、エンコードする）。情報端末３０は、一例として、ＡＶＣＨＤ（Advanced Video Codec High Definition）の形式から、ＭＰ４形式またはＭＯＶ形式等に変換する。また、情報端末３０は、単にデータレートの変換等をしてもよい。   When it is determined that still image data is not combined with moving image data (false in step S25), the camera device 20 transcodes the moving image data into a data format suitable for reproduction on the information terminal 30 in step S26 ( Decode and encode). For example, the information terminal 30 converts an AVCHD (Advanced Video Codec High Definition) format into an MP4 format, an MOV format, or the like. Further, the information terminal 30 may simply perform data rate conversion or the like.

動画像データに静止画像データを合成すると判定した場合（ステップＳ２５のＴｒｕｅ）、情報端末３０は、ステップＳ２７において、静止画像の撮像時における、カメラ装置２０の撮像方向と情報端末３０の撮像方向との角度差を算出する。   When it is determined that still image data is to be combined with moving image data (True in step S25), the information terminal 30 determines in step S27 the imaging direction of the camera device 20 and the imaging direction of the information terminal 30 when capturing a still image. The angle difference is calculated.

続いて、ステップＳ２８において、情報端末３０は、動画像データを情報端末３０での再生に適したデータ形式にトランスコードするとともに、動画像データの画面周縁における角度差に応じた位置に、縮小した静止画像データを合成する。   Subsequently, in step S28, the information terminal 30 transcodes the moving image data into a data format suitable for reproduction on the information terminal 30 and reduces the moving image data to a position corresponding to the angular difference at the screen periphery. Combine still image data.

ステップＳ２６またはステップＳ２８の処理を終えると、続いて、ステップＳ２９において、カメラ装置２０は、トランスコードした後の動画像データを、情報端末３０に無線通信により送信する。そして、ステップＳ３０において、情報端末３０は、受信した動画像データを再生する。   When the process of step S26 or step S28 is finished, subsequently, in step S29, the camera device 20 transmits the moving image data after transcoding to the information terminal 30 by wireless communication. In step S30, the information terminal 30 reproduces the received moving image data.

このような撮像システム１０によれば、他の機器で同一タイミングで撮像した静止画像が合成された動画像データを再生することができる。そして、静止画像が、動画像の撮像方向と静止画像と撮像方向の角度差に応じた位置に合成される。   According to such an imaging system 10, it is possible to reproduce moving image data in which still images captured at the same timing by other devices are combined. Then, the still image is synthesized at a position corresponding to the angle difference between the imaging direction of the moving image and the still image and the imaging direction.

例えば、カメラ装置２０の右側から情報端末３０が静止画像を撮像していた場合には、画面の右側に静止画像が合成される。また、カメラ装置２０の前側から情報端末３０が静止画像を撮像していた場合には、画面の上側に静止画像が合成される。また、例えば、カメラ装置２０の左側から情報端末３０が静止画像を撮像していた場合には、画面の左側に静止画像が合成される。   For example, when the information terminal 30 has taken a still image from the right side of the camera device 20, the still image is synthesized on the right side of the screen. Further, when the information terminal 30 has taken a still image from the front side of the camera device 20, the still image is synthesized on the upper side of the screen. For example, when the information terminal 30 has taken a still image from the left side of the camera device 20, the still image is synthesized on the left side of the screen.

これにより、撮像システム１０によれば、同時に撮像された動画像データおよび静止画像データの視点の位置関係が理解できるように、静止画像データを動画像データに合成することができる。従って、撮像システム１０によれば、例えば、スポーツ中の競技者自身またはその競技者が操作する車等に撮像装置を取り付けて撮像された動画像の撮影状況を、一見して理解させることができる動画像データを生成することができる。   Thereby, according to the imaging system 10, still image data can be combined with moving image data so that the positional relationship between the viewpoints of the moving image data and still image data captured simultaneously can be understood. Therefore, according to the imaging system 10, for example, it is possible to understand at a glance the shooting situation of a moving image captured by attaching an imaging device to the athlete himself / herself during sports or a car operated by the athlete. Moving image data can be generated.

図１１は、縮小画像７２の表示方法の第１変形例を示す図である。画像処理部４８の合成部６８は、カメラ装置２０と情報端末３０との間の距離に応じて、動画像の画面７１に合成する静止画像データの縮小画像７２の画面サイズを変更してもよい。   FIG. 11 is a diagram illustrating a first modification of the display method of the reduced image 72. The combining unit 68 of the image processing unit 48 may change the screen size of the reduced image 72 of the still image data to be combined with the moving image screen 71 according to the distance between the camera device 20 and the information terminal 30. .

例えば、合成部６８は、カメラ装置２０と情報端末３０との間の距離が遠い場合には、静止画像データの縮小画像７２のサイズを小さくする。そして、合成部６８は、カメラ装置２０と情報端末３０との間の距離が近い場合には、静止画像データの縮小画像７２のサイズを大きくする。これにより、合成部６８は、カメラ装置２０と情報端末３０との間の距離を視覚的に理解させることができる。   For example, the composition unit 68 reduces the size of the reduced image 72 of still image data when the distance between the camera device 20 and the information terminal 30 is long. Then, when the distance between the camera device 20 and the information terminal 30 is short, the combining unit 68 increases the size of the reduced image 72 of the still image data. Thereby, the synthetic | combination part 68 can make the distance between the camera apparatus 20 and the information terminal 30 understand visually.

また、合成部６８は、カメラ装置２０と情報端末３０との間の距離に応じて、動画像の画面７１上における縮小画像７２の表示位置を変更してもよい。例えば、合成部６８は、カメラ装置２０と情報端末３０との間の距離が遠い場合には、動画像の画面７１の縁に近い位置に縮小画像７２を表示し、距離が近い場合には動画像の画面７１の中央により近い位置に縮小画像７２を表示する。このようにしても、合成部６８は、カメラ装置２０と情報端末３０との間の距離を視覚的に理解させることができる。   The combining unit 68 may change the display position of the reduced image 72 on the moving image screen 71 in accordance with the distance between the camera device 20 and the information terminal 30. For example, the composition unit 68 displays the reduced image 72 at a position near the edge of the moving image screen 71 when the distance between the camera device 20 and the information terminal 30 is long, and the moving image when the distance is short. The reduced image 72 is displayed at a position closer to the center of the image screen 71. Even in this way, the combining unit 68 can visually understand the distance between the camera device 20 and the information terminal 30.

図１２は、縮小画像７２の表示方法の第２変形例を示す図である。画像処理部４８の合成部６８は、図１２に示されるように、静止画像データの縮小画像７２を、動画像の画面７１の外部から内部へと徐々に入ってくるようなエフェクトをかけて合成してもよい。   FIG. 12 is a diagram illustrating a second modification example of the display method of the reduced image 72. As shown in FIG. 12, the composition unit 68 of the image processing unit 48 composes the reduced image 72 of still image data by applying an effect that gradually enters the moving image screen 71 from the outside to the inside. May be.

また、画像処理部４８の合成部６８は、縮小画像７２が動画像の画面７１の内部から外部へと徐々に出て行くようなエフェクトをかけて合成してもよい。このようなエフェクトをかけることにより、合成部６８は、静止画像の撮像時を視覚的に理解させることができる。   Further, the combining unit 68 of the image processing unit 48 may combine the reduced image 72 with an effect such that the reduced image 72 gradually appears from the inside of the moving image screen 71 to the outside. By applying such an effect, the synthesizing unit 68 can visually understand when a still image is captured.

図１３は、カメラ装置２０と情報端末３０とが同一の被写体８０を撮像する場合の撮像位置の一例を示す図である。カメラ装置２０と情報端末３０とが同一の被写体８０を同時に撮像していてもよい。このような場合、画像処理部４８は、静止画像の撮像時における情報端末３０の位置情報および撮像方向情報並びにカメラ装置２０の位置情報および撮像方向情報に基づき、静止画像の撮像時における情報端末３０の撮像視野に、カメラ装置２０が撮像している被写体８０が含まれるかを判定する。   FIG. 13 is a diagram illustrating an example of an imaging position when the camera device 20 and the information terminal 30 image the same subject 80. The camera device 20 and the information terminal 30 may simultaneously capture the same subject 80. In such a case, the image processing unit 48 uses the information terminal 30 at the time of capturing a still image based on the position information and the image capturing direction information of the information terminal 30 at the time of capturing a still image and the position information and image capturing direction information of the camera device 20. It is determined whether the subject 80 captured by the camera device 20 is included in the imaging field of view.

例えば、カメラ装置２０は、静止画像の撮像時における、カメラ装置２０と情報端末３０との位置が一定の距離以下であり、且つ、情報端末３０の撮像方向がカメラ装置２０が撮像している被写体８０側を向いている場合に、情報端末３０の撮像視野に、カメラ装置２０が撮像している被写体８０が含まれると判定する。   For example, the camera device 20 is a subject in which the position of the camera device 20 and the information terminal 30 is equal to or less than a certain distance when a still image is captured, and the imaging direction of the information terminal 30 is captured by the camera device 20. When facing the 80 side, it is determined that the subject 80 captured by the camera device 20 is included in the imaging field of view of the information terminal 30.

図１４は、カメラ装置２０と情報端末３０とが同一の被写体８０を撮像する場合の合成例を示す図である。図１３に示されるようにカメラ装置２０と情報端末３０とが同一の被写体８０を同時に撮像している場合、情報端末３０がカメラ装置２０を保持する競技者等を撮像している場合とは、情報端末３０の撮像方向が異なる。このため、カメラ装置２０と情報端末３０との相対位置が同一位置であっても、図１４に示されるように、動画像の画面７１に対する縮小画像７２の合成位置は変化する。   FIG. 14 is a diagram illustrating a synthesis example in the case where the camera device 20 and the information terminal 30 capture the same subject 80. As shown in FIG. 13, when the camera device 20 and the information terminal 30 are simultaneously imaging the same subject 80, the information terminal 30 is imaging a player or the like holding the camera device 20. The imaging direction of the information terminal 30 is different. For this reason, even if the relative position of the camera apparatus 20 and the information terminal 30 is the same position, as shown in FIG. 14, the combined position of the reduced image 72 with respect to the moving image screen 71 changes.

なお、以上の本実施形態では、動画像データに静止画像データを合成する例を示した。しかしながら、撮像システム１０では、動画像データに対して、同時に撮像された他の動画像データを合成してもよい。この場合、時間とともにそれぞれの撮像装置の位置および撮像方向が変化するので、撮像システム１０は、合成を時間とともに変化させてもよい。   In the above embodiment, an example in which still image data is combined with moving image data has been described. However, the imaging system 10 may combine other moving image data captured simultaneously with the moving image data. In this case, since the position and imaging direction of each imaging device change with time, the imaging system 10 may change the composition with time.

また、本実施形態では、合成処理を行う画像処理部４８がカメラ装置２０の内部に備えられる例を示した。しかしながら、画像処理部４８は、情報端末３０内に備えられてもよい。また、カメラ装置２０および情報端末３０とは別の装置に備えられてもよい。また、本実施形態では、別個の装置により撮像された静止画像データおよび動画像データを無線通信により送信する例を示した。しかしながら、メモリカード等の記録媒体を介して静止画像データまたは動画像データを機器間で受け渡してもよい。   Further, in the present embodiment, an example in which the image processing unit 48 that performs synthesis processing is provided in the camera device 20 has been described. However, the image processing unit 48 may be provided in the information terminal 30. The camera device 20 and the information terminal 30 may be provided in a different device. Moreover, in this embodiment, the example which transmits the still image data and moving image data imaged with the separate apparatus by radio | wireless communication was shown. However, still image data or moving image data may be transferred between devices via a recording medium such as a memory card.

１０ 撮像システム
２０ カメラ装置
３０ 情報端末
４１ 第１撮像部
４２ 第１時刻検出部
４３ 第１位置検出部
４４ 第１方向検出部
４５ 第１無線通信部
４６ 第１記憶部
４７ 第１制御部
４８ 画像処理部
５１ 第２撮像部
５２ 第２時刻検出部
５３ 第２位置検出部
５４ 第２方向検出部
５５ 第２無線通信部
５６ 第２記憶部
５７ 表示入力部
５８ 第２制御部
６１ 第１の画像取得部
６２ 時刻取得部
６３ 第２の画像取得部
６４ 相対位置算出部
６５ 角度差算出部
６６ 判定部
６７ デコード部
６８ 合成部
６９ エンコード部
７１ 動画像の画面
７２ 縮小画像
８０ 被写体 DESCRIPTION OF SYMBOLS 10 Imaging system 20 Camera apparatus 30 Information terminal 41 1st imaging part 42 1st time detection part 43 1st position detection part 44 1st direction detection part 45 1st wireless communication part 46 1st memory | storage part 47 1st control part 48 Image Processing unit 51 Second imaging unit 52 Second time detection unit 53 Second position detection unit 54 Second direction detection unit 55 Second wireless communication unit 56 Second storage unit 57 Display input unit 58 Second control unit 61 First image Acquisition unit 62 Time acquisition unit 63 Second image acquisition unit 64 Relative position calculation unit 65 Angle difference calculation unit 66 Determination unit 67 Decoding unit 68 Synthesis unit 69 Encoding unit 71 Moving image screen 72 Reduced image 80 Subject

Claims (6)

第１撮像装置により撮像された第１撮像データおよび第２撮像装置により撮像された第２撮像データを取得する画像取得部と、
前記第１撮像データの撮像時における前記第１撮像装置の位置と前記第２撮像データの撮像時における前記第２撮像装置の位置とを取得して、前記第１撮像装置に対する前記第２撮像装置の相対位置を算出する相対位置算出部と、
前記第２撮像データの撮像時における前記第１撮像装置の撮像方向と前記第２撮像装置の撮像方向とを取得して、前記第１撮像装置の撮像方向と前記第２撮像装置の撮像方向との角度差を算出する角度差算出部と、
前記第１撮像装置に対する前記第２撮像装置の相対位置および前記第２撮像データの撮像時における前記第２撮像装置の撮像方向に基づき、前記第２撮像装置の撮像視野に前記第１撮像装置を基準とした予め設定された領域が含まれるかを判定する判定部と、
前記第２撮像装置の撮像視野に前記第１撮像装置を基準位置とした予め設定された領域が含まれると前記判定部が判定した場合に、前記第１撮像データの画面上における前記角度差に対応する位置に、前記第２撮像データを合成する合成部と、
を備え、
前記画像取得部は、同一期間に撮像された前記第１撮像データおよび前記第２撮像データを取得する
画像処理装置。 An image acquisition unit that acquires first imaging data captured by the first imaging device and second imaging data captured by the second imaging device;
The second imaging device with respect to the first imaging device is obtained by acquiring the position of the first imaging device when imaging the first imaging data and the position of the second imaging device when imaging the second imaging data. A relative position calculation unit for calculating the relative position of
The imaging direction of the first imaging device and the imaging direction of the second imaging device are acquired at the time of imaging the second imaging data, and the imaging direction of the first imaging device and the imaging direction of the second imaging device are obtained. An angle difference calculation unit for calculating the angle difference of
Based on the relative position of the second imaging device with respect to the first imaging device and the imaging direction of the second imaging device during imaging of the second imaging data, the first imaging device is placed in the imaging field of view of the second imaging device. A determination unit for determining whether or not a preset region as a reference is included;
When the determination unit determines that a preset region with the first imaging device as a reference position is included in the imaging field of view of the second imaging device, the angle difference on the screen of the first imaging data is determined. A combining unit that combines the second imaging data at a corresponding position;
Equipped with a,
The image acquisition unit acquires the first imaging data and the second imaging data captured in the same period.
Image processing device. 前記判定部は、前記第２撮像装置の撮像視野に、前記第１撮像装置を保持する被写体が含まれるかを判定する
請求項１に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the determination unit determines whether a subject holding the first imaging device is included in an imaging field of view of the second imaging device. 前記第１撮像データは、動画像データであり、
前記第２撮像データは、静止画像データであり、
前記合成部は、前記第１撮像データにおける前記第２撮像データの撮像時刻に対応する時間位置に、前記第２撮像データを合成する
請求項１に記載の画像処理装置。 The first imaging data is moving image data,
The second imaging data is still image data,
The combining unit, the corresponding time position in the imaging time of the second imaging data in said first imaging data, the image processing apparatus according to claim 1 for synthesizing the second image pickup data. 前記合成部は、前記第１撮像データの画面周縁における前記角度差に応じた位置に、前記第１撮像データより小さい画面サイズの前記第２撮像データを合成する
請求項１から３の何れか一項に記載の画像処理装置。 The combining unit, the to a position corresponding to the angular difference in the screen periphery of the first imaging data, any one of claims 1 to 3, combining the second image pickup data of the first smaller screen size than the imaging data The image processing apparatus according to item. 前記相対位置算出部は、前記第１撮像装置に対する前記第２撮像装置の相対位置に基づき、前記第１撮像装置と前記第２撮像装置との間の距離を算出し、
前記合成部は、前記距離に応じて前記第２撮像データの画面サイズを変更する
請求項１から４の何れか一項に記載の画像処理装置。 The relative position calculation unit calculates a distance between the first imaging device and the second imaging device based on a relative position of the second imaging device with respect to the first imaging device;
The image processing apparatus according to any one of claims 1 to 4 , wherein the combining unit changes a screen size of the second imaging data according to the distance. 第１撮像装置と、第２撮像装置と、前記第１撮像装置または前記第２撮像装置の何れか一方に設けられる画像処理装置と、を備え、
前記画像処理装置は、
前記第１撮像装置により撮像された第１撮像データおよび前記第２撮像装置により撮像された第２撮像データを取得する画像取得部と、
前記第１撮像データの撮像時における前記第１撮像装置の位置と前記第２撮像データの撮像時における前記第２撮像装置の位置とを取得して、前記第１撮像装置に対する前記第２撮像装置の相対位置を算出する相対位置算出部と、
前記第１撮像データの撮像時における前記第１撮像装置の撮像方向と前記第２撮像データの撮像時における前記第２撮像装置の撮像方向とを取得して、前記第１撮像装置の撮像方向と前記第２撮像装置の撮像方向との角度差を算出する角度差算出部と、
前記第１撮像装置に対する前記第２撮像装置の相対位置および前記第２撮像データの撮像時における前記第２撮像装置の撮像方向に基づき、前記第２撮像装置の撮像視野に前記第１撮像装置を基準とした予め設定された領域が含まれるかを判定する判定部と、
前記第２撮像装置の撮像視野に前記第１撮像装置を基準位置とした予め設定された領域が含まれると前記判定部が判定した場合に、前記第１撮像データの画面上における前記角度差に対応する位置に、前記第２撮像データを合成する合成部と、
を有し、
前記画像取得部は、同一期間に撮像された前記第１撮像データおよび前記第２撮像データを取得する
撮像システム。 A first imaging device, a second imaging device, and an image processing device provided in either the first imaging device or the second imaging device,
The image processing apparatus includes:
An image acquisition unit that acquires first imaging data imaged by the first imaging device and second imaging data imaged by the second imaging device;
The second imaging device with respect to the first imaging device is obtained by acquiring the position of the first imaging device when imaging the first imaging data and the position of the second imaging device when imaging the second imaging data. A relative position calculation unit for calculating the relative position of
An imaging direction of the first imaging device at the time of imaging the first imaging data and an imaging direction of the second imaging device at the time of imaging of the second imaging data are acquired, and the imaging direction of the first imaging device is obtained. An angle difference calculation unit for calculating an angle difference with an imaging direction of the second imaging device;
Based on the relative position of the second imaging device with respect to the first imaging device and the imaging direction of the second imaging device during imaging of the second imaging data, the first imaging device is placed in the imaging field of view of the second imaging device. A determination unit for determining whether or not a preset region as a reference is included;
When the determination unit determines that a preset region with the first imaging device as a reference position is included in the imaging field of view of the second imaging device, the angle difference on the screen of the first imaging data is determined. A combining unit that combines the second imaging data at a corresponding position;
I have a,
The image acquisition unit acquires the first imaging data and the second imaging data captured in the same period.
Imaging system.
JP2013117923A 2013-06-04 2013-06-04 Image processing apparatus and imaging system Active JP6056664B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013117923A JP6056664B2 (en) 2013-06-04 2013-06-04 Image processing apparatus and imaging system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013117923A JP6056664B2 (en) 2013-06-04 2013-06-04 Image processing apparatus and imaging system

Publications (2)

Publication Number Publication Date
JP2014236426A JP2014236426A (en) 2014-12-15
JP6056664B2 true JP6056664B2 (en) 2017-01-11

Family

ID=52138818

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013117923A Active JP6056664B2 (en) 2013-06-04 2013-06-04 Image processing apparatus and imaging system

Country Status (1)

Country Link
JP (1) JP6056664B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016125956A (en) * 2015-01-07 2016-07-11 ソニー株式会社 Information processor, information processing method and information processing system
JP2016174253A (en) * 2015-03-16 2016-09-29 パイオニア株式会社 Determination device, determination method, and determination program
JP2019220991A (en) * 2019-09-10 2019-12-26 パイオニア株式会社 Determination device, determination method, and determination program
WO2021124750A1 (en) * 2019-12-20 2021-06-24 ソニーグループ株式会社 Information processing device, information processing method, and program
WO2023188938A1 (en) * 2022-03-30 2023-10-05 富士フイルム株式会社 Information processing device and information processing method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4940041B2 (en) * 2006-07-25 2012-05-30 キヤノン株式会社 IMAGING DEVICE, INFORMATION PROCESSING DEVICE, COMMUNICATION SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM
JP5245257B2 (en) * 2006-11-22 2013-07-24 ソニー株式会社 Image display system, display device, and display method
WO2008087974A1 (en) * 2007-01-16 2008-07-24 Panasonic Corporation Data processing apparatus and method, and recording medium
JP4371170B2 (en) * 2008-04-25 2009-11-25 ソニー株式会社 Imaging apparatus, image recording apparatus, and image recording method
JP2011124898A (en) * 2009-12-14 2011-06-23 Brother Industries Ltd Head-mounted display
JP5771508B2 (en) * 2011-11-10 2015-09-02 オリンパス株式会社 Display device, imaging device, and video display system

Also Published As

Publication number Publication date
JP2014236426A (en) 2014-12-15

Similar Documents

Publication Publication Date Title
US10778951B2 (en) Camerawork generating method and video processing device
US10944955B2 (en) Multiple viewpoint image capturing system, three-dimensional space reconstructing system, and three-dimensional space recognition system
US8773589B2 (en) Audio/video methods and systems
US10334162B2 (en) Video processing apparatus for generating panoramic video and method thereof
US9438806B2 (en) Photographing apparatus and photographing method for displaying combined avatar and map information related to a subject
US10277832B2 (en) Image processing method and image processing system
JP6056664B2 (en) Image processing apparatus and imaging system
US20130040700A1 (en) Image capture device and image capture method
CN103916605B (en) Mobile computing device with shadow real-time broadcast ability in shadow
US11490199B2 (en) Sound recording apparatus, sound system, sound recording method, and carrier means
JP2010199971A (en) Image pickup apparatus, imaging method, and program
US20060158520A1 (en) Image capturing system, image capturing method and program
CN110463226B (en) Sound recording device, sound system, sound recording method and carrier device
JP6412400B2 (en) Image composition apparatus and image composition program
WO2017022296A1 (en) Information management device, information management method, image reproduction device and image reproduction method
WO2018027067A1 (en) Methods and systems for panoramic video with collaborative live streaming
JP2008277959A (en) Imaging apparatus, reproducing device, and recording file creation method
KR20140111079A (en) Method and System for Controlling Camera
JP2008152374A (en) Image system, photographing direction specifying device, photographing direction specifying method and program
JP5969062B2 (en) Image processing apparatus and image processing method
JP5680358B2 (en) Imaging apparatus and imaging method
JP6318196B2 (en) Image processing apparatus, image processing method, and image processing program
JP5774731B2 (en) Digital camera and composite image display method of digital camera
JP2009027376A (en) Video camera
JP2006203872A (en) Imaging system, imaging method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151029

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161121

R150 Certificate of patent or registration of utility model

Ref document number: 6056664

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150