JP7031703B2 - Information processing equipment and multi-camera system - Google Patents

Information processing equipment and multi-camera system Download PDF

Info

Publication number
JP7031703B2
JP7031703B2 JP2020127781A JP2020127781A JP7031703B2 JP 7031703 B2 JP7031703 B2 JP 7031703B2 JP 2020127781 A JP2020127781 A JP 2020127781A JP 2020127781 A JP2020127781 A JP 2020127781A JP 7031703 B2 JP7031703 B2 JP 7031703B2
Authority
JP
Japan
Prior art keywords
frame
cameras
camera
information processing
trigger signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020127781A
Other languages
Japanese (ja)
Other versions
JP2020182243A (en
Inventor
哲夫 金子
恭弘 飯塚
和弘 内田
盛雄 中塚
真之介 宇佐美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Priority to JP2020127781A priority Critical patent/JP7031703B2/en
Publication of JP2020182243A publication Critical patent/JP2020182243A/en
Application granted granted Critical
Publication of JP7031703B2 publication Critical patent/JP7031703B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本技術は、情報処理装置およびマルチカメラシステムに関する。 The present technology relates to information processing devices and multi-camera systems.

従来、スポーツの練習などで被写体の運動動作の確認のため複数のアングルから動画を撮影することが行われている。その際に、すぐにその動画を確認したいが、従来は1台ずつのカメラ本体で再生するか、パーソナルコンピュータなどに取り込んで1ファイルずつ再生していた。また、ある瞬間のフォームを確認するために、一時停止した状態で異なるアングルの画像をストレスなく短時間で切り替えて見たいが、その手段がなかった。 Conventionally, moving images have been taken from a plurality of angles in order to confirm the motion movement of a subject in sports practice or the like. At that time, I would like to check the video immediately, but in the past, it was played back one by one on the camera body, or it was taken into a personal computer and played back one file at a time. Also, in order to check the form at a certain moment, I wanted to switch images from different angles in a short time without stress in a paused state, but there was no way to do that.

例えば、特許文献1には、複数コンテンツを短時間に把握できるよう、要約コンテンツの自動生成を行うことが記載されている。この場合、あらかじめ定義したイベントの発生量によってコンテンツの再生スピードを変化させることで、要約コンテンツを作成しているが、撮影したコンテンツをすぐに任意の時間やアングルを指定して再生することはできない。 For example, Patent Document 1 describes that summary content is automatically generated so that a plurality of contents can be grasped in a short time. In this case, the summary content is created by changing the playback speed of the content according to the amount of events generated in advance, but the captured content cannot be played immediately at any time or angle. ..

特開2010-039877号公報Japanese Unexamined Patent Publication No. 2010-039877

本技術の目的は、複数のカメラの撮像画像を良好に確認し得るようにすることにある。 An object of the present technology is to enable good confirmation of images captured by a plurality of cameras.

本技術の概念は、
複数のカメラと、該複数のカメラに有線あるいは無線で接続された確認装置とからなり、
上記カメラは、
イメージャと、
上記イメージャで撮像されて得られた各フレームの画像データを書き込むメモリと、
上記確認装置からのエンドトリガ信号の受信があるとき、該トリガ信号の受信タイミングに対応したフレームから過去所定時間のフレームに対してフレーム番号を付ける処理と、上記確認装置からのフレーム番号を伴う転送要求の受信があるとき、該フレーム番号で指定されたフレームの画像データを上記メモリから読み出して上記確認装置に転送する処理を制御する制御部を備え、
上記確認装置は、
ディスプレイと、
上記複数のカメラにエンドトリガ信号を送信する処理と、該複数のカメラから選択された所定カメラにフレーム番号を伴う転送要求を送信する処理と、上記所定カメラから転送されてくる上記フレーム番号で指定されたフレームの画像データを受信し、該画像データによる画像を上記ディスプレイに表示する処理を制御する制御部を備える
マルチカメラシステムにある。
The concept of this technology is
It consists of multiple cameras and a confirmation device connected to the multiple cameras by wire or wirelessly.
The above camera
Imager and
A memory for writing the image data of each frame obtained by being imaged by the above imager, and
When the end trigger signal is received from the confirmation device, the process of assigning a frame number to the frame of the past predetermined time from the frame corresponding to the reception timing of the trigger signal and the transfer accompanied by the frame number from the confirmation device. A control unit that controls a process of reading image data of a frame specified by the frame number from the memory and transferring the image data to the confirmation device when a request is received is provided.
The above confirmation device is
With the display
A process of transmitting an end trigger signal to the plurality of cameras, a process of transmitting a transfer request accompanied by a frame number to a predetermined camera selected from the plurality of cameras, and a process of transmitting a transfer request from the predetermined camera. It is in a multi-camera system including a control unit that controls a process of receiving image data of a frame and displaying an image based on the image data on the display.

本技術において、マルチカメラシステムは、複数のカメラと、この複数のカメラに有線あるいは無線で接続された確認装置とからなっている。例えば、複数のカメラは同一被写体を異なるアングルで撮像する、ようにされてもよい。 In the present technology, a multi-camera system comprises a plurality of cameras and a confirmation device connected to the plurality of cameras by wire or wirelessly. For example, a plurality of cameras may be configured to capture the same subject at different angles.

カメラには、イメージャと、このイメージャで撮像されて得られた各フレームの画像データを書き込むメモリと、制御部が備えられている。制御部により、確認装置からのエンドトリガ信号の受信があるとき、このトリガ信号の受信タイミングに対応したフレームから過去所定時間のフレームに対してフレーム番号を付ける処理が制御される。また、制御部により、確認装置からのフレーム番号を伴う転送要求の受信があるとき、このフレーム番号で指定されたフレームの画像データをメモリから読み出して確認装置に転送する処理が制御される。 The camera is provided with an imager, a memory for writing image data of each frame obtained by being imaged by the imager, and a control unit. When the end trigger signal is received from the confirmation device, the control unit controls the process of assigning a frame number to the frame of the past predetermined time from the frame corresponding to the reception timing of the trigger signal. Further, when a transfer request accompanied by a frame number is received from the confirmation device, the control unit controls a process of reading the image data of the frame specified by this frame number from the memory and transferring the image data to the confirmation device.

例えば、メモリには、各フレームの画像データがイントラフレーム圧縮されて書き込まれ、確認装置には、フレーム番号で指定されたフレームのイントラフレーム圧縮された画像データが転送される、ようにされてもよい。これによりデータ量を少なくでき、転送をスムーズに行うことが可能となる。また、メモリには、各フレームの画像データが、少なくとも所定時間内以上の単位でループ記録される、ようにされてもよい。これにより、メモリ容量を節約することが可能となる。 For example, even if the image data of each frame is compressed and written in the memory, and the intra-frame compressed image data of the frame specified by the frame number is transferred to the confirmation device. good. As a result, the amount of data can be reduced and the transfer can be performed smoothly. Further, the image data of each frame may be loop-recorded in the memory in a unit of at least a predetermined time or more. This makes it possible to save memory capacity.

確認装置には、ディスプレイと、制御部が備えられている。制御部により、複数のカメラにエンドトリガ信号を送信する処理が制御される。また、制御部により、複数のカメラから選択された所定カメラにフレーム番号を伴う転送要求を送信する処理が制御される。また、制御部により、所定カメラから転送されてくるフレーム番号で指定されたフレームの画像データを受信し、この画像データによる画像をディスプレイに表示する処理が制御される。 The confirmation device is provided with a display and a control unit. The control unit controls the process of transmitting end trigger signals to a plurality of cameras. In addition, the control unit controls the process of transmitting a transfer request accompanied by a frame number to a predetermined camera selected from a plurality of cameras. Further, the control unit controls the process of receiving the image data of the frame specified by the frame number transferred from the predetermined camera and displaying the image based on the image data on the display.

例えば、所定カメラの切り替えを行うための操作部をさらに備える、ようにされてもよい。この場合、例えば、操作部は、ディスプレイの画面上に配置されたタッチパネルにより構成される、ようにされてもよい。そして、この場合、例えば、ディスプレイには、カメラの切り替えを行うためのボタンおよび/またはスクロールバーが表示される、ようにされてもよい。これにより、画像確認をするカメラ(特定のカメラ)の切り替えを容易かつ簡単に行うことができる。 For example, an operation unit for switching a predetermined camera may be further provided. In this case, for example, the operation unit may be configured to be composed of a touch panel arranged on the screen of the display. Then, in this case, for example, the display may display a button and / or a scroll bar for switching cameras. This makes it possible to easily and easily switch the camera (specific camera) for checking the image.

このように本技術においては、確認装置から複数のカメラにエンドトリガ信号が送信され、各カメラではこのトリガ信号の受信タイミングに対応したフレームから過去所定時間のフレームに対してフレーム番号が付けられ、また、確認装置から所定カメラにフレーム番号を伴う転送要求が送信され、確認装置では所定カメラから送られてくる画像データによる画像が表示される。そのため、確認装置において複数のカメラの撮像画像を良好に確認し得る。この場合、各カメラ間で同じ時間のフレームには同じフレーム番号が割り当てられるので、同じ時間のフレームで簡単にカメラアングルの切り替えを行うことができる。 As described above, in the present technology, the end trigger signal is transmitted from the confirmation device to a plurality of cameras, and each camera assigns a frame number to the frame corresponding to the reception timing of the trigger signal to the frame of the past predetermined time. Further, the confirmation device transmits a transfer request with a frame number to the predetermined camera, and the confirmation device displays an image based on the image data sent from the predetermined camera. Therefore, the images captured by a plurality of cameras can be satisfactorily confirmed by the confirmation device. In this case, since the same frame number is assigned to the frames of the same time between the cameras, the camera angles can be easily switched in the frames of the same time.

本技術によれば、複数のカメラの撮像画像を良好に確認し得る。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。 According to this technique, images captured by a plurality of cameras can be confirmed satisfactorily. It should be noted that the effects described in the present specification are merely exemplary and not limited, and may have additional effects.

実施の形態としてのマルチカメラシステムの構成例を示すブロック図である。It is a block diagram which shows the configuration example of the multi-camera system as an embodiment. 複数のカメラの設置状態を示す図である。It is a figure which shows the installation state of a plurality of cameras. カメラの構成例を示すブロック図である。It is a block diagram which shows the structural example of a camera. 確認装置の構成例を示すブロック図である。It is a block diagram which shows the configuration example of the confirmation device. 各カメラでフレームバッファ内のフレームに番号付をする際のタイミングチャートの一例を示す図である。It is a figure which shows an example of the timing chart when the frame in a frame buffer is numbered by each camera. 確認装置のパネルに表示される、マルチカメラ撮像した画像(動画コンテンツ)を再生するための画面の一例を示す図である。It is a figure which shows an example of the screen for reproducing the image (moving image content) taken by a multi-camera displayed on the panel of a confirmation device. 確認装置での再生時における各カメラとの間の通信のシーケンス例を示す図である。It is a figure which shows the sequence example of the communication with each camera at the time of reproduction by a confirmation device. 各カメラの再生コンテンツを確認装置のフレームバッファに予めダウンロードする場合の動作の一例を示す図である。It is a figure which shows an example of the operation when the playback content of each camera is downloaded in advance to the frame buffer of a confirmation device. 各カメラの再生コンテンツを確認装置のフレームバッファに予めダウンロードする場合の動作の他の一例を示す図である。It is a figure which shows another example of the operation when the reproduction content of each camera is downloaded in advance to the frame buffer of a confirmation device. マルチカメラシステムの他の構成例を示すブロック図である。It is a block diagram which shows the other configuration example of a multi-camera system. マルチカメラシステムの他の構成例を示すブロック図である。It is a block diagram which shows the other configuration example of a multi-camera system. マルチカメラシステムの他の構成例を示すブロック図である。It is a block diagram which shows the other configuration example of a multi-camera system.

以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
Hereinafter, embodiments for carrying out the invention (hereinafter referred to as “embodiments”) will be described. The explanations will be given in the following order.
1. 1. Embodiment 2. Modification example

<1.実施の形態>
[マルチカメラシステムの構成例]
図1は、実施の形態としてのマルチカメラシステム10Aの構成例を示している。このマルチカメラシステム10Aは、複数個、ここでは3個のカメラ(ビデオカメラ)、つまりカメラ(カメラA)101-A、カメラ(カメラB)101-B、カメラ(カメラC)101-Cを有している。また、マルチカメラシステム10Aは、スマートフォンやタブレットなどの携帯端末あるいはパーソナルコンピュータ等からなる確認装置102を有している。
<1. Embodiment>
[Multi-camera system configuration example]
FIG. 1 shows a configuration example of the multi-camera system 10A as an embodiment. This multi-camera system 10A has a plurality of cameras (video cameras), that is, a camera (camera A) 101-A, a camera (camera B) 101-B, and a camera (camera C) 101-C. is doing. Further, the multi-camera system 10A has a confirmation device 102 including a mobile terminal such as a smartphone or a tablet, a personal computer, or the like.

カメラ101-A,101-B,101-Cと確認装置102は有線あるいは無線でLAN接続されている。例えば、確認装置102はマスタ機器を構成し、カメラ101-A,101-B,101-Cのそれぞれはスレーブ機器を構成する。図2は、カメラ101-A,101-B,101-Cの設置状態を示している。カメラ101-A,101-B,101-Cは、同一の被写体OBを、異なるアングルで撮像するように配置される。 The cameras 101-A, 101-B, 101-C and the confirmation device 102 are connected to the LAN by wire or wirelessly. For example, the confirmation device 102 constitutes a master device, and each of the cameras 101-A, 101-B, and 101-C constitutes a slave device. FIG. 2 shows the installation state of the cameras 101-A, 101-B, and 101-C. The cameras 101-A, 101-B, and 101-C are arranged so as to capture the same subject OB at different angles.

確認装置102は、ユーザ操作に応じて、各カメラに対して撮像の開始・終了のトリガを掛けることができる。この場合、マスタ機器である確認装置102は、各カメラに対して撮像の開始・終了のトリガ信号(コマンド)を発行する。各カメラは、通信部分を構成する制御インタフェース(制御I/F)を介して、このトリガ信号を受け取り、その指示に従った動作をする。なお、各カメラの制御インタフェースは、当該カメラに内蔵されている。また、確認装置102は、パネル(ディスプレイ)を備えており、撮影終了後は、このディスプレイで各カメラにおける撮像画像の確認ができる。 The confirmation device 102 can trigger the start / end of imaging for each camera according to the user operation. In this case, the confirmation device 102, which is a master device, issues a trigger signal (command) for starting / ending imaging to each camera. Each camera receives this trigger signal via the control interface (control I / F) constituting the communication portion, and operates according to the instruction. The control interface of each camera is built in the camera. Further, the confirmation device 102 includes a panel (display), and after the shooting is completed, the image captured by each camera can be confirmed on this display.

カメラ101-A,101-B,101-Cは、それぞれ、イメージャと、このイメージャで撮像されて得られた各フレームの画像データを書き込むメモリを備えている。この場合、メモリには、各フレームの画像データ(例えば、フレームレートは60Hzである)がイントラフレーム圧縮、この実施の形態ではJPEG圧縮されて書き込まれる。また、メモリには、各フレームの画像データが、少なくとも所定時間以上、この実施の形態では3秒間以上の単位でループ記録される。なお、必ずしもループ記録である必要はなく、また、各フレームの画像データがAVCなどでエンコードされてメモリに書き込まれるようにされてもよい。 The cameras 101-A, 101-B, and 101-C each include an imager and a memory for writing image data of each frame obtained by being imaged by the imager. In this case, the image data of each frame (for example, the frame rate is 60 Hz) is intra-frame compressed, and in this embodiment, JPEG-compressed and written in the memory. Further, in the memory, the image data of each frame is loop-recorded in a unit of at least a predetermined time or longer, and in this embodiment, 3 seconds or longer. It is not always necessary to perform loop recording, and the image data of each frame may be encoded by AVC or the like and written to the memory.

カメラ101-A,101-B,101-Cは、確認装置102からのエンドトリガ信号の受信があるとき、このエンドトリガ信号に対応したフレームから過去所定時間、この実施の形態では3秒間のフレームに対してフレーム番号を付ける処理をする。例えば、最初のフレームのフレーム番号は“1”とされ、最後のフレーム番号は“180”とされる。また、カメラ101-A,101-B,101-Cのそれぞれは、確認装置102からのフレーム番号を伴う転送要求の受信があるとき、このフレーム番号で指定されたフレームの画像データをメモリから読み出して確認装置102に転送する。 When the end trigger signal is received from the confirmation device 102, the cameras 101-A, 101-B, and 101-C have a frame corresponding to the end trigger signal for a predetermined time in the past, or a frame for 3 seconds in this embodiment. The process of assigning a frame number to the camera is performed. For example, the frame number of the first frame is "1" and the last frame number is "180". Further, each of the cameras 101-A, 101-B, and 101-C reads out the image data of the frame specified by this frame number from the memory when the transfer request accompanied by the frame number is received from the confirmation device 102. And transfer to the confirmation device 102.

確認装置102は、ユーザの撮像停止操作に応じて、各カメラにエンドトリガ信号を送る。また、確認装置102は、ユーザ操作に応じて、カメラ101-A,101-B,101-Cから選択された所定カメラに、フレーム番号を伴う転送要求を送信する。そして、確認装置102は、所定カメラから転送されてくる、上記フレーム番号で指定されたフレームの画像データを受信し、この画像データによる画像をパネル(ディスプレイ)に表示する。 The confirmation device 102 sends an end trigger signal to each camera in response to the user's imaging stop operation. Further, the confirmation device 102 transmits a transfer request accompanied by a frame number to a predetermined camera selected from the cameras 101-A, 101-B, and 101-C according to the user operation. Then, the confirmation device 102 receives the image data of the frame designated by the frame number transferred from the predetermined camera, and displays the image based on the image data on the panel (display).

「カメラの構成例」
図3は、カメラ101(101-A,101-B,101-C)の構成例を示している。カメラ101は、CPU111と、メモリ112と、イメージャ/レンズ部113と、カメラ信号処理部114と、コーデック処理部115を有している。また、カメラ101は、パネル処理部116と、パネル117と、有線通信処理部118と、有線LAN端子119と、無線通信処理部120と、アンテナ121を有している。
"Camera configuration example"
FIG. 3 shows a configuration example of the camera 101 (101-A, 101-B, 101-C). The camera 101 includes a CPU 111, a memory 112, an imager / lens unit 113, a camera signal processing unit 114, and a codec processing unit 115. Further, the camera 101 has a panel processing unit 116, a panel 117, a wired communication processing unit 118, a wired LAN terminal 119, a wireless communication processing unit 120, and an antenna 121.

CPU111は、カメラ101の各部の動作を制御する。メモリ112は、制御ソフトウェアの格納およびデータの保管、CPU111のワークエリア等を構成する。また、メモリ112は、撮像画像データをループ記録するフレームバッファも構成している。 The CPU 111 controls the operation of each part of the camera 101. The memory 112 constitutes a storage of control software, data storage, a work area of the CPU 111, and the like. The memory 112 also constitutes a frame buffer for loop recording the captured image data.

イメージャ/レンズ部113は、撮像レンズとイメージャとからなり、被写体を撮像して撮像信号を得る。カメラ信号処理部114は、イメージャ/レンズ部113で得られた撮像信号を処理して被写体に対応した画像データ(撮像画像データ)を生成する。コーデック処理部115は、カメラ信号処理部114で得られた各フレームの画像データに対してJPEG圧縮の処理をする。メモリ112のフレームバッファには、このようにJPEG圧縮された各フレームの画像データがループ記録される。 The imager / lens unit 113 includes an image pickup lens and an imager, and images a subject to obtain an image pickup signal. The camera signal processing unit 114 processes the image pickup signal obtained by the imager / lens unit 113 to generate image data (captured image data) corresponding to the subject. The codec processing unit 115 performs JPEG compression processing on the image data of each frame obtained by the camera signal processing unit 114. In the frame buffer of the memory 112, the image data of each frame compressed in this way is loop-recorded.

パネル処理部116は、カメラ信号処理部114で得られた画像データに基づいてパネル117を駆動して、このパネル117に撮像画像を表示する。パネル117は、LCDや有機ELパネルなどで構成される。パネル117は、タッチパネル機能を有し、必要に応じて、パネル117には、ユーザ操作のためのUI表示もされる。 The panel processing unit 116 drives the panel 117 based on the image data obtained by the camera signal processing unit 114, and displays the captured image on the panel 117. The panel 117 is composed of an LCD, an organic EL panel, or the like. The panel 117 has a touch panel function, and the panel 117 is also provided with a UI display for user operation, if necessary.

有線通信処理部118は、有線LAN端子119を通じて、外部機器、この実施の形態では確認装置102との間で有線通信をする。無線通信処理部120は、アンテナ121を通じて、外部機器、この実施の形態では確認装置102との間で無線通信をする。なお、無線通信と有線通信のいずれかが選択的に行われる。 The wired communication processing unit 118 performs wired communication with an external device, in this embodiment, the confirmation device 102 through the wired LAN terminal 119. The wireless communication processing unit 120 wirelessly communicates with an external device, in this embodiment, the confirmation device 102 through the antenna 121. Either wireless communication or wired communication is selectively performed.

「確認装置の構成例」
図4は、確認装置102の構成例を示している。確認装置102は、CPU131と、メモリ132と、コーデック処理部133と、グラフィック処理部134を有している。また、確認装置102は、パネル処理部135と、パネル136と、有線通信処理部137と、有線LAN端子138と、無線通信処理部139と、アンテナ140を有している。
"Configuration example of confirmation device"
FIG. 4 shows a configuration example of the confirmation device 102. The confirmation device 102 includes a CPU 131, a memory 132, a codec processing unit 133, and a graphic processing unit 134. Further, the confirmation device 102 has a panel processing unit 135, a panel 136, a wired communication processing unit 137, a wired LAN terminal 138, a wireless communication processing unit 139, and an antenna 140.

CPU131は、確認装置102の各部の動作を制御する。メモリ132は、制御ソフトウェアの格納およびデータの保管、CPU131のワークエリア等を構成する。また、メモリ132は、カメラ101(図3参照)から転送されてくる各フレームの画像データを一時的に記録する。 The CPU 131 controls the operation of each part of the confirmation device 102. The memory 132 constitutes a storage of control software, a storage of data, a work area of the CPU 131, and the like. Further, the memory 132 temporarily records the image data of each frame transferred from the camera 101 (see FIG. 3).

コーデック処理部133は、画像表示のために、メモリ132のフレームバッファに一時的に記録されている各フレームの画像データを読み出し、伸長処理をする。パネル処理部135は、コーデック処理部133で伸長処理されて得られた画像データに基づいて表示パネル136を駆動して、このパネル136に画像を表示する。パネル136は、LCDや有機ELパネルなどで構成される。パネル136は、タッチパネル機能を有し、必要に応じて、パネル136には、ユーザ操作のためのUI表示もされる。 The codec processing unit 133 reads out the image data of each frame temporarily recorded in the frame buffer of the memory 132 for image display, and performs decompression processing. The panel processing unit 135 drives the display panel 136 based on the image data obtained by the decompression processing by the codec processing unit 133, and displays the image on the panel 136. The panel 136 is composed of an LCD, an organic EL panel, or the like. The panel 136 has a touch panel function, and if necessary, the panel 136 also displays a UI for user operation.

有線通信処理部137は、有線LAN端子138を通じて、外部機器、この実施の形態ではカメラ101との間で有線通信をする。無線通信処理部139は、アンテナ140を通じて、外部機器、この実施の形態ではカメラ101との間で無線通信をする。なお、無線通信と有線通信のいずれかが選択的に行われる。 The wired communication processing unit 137 performs wired communication with an external device, in this embodiment, with the camera 101 through the wired LAN terminal 138. The wireless communication processing unit 139 wirelessly communicates with an external device, in this embodiment, with the camera 101 through the antenna 140. Either wireless communication or wired communication is selectively performed.

「エンドトリガによるフレーム番号付例」
図5は、確認装置102から各カメラにエンドトリガ信号を送った場合に各カメラでフレームバッファ内のフレームに番号付をする際のタイミングチャートの一例を示している。時刻t1で、確認装置102から各カメラにエンドトリガ信号が送られる。各カメラは、この時刻t1に対応したフレームまでで記録動作を停止し(撮像動作は必ずしも停止する必要はないが、撮像動作も停止してもよい)、当該フレームのフレーム番号を「1」とする。そして、各カメラは、フレームバッファに記録されている各フレームに対して、このフレーム番号「1」のフレームを基準に時間を遡って各フレームに番号付けしていく。
"Example of frame numbering by end trigger"
FIG. 5 shows an example of a timing chart when a frame in a frame buffer is numbered by each camera when an end trigger signal is sent from the confirmation device 102 to each camera. At time t1, the confirmation device 102 sends an end trigger signal to each camera. Each camera stops the recording operation until the frame corresponding to this time t1 (the imaging operation does not necessarily have to be stopped, but the imaging operation may also be stopped), and the frame number of the frame is set to "1". do. Then, each camera retroactively numbers each frame recorded in the frame buffer with respect to the frame having the frame number "1".

図示の例では、エンドトリガから3秒分の動画フレームに対して番号付けしているので、先頭のフレームの番号は「180」となっている。これにより、各カメラの同じフレーム番号のフレームを同一時刻と見なすことができる。各カメラは、必ずしも、ゲンロック(Genlock)などで露光の位相が揃っていなくてもよい。また、確認装置102からのエンドトリガ信号が各カメラに届くまでにタイミング的なゆらぎがあってもよい。ただし、露光位相やトリガータイミングが揃っていれば、再生時のカメラ切り替えを綺麗に遷移させることができる。 In the illustrated example, since the moving image frames for 3 seconds from the end trigger are numbered, the number of the first frame is "180". As a result, the frames with the same frame number of each camera can be regarded as the same time. Each camera does not necessarily have to have the same exposure phase due to Genlock or the like. Further, there may be timing fluctuations before the end trigger signal from the confirmation device 102 reaches each camera. However, if the exposure phase and trigger timing are the same, it is possible to make a beautiful transition between camera switching during playback.

「確認装置上のユーザーインタフェース例」
図6は、確認装置102のパネル136に表示される、マルチカメラ撮像した画像(動画コンテンツ)を再生するための画面の一例を示している。この例では、カメラ(カメラA)101-Aが選択され、その撮像画像300が表示されている。この画面には、撮像画像にユーザ操作用のUI画面が重畳されている。
"Example of user interface on confirmation device"
FIG. 6 shows an example of a screen for reproducing an image (moving image content) captured by a multi-camera displayed on the panel 136 of the confirmation device 102. In this example, the camera (camera A) 101-A is selected and the captured image 300 is displayed. On this screen, a UI screen for user operation is superimposed on the captured image.

この画面では、再生用アイコンが表示されている再生操作部301からのユーザ操作により、選択されているカメラの撮像画像の再生、一時停止、早送り、巻き戻し、コマ送りなどの通常の再生操作を行うことができる。ここで、再生用アイコンにはスクロールバーも併設されており、指でスクロールすることで、前後にコマ送りや、早送り・巻き戻しも可能である。 On this screen, normal playback operations such as playback, pause, fast forward, rewind, and frame advance of the captured image of the selected camera can be performed by user operation from the playback operation unit 301 on which the playback icon is displayed. It can be carried out. Here, the playback icon also has a scroll bar, and by scrolling with your finger, you can advance back and forth frame by frame, and fast forward and rewind.

また、カメラ切り替え用アイコンが表示されているカメラ切り替え操作部302からのユーザ操作により、任意の再生時刻で、別のカメラのアングルに切り替えることができる。この例では、“B”というボタンを押すと、押した瞬間のカメラ(カメラA)101-Aと同じ時刻の、カメラ(カメラB)101-Bの撮像画像に切り替わる。同様に、“C”というボタンを押すと、押した瞬間のカメラ(カメラA)101-Aと同じ時刻の、カメラ(カメラC)101-Cの撮像画像に切り替わる。 Further, the camera can be switched to another camera angle at an arbitrary playback time by a user operation from the camera switching operation unit 302 on which the camera switching icon is displayed. In this example, when the button "B" is pressed, the image is switched to the captured image of the camera (camera B) 101-B at the same time as the camera (camera A) 101-A at the moment of pressing. Similarly, when the button "C" is pressed, the image is switched to the captured image of the camera (camera C) 101-C at the same time as the camera (camera A) 101-A at the moment of pressing.

なお、カメラ切り替え操作は、ボタンを押す操作だけでなく、ボタンの上部に存在するスクロールバーによりカメラを左から右へと、あるいは右から左へと次々と切り替えることもできる。カメラの台数が多い場合には、タイムスライス映像と同じ再生表現が可能である。カメラの切り替えは、再生中でも、一時停止中でも行うことができる。 The camera switching operation is not limited to the operation of pressing a button, but the camera can be switched from left to right or from right to left one after another by the scroll bar existing at the top of the button. When the number of cameras is large, the same playback expression as the time slice video is possible. The cameras can be switched during playback or pause.

「確認装置と各カメラとの間の通信シーケンス」
図7のシーケンス図は、確認装置102での再生時における各カメラとの間の通信のシーケンス例を示している。まず、カメラ(カメラA)101-Aの画像をコマ送りして表示する際の通信例を示している。
"Communication sequence between the confirmation device and each camera"
The sequence diagram of FIG. 7 shows an example of a sequence of communication with each camera during reproduction by the confirmation device 102. First, a communication example is shown when the image of the camera (camera A) 101-A is displayed frame by frame.

先頭のフレームのフレーム番号が「180(#180)」なので、確認装置102は、カメラ(カメラA)101-Aに対して、#180のフレームの画像データ(この場合は、JPEG圧縮符号化されている)の転送を要求する。これに対して、カメラ(カメラA)101-Aは、自分のフレームバッファ内の#180のフレームの画像データを読み出して確認装置102に転送する。これにより、確認装置102では、この#180のフレームの画像データによる画像がパネル136に表示される。 Since the frame number of the first frame is "180 (# 180)", the confirmation device 102 indicates the image data of the frame of # 180 (in this case, JPEG compression coding) with respect to the camera (camera A) 101-A. ) Request a transfer. On the other hand, the camera (camera A) 101-A reads out the image data of the frame # 180 in its own frame buffer and transfers it to the confirmation device 102. As a result, in the confirmation device 102, the image based on the image data of the frame of # 180 is displayed on the panel 136.

次に、同様に、確認装置102は、カメラ(カメラA)101-Aに対して、#179のフレームの画像データの転送を要求する。これに対して、カメラ(カメラA)101-Aは、自分のフレームバッファ内の#179のフレームの画像データを読み出して確認装置102に転送する。これにより、確認装置102では、この#179のフレームの画像データによる画像がパネル136に表示される。 Next, similarly, the confirmation device 102 requests the camera (camera A) 101-A to transfer the image data of the frame of # 179. On the other hand, the camera (camera A) 101-A reads out the image data of the frame of # 179 in its own frame buffer and transfers it to the confirmation device 102. As a result, in the confirmation device 102, the image based on the image data of the frame of # 179 is displayed on the panel 136.

次に、確認装置102では、(カメラB)101-Bに切り替える。これは、図6のUI画面において、例えば、カメラ切り替え操作部302における“B”ボタンが押されたときの動作に対応する。この場合、確認装置102は、カメラ(カメラB)101-Bに対して、#179のフレームの画像データの転送を要求する。これに対して、カメラ(カメラB)101-Bは、自分のフレームバッファ内の#179のフレームの画像データを読み出して確認装置102に転送する。これにより、確認装置102では、この#179のフレームの画像データによる画像がパネル136に表示される。以下、同様の動作となる。 Next, the confirmation device 102 switches to (camera B) 101-B. This corresponds to, for example, the operation when the "B" button on the camera switching operation unit 302 is pressed on the UI screen of FIG. In this case, the confirmation device 102 requests the camera (camera B) 101-B to transfer the image data of the frame of # 179. On the other hand, the camera (camera B) 101-B reads out the image data of the frame of # 179 in its own frame buffer and transfers it to the confirmation device 102. As a result, in the confirmation device 102, the image based on the image data of the frame of # 179 is displayed on the panel 136. Hereinafter, the operation is the same.

「表示レイテンシの改善例」
なお、上述では、確認装置102に所定カメラの所定フレームの画像を表示する際に、当該所定フレームの画像データを当該所定カメラからその都度取得する例を示した。この場合、特に、無線LAN接続の場合、通信経路の状況によっては表示レイテンシが延びることが想定される。
"Example of improvement of display latency"
In the above description, when displaying the image of the predetermined frame of the predetermined camera on the confirmation device 102, an example of acquiring the image data of the predetermined frame from the predetermined camera each time is shown. In this case, especially in the case of a wireless LAN connection, it is expected that the display latency will increase depending on the condition of the communication path.

この表示レイテンシの改善のために、確認装置102のメモリ132(図4参照)にフレームバッファを持たせ、各カメラの再生コンテンツを当該フレームバッファに予めダウンロードすることが考えられる。この実施の形態では、3秒分の全てのカメラのJPEGファイルが確認装置102に予めバッファリングされる。このバッファリング後は、確認装置102内に閉じて再生が行われるので、通信経路の状況の影響を受けることがなく、表示レイテンシが改善される。 In order to improve the display latency, it is conceivable to provide a frame buffer in the memory 132 (see FIG. 4) of the confirmation device 102 and download the playback content of each camera to the frame buffer in advance. In this embodiment, the JPEG files of all the cameras for 3 seconds are buffered in the confirmation device 102 in advance. After this buffering, the confirmation device 102 is closed and the reproduction is performed, so that the display latency is improved without being affected by the condition of the communication path.

図8のタイミングチャートは、各カメラの再生コンテンツを確認装置102のフレームバッファに予めダウンロードする場合の動作の一例を示している。確認装置102は、各カメラにエンドトリガ信号が供給された記録動作の停止直後は、所定カメラから所定フレームの画像データを取得して画像表示する再生動作になるが、この動作と並行して裏で、各カメラは3秒分のJPEGファイル(=Motion JPRG/MPEG)を確認装置102に転送する動作をする。 The timing chart of FIG. 8 shows an example of an operation when the playback content of each camera is downloaded in advance into the frame buffer of the confirmation device 102. Immediately after the recording operation in which the end trigger signal is supplied to each camera is stopped, the confirmation device 102 acquires image data of a predetermined frame from a predetermined camera and displays an image. Then, each camera operates to transfer a JPEG file (= Motion JPRG / MPEG) for 3 seconds to the confirmation device 102.

この転送が完了した後、確認装置102は、所定カメラの所定フレームの画像を表示する際に、各カメラと通信するのではなく、自身のフレームバッファから当該所定フレームの画像データを取得して画像表示を行う。これにより、通信経路の状況の影響を受けることがなく、表示レイテンシが改善される。 After this transfer is completed, when displaying the image of the predetermined frame of the predetermined camera, the confirmation device 102 acquires the image data of the predetermined frame from its own frame buffer instead of communicating with each camera, and the image. Display. As a result, the display latency is improved without being affected by the condition of the communication path.

図9のタイミングチャートは、各カメラの再生コンテンツを確認装置102のフレームバッファに予めダウンロードする場合の動作の他の一例を示している。この例は、裏で各カメラが確認装置102に転送する画像データを、JPEG圧縮データではなく、AVCなどでエンコードされた本線ストリームとするものである。この場合は、転送後に、さらに確認装置102でフレーム単位のJPEGなどのデータに再エンコードしてもよい。 The timing chart of FIG. 9 shows another example of the operation when the playback content of each camera is downloaded in advance into the frame buffer of the confirmation device 102. In this example, the image data transferred by each camera to the confirmation device 102 behind the scenes is not JPEG compressed data but a main stream encoded by AVC or the like. In this case, after the transfer, the confirmation device 102 may further re-encode the data such as JPEG in frame units.

上述したように、図1に示すマルチカメラシステム10Aにおいては、確認装置102からカメラ101-A,101-B,101-Cにエンドトリガ信号が送信され、各カメラではこのトリガ信号の受信タイミングに対応したフレームから過去所定時間のフレームに対してフレーム番号が付けられ、また、確認装置102から所定カメラにフレーム番号を伴う転送要求が送信され、確認装置102では所定カメラから送られてくる画像データによる画像が表示される。そのため、確認装置102において、各カメラの撮像画像を良好に確認し得る。また、この場合、各カメラ間で同じ時間のフレームには同じフレーム番号が割り当てられるので、同じ時間のフレームで簡単にカメラアングルの切り替えを行うことができる。 As described above, in the multi-camera system 10A shown in FIG. 1, an end trigger signal is transmitted from the confirmation device 102 to the cameras 101-A, 101-B, 101-C, and each camera receives the trigger signal at the reception timing. A frame number is assigned to the frame of the past predetermined time from the corresponding frame, a transfer request with the frame number is transmitted from the confirmation device 102 to the predetermined camera, and the image data sent from the predetermined camera is transmitted by the confirmation device 102. The image is displayed. Therefore, the image captured by each camera can be satisfactorily confirmed in the confirmation device 102. Further, in this case, since the same frame number is assigned to the frames of the same time between the cameras, the camera angles can be easily switched in the frames of the same time.

<2.変形例>
なお、上述実施の形態においては、カメラ101-A,101-B,101-Cの撮像画像データのフレームレートが60Hzである例を示した。本技術は、カメラ101-A,101-B,101-Cの撮像画像データのフレームレートがその他の場合にも同様に適用でき、例えば、ハイフレームレート、例えば、図5に示す240Hzなどの場合にあっても同様に適用できる。
<2. Modification example>
In the above-described embodiment, an example is shown in which the frame rate of the captured image data of the cameras 101-A, 101-B, and 101-C is 60 Hz. This technique can be similarly applied to cases where the frame rate of the captured image data of the cameras 101-A, 101-B, 101-C is other than that, for example, when the frame rate is high, for example, 240 Hz shown in FIG. It can be applied in the same way.

また、上述実施の形態においては、カメラが3個である場合の例を示した。本技術は、カメラが2個、あるいは4個以上の場合にも同様に適用できる。 Further, in the above-described embodiment, an example in which the number of cameras is three is shown. This technology can be similarly applied to the case where there are two or four or more cameras.

また、上述実施の形態においては、各カメラの内部に制御インタフェースを備える例を示した。しかし、カメラは制御インタフェースを備えておらず、カメラの外部に制御用機器を設けることも考えられる。 Further, in the above-described embodiment, an example in which a control interface is provided inside each camera is shown. However, the camera does not have a control interface, and it is conceivable to provide a control device outside the camera.

図10は、その場合におけるマルチカメラシステム10Bの構成例を示している。この図10において、図1と対応する部分には同一符号を付して示している。カメラ101-A,101-B,101-Cは、それぞれ、図1に示すマルチカメラシステム10Aとは異なって、制御インタフェース(制御I/F)を備えてはいない。カメラ101-A,101-B,101-Cの外部に、それぞれ、制御インタフェース(制御I/F)と同様の機能を持つ制御用機器(制御用機器A)101-A、制御用機器(制御用機器B)101-B、制御用機器(制御用機器C)101-Cが設けられる。 FIG. 10 shows a configuration example of the multi-camera system 10B in that case. In FIG. 10, the portions corresponding to those in FIG. 1 are designated by the same reference numerals. Unlike the multi-camera system 10A shown in FIG. 1, the cameras 101-A, 101-B, and 101-C do not have a control interface (control I / F), respectively. Outside the cameras 101-A, 101-B, and 101-C, a control device (control device A) 101-A and a control device (control) that have the same functions as the control interface (control I / F), respectively. Equipment B) 101-B and control equipment (control equipment C) 101-C are provided.

また、上述実施の形態においては、カメラ101-A,101-B,101-Cとは別個に確認装置102を備える例を示した。しかし、確認装置102を備えておらず、カメラ101-A,101-B,101-Cのいずれかが確認装置を兼用する構成も考えられる。図11は、その場合におけるマルチカメラシステム10Cの構成例を示している。この図11において、図1と対応する部分には同一符号を付して示している。 Further, in the above-described embodiment, an example is shown in which the confirmation device 102 is provided separately from the cameras 101-A, 101-B, and 101-C. However, a configuration is also conceivable in which the confirmation device 102 is not provided and any of the cameras 101-A, 101-B, and 101-C also serves as the confirmation device. FIG. 11 shows a configuration example of the multi-camera system 10C in that case. In FIG. 11, the parts corresponding to those in FIG. 1 are designated by the same reference numerals.

なお、図11に示すマルチカメラシステム10Cは、図1に示すマルチカメラシステム10Aに対応したものであるが、図10に示すマルチカメラシステム10Bに対応したものも同様に構成できることは勿論である。詳細説明は省略するが、図12は、その場合におけるマルチカメラシステム10Dの構成例を示している。 The multi-camera system 10C shown in FIG. 11 corresponds to the multi-camera system 10A shown in FIG. 1, but it goes without saying that a system corresponding to the multi-camera system 10B shown in FIG. 10 can be similarly configured. Although detailed description is omitted, FIG. 12 shows a configuration example of the multi-camera system 10D in that case.

また、本技術は、以下のような構成を取ることもできる。
(1)複数のカメラと、該複数のカメラに有線あるいは無線で接続された確認装置とからなり、
上記カメラは、
イメージャと、
上記イメージャで撮像されて得られた各フレームの画像データを書き込むメモリと、
上記確認装置からのエンドトリガ信号の受信があるとき、該トリガ信号の受信タイミングに対応したフレームから過去所定時間のフレームに対してフレーム番号を付ける処理と、上記確認装置からのフレーム番号を伴う転送要求の受信があるとき、該フレーム番号で指定されたフレームの画像データを上記メモリから読み出して上記確認装置に転送する処理を制御する制御部を備え、
上記確認装置は、
ディスプレイと、
上記複数のカメラにエンドトリガ信号を送信する処理と、該複数のカメラから選択された所定カメラにフレーム番号を伴う転送要求を送信する処理と、上記所定カメラから転送されてくる上記フレーム番号で指定されたフレームの画像データを受信し、該画像データによる画像を上記ディスプレイに表示する処理を制御する制御部を備える
マルチカメラシステム。
(2)上記複数のカメラは同一被写体を異なるアングルで撮像する
前記(1)に記載のマルチカメラシステム。
(3)イメージャと、
上記イメージャで撮像されて得られた各フレームの画像データを書き込むメモリと、
確認装置からのエンドトリガ信号の受信があるとき、該トリガ信号の受信タイミングに対応したフレームから過去所定時間のフレームに対してフレーム番号を付ける処理と、上記確認装置からのフレーム番号を伴う転送要求の受信があるとき、該フレーム番号で指定されたフレームの画像データを上記メモリから読み出して上記確認装置に転送する処理を制御する制御部を備える
カメラ。
(4)上記メモリには、各フレームの画像データがイントラフレーム圧縮されて書き込まれ、確認装置には、フレーム番号で指定されたフレームのイントラフレーム圧縮された画像データが転送される
前記(3)に記載のカメラ。
(5)上記メモリには、各フレームの画像データが、少なくとも所定時間以上の単位でループ記録される
前記(3)または(4)に記載のカメラ。
(6)イメージャと、該イメージャで撮像されて得られた各フレームの画像データを書き込むメモリを備えるカメラの処理方法であって、
確認装置からのエンドトリガ信号の受信があるとき、該トリガ信号の受信タイミングに対応したフレームから過去所定時間のフレームに対してフレーム番号を付けるステップと、
上記確認装置からのフレーム番号を伴う転送要求の受信があるとき、該フレーム番号で指定されたフレームの画像データを上記メモリから読み出して上記確認装置に転送するステップを有する
カメラの処理方法。
(7)ディスプレイと、
複数のカメラにエンドトリガ信号を送信する処理と、該複数のカメラから選択された所定カメラにフレーム番号を伴う転送要求を送信する処理と、上記所定カメラから転送されてくる上記フレーム番号で指定されたフレームの画像データを受信し、該画像データによる画像を上記ディスプレイに表示する処理を制御する制御部を備える
確認装置。
(8)上記所定カメラの切り替えを行うための操作部をさらに備える
前記(7)に記載の確認装置。
(9)上記操作部は、上記ディスプレイの画面上に配置されたタッチパネルにより構成される
前記委(8)に記載の確認装置。
(10)上記ディスプレイには、上記所定カメラの切り替えを行うためのボタンおよび/またはスクロールバーが表示される
前記(9)に記載の確認装置。
(11)ディスプレイを備える確認装置の処理方法であって、
複数のカメラにエンドトリガ信号を送信するステップと、
上記複数のカメラから選択された所定カメラにフレーム番号を伴う転送要求を送信するステップと、
上記所定カメラから転送されてくる上記フレーム番号で指定されたフレームの画像データを受信し、該画像データによる画像を上記ディスプレイに表示するステップを有する
確認装置の処理方法。
In addition, this technology can also have the following configurations.
(1) It consists of a plurality of cameras and a confirmation device connected to the plurality of cameras by wire or wirelessly.
The above camera
Imager and
A memory for writing the image data of each frame obtained by being imaged by the above imager, and
When the end trigger signal is received from the confirmation device, the process of assigning a frame number to the frame of the past predetermined time from the frame corresponding to the reception timing of the trigger signal and the transfer accompanied by the frame number from the confirmation device. A control unit that controls a process of reading image data of a frame specified by the frame number from the memory and transferring the image data to the confirmation device when a request is received is provided.
The above confirmation device is
With the display
A process of transmitting an end trigger signal to the plurality of cameras, a process of transmitting a transfer request accompanied by a frame number to a predetermined camera selected from the plurality of cameras, and a process of transmitting a transfer request from the predetermined camera. A multi-camera system including a control unit that controls a process of receiving image data of a frame and displaying an image based on the image data on the display.
(2) The multi-camera system according to (1) above, wherein the plurality of cameras capture the same subject at different angles.
(3) Imager and
A memory for writing the image data of each frame obtained by being imaged by the above imager, and
When an end trigger signal is received from the confirmation device, a process of assigning a frame number to a frame having a predetermined time in the past from a frame corresponding to the reception timing of the trigger signal, and a transfer request accompanied by the frame number from the confirmation device. A camera including a control unit that controls a process of reading image data of a frame specified by the frame number from the memory and transferring the image data to the confirmation device when the image data is received.
(4) The image data of each frame is compressed and written in the memory, and the intra-frame compressed image data of the frame specified by the frame number is transferred to the confirmation device (3). The camera described in.
(5) The camera according to (3) or (4) above, wherein the image data of each frame is loop-recorded in the memory in units of at least a predetermined time or longer.
(6) A processing method of a camera including an imager and a memory for writing image data of each frame obtained by being imaged by the imager.
When the end trigger signal is received from the confirmation device, the step of assigning a frame number to the frame of the past predetermined time from the frame corresponding to the reception timing of the trigger signal, and
A processing method of a camera having a step of reading image data of a frame specified by the frame number from the memory and transferring the image data to the confirmation device when a transfer request accompanied by the frame number is received from the confirmation device.
(7) Display and
It is specified by the process of transmitting an end trigger signal to a plurality of cameras, the process of transmitting a transfer request accompanied by a frame number to a predetermined camera selected from the plurality of cameras, and the frame number transferred from the predetermined camera. A confirmation device including a control unit that controls a process of receiving image data of a frame and displaying an image based on the image data on the display.
(8) The confirmation device according to (7) above, further comprising an operation unit for switching the predetermined camera.
(9) The confirmation device according to the committee (8), wherein the operation unit is composed of a touch panel arranged on the screen of the display.
(10) The confirmation device according to (9) above, wherein a button and / or a scroll bar for switching the predetermined camera is displayed on the display.
(11) A processing method for a confirmation device provided with a display.
Steps to send end trigger signals to multiple cameras,
A step of sending a transfer request with a frame number to a predetermined camera selected from the above multiple cameras, and
A processing method of a confirmation device having a step of receiving image data of a frame specified by the frame number transferred from the predetermined camera and displaying an image based on the image data on the display.

10A,10B,10C,10D・・・マルチカメラシステム
101,101-A,101-B,101-C・・・カメラ
102・・・確認装置
103-A,103-B,103-C・・・制御用機器
111・・・CPU
112・・・メモリ
113・・・イメージャ/レンズ部
114・・・カメラ信号処理部
115・・・コーデック処理部
116・・・パネル処理部
117・・・パネル
118・・・有線通信処理部
119・・・有線LAN端子
120・・・無線通信処理部
121・・・アンテナ
131・・・CPU
132・・・メモリ
133・・・コーデック処理部
134・・・グラフィック処理部
135・・・パネル処理部
136・・・パネル
137・・・有線通信処理部
138・・・有線LAN端子
139・・・無線通信処理部
140・・・アンテナ
10A, 10B, 10C, 10D ... Multi-camera system 101, 101-A, 101-B, 101-C ... Camera 102 ... Confirmation device 103-A, 103-B, 103-C ... Control equipment 111 ・ ・ ・ CPU
112 ・ ・ ・ Memory 113 ・ ・ ・ Imager / Lens unit 114 ・ ・ ・ Camera signal processing unit 115 ・ ・ ・ Codec processing unit 116 ・ ・ ・ Panel processing unit 117 ・ ・ ・ Panel 118 ・ ・ ・ Wired communication processing unit 119 ・・ ・ Wired LAN terminal 120 ・ ・ ・ Wireless communication processing unit 121 ・ ・ ・ Antenna 131 ・ ・ ・ CPU
132 ... Memory 133 ... Codec processing unit 134 ... Graphic processing unit 135 ... Panel processing unit 136 ... Panel 137 ... Wired communication processing unit 138 ... Wired LAN terminal 139 ... Wireless communication processing unit 140 ・ ・ ・ Antenna

Claims (30)

同一の被写体を異なるアングルで撮像する複数のカメラにより撮像され、前記複数のカメラのそれぞれのフレームバッファに記録された各フレームに対し、前記複数のカメラに前記複数カメラ間で同じ時間のフレームには同じフレーム番号を割り当てさせる処理を制御する制御部を有し、
前記割り当てさせる処理の制御は、トリガ信号の送信により行われ、
前記複数のカメラは、前記トリガ信号の受信タイミングに基づいて、それぞれのカメラにより撮像されたフレームの中から前記各フレームを選択し、
前記各フレームは、前記トリガ信号の受信タイミングに対応したフレームから過去所定時間のフレームであり、
前記複数のカメラは、それぞれ、前記トリガ信号の受信タイミングに対応したフレームにフレーム番号として初期値を付し、前記過去所定時間のフレームに対して前記初期値から順次インクリメントされたフレーム番号を付け
情報処理装置。
For each frame imaged by a plurality of cameras that capture the same subject from different angles and recorded in the frame buffers of the plurality of cameras, the plurality of cameras can be used for frames of the same time among the plurality of cameras. It has a control unit that controls the process of assigning the same frame number.
The control of the process to be assigned is performed by transmitting a trigger signal.
The plurality of cameras select each of the frames from the frames captured by the respective cameras based on the reception timing of the trigger signal.
Each of the frames is a frame having a predetermined time in the past from the frame corresponding to the reception timing of the trigger signal.
Each of the plurality of cameras assigns an initial value as a frame number to a frame corresponding to the reception timing of the trigger signal, and assigns a frame number sequentially incremented from the initial value to the frame of the past predetermined time. Information processing device.
前記初期値は、1であるThe initial value is 1.
請求項1に記載の情報処理装置。The information processing apparatus according to claim 1.
前記各フレームは、前記複数のカメラのそれぞれにより撮像されたフレームのうち一部の連続するフレームである
請求項1または2に記載の情報処理装置。
The information processing apparatus according to claim 1 or 2 , wherein each frame is a continuous frame of a part of the frames captured by each of the plurality of cameras.
前記制御部は、前記複数のカメラから選択された所定カメラにフレーム番号を伴う転送要求を送信する処理を制御する
請求項1からのいずれかに記載の情報処理装置。
The information processing device according to any one of claims 1 to 3 , wherein the control unit controls a process of transmitting a transfer request accompanied by a frame number to a predetermined camera selected from the plurality of cameras.
前記制御部は、前記フレーム番号で指定されたフレームの画像データを前記所定カメラから受信する処理を制御する
請求項に記載の情報処理装置。
The information processing device according to claim 4 , wherein the control unit controls a process of receiving image data of a frame designated by the frame number from the predetermined camera.
前記複数のカメラは、前記各フレームの画像データをイントラフレーム圧縮してメモリに書き込み、
前記受信した画像データは、前記フレーム番号で指定されたフレームの前記イントラフレーム圧縮された画像データである
請求項に記載の情報処理装置。
The plurality of cameras compress the image data of each frame into an intraframe and write it to the memory.
The information processing apparatus according to claim 5 , wherein the received image data is the intra-frame compressed image data of the frame specified by the frame number.
前記制御部は、前記受信した画像データによる画像をディスプレイに表示する処理を制御する
請求項またはに記載の情報処理装置。
The information processing device according to claim 5 or 6 , wherein the control unit controls a process of displaying an image based on the received image data on a display.
前記所定カメラの切り替えを行うための操作部を有する
請求項からのいずれかに記載の情報処理装置。
The information processing apparatus according to any one of claims 4 to 7 , which has an operation unit for switching the predetermined camera.
前記操作部は、ディスプレイの画面上に配置されたタッチパネルにより構成される
請求項に記載の情報処理装置。
The information processing device according to claim 8 , wherein the operation unit is composed of a touch panel arranged on the screen of the display.
前記ディスプレイには、前記所定カメラの切り替えを行うためのボタンおよび/またはスクロールバーが表示される
請求項に記載の情報処理装置。
The information processing apparatus according to claim 9 , wherein a button and / or a scroll bar for switching the predetermined camera is displayed on the display.
前記複数のカメラは、前記トリガ信号の受信に応じて前記フレームバッファに記録された各フレームに対してフレーム番号の割り当てを行う
請求項から10のいずれかに記載の情報処理装置。
The information processing apparatus according to claim 1 , wherein the plurality of cameras assign frame numbers to each frame recorded in the frame buffer in response to reception of the trigger signal.
前記複数のカメラに前記複数カメラ間で同じ時間のフレームには同じフレーム番号を割り当てさせる処理では、前記トリガ信号の受信タイミングに対応するフレームに複数のカメラ間で同じフレーム番号を割り当てさせる
請求項から11のいずれかに記載の情報処理装置。
Claim 1 in the process of causing the plurality of cameras to assign the same frame number to frames of the same time among the plurality of cameras, the same frame number is assigned among the plurality of cameras to the frame corresponding to the reception timing of the trigger signal. The information processing apparatus according to any one of 1 to 11 .
前記複数のカメラは、前記トリガ信号の受信に応じて、前記フレームバッファへの撮像フレームの記録を停止する
請求項から12のいずれかに記載の情報処理装置。
The information processing apparatus according to any one of claims 1 to 12 , wherein the plurality of cameras stop recording of an imaging frame in the frame buffer in response to receiving the trigger signal.
前記複数のカメラは、前記トリガ信号の受信タイミングに対応するフレームに初めにフレーム番号を割り当てる
請求項から13のいずれかに記載の情報処理装置。
The information processing apparatus according to any one of claims 1 to 13 , wherein the plurality of cameras first assign a frame number to a frame corresponding to a reception timing of the trigger signal.
前記情報処理装置は、前記複数のカメラのうちのいずれかのカメラである
請求項1から14のいずれかに記載の情報処理装置。
The information processing device according to any one of claims 1 to 14 , wherein the information processing device is one of the plurality of cameras.
複数のカメラと、該複数のカメラに有線あるいは無線で接続された情報処理装置を備え、
前記情報処理装置は、
同一の被写体を異なるアングルで撮像する前記複数のカメラにより撮像され、前記複数のカメラのそれぞれのフレームバッファに記録された各フレームに対し、前記複数のカメラに前記複数カメラ間で同じ時間のフレームには同じフレーム番号を割り当てさせる処理を制御する制御部を有し、
前記割り当てさせる処理の制御は、トリガ信号の送信により行われ、
前記複数のカメラは、前記トリガ信号の受信タイミングに基づいて、それぞれのカメラにより撮像されたフレームの中から前記各フレームを選択し、
前記各フレームは、前記トリガ信号の受信タイミングに対応したフレームから過去所定時間のフレームであり、
前記複数のカメラは、それぞれ、前記トリガ信号の受信タイミングに対応したフレームにフレーム番号として初期値を付し、前記過去所定時間のフレームに対して前記初期値から順次インクリメントされたフレーム番号を付け
マルチカメラシステム。
It is equipped with a plurality of cameras and an information processing device connected to the plurality of cameras by wire or wirelessly.
The information processing device is
For each frame imaged by the plurality of cameras that capture the same subject from different angles and recorded in the frame buffers of the plurality of cameras, the plurality of cameras have the same time frame among the plurality of cameras. Has a control unit that controls the process of assigning the same frame number .
The control of the process to be assigned is performed by transmitting a trigger signal.
The plurality of cameras select each of the frames from the frames captured by the respective cameras based on the reception timing of the trigger signal.
Each of the frames is a frame having a predetermined time in the past from the frame corresponding to the reception timing of the trigger signal.
Each of the plurality of cameras assigns an initial value as a frame number to a frame corresponding to the reception timing of the trigger signal, and assigns a frame number sequentially incremented from the initial value to the frame of the past predetermined time. Multi-camera system.
前記初期値は、1であるThe initial value is 1.
請求項16に記載のマルチカメラシステム。The multi-camera system according to claim 16.
前記各フレームは、前記複数のカメラのそれぞれにより撮像されたフレームのうち一部の連続するフレームである
請求項16または17に記載のマルチカメラシステム。
The multi-camera system according to claim 16 , wherein each frame is a continuous frame of a part of the frames imaged by each of the plurality of cameras.
前記制御部は、前記複数のカメラから選択された所定カメラにフレーム番号を伴う転送要求を送信する処理を制御する
請求項16から18のいずれかに記載のマルチカメラシステム。
The multi-camera system according to any one of claims 16 to 18 , wherein the control unit controls a process of transmitting a transfer request accompanied by a frame number to a predetermined camera selected from the plurality of cameras.
前記制御部は、前記フレーム番号で指定されたフレームの画像データを前記所定カメラから受信する処理を制御する
請求項19に記載のマルチカメラシステム。
The multi-camera system according to claim 19 , wherein the control unit controls a process of receiving image data of a frame designated by the frame number from the predetermined camera.
前記複数のカメラは、前記各フレームの画像データをイントラフレーム圧縮してメモリに書き込み、
前記受信した画像データは、前記フレーム番号で指定されたフレームの前記イントラフレーム圧縮された画像データである
請求項20に記載のマルチカメラシステム。
The plurality of cameras compress the image data of each frame into an intraframe and write it to the memory.
The multi-camera system according to claim 20 , wherein the received image data is the intra-frame compressed image data of the frame specified by the frame number.
前記制御部は、前記受信した画像データによる画像をディスプレイに表示する処理を制御する
請求項20または21に記載のマルチカメラシステム。
The multi-camera system according to claim 20 , wherein the control unit controls a process of displaying an image based on the received image data on a display.
前記情報処理装置は、前記所定カメラの切り替えを行うための操作部を有する
請求項19から22のいずれかに記載のマルチカメラシステム。
The multi-camera system according to any one of claims 19 to 22 , wherein the information processing device has an operation unit for switching the predetermined camera.
前記操作部は、ディスプレイの画面上に配置されたタッチパネルにより構成される
請求項23に記載のマルチカメラシステム。
The multi-camera system according to claim 23 , wherein the operation unit is composed of a touch panel arranged on the screen of the display.
前記ディスプレイには、前記所定カメラの切り替えを行うためのボタンおよび/またはスクロールバーが表示される
請求項24に記載のマルチカメラシステム。
24. The multi-camera system of claim 24 , wherein the display displays a button and / or a scroll bar for switching the predetermined camera.
前記複数のカメラは、前記トリガ信号の受信に応じて前記フレームバッファに記録された各フレームに対してフレーム番号の割り当てを行う
請求項16から25のいずれかに記載のマルチカメラシステム。
The multi-camera system according to any one of claims 16 to 25 , wherein the plurality of cameras assign frame numbers to each frame recorded in the frame buffer in response to reception of the trigger signal.
前記複数のカメラに前記複数カメラ間で同じ時間のフレームには同じフレーム番号を割り当てさせる処理では、前記トリガ信号の受信タイミングに対応するフレームに複数のカメラ間で同じフレーム番号を割り当てさせる
請求項16から26のいずれかに記載のマルチカメラシステム。
16. In the process of causing the plurality of cameras to assign the same frame number to frames of the same time among the plurality of cameras, the same frame number is assigned among the plurality of cameras to the frame corresponding to the reception timing of the trigger signal. The multi-camera system according to any one of 26 to 26 .
前記複数のカメラは、前記トリガ信号の受信に応じて、前記フレームバッファへの撮像フレームの記録を停止する
請求項16から27のいずれかに記載のマルチカメラシステム。
The multi-camera system according to any one of claims 16 to 27 , wherein the plurality of cameras stop recording of an imaging frame in the frame buffer in response to receiving the trigger signal.
前記複数のカメラは、前記トリガ信号の受信タイミングに対応するフレームに初めにフレーム番号を割り当てる
請求項16から28のいずれかに記載のマルチカメラシステム。
The multi-camera system according to any one of claims 16 to 28 , wherein the plurality of cameras initially assign a frame number to a frame corresponding to the reception timing of the trigger signal.
前記情報処理装置は、前記複数のカメラのうちのいずれかのカメラである
請求項16から29のいずれかに記載のマルチカメラシステム。
The multi-camera system according to any one of claims 16 to 29 , wherein the information processing device is one of the plurality of cameras.
JP2020127781A 2020-07-28 2020-07-28 Information processing equipment and multi-camera system Active JP7031703B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020127781A JP7031703B2 (en) 2020-07-28 2020-07-28 Information processing equipment and multi-camera system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020127781A JP7031703B2 (en) 2020-07-28 2020-07-28 Information processing equipment and multi-camera system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016156717A Division JP6747158B2 (en) 2016-08-09 2016-08-09 Multi-camera system, camera, camera processing method, confirmation device, and confirmation device processing method

Publications (2)

Publication Number Publication Date
JP2020182243A JP2020182243A (en) 2020-11-05
JP7031703B2 true JP7031703B2 (en) 2022-03-08

Family

ID=73024854

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020127781A Active JP7031703B2 (en) 2020-07-28 2020-07-28 Information processing equipment and multi-camera system

Country Status (1)

Country Link
JP (1) JP7031703B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116366780B (en) * 2023-04-10 2024-04-02 小米汽车科技有限公司 Frame sequence number determining method and device for frame synchronization and vehicle

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004032012A (en) 2002-06-21 2004-01-29 Sony Corp Multi-viewpoint image recording apparatus, method of synchronous processing for multi-viewpoint image frame, and computer program
JP2009194933A (en) 2009-05-25 2009-08-27 Nikon Corp Image output device
JP2011176661A (en) 2010-02-25 2011-09-08 Casio Computer Co Ltd Video imaging device and program
JP2012249188A (en) 2011-05-30 2012-12-13 Oki Electric Ind Co Ltd Video distribution system and method
JP2012039558A5 (en) 2010-08-11 2013-07-18
JP2015185965A (en) 2014-03-20 2015-10-22 大日本印刷株式会社 Imaging system, imaging method, image reproducer and program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012039558A (en) 2010-08-11 2012-02-23 Casio Comput Co Ltd Reference image identification device and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004032012A (en) 2002-06-21 2004-01-29 Sony Corp Multi-viewpoint image recording apparatus, method of synchronous processing for multi-viewpoint image frame, and computer program
JP2009194933A (en) 2009-05-25 2009-08-27 Nikon Corp Image output device
JP2011176661A (en) 2010-02-25 2011-09-08 Casio Computer Co Ltd Video imaging device and program
JP2012039558A5 (en) 2010-08-11 2013-07-18
JP2012249188A (en) 2011-05-30 2012-12-13 Oki Electric Ind Co Ltd Video distribution system and method
JP2015185965A (en) 2014-03-20 2015-10-22 大日本印刷株式会社 Imaging system, imaging method, image reproducer and program

Also Published As

Publication number Publication date
JP2020182243A (en) 2020-11-05

Similar Documents

Publication Publication Date Title
JP6747158B2 (en) Multi-camera system, camera, camera processing method, confirmation device, and confirmation device processing method
JP7140177B2 (en) camera, camera control method, control device, control device control method, system and system control method
JP7031703B2 (en) Information processing equipment and multi-camera system
JP6743604B2 (en) Multi-camera system, camera, camera processing method, confirmation device, and confirmation device processing method
JP6801286B2 (en) Multi-camera system, camera, camera processing method, confirmation device and confirmation device processing method
JP6257197B2 (en) Information processing apparatus, control method therefor, program, and storage medium
US9258540B2 (en) Imaging apparatus
US20080030608A1 (en) Electronic camera and combined program
US20210409613A1 (en) Information processing device, information processing method, program, and information processing system
JP5567858B2 (en) Recording apparatus and control method thereof
JP2000184261A (en) Image pickup device
JP2019062427A (en) Imaging device, control method therefor, and program
JP6051066B2 (en) Singing video playback system for karaoke
JP2018098664A (en) Recording device, control method therefor, computer program, and recording medium
JP2018195923A (en) Recording device
JPH10294939A (en) System and device for image transmission
JP2016072698A (en) Information processing device, display device, tv set, information processing device control program, and recording medium
JP2021044705A (en) Imaging device, control method thereof, program, and recording medium
JP6351325B2 (en) Recording apparatus and control method thereof
JP2002185902A (en) Video recording system
JP2006033193A (en) Image processing apparatus and imaging apparatus using the same
JP4343991B2 (en) Camera system
JP5930807B2 (en) Imaging device
JP5020879B2 (en) Video storage / playback apparatus and control method thereof
JP2017169082A (en) Image recording device and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200728

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220207

R151 Written notification of patent or utility model registration

Ref document number: 7031703

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151