JP6583458B2 - Imaging apparatus and control method - Google Patents
Imaging apparatus and control method Download PDFInfo
- Publication number
- JP6583458B2 JP6583458B2 JP2018054098A JP2018054098A JP6583458B2 JP 6583458 B2 JP6583458 B2 JP 6583458B2 JP 2018054098 A JP2018054098 A JP 2018054098A JP 2018054098 A JP2018054098 A JP 2018054098A JP 6583458 B2 JP6583458 B2 JP 6583458B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- encoder
- imaging
- communication terminal
- decoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本発明は撮像装置及び制御方法に関する。 The present invention relates to an imaging apparatus 及 beauty control method.
スポーツのコーチングにおいて、ビデオカメラで取得した画像を用いた手法が広く利用されている。例えば、特許文献１では、タッチパネル付のディスプレイ装置と、圧縮機能付きビデオキャプチャと、ハードディスクと、ビデオ映像再生装置とを備えたスポーツコーチングシステムが開示されている。そして、録画した動画の最初の静止画をサムネイル画像として表示している。さらに、ビデオ作成画面に表示されたペン軌跡を描く静止画アイコンに合成して、保存している。また、選手位置を示すマグネットをグランドに表示させることが可能になっている。 In sports coaching, a technique using an image acquired by a video camera is widely used. For example, Patent Document 1 discloses a sports coaching system including a display device with a touch panel, a video capture with a compression function, a hard disk, and a video image playback device. Then, the first still image of the recorded moving image is displayed as a thumbnail image. Furthermore, it is combined with a still image icon that draws a pen locus displayed on the video creation screen and stored. Further, it is possible to display a magnet indicating the player position on the ground.
このようなスポーツコーチングに利用される撮像システムにおいて、試合中又は練習中にカメラで取得した動画を即座に表示させて、コーチングを行いたいという要求がある。このような場合、ユーザが、一度動画の取得を停止し、その動画ファイルを指定する必要がある。そして、ユーザが、再生中の動画のうち再生したいタイミングを指定する必要がある。さらに、再生終了後に、再び動画を取得しようとした場合、カメラを設置して、動画撮影をスタートさせる必要がある。このように、取得した動画を即座に再生して確認する場合、ユーザの操作が煩雑になってしまう。よって、利便性が低下してしまうという問題がある。 In such an imaging system used for sports coaching, there is a demand for coaching by immediately displaying a moving image acquired by a camera during a game or practice. In such a case, it is necessary for the user to stop obtaining the moving image and specify the moving image file. Then, it is necessary for the user to specify the timing at which the user wants to reproduce the moving image being reproduced. Furthermore, when it is attempted to acquire a moving image again after the end of reproduction, it is necessary to install a camera and start moving image shooting. As described above, when the acquired moving image is immediately reproduced and confirmed, the user's operation becomes complicated. Therefore, there is a problem that convenience is lowered.
本願発明は、上記課題を鑑み、利便性の高い撮像装置及び制御方法を提供することを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to provide a highly convenient imaging apparatus and control method.
本願発明の一態様にかかる撮像装置は、撮像データを取得する撮像部と、前記撮像部によって取得された撮像データを第１の符号化方式でエンコードして、第１の符号化データを生成する第１のエンコーダと、前記第１のエンコーダで生成された前記第１の符号化データを動画ファイルとして記録するメモリと、前記撮像データを第１の符号化方式よりも低いビットレートの第２の符号化方式でエンコードされた第２の符号化データに変換する第２のエンコーダと、前記撮像データを前記第２の符号化方式よりも低いビットレートの第３の符号化方式でエンコードして、第３の符号化データを生成する第３のエンコーダと、通信端末に、前記第２の符号化データ、及び第３の符号化データを送信する第１の通信手段と、を備え、前記通信端末から受け取った接続開始要求に応じて、前記第１の通信手段が前記第３の符号化データを前記通信端末に送信し、前記通信端末から受け取ったデータ取得要求に応じて、前記第２のエンコーダがエンコードを開始し、前記第１の通信手段が前記第２の符号化データを前記通信端末に送信し、前記第１から第３のエンコーダのうち、前記第１のエンコーダと前記第２のエンコーダ、または前記第１のエンコーダと前記第３のエンコーダの組み合わせで、最大２つが同時に動作するものである。 An imaging apparatus according to an aspect of the present invention generates first encoded data by encoding an imaging unit that acquires imaging data, and imaging data acquired by the imaging unit using a first encoding method. A first encoder, a memory that records the first encoded data generated by the first encoder as a moving image file, and a second bit rate that is lower than that of the first encoding method. A second encoder that converts the encoded data into second encoded data, and the imaging data is encoded by a third encoding method having a lower bit rate than the second encoding method; a third encoder for generating a third coded data, to the communication terminal, and a first communication means for transmitting said second encoded data, and the third encoded data, said communication terminal In response to the connection start request received from the communication terminal, the first communication unit transmits the third encoded data to the communication terminal, and in response to the data acquisition request received from the communication terminal, the second encoder Starts encoding, the first communication means transmits the second encoded data to the communication terminal, and among the first to third encoders, the first encoder and the second encoder Or a combination of the first encoder and the third encoder, and a maximum of two operate simultaneously .
本願発明の一態様にかかる撮像システムの制御方法は、撮像データを取得する撮像部と、前記撮像部によって取得された撮像データを第１の符号化方式でエンコードして、第１の符号化データを生成する第１のエンコーダと、前記第１のエンコーダで生成された前記第１の符号化データを動画ファイルとして記録するメモリと、前記メモリに格納された前記第１の符号化データを第１の符号化方式よりも低いビットレートの第２の符号化方式でエンコードされた第２の符号化データに変換する第２のエンコーダと、前記撮像部によって取得された前記撮像データを前記第２の符号化方式よりも低いビットレートの第３の符号化方式でエンコードして、第３の符号化データを生成する第３のエンコーダと、前記通信端末に、前記第２の符号化データ、及び第３の符号化データを送信する第１の通信手段と、を備え、前記通信端末から受け取った接続開始要求に応じて、前記第１の通信手段が前記第３の符号化データを前記通信端末に送信し、前記通信端末から受け取った前記表示部が前記第３の符号化データに基づく動画を表示し、前記操作部から入力されたデータ取得要求を前記第２の通信手段が前記撮像装置に送信し、前記データ取得要求に応じて、前記第２のエンコーダがエンコードを開始し、前記第１の通信手段が前記第２の符号化データを前記通信端末に送信し、前記第１から第３のエンコーダのうち、前記第１のエンコーダと前記第２のエンコーダ、または前記第１のエンコーダと前記第３のエンコーダの組み合わせで、最大２つが同時に動作するものである。 An imaging system control method according to an aspect of the present invention includes: an imaging unit that acquires imaging data; and the first encoded data obtained by encoding the imaging data acquired by the imaging unit using a first encoding method. A first encoder for generating the first encoded data, a memory for recording the first encoded data generated by the first encoder as a moving image file, and the first encoded data stored in the memory for the first A second encoder that converts the second encoded data encoded by the second encoding method having a lower bit rate than the encoding method, and the imaging data acquired by the imaging unit A third encoder that generates third encoded data by encoding with a third encoding method having a bit rate lower than that of the encoding method; and the communication terminal receives the second encoded data. Motor, and a first communication means for transmitting a third coded data comprises, in response to the initiation received from the communication terminal connection request, the first communication means to said third coded data The display unit transmitted to the communication terminal and received from the communication terminal displays a moving image based on the third encoded data, and the second communication unit receives the data acquisition request input from the operation unit. In response to the data acquisition request, the second encoder starts encoding, the first communication means transmits the second encoded data to the communication terminal, and the first communication unit transmits the second encoded data to the communication terminal. Among the third to third encoders, a maximum of two of the first encoder and the second encoder or a combination of the first encoder and the third encoder operate simultaneously .
本願発明は、利便性の高い撮像装置及び制御方法を提供することができる。 The present invention can provide a highly convenient imaging apparatus and control method.
本実施の形態では、スポーツのコーチングシステムに利用される撮像システム、撮像装置、通信端末、及びそれらの制御方法について説明するが、撮像システム、撮像装置、通信端末、及びそれらの制御方法の用途は、スポーツのコーチングシステムに限定されるものではない。 In the present embodiment, an imaging system, an imaging apparatus, a communication terminal, and a control method thereof used for a sports coaching system will be described. However, an imaging system, an imaging apparatus, a communication terminal, and uses of these control methods are described. It is not limited to sports coaching systems.
以下、図面を参照して本発明の実施の形態について説明する。本実施の形態に係る撮像システムについて、図１を用いて説明する。図１は、撮像システム１０の全体構成を示す図である。撮像システム１０は、撮像装置１と通信端末５を備えている。撮像装置１は動画像及び静止画像を撮像することができるデジタルカメラを有している。さらに、撮像装置１は外部メモリカード等を取り付けるためのスロットを有しており、外部メモリカード等に撮像した動画等を記録する。撮像装置１は、通信端末５と無線通信可能であり、撮像した動画を構成する撮像データを通信端末５に対して送信する。 Embodiments of the present invention will be described below with reference to the drawings. An imaging system according to the present embodiment will be described with reference to FIG. FIG. 1 is a diagram illustrating an overall configuration of the imaging system 10. The imaging system 10 includes an imaging device 1 and a communication terminal 5. The imaging device 1 has a digital camera that can capture moving images and still images. Furthermore, the imaging device 1 has a slot for attaching an external memory card or the like, and records a captured moving image or the like on the external memory card or the like. The imaging device 1 can wirelessly communicate with the communication terminal 5 and transmits imaging data constituting the captured moving image to the communication terminal 5.
通信端末５は、撮像装置１と通信可能な通信端末である。より具体的には、通信端末５は、例えば、タブレットＰＣ、スマートフォン、スマートＴＶ等であり、撮像装置１のモニタよりも大きいモニタを有している。通信端末５は、操作部、及び表示部となるタッチパネル付き液晶ディスプレイを有している。通信端末５と撮像装置１とは、例えば、WiFi Directなどの通信方式によって、データの送受信を行う。通信端末５には、操作部と表示部と通信部が設けられていればよい。例えば、通信端末５は、通話やインターネット接続等の他の機能を備えるスマートフォン等の携帯電話であってもよく、通話機能を有していない通信端末であってもよい。ここでは、３つの通信端末５が設けられているが、通信端末５の数は特に限定されるものではない。 The communication terminal 5 is a communication terminal that can communicate with the imaging device 1. More specifically, the communication terminal 5 is, for example, a tablet PC, a smartphone, a smart TV, or the like, and has a monitor larger than the monitor of the imaging device 1. The communication terminal 5 includes a liquid crystal display with a touch panel that serves as an operation unit and a display unit. The communication terminal 5 and the imaging device 1 transmit and receive data using a communication method such as WiFi Direct, for example. The communication terminal 5 may be provided with an operation unit, a display unit, and a communication unit. For example, the communication terminal 5 may be a mobile phone such as a smartphone having other functions such as a call and Internet connection, or may be a communication terminal that does not have a call function. Here, three communication terminals 5 are provided, but the number of communication terminals 5 is not particularly limited.
本実施の形態では、撮像装置１が撮像データを取得中に、ユーザが通信端末５からデータ取得要求を行う。撮像装置１がデータ取得要求を受信すると、撮像装置１が通信端末５に対して撮像データを送信する。したがって、ユーザが通信端末５によって動画を表示することができる。そして、ユーザが通信端末５に表示されている動画に基づいて、フォームやフォーメーションを確認することができる。これにより、コーチと選手とが同じ通信端末５の表示画面を確認しながら、コーチングを行うことができるようになる。 In the present embodiment, the user makes a data acquisition request from the communication terminal 5 while the imaging device 1 is acquiring imaging data. When the imaging device 1 receives the data acquisition request, the imaging device 1 transmits imaging data to the communication terminal 5. Therefore, the user can display a moving image by the communication terminal 5. Then, the user can check the form and formation based on the moving image displayed on the communication terminal 5. As a result, the coach and the player can perform coaching while checking the display screen of the same communication terminal 5.
＜撮像装置１の構成＞
次に、撮像装置１の構成について説明する。図２は、本実施の形態に係る撮像装置１の構成例を示すブロック図である。撮像装置１は動画及び静止画を撮像することができる。
<Configuration of Imaging Device 1>
Next, the configuration of the imaging device 1 will be described. FIG. 2 is a block diagram illustrating a configuration example of the imaging apparatus 1 according to the present embodiment. The imaging device 1 can capture moving images and still images.
撮像装置１は、ズームレンズ１０１、フォーカスレンズ１０２、絞り１０３、及び撮像素子１０４で構成される撮像部１００を有する。ズームレンズ１０１は図示しないズームアクチュエータによって光軸ＬＡに沿って移動する。同様に、フォーカスレンズ１０２は、図示しないフォーカスアクチュエータによって光軸ＬＡに沿って移動する。絞り１０３は、図示しない絞りアクチュエータに駆動されて動作する。撮像素子１０４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成される。 The imaging apparatus 1 includes an imaging unit 100 including a zoom lens 101, a focus lens 102, a diaphragm 103, and an imaging element 104. The zoom lens 101 is moved along the optical axis LA by a zoom actuator (not shown). Similarly, the focus lens 102 moves along the optical axis LA by a focus actuator (not shown). The diaphragm 103 operates by being driven by a diaphragm actuator (not shown). The imaging element 104 is configured by a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor), or the like.
撮像装置１を用いた撮像は以下の手順で行われる。撮像素子１０４は、ズームレンズ１０１、フォーカスレンズ１０２、及び絞り１０３を通過した光を光電変換して、被写体のアナログ画像信号を生成する。アナログ画像信号処理部１０５が、このアナログ画像信号を増幅した後、画像Ａ／Ｄ変換部１０６が、その増幅された信号をデジタル画像データに変換する。画像入力コントローラ１０７は、画像Ａ／Ｄ変換部１０６から出力されたデジタル画像データを撮像データとして取り込んで、バス２００を介してメインメモリ２０６に格納する。 Imaging using the imaging apparatus 1 is performed according to the following procedure. The image sensor 104 photoelectrically converts light that has passed through the zoom lens 101, the focus lens 102, and the diaphragm 103 to generate an analog image signal of the subject. After the analog image signal processing unit 105 amplifies the analog image signal, the image A / D conversion unit 106 converts the amplified signal into digital image data. The image input controller 107 takes in digital image data output from the image A / D conversion unit 106 as imaging data and stores it in the main memory 206 via the bus 200.
デジタル信号処理部１０８は、バス２００を介して中央制御部４００からの指令に基づき、メインメモリ２０６に格納された撮像データを取り込み、所定の信号処理を施して輝度信号と色差信号とからなるデータを生成する。デジタル信号処理部１０８はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。 The digital signal processing unit 108 captures image data stored in the main memory 206 based on a command from the central control unit 400 via the bus 200, performs predetermined signal processing, and data including a luminance signal and a color difference signal. Is generated. The digital signal processing unit 108 also performs various digital corrections such as offset processing, white balance adjustment processing, gamma correction processing, RGB interpolation processing, noise reduction processing, contour correction processing, color tone correction processing, and light source type determination processing.
マイク１０９は撮像時の周囲の音声を収音し、アナログ音声信号を生成する。アナログ音声信号処理部１１０がそのアナログ音声信号を増幅した後、音声Ａ／Ｄ変換部１１１が、その増幅された信号をデジタル音声データに変換する。音声入力コントローラ１１２は、音声Ａ／Ｄ変換部１１１から出力されたデジタル音声データを撮像データと併せてメインメモリ２０６に格納する。 The microphone 109 picks up surrounding sounds at the time of imaging and generates an analog sound signal. After the analog audio signal processing unit 110 amplifies the analog audio signal, the audio A / D conversion unit 111 converts the amplified signal into digital audio data. The voice input controller 112 stores the digital voice data output from the voice A / D converter 111 in the main memory 206 together with the imaging data.
多重化部１１３は、メインメモリ２０６に格納された撮像データ及びデジタル音声データを多重化しストリームデータを生成する。 The multiplexing unit 113 multiplexes the imaging data and digital audio data stored in the main memory 206 to generate stream data.
圧縮・伸長処理部２０１は、バス２００を介して中央制御部４００からの指示に従い、メインメモリ２０６に格納されたストリームデータに所定の圧縮処理を施し、圧縮データを生成する。また、中央制御部４００からの指令に従い、カード型記録媒体３０２等に格納された圧縮データに所定形式の伸張処理を施し、非圧縮データを生成する。なお、本実施の形態の撮像装置１では、静止画像に対してはＪＰＥＧ規格に準拠した圧縮方式が、動画像に対してはＭＰＥＧ２規格やＡＶＣ／Ｈ．２６４規格に準拠した圧縮方式が採用される。 The compression / decompression processing unit 201 performs predetermined compression processing on the stream data stored in the main memory 206 in accordance with an instruction from the central control unit 400 via the bus 200 to generate compressed data. Further, in accordance with a command from the central control unit 400, the compressed data stored in the card-type recording medium 302 or the like is subjected to decompression processing in a predetermined format to generate uncompressed data. Note that in the imaging apparatus 1 according to the present embodiment, a compression method conforming to the JPEG standard is used for still images, and MPEG2 standard or AVC / H. A compression method conforming to the H.264 standard is adopted.
例えば、圧縮・伸長処理部２０１は、第１のエンコーダ／デコーダ２０１ａと、第２のエンコーダ／デコーダ２０１ｂと、第３のエンコーダ／デコーダ２０１ｃと、を備えている。第１のエンコーダ／デコーダ２０１ａは、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ方式で撮像データを符号化（エンコード）、復号化（デコード）している。第１のエンコーダ／デコーダ２０１ａは、撮像データをエンコードして、ハイビジョン映像のＡＶＣＨＤファイルを生成する。ＡＶＣＨＤファイルは、例えば、１９２０×１２００の画素数の撮像データであり、１７Ｍｂｐｓのビットレートを有している。以下、第１のエンコーダ／デコーダ２０１ａが符号化して生成する撮像データを第１の符号化データとする。 For example, the compression / decompression processing unit 201 includes a first encoder / decoder 201a, a second encoder / decoder 201b, and a third encoder / decoder 201c. The first encoder / decoder 201 a The imaging data is encoded (encoded) and decoded (decoded) by the H.264 / MPEG-4 AVC method. The first encoder / decoder 201a encodes the imaging data and generates an AVCHD file of high-definition video. The AVCHD file is, for example, image data having a pixel number of 1920 × 1200, and has a bit rate of 17 Mbps. Hereinafter, imaging data generated by encoding by the first encoder / decoder 201a is referred to as first encoded data.
第２のエンコーダ／デコーダ２０１ｂは、例えば、ＭＰＥＧ−４方式で撮像データを符号化、復号化している。したがって、第２のエンコーダ／デコーダ２０１ｂは、撮像データをエンコードして、ｍｐ４ファイルを生成する。ｍｐ４ファイルは、例えば、６４０×３６０の画素数の撮像データであり、１Ｍｂｐｓのビットレートを有している。以下、第２のエンコーダ／デコーダ２０１ｂが符号化して生成する撮像データを第２の符号化データとする。さらに、第２のエンコーダ／デコーダ２０１ｂは、第１のエンコーダ／デコーダ２０１ａが生成した第１の符号化データを第２の符号化データにトランスコードすることもできる。 For example, the second encoder / decoder 201b encodes and decodes captured image data in the MPEG-4 system. Therefore, the second encoder / decoder 201b encodes the imaging data to generate an mp4 file. The mp4 file is, for example, image data having a number of pixels of 640 × 360, and has a bit rate of 1 Mbps. Hereinafter, imaging data generated by encoding by the second encoder / decoder 201b is referred to as second encoded data. Further, the second encoder / decoder 201b can transcode the first encoded data generated by the first encoder / decoder 201a into the second encoded data.
第３のエンコーダ／デコーダ２０１ｃは、例えば、ＪＰＥＧ方式で、撮像データを符号化、復号化している。例えば、第３のエンコーダ／デコーダ２０１ｃは、撮像データを構成するフレーム画像を符号化して、ＪＰＥＧファイルを生成する。第３のエンコーダ／デコーダ２０１ｃは、ＪＰＥＧファイルを連続して生成することで、Ｍｏｔｉｏｎ ＪＰＥＧデータを生成する。以下、第３のエンコーダ／デコーダ２０１ｃで符号化して生成するデータを第３の符号化データとする。第３の符号化データは、第１の符号化データ、及び第２の符号化データよりもビットレートの遅いデータである。 The third encoder / decoder 201c encodes and decodes imaging data by, for example, the JPEG method. For example, the third encoder / decoder 201c encodes a frame image constituting the imaging data to generate a JPEG file. The third encoder / decoder 201c generates Motion JPEG data by continuously generating JPEG files. Hereinafter, data generated by encoding by the third encoder / decoder 201c is referred to as third encoded data. The third encoded data is data having a slower bit rate than the first encoded data and the second encoded data.
このように第１のエンコーダ／デコーダ２０１ａは、高レート用のエンコーダ／デコーダとなっている。第３のエンコーダ／デコーダ２０１ｃは、低レート用のエンコーダ／デコーダとなっている。第２のエンコーダ／デコーダ２０１ｂは、中レート用のエンコーダ／デコーダとなっている。なお、符号化形式は、上記した第１〜第３の符号化形式に限定されるものではない。すなわち、圧縮・伸長処理部２０１は、ビットレートの異なる３つの形式で符号化、復号化できるものであればよい。もちろん、各エンコーダ／デコーダは、物理的に単一のプロセッサなどで構成されていてもよい。 Thus, the first encoder / decoder 201a is a high-rate encoder / decoder. The third encoder / decoder 201c is a low-rate encoder / decoder. The second encoder / decoder 201b is a medium rate encoder / decoder. Note that the encoding format is not limited to the first to third encoding formats described above. That is, the compression / decompression processing unit 201 only needs to be capable of encoding and decoding in three formats having different bit rates. Of course, each encoder / decoder may be physically constituted by a single processor or the like.
音声・画像処理部２０２は、バス２００を介して中央制御部４００の指示に従い、メインメモリ２０６から読み出したデジタルデータに所定の画像処理を施す。例えばメニュー画像やＯＳＤ画像等、各種処理のための画像データを生成し、その画像データをメインメモリ２０６から読み出されたオリジナルの撮像データに重畳させて液晶モニタ３０４に出力する。この出力によって、液晶モニタ３０４に表示される画像は各種画像データが合成されたものとなる。なお、液晶モニタ３０４の代わりに有機ＥＬ（Electro-Luminescence）モニタ等の他のモニタを用いることも可能である。 The sound / image processing unit 202 performs predetermined image processing on the digital data read from the main memory 206 in accordance with instructions from the central control unit 400 via the bus 200. For example, image data for various processes such as a menu image and an OSD image is generated, and the image data is superimposed on the original image data read from the main memory 206 and output to the liquid crystal monitor 304. With this output, the image displayed on the liquid crystal monitor 304 is a combination of various image data. Instead of the liquid crystal monitor 304, other monitors such as an organic EL (Electro-Luminescence) monitor can be used.
ＲＯＭ２０３はバス２００を介して中央制御部４００に接続されており、中央制御部４００が実行する制御プログラム及び制御に必要な各種データ等を格納している。フラッシュＲＯＭ２０４は、ユーザの設定情報等、撮像装置１の動作に関する各種設定情報を格納している。撮像装置１は、様々な撮像のシチュエーションに応じて、いくつかの撮像モードと、各モードにあわせた撮像条件の設定を予めフラッシュＲＯＭ２０４に記憶している。そして、ユーザは撮像を開始する前に、各モードの中から最適なモードを選択することにより、最適な撮像条件で撮像を実施することができる。例えば、特定の人物の撮像に適した「ポートレートモード」、運動会等の撮像に適した「スポーツモード」、又は夜景等の暗い場所の撮像に適した「夜景モード」等である。ＶＲＡＭ２０５は、表示用の撮像データの一時記憶領域として使用される。 The ROM 203 is connected to the central control unit 400 via the bus 200 and stores a control program executed by the central control unit 400 and various data necessary for control. The flash ROM 204 stores various setting information related to the operation of the imaging apparatus 1, such as user setting information. The imaging apparatus 1 stores in advance in the flash ROM 204 several imaging modes and imaging condition settings according to each mode in accordance with various imaging situations. And before starting imaging, the user can perform imaging under optimal imaging conditions by selecting an optimal mode from each mode. For example, a “portrait mode” suitable for capturing a specific person, a “sport mode” suitable for capturing an athletic meet, or a “night view mode” suitable for capturing a dark place such as a night view. The VRAM 205 is used as a temporary storage area for image data for display.
メインメモリ２０６は、撮像データ（動画像及び静止画）の一時記憶領域として使用されるとともに、中央制御部４００の演算作業領域としても使用される。 The main memory 206 is used as a temporary storage area for imaging data (moving images and still images), and is also used as a calculation work area for the central control unit 400.
メディア制御部２０７は、中央制御部４００の指令に従い、カードＩ／Ｆ３０１を通じてカード型記録媒体３０２へのデータの書き込みやデータの読み出しを制御する。カード型記録媒体３０２はＳＤカードやコンパクトフラッシュ（登録商標）等の外部メモリであり、撮像装置１に対して脱着可能に設けられている。メディア制御部２０７は、圧縮・伸長処理部２０１で符号化された撮像データを動画ファイルとして、カード型記録媒体３０２に記憶する。 The media control unit 207 controls data writing to and data reading from the card-type recording medium 302 through the card I / F 301 in accordance with instructions from the central control unit 400. The card-type recording medium 302 is an external memory such as an SD card or a compact flash (registered trademark), and is provided so as to be removable from the imaging apparatus 1. The media control unit 207 stores the captured image data encoded by the compression / decompression processing unit 201 as a moving image file in the card type recording medium 302.
ジャイロセンサ２０８は、３軸の加速度及び角速度の変化を検出する。そして、ジャイロセンサ２０８の検出結果に応じて、液晶モニタ３０４の表示向きを変える。時計２０８は、撮像画像データの取得日時の情報等を示す入力時刻情報を生成する。 The gyro sensor 208 detects changes in triaxial acceleration and angular velocity. Then, the display orientation of the liquid crystal monitor 304 is changed according to the detection result of the gyro sensor 208. The clock 208 generates input time information indicating information such as acquisition date / time of captured image data.
液晶モニタ３０４、スピーカ３０５、操作部３０６及び入出力端子３０７は入出力Ｉ／Ｆ３０３に接続されている。液晶モニタ３０４は、例えばＶＲＡＭ２０５やメインメモリ２０６に一時記録された撮像データや各種メニュー画像データ等、各種画像データから生成された画像を表示する。スピーカ３０５は、例えばメインメモリ２０６に一時記録された音声を出力する。操作部３０６は、上記のように、リレーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、又は液晶モニタ３０４上に重畳されたタッチパネル等から構成されており、ユーザの撮像装置１への操作入力を受け付ける。入出 力端子３０７は、図示しないテレビモニタやＰＣ（Personal Computer）等に接続される。 The liquid crystal monitor 304, the speaker 305, the operation unit 306, and the input / output terminal 307 are connected to the input / output I / F 303. The liquid crystal monitor 304 displays images generated from various image data such as image data and various menu image data temporarily recorded in the VRAM 205 or the main memory 206, for example. The speaker 305 outputs sound temporarily recorded in the main memory 206, for example. As described above, the operation unit 306 includes an operation key including a relays switch and a power switch, a cross key, a joystick, a touch panel superimposed on the liquid crystal monitor 304, and the like. Accept operation input. The input / output terminal 307 is connected to a television monitor (not shown), a PC (Personal Computer) or the like.
無線モジュール３０９（第１の通信手段）は、バス２００及び無線Ｉ／Ｆ３０８を介して、通信端末５との間で信号の送受信を行う。具体的には、無線モジュール３０９は、Ｗｉ−Ｆｉ等の無線ＬＡＮ規格に準拠した通信処理を行う。これにより、通信端末５との通信が可能になる。無線モジュール３０９は、通信端末５と通信を行うための第１の通信手段となる。 The wireless module 309 (first communication unit) transmits and receives signals to and from the communication terminal 5 via the bus 200 and the wireless I / F 308. Specifically, the wireless module 309 performs communication processing conforming to a wireless LAN standard such as Wi-Fi. Thereby, communication with the communication terminal 5 becomes possible. The wireless module 309 serves as a first communication unit for communicating with the communication terminal 5.
中央制御部４００はＣＰＵ、各種プログラムが格納されたＲＯＭ、及びワークエリアとしてのＲＡＭ等を含む半導体集積回路により構成され、撮像、各種画像の表示、及び連携撮影に関する情報の送受信等の撮像装置１全体の処理を統括的に制御する。 The central control unit 400 includes a semiconductor integrated circuit including a CPU, a ROM storing various programs, a RAM as a work area, and the like. Overall control of the entire process.
中央制御部４００は、デコーダ制御部４０１、及び通信制御部４０２を有している。デコーダ制御部４０１は、第１のエンコーダ／デコーダ２０１ａ、第２のエンコーダ／デコーダ２０１ｂ、及び第３のエンコーダ／デコーダ２０１ｃを制御する。例えば、ユーザが高精細の撮像データを取得したい場合は、撮像データの保存形式としてＡＶＣＨＤファイルを指定する。この場合、デコーダ制御部４０１は、第１のエンコーダ／デコーダ２０１ａを動作させる。すなわち、第２のエンコーダ／デコーダ２０１ｂ、及び第３のエンコーダ／デコーダ２０１ｃの動作を停止させる。これにより、撮像装置１が取得した撮像データが、第１の符号化方式で符号化され、第１の符号化データが生成される。そして、撮像データがＡＶＣＨＤファイルとしてカード型記録媒体３０２、又は内蔵型記録媒体（不図示）に格納される。 The central control unit 400 includes a decoder control unit 401 and a communication control unit 402. The decoder control unit 401 controls the first encoder / decoder 201a, the second encoder / decoder 201b, and the third encoder / decoder 201c. For example, when the user wants to acquire high-definition image data, an AVCHD file is designated as the image data storage format. In this case, the decoder control unit 401 operates the first encoder / decoder 201a. That is, the operations of the second encoder / decoder 201b and the third encoder / decoder 201c are stopped. Thereby, the imaging data acquired by the imaging apparatus 1 is encoded by the first encoding method, and the first encoded data is generated. Then, the imaging data is stored as an AVCHD file in the card type recording medium 302 or a built-in type recording medium (not shown).
一方、ユーザがデータ量の小さい撮像データを取得したい場合は、ｍｐ４ファイルを撮像データの保存形式としてｍｐ４ファイルを指定する。この場合、デコーダ制御部４０１は、第２のエンコーダ／デコーダ２０１ｂを動作させる。すなわち、第２のエンコーダ／デコーダ２０１ｂ、及び第３のエンコーダ／デコーダ２０１ｃの動作を停止させる。これにより、撮像装置１が取得した撮像データが、第２の符号化方式で符号化され、第２の符号化データが生成される。そして、撮像データがｍｐ４ファイルとしてカード型記録媒体３０２に格納される。 On the other hand, when the user wants to acquire imaging data with a small amount of data, the mp4 file is designated as the saving format of the imaging data. In this case, the decoder control unit 401 operates the second encoder / decoder 201b. That is, the operations of the second encoder / decoder 201b and the third encoder / decoder 201c are stopped. Thereby, the imaging data acquired by the imaging apparatus 1 is encoded by the second encoding method, and second encoded data is generated. Then, the imaging data is stored in the card type recording medium 302 as an mp4 file.
また、撮像データのサムネイル画像などを生成する場合、デコーダ制御部４０１が第３のエンコーダ／デコーダ２０１ｃを動作させる。第３のエンコーダ／デコーダ２０１ｃが撮像データの先頭フレームを抽出して、エンコードする。これにより、撮像データのサムネイル画像がＪＰＥＧファイルとして生成される。そして、サムネイル画像を、カード型記録媒体３０２等に格納された撮像データに対応付けて記憶する。 Also, when generating a thumbnail image or the like of the imaged data, the decoder control unit 401 operates the third encoder / decoder 201c. The third encoder / decoder 201c extracts and encodes the first frame of the imaging data. Thereby, a thumbnail image of the imaging data is generated as a JPEG file. Then, the thumbnail image is stored in association with the imaging data stored in the card type recording medium 302 or the like.
通信制御部４０２は、通信端末５との通信を制御する。例えば、通信制御部４０２は、ユーザなどからの入力に基づいて、通信端末５に送信する通信データを生成する。あるいは、通信制御部４０２は、通信端末５から受信した通信データに基づいて、デコーダ制御部４０２や等を制御する。 The communication control unit 402 controls communication with the communication terminal 5. For example, the communication control unit 402 generates communication data to be transmitted to the communication terminal 5 based on an input from a user or the like. Alternatively, the communication control unit 402 controls the decoder control unit 402 and the like based on the communication data received from the communication terminal 5.
＜通信端末５の構成＞ <Configuration of communication terminal 5>
次に、通信端末５の制御系について説明する。通信端末５は、ズームレンズ５０１、フォーカスレンズ５０２、絞り５０３、及び撮像素子５０４で構成される撮像部５００を有する。ズームレンズ５０１は図示しないズームアクチュエータによって光軸ＬＡに沿って移動する。同様に、フォーカスレンズ５０２は、図示しないフォーカスアクチュエータによって光軸ＬＡに沿って移動する。絞り５０３は、図示しない絞りアクチュエータに駆動されて動作する。撮像素子５０４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成される。 Next, the control system of the communication terminal 5 will be described. The communication terminal 5 includes an image capturing unit 500 including a zoom lens 501, a focus lens 502, a diaphragm 503, and an image sensor 504. The zoom lens 501 is moved along the optical axis LA by a zoom actuator (not shown). Similarly, the focus lens 502 is moved along the optical axis LA by a focus actuator (not shown). The diaphragm 503 operates by being driven by a diaphragm actuator (not shown). The image sensor 504 is configured by a charge coupled device (CCD), a complementary metal oxide semiconductor (CMOS), or the like.
撮像部５００を用いた撮像は以下の手順で行われる。撮像素子５０４はズームレンズ５０１、フォーカスレンズ５０２、及び絞り５０３を通過した光を光電変換して、被写体のアナログ画像信号を生成する。
アナログ画像信号処理部５０５が、このアナログ画像信号を増幅した後、画像Ａ／Ｄ変換部５０６が、その増幅された信号をデジタル画像データに変換する。画像入力コントローラ５０７は、画像Ａ／Ｄ変換部５０６から出力されたデジタル画像データを撮像データとして取り込んで、バス６００を介してメインメモリ６０６に格納する。
Imaging using the imaging unit 500 is performed according to the following procedure. The image sensor 504 photoelectrically converts light that has passed through the zoom lens 501, the focus lens 502, and the stop 503 to generate an analog image signal of the subject.
After the analog image signal processing unit 505 amplifies the analog image signal, the image A / D conversion unit 506 converts the amplified signal into digital image data. The image input controller 507 takes in digital image data output from the image A / D conversion unit 506 as imaging data and stores it in the main memory 606 via the bus 600.
デジタル信号処理部５０８は、バス６００を介して中央制御部９００からの指令に基づき、メインメモリ６０６に格納された撮像データを取り込み、所定の信号処理を施して輝度信号と色差信号とからなるデータを生成する。デジタル信号処理部５０８はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。 The digital signal processing unit 508 takes in image data stored in the main memory 606 based on a command from the central control unit 900 via the bus 600, performs predetermined signal processing, and data including a luminance signal and a color difference signal. Is generated. The digital signal processing unit 508 also performs various digital corrections such as offset processing, white balance adjustment processing, gamma correction processing, RGB interpolation processing, noise reduction processing, contour correction processing, color tone correction processing, and light source type determination processing.
マイク５０９は撮像時の周囲の音声を周音し、アナログ音声信号を生成する。アナログ音声信号処理部５１０がそのアナログ音声信号を増幅した後、音声Ａ／Ｄ変換部５１１が、その増幅された信号をデジタル音声データに変換する。音声入力コントローラ５１２は、音声Ａ／Ｄ変換部５１１から出力されたデジタル音声データを撮像データと併せてメインメモリ６０６に格納する。 The microphone 509 circulates the surrounding sound at the time of imaging and generates an analog sound signal. After the analog audio signal processing unit 510 amplifies the analog audio signal, the audio A / D conversion unit 511 converts the amplified signal into digital audio data. The audio input controller 512 stores the digital audio data output from the audio A / D conversion unit 511 in the main memory 606 together with the imaging data.
多重化部５１３は、メインメモリ６０６に格納された撮像データ及びデジタル音声データを多重化しストリームデータを生成する。 The multiplexing unit 513 multiplexes the imaging data and digital audio data stored in the main memory 606 to generate stream data.
圧縮・伸長処理部６０１は、バス６００を介して中央制御部９００からの指示に従い、メインメモリ６０６に格納されたストリームデータに所定の圧縮処理を施し、圧縮データを生成する。また、中央制御部９００からの指令に従い、メインメモリ６０６等に格納された圧縮データに所定形式の伸張処理を施し、非圧縮データを生成する。
なお、本実施の形態の通信端末５では、静止画像に対してはＪＰＥＧ規格に準拠した圧縮方式が、動画像に対してはＭＰＥＧ２規格やＡＶＣ／Ｈ．２６４規格に準拠した圧縮方式が採用される。
The compression / decompression processing unit 601 performs predetermined compression processing on the stream data stored in the main memory 606 in accordance with an instruction from the central control unit 900 via the bus 600 to generate compressed data. Further, in accordance with a command from the central control unit 900, the compressed data stored in the main memory 606 or the like is subjected to decompression processing in a predetermined format to generate uncompressed data.
In the communication terminal 5 according to the present embodiment, the compression method based on the JPEG standard is used for still images, and the MPEG2 standard or AVC / H. A compression method conforming to the H.264 standard is adopted.
例えば、圧縮・伸長処理部６０１は第４のエンコーダ／デコーダ６０１ｂと、第５のエンコーダ／デコーダ６０１ｃを備えている。第４のエンコーダ／デコーダ６０１ｂは、第２のエンコーダ／デコーダ２０１ｂと同様に、符号化、復号化を行う。すなわち、第４のエンコーダ／デコーダ６０１ｂは、第２のエンコーダ／デコーダ２０１ｂでエンコードした撮像データを復号化する。第５のエンコーダ／デコーダ６０１ｃは、第３のエンコーダ／デコーダ２０１ｃと同様に、符号化、復号化を行う。すなわち、第５のエンコーダ／デコーダ６０１ｃは、第３のエンコーダ／デコーダ２０１ｃでエンコードした撮像データを復号化する。 For example, the compression / decompression processing unit 601 includes a fourth encoder / decoder 601b and a fifth encoder / decoder 601c. The fourth encoder / decoder 601b performs encoding and decoding in the same manner as the second encoder / decoder 201b. That is, the fourth encoder / decoder 601b decodes the imaging data encoded by the second encoder / decoder 201b. The fifth encoder / decoder 601c performs encoding and decoding in the same manner as the third encoder / decoder 201c. That is, the fifth encoder / decoder 601c decodes the imaging data encoded by the third encoder / decoder 201c.
このように、第５のエンコーダ／デコーダ６０１ｃは、低レート用のエンコーダ／デコーダとなっている。第４のエンコーダ／デコーダ６０１ｂは、中レート用のエンコーダ／デコーダとなっている。 Thus, the fifth encoder / decoder 601c is a low-rate encoder / decoder. The fourth encoder / decoder 601b is a medium rate encoder / decoder.
音声・画像処理部６０２は、バス６００を介して中央制御部９００の指示に従い、メインメモリ６０６から読み出したデジタルデータに所定の画像処理を施す。例えばメニュー画像やＯＳＤ画像等、各種処理のための画像データを生成し、その画像データをメインメモリ６０６から読み出されたオリジナルの撮像データに重畳させて液晶モニタ７０４に出力する。この出力によって、液晶モニタ７０４に表示される画像は各種画像データが合成されたものとなる。なお、液晶モニタ７０４の代わりに有機ＥＬ（Electro - Luminescence）モニタ等の他のモニタを用いることも可能である。 The sound / image processing unit 602 performs predetermined image processing on the digital data read from the main memory 606 in accordance with instructions from the central control unit 900 via the bus 600. For example, image data for various processes such as a menu image and an OSD image is generated, and the image data is superimposed on the original image data read from the main memory 606 and output to the liquid crystal monitor 704. With this output, the image displayed on the liquid crystal monitor 704 is a composite of various image data. Instead of the liquid crystal monitor 704, another monitor such as an organic EL (Electro-Luminescence) monitor can be used.
ＲＯＭ６０３はバス６００を介して中央制御部９００に接続されており、中央制御部４００が実行する制御プログラム及び制御に必要な各種データ等を格納している。フラッシュＲＯＭ６０４は、ユーザの設定情報等、通信端末５の動作に関する各種設定情報を格納している。 The ROM 603 is connected to the central control unit 900 via the bus 600 and stores a control program executed by the central control unit 400 and various data necessary for control. The flash ROM 604 stores various setting information related to the operation of the communication terminal 5 such as user setting information.
ＶＲＡＭ６０５は、表示用の画像データの一時記憶領域として使用される。メインメモリ６０６は、各種画像データの一時記憶領域として使用されるとともに、中央制御部９００の演算作業領域としても使用される。 The VRAM 605 is used as a temporary storage area for display image data. The main memory 606 is used as a temporary storage area for various image data and also as a calculation work area for the central control unit 900.
ジャイロセンサ６０８は、３軸の加速度及び角速度の変化を検出する。そして、ジャイロセンサ６０８の検出結果に応じて、液晶モニタ７０４の表示向きを変える。時計６０９は、後述するデータ取得要求時刻を生成する。時計６０９は、時計２０９と時間合わせされていてもよい。 The gyro sensor 608 detects changes in triaxial acceleration and angular velocity. Then, the display orientation of the liquid crystal monitor 704 is changed according to the detection result of the gyro sensor 608. The clock 609 generates a data acquisition request time described later. The clock 609 may be timed with the clock 209.
液晶モニタ７０４、スピーカ７０５、操作部７０６及び入出力端子７０７は入出力Ｉ／Ｆ７０３に接続されている。液晶モニタ７０４は、例えばＶＲＡＭ６０５やメインメモリ６０６に一時記録された撮像データや各種メニュー画像データ等、各種画像データから生成された画像を表示する。スピーカ７０５は、例えばメインメモリ６０６に一時記録された音声を出力する。操作部７０６は、操作ボタン、又は液晶モニタ３０４上に重畳されたタッチパネル等から構成されており、ユーザの通信端末５への操作入力を受け付ける。入出力端子７０７は、図示しないテレビモニタやＰＣ（Personal Computer）等に接続される。 The liquid crystal monitor 704, the speaker 705, the operation unit 706, and the input / output terminal 707 are connected to the input / output I / F 703. The liquid crystal monitor 704 displays images generated from various image data such as imaging data temporarily recorded in the VRAM 605 and the main memory 606 and various menu image data, for example. The speaker 705 outputs the sound temporarily recorded in the main memory 606, for example. The operation unit 706 is configured by an operation button, a touch panel superimposed on the liquid crystal monitor 304, or the like, and receives an operation input from the user to the communication terminal 5. The input / output terminal 707 is connected to a television monitor (not shown), a PC (Personal Computer), or the like.
無線モジュール７０９は、バス６００及び無線Ｉ／Ｆ７０８を介して、後述する撮像データを撮像装置１との間で送受信する。また、無線モジュール７０９は、通信端末５を撮像装置１と通信する際の、各種情報の送受信を行う。この通信処理については後述する。各種情報及び撮像データ等の無線通信はＩＥＥＥ８０２．１１規格に準拠した方式で行われる。より具体的には、無線モジュール７０９は、Ｗｉ−Ｆｉ等の無線ＬＡＮ規格に準拠した通信処理を行う。これにより、撮像装置１との通信が可能になる。無線モジュール７０９は、第２の通信手段となる。 The wireless module 709 transmits and receives imaging data described later to and from the imaging device 1 via the bus 600 and the wireless I / F 708. The wireless module 709 transmits and receives various types of information when the communication terminal 5 communicates with the imaging device 1. This communication process will be described later. Wireless communication such as various types of information and imaging data is performed by a method compliant with the IEEE 802.11 standard. More specifically, the wireless module 709 performs communication processing conforming to a wireless LAN standard such as Wi-Fi. Thereby, communication with the imaging device 1 becomes possible. The wireless module 709 serves as a second communication unit.
中央制御部９００は、デコーダ制御部９０１と通信制御部９０２とを備えている。デコーダ制御部９０１は、圧縮・伸長処理部６０１を制御する。デコーダ制御部９０１は、第４のエンコーダ／デコーダ６０１ｂ、及び第５のエンコーダ／デコーダ６０１ｃを制御する。撮像装置１から送信された撮像データを適切にデコードする。エンコーダ／デコーダ６０１ｂ、及び第５のエンコーダ／デコーダ６０１ｃでデコードされた撮像データは、液晶モニタ７０４に表示される。 The central control unit 900 includes a decoder control unit 901 and a communication control unit 902. The decoder control unit 901 controls the compression / decompression processing unit 601. The decoder control unit 901 controls the fourth encoder / decoder 601b and the fifth encoder / decoder 601c. The imaging data transmitted from the imaging device 1 is appropriately decoded. The imaging data decoded by the encoder / decoder 601b and the fifth encoder / decoder 601c is displayed on the liquid crystal monitor 704.
通信制御部９０２は、撮像装置１との通信を制御する。例えば、通信制御部９０２は、撮像装置１に送信する通信データを生成する。また、通信制御部９０２は、撮像装置１から送信された通信データに基づいて、デコーダ制御部９０１等を制御する。通信制御部９０２はユーザからの入力に応じて、データ取得要求信号を生成する。また、通信制御部９０２は、撮像装置１から送信された撮像データをメインメモリ６０６等に記憶するための制御を行う。 The communication control unit 902 controls communication with the imaging device 1. For example, the communication control unit 902 generates communication data to be transmitted to the imaging device 1. Further, the communication control unit 902 controls the decoder control unit 901 and the like based on the communication data transmitted from the imaging device 1. The communication control unit 902 generates a data acquisition request signal in response to an input from the user. In addition, the communication control unit 902 performs control for storing the imaging data transmitted from the imaging device 1 in the main memory 606 and the like.
通信モジュール７１１は、バス６００及び通信Ｉ／Ｆ７１０を介して、他の通信端末５の通話、メールの送受信、インターネット接続などを行う。これらの無線通信は、例えば、Ｗ−ＣＤＭＡやＣＤＭＡ２０００等の通信規格に準拠した方式で行われる。これにより、基地局との通信が可能になる。もちろん、通信モジュール７１１での通信による通信規格は特に限定されるものではない。通信モジュール７１１は、無線モジュール７０９と異なる通信方式で無線通信を行う。通信モジュール７１１が音声データを送受信することで、他の通信端末５との通話が可能となる。なお、通信端末５がスマートＴＶやタブレットＰＣ等の携帯電話機能を有していない端末である場合、通信モジュール７１１、及び通信Ｉ／Ｆを備えていなくてもよい。 The communication module 711 performs communication with other communication terminals 5, transmission / reception of mail, Internet connection, and the like via the bus 600 and the communication I / F 710. Such wireless communication is performed by a method based on a communication standard such as W-CDMA or CDMA2000. This enables communication with the base station. Of course, the communication standard for communication in the communication module 711 is not particularly limited. The communication module 711 performs wireless communication using a communication method different from that of the wireless module 709. The communication module 711 transmits and receives audio data, so that a call with another communication terminal 5 is possible. When the communication terminal 5 is a terminal that does not have a mobile phone function such as a smart TV or a tablet PC, the communication module 711 and the communication I / F may not be provided.
メインメモリ６０６、又はＲＯＭ６０３には、アプリケーションプログラム等が格納されている。アプリケーションプログラムには、データ取得やコーチングに用いられるアプリケーションプログラム（以下、アプリとする）が含まれている。 The main memory 606 or the ROM 603 stores application programs and the like. The application program includes an application program (hereinafter referred to as an application) used for data acquisition and coaching.
＜撮像データの転送処理＞
以下、撮像装置１から通信端末５に撮像データを転送する処理について、図４〜図６を用いて説明する。図４は、撮像システム１０の動作を示すフローチャートである。図５は、撮像装置１の液晶モニタ３０４の表示画面を示す図である。図６は、通信端末５の液晶モニタ７０４の表示画面を示す図である。なお、以下の説明において、撮像装置１の操作部３０６、及び通信端末５の操作部７０６が、液晶モニタ３０４、及び液晶モニタ７０４に設けられたタッチパネルであるとして説明を行う。
<Imaging data transfer process>
Hereinafter, processing for transferring imaging data from the imaging device 1 to the communication terminal 5 will be described with reference to FIGS. FIG. 4 is a flowchart showing the operation of the imaging system 10. FIG. 5 is a diagram illustrating a display screen of the liquid crystal monitor 304 of the imaging apparatus 1. FIG. 6 is a diagram showing a display screen of the liquid crystal monitor 704 of the communication terminal 5. In the following description, it is assumed that the operation unit 306 of the imaging device 1 and the operation unit 706 of the communication terminal 5 are touch panels provided on the liquid crystal monitor 304 and the liquid crystal monitor 704.
まず、撮像装置１と通信端末５との無線接続を確立する（ステップＳ１０１）。そのため、ユーザが撮像装置１を操作して、接続開始要求を入力する。例えば、図５のＣ１に示すように、ユーザが、動画を表示中の撮像装置１のメニューボタンをタッチする。すると、図５のＣ２に示すメニュー画面が現れる。ユーザが接続スタートのボタンをタッチすると、接続する機器を指定する画面となる（図５のＣ３）。ここで、ユーザが接続相手となる通信端末５のＩＤとパスワードを入力する。すると、通信端末５の通信制御部４０２が、送信されたＩＤ及びパスワードを認証する。これにより、図５のＣ４に示すように、撮像装置１と通信端末５との無線接続が確立する。なお、撮像装置１と接続可能な通信端末５を予め登録しておき、液晶モニタ３０４にリストとして表示するようにしてもよい。この場合、リスト中から、ユーザが通信する通信端末５を選択する。このようにして、ユーザが接続開始要求を入力すると、無線接続が確立する。なお、接続開始要求は、通信端末５で入力してもよい。 First, a wireless connection between the imaging device 1 and the communication terminal 5 is established (step S101). Therefore, the user operates the imaging apparatus 1 and inputs a connection start request. For example, as shown in C1 of FIG. 5, the user touches the menu button of the imaging device 1 that is displaying a moving image. Then, a menu screen indicated by C2 in FIG. 5 appears. When the user touches the connection start button, a screen for designating a device to be connected is displayed (C3 in FIG. 5). Here, the user inputs the ID and password of the communication terminal 5 to be connected. Then, the communication control unit 402 of the communication terminal 5 authenticates the transmitted ID and password. Thereby, as shown to C4 of FIG. 5, the wireless connection of the imaging device 1 and the communication terminal 5 is established. The communication terminal 5 that can be connected to the imaging device 1 may be registered in advance and displayed on the liquid crystal monitor 304 as a list. In this case, the communication terminal 5 with which the user communicates is selected from the list. In this way, when the user inputs a connection start request, a wireless connection is established. The connection start request may be input at the communication terminal 5.
撮像装置１と通信端末５との無線接続が開始すると、撮像装置１が通信端末５に動画をリアルタイム伝送する（ステップＳ１０２）。ここでは、第３のエンコーダ／デコーダ６０１ｃが撮像データを符号化して、第３の符号化データを生成する。撮像装置１が第３の符号化データを通信端末５に送信する。撮像装置１が最新の撮像データを順番に通信端末５に送信する。 When wireless connection between the imaging device 1 and the communication terminal 5 starts, the imaging device 1 transmits a moving image to the communication terminal 5 in real time (step S102). Here, the third encoder / decoder 601c encodes the imaging data to generate third encoded data. The imaging device 1 transmits the third encoded data to the communication terminal 5. The imaging device 1 transmits the latest imaging data to the communication terminal 5 in order.
そして、通信端末５が、遅延した動画を表示する（ステップＳ１０３）。通信端末５のデコーダ制御部９０１が第５のエンコーダ／デコーダ６０１ｃを動作させて、第３の符号化データをデコードする。通信端末５は、デコードされた撮像データに基づいて、液晶モニタ７０４に動画を表示させる。このように、通信端末５は、第３の符号化データに基づいて、動画を表示する。 Then, the communication terminal 5 displays the delayed video (Step S103). The decoder control unit 901 of the communication terminal 5 operates the fifth encoder / decoder 601c to decode the third encoded data. The communication terminal 5 displays a moving image on the liquid crystal monitor 704 based on the decoded imaging data. Thus, the communication terminal 5 displays a moving image based on the third encoded data.
通信端末５の通信制御部９０２には、ある一定の遅延時間が設定されている。そして、撮像装置１が撮像した時間よりも遅延時間だけ遅延するように、動画を表示する。例えば、１０秒の遅延時間が設定されている場合、撮像データを取得した時間から１０秒だけ遅延して動画が表示される。これにより、図６のＴ１に示すように、撮像装置１において一定時間前に取得された撮像データが、通信端末５の液晶モニタ７０４に表示される。すなわち、撮像装置１に表示されている動画よりも遅れて、液晶モニタ７０４が動画を表示する。遅延時間は、撮像装置１と通信端末５との通信遅延を考慮して、通信遅延よりも長い時間とすることが好ましい。これにより、通信端末５の表示において通信遅延の影響を抑制することができ、動画がスムーズに表示される。 A certain delay time is set in the communication control unit 902 of the communication terminal 5. Then, the moving image is displayed so as to be delayed by a delay time from the time taken by the imaging device 1. For example, when a delay time of 10 seconds is set, a moving image is displayed with a delay of 10 seconds from the time when the imaging data is acquired. As a result, as shown at T <b> 1 in FIG. 6, the imaging data acquired in the imaging apparatus 1 before a certain time is displayed on the liquid crystal monitor 704 of the communication terminal 5. That is, the liquid crystal monitor 704 displays a moving image later than the moving image displayed on the imaging device 1. The delay time is preferably longer than the communication delay in consideration of the communication delay between the imaging device 1 and the communication terminal 5. Thereby, in the display of the communication terminal 5, the influence of a communication delay can be suppressed and a moving image is displayed smoothly.
次に、他の通信端末５からの接続要求がないかを撮像装置１が確認する（ステップＳ１０４）。撮像装置１は、他の通信端末５からの接続要求がある場合（ステップＳ１０４のＹＥＳ）、接続を切り替え（ステップＳ１１１）、ステップＳ１０２に戻る。例えば、ユーザが他の通信端末５を操作して、接続要求を行ったとする。この場合、接続要求が適切なものであるか否かを撮像装置１の通信制御部４０２が判定する。そして、接続要求が適切な通信端末５から送信されているのであれば、通信制御部４０２は、接続要求を送信した他の通信端末５に動画の撮像データをリアルタイム伝送する（ステップＳ１０２）。すなわち、通信制御部９０２は、第３の符号化データを他の通信端末５に送信する。 Next, the imaging apparatus 1 confirms whether there is a connection request from another communication terminal 5 (step S104). When there is a connection request from another communication terminal 5 (YES in step S104), the imaging apparatus 1 switches the connection (step S111), and returns to step S102. For example, it is assumed that the user operates another communication terminal 5 to make a connection request. In this case, the communication control unit 402 of the imaging apparatus 1 determines whether or not the connection request is appropriate. If the connection request is transmitted from an appropriate communication terminal 5, the communication control unit 402 transmits the moving image imaging data in real time to the other communication terminal 5 that has transmitted the connection request (step S102). That is, the communication control unit 902 transmits the third encoded data to the other communication terminal 5.
他の端末からの接続要求がない場合（ステップＳ１０４のＮＯ）、ユーザが撮像装置１を操作して、動画記録を開始する（ステップＳ１０５）。すなわち、ユーザ１が操作部３０６の録画ボタン等をタッチすることで、録画が開始する。撮像装置１がカード型記録媒体３０２に撮像データを記録する（ステップＳ１０６）。すなわち、カード型記録媒体３０２へのデータの書き込みが開始する。なお、上記の説明では、撮像装置１と通信端末５との接続が確立した後に、撮像装置１が動画の記録を開始しているが、無線接続が確立する前に、動画の記録を開始してもよい。すなわち、動画の記録中に、撮像装置１と通信端末５とが無線接続を確立してもよい。 When there is no connection request from another terminal (NO in step S104), the user operates the imaging device 1 to start moving image recording (step S105). That is, recording starts when the user 1 touches the recording button or the like of the operation unit 306. The imaging apparatus 1 records imaging data on the card type recording medium 302 (step S106). That is, data writing to the card type recording medium 302 starts. In the above description, after the connection between the imaging device 1 and the communication terminal 5 is established, the imaging device 1 starts recording a moving image. However, before the wireless connection is established, the recording of the moving image is started. May be. In other words, the imaging device 1 and the communication terminal 5 may establish a wireless connection during recording of a moving image.
ここで、カード型記録媒体３０２に書き込まれる撮像データは、第１の符号化方式でエンコードされている。すなわち、カード型記録媒体３０２には、第１のエンコーダ／デコーダ２０１ａによってデコードされた第１の符号化データが記録される。撮像装置１は、第３のエンコーダ／デコーダ２０１ｃでデコードした撮像データを通信端末５に送信している。すなわち、デコーダ制御部４０１が、第３のエンコーダ／デコーダ２０１ｃと、第１のエンコーダ／デコーダ２０１ａとを制御して、並列のエンコードを実行させる。さらに、撮像装置１は、第３の符号化データの送信と、第１のエンコーダ／デコーダ２０１ａのエンコードを並列して行っている。 Here, the imaging data written to the card-type recording medium 302 is encoded by the first encoding method. That is, the first encoded data decoded by the first encoder / decoder 201a is recorded on the card type recording medium 302. The imaging device 1 transmits the imaging data decoded by the third encoder / decoder 201c to the communication terminal 5. That is, the decoder control unit 401 controls the third encoder / decoder 201c and the first encoder / decoder 201a to execute parallel encoding. Further, the imaging apparatus 1 performs transmission of the third encoded data and encoding of the first encoder / decoder 201a in parallel.
次に、撮像装置１が、通信端末５からのデータ取得要求があったか否かを判定する（ステップＳ１０７）。例えば、ユーザが端末装置５の操作部７０６を操作して、データの取得要求を行う。より具体的には、図６のＴ２に示すように、液晶モニタ７０４に表示されたカメラ使用ボタンをタッチする。これにより、通信制御部９０２でデータ取得要求時間を記憶する。このとき、第５のエンコーダ／デコーダ６０１ｃによるデコードを停止するため、通信端末５が第３の符号化データに基づく動画表示を中止する。 Next, the imaging apparatus 1 determines whether or not there is a data acquisition request from the communication terminal 5 (step S107). For example, the user operates the operation unit 706 of the terminal device 5 to make a data acquisition request. More specifically, as shown at T2 in FIG. 6, the camera use button displayed on the liquid crystal monitor 704 is touched. Thereby, the communication control unit 902 stores the data acquisition request time. At this time, in order to stop decoding by the fifth encoder / decoder 601c, the communication terminal 5 stops moving image display based on the third encoded data.
さらに、図６のＴ３に示すように、ユーザが撮像データの再生時間を指定して、再生開始ボタンをタッチする。これにより、通信制御部９０２が、データ取得要求信号を生成して、無線モジュール７０９を介して、撮像装置１に送信する。データ取得要求信号には、データ取得要求時刻と再生時間が含まれている。例えば、ユーザがカメラ使用ボタンをタッチした時間がデータ取得要求時間となる。このように、ユーザが通信端末５に表示されている動画を見ながらデータ取得要求を行うことができる。適切なタイミングでの撮像データを所得することができる。通信端末５からのデータ取得要求がない場合（ステップＳ１０７のＮＯ）、ステップＳ１０６に戻って、撮像データの記録を継続する。 Further, as indicated by T3 in FIG. 6, the user designates the reproduction time of the imaging data and touches the reproduction start button. As a result, the communication control unit 902 generates a data acquisition request signal and transmits the data acquisition request signal to the imaging device 1 via the wireless module 709. The data acquisition request signal includes a data acquisition request time and a reproduction time. For example, the time when the user touches the camera use button is the data acquisition request time. In this way, the user can make a data acquisition request while watching the moving image displayed on the communication terminal 5. Capture image data at appropriate timing. When there is no data acquisition request from the communication terminal 5 (NO in step S107), the process returns to step S106 and recording of the imaging data is continued.
通信端末５からのデータ取得要求があった場合（ステップＳ１０７のＹＥＳ）、次のステップＳ１０９に移行する。例えば、無線モジュール３０９がデータ取得要求信号を受信したら、撮像装置１が、動画記録が継続中であるか否かを判定する（ステップＳ１０８）。動画の記録が継続していない場合（ステップＳ１０８のＮＯ）、ステップＳ１０５に戻る。例えば、ユーザが通信端末５からデータ取得を要求する前に、他のユーザが撮像装置１のＲＥＣ停止ボタンをタッチして、動画の記録を停止していたとする。この場合、カード型記録媒体３０２に撮像データが格納されていないことなり、要求された撮像データを送信できない。したがって、ステップＳ１０５からの処理を繰り返す。すなわち、ユーザが、ユーザが動画を記録するまで待機する。そして、ユーザが操作部３０６を操作して、再び動画記録が開始したら、ステップＳ１０６に進む。 When there is a data acquisition request from the communication terminal 5 (YES in step S107), the process proceeds to the next step S109. For example, when the wireless module 309 receives a data acquisition request signal, the imaging apparatus 1 determines whether or not moving image recording is continuing (step S108). When recording of a moving image is not continued (NO in step S108), the process returns to step S105. For example, it is assumed that before a user requests data acquisition from the communication terminal 5, another user touches the REC stop button of the imaging device 1 and stops recording a moving image. In this case, the imaging data is not stored in the card type recording medium 302, and the requested imaging data cannot be transmitted. Therefore, the process from step S105 is repeated. That is, the user waits until the user records a moving image. When the user operates the operation unit 306 to start moving image recording again, the process proceeds to step S106.
動画記録が継続中である場合（ステップＳ１０７のＹＥＳ）、データ転送処理を行う（ステップＳ１０９）。すると、撮像装置１が、第３のエンコーダ／デコーダ２０１ｃによるエンコードを停止して、第２のエンコーダ／デコーダ２０１ｃによるエンコードを開始する。そして、第２のエンコーダ／デコーダ２０１ｃによってエンコードされた撮像データを転送用の撮像データとして生成する。 If moving image recording is continuing (YES in step S107), data transfer processing is performed (step S109). Then, the imaging apparatus 1 stops encoding by the third encoder / decoder 201c and starts encoding by the second encoder / decoder 201c. Then, the imaging data encoded by the second encoder / decoder 201c is generated as imaging data for transfer.
データ取得要求時刻から前の撮像データを通信端末５に送信する。なお、撮像装置１が、再生時間分の撮像データを通信端末５に送信する。すなわち、再生時間が１０秒の場合、データ取得要求時刻の１０秒前からデータ取得要求時刻までに撮像された撮像データを、撮像装置１が送信する。これにより、図６のＴ４に示すように、撮像装置１が撮像した動画を表示することができるようになる。なお、データ転送処理の詳細については後述する。データ転送処理が完了した後、ユーザが記録を停止させると（ステップＳ１１０）、処理を終了する。 The previous imaging data from the data acquisition request time is transmitted to the communication terminal 5. Note that the imaging device 1 transmits imaging data for the reproduction time to the communication terminal 5. That is, when the reproduction time is 10 seconds, the imaging device 1 transmits imaging data captured from 10 seconds before the data acquisition request time to the data acquisition request time. Thereby, as shown in T4 of FIG. 6, the moving image imaged by the imaging device 1 can be displayed. Details of the data transfer process will be described later. After the data transfer process is completed, when the user stops recording (step S110), the process ends.
そして、撮像装置１から送信された撮像データを、通信端末５が受信する。通信端末５のデコーダ制御部９０１は、第４のエンコーダ／デコーダ６０１ｂを動作させて、撮像データをデコードする。液晶モニタ７０４がデコードされた撮像データに基づいて、動画を表示する。すなわち、液晶モニタ７０４は、第２の符号化データに基づいて、動画を表示する。 Then, the communication terminal 5 receives the imaging data transmitted from the imaging device 1. The decoder control unit 901 of the communication terminal 5 operates the fourth encoder / decoder 601b to decode the imaging data. The liquid crystal monitor 704 displays a moving image based on the decoded imaging data. That is, the liquid crystal monitor 704 displays a moving image based on the second encoded data.
このようにすることで、ユーザが通信端末５から撮像装置１に対してデータ取得要求を行うことができる。これにより、試合中又は練習中に撮像装置１で取得した動画を、即座に確認することが可能になる。特に通信端末５が撮像装置１よりも大きい表示画面を有する場合、より動画が確認しやすくなり、利便性を向上することができる。さらに、タブレットＰＣやＴＶのモニタを用いることで、多人数で同時に動画を確認することができるため、より利便性が向上する。さらに、コートやグランド上の特定の位置で撮像装置１が固定されている場合でも、通信端末５からのデータ取得要求に応じて、撮像装置１が撮像データを通信端末５にする。よって、撮像装置１を移動させなくても、ユーザが任意の場所で撮像データを確認することができる。よって、撮像装置１が引き続き同じ位置での撮像を速やかに行うことができる。例えば、三脚などによって、撮像装置１が固定されている場合に、より利便性を向上することができる。 In this way, the user can make a data acquisition request from the communication terminal 5 to the imaging device 1. This makes it possible to immediately confirm the moving image acquired by the imaging device 1 during a game or practice. In particular, when the communication terminal 5 has a display screen larger than that of the imaging device 1, it is easier to confirm a moving image, and convenience can be improved. Furthermore, by using a tablet PC or a TV monitor, a large number of people can check a moving image at the same time, so that convenience is further improved. Furthermore, even when the imaging device 1 is fixed at a specific position on the court or the ground, the imaging device 1 sets the imaging data to the communication terminal 5 in response to a data acquisition request from the communication terminal 5. Therefore, the user can check the imaging data at an arbitrary place without moving the imaging device 1. Therefore, the imaging apparatus 1 can continue to capture images at the same position quickly. For example, when the imaging device 1 is fixed by a tripod or the like, the convenience can be further improved.
ユーザが通信端末５で動画を確認しながら、データ転送を要求することができる。よそして、データ取得要求時刻から前の撮像データが通信端末５に転送される。よって、ユーザが所望のタイミングの撮像データを通信端末５に表示することができる。また、ユーザが転送タイミングを適切に指定することができるため、より利便性を向上することができる。 The user can request data transfer while checking the moving image on the communication terminal 5. The previous imaging data from the data acquisition request time is transferred to the communication terminal 5. Therefore, it is possible to display imaging data at a desired timing on the communication terminal 5 by the user. In addition, since the user can appropriately specify the transfer timing, the convenience can be further improved.
次に、ステップＳ１０９のデータ転送処理について、図７を用いて説明する。図７は、ステップＳ１０９のデータ転送処理の詳細を示すフローチャートである。本実施の形態では、撮像装置１側の処理能力などの問題から、第１のエンコーダ／デコーダ２０１ａと第２のエンコーダ／デコーダ２０１ｂとが並列にデコード処理をできない場合などを想定している。したがって、第２のエンコーダ／デコーダ２０１ｂが転送用の撮像データをデコードする時に、第１のエンコーダ／デコーダ２０１ａがデコードを停止している。 Next, the data transfer process in step S109 will be described with reference to FIG. FIG. 7 is a flowchart showing details of the data transfer process in step S109. In the present embodiment, it is assumed that the first encoder / decoder 201a and the second encoder / decoder 201b cannot perform decoding processing in parallel due to problems such as processing capability on the imaging apparatus 1 side. Therefore, when the second encoder / decoder 201b decodes the imaging data for transfer, the first encoder / decoder 201a stops decoding.
まず、通信端末５から送信されたデータ取得要求を、撮像装置１が受信すると、撮像装置１が録画を停止する（ステップＳ２０１）。すなわち、デコーダ制御部４０１が第１のエンコーダ／デコーダ２０１ａのデコードを停止させて、カード型記録媒体３０２への記録を停止する。これにより、撮像装置１の動画記録が停止する。そして、撮像装置１が録画モードから再生モードにモード変更する（ステップＳ２０２）。 First, when the imaging apparatus 1 receives a data acquisition request transmitted from the communication terminal 5, the imaging apparatus 1 stops recording (step S201). That is, the decoder control unit 401 stops the decoding of the first encoder / decoder 201a and stops the recording on the card type recording medium 302. Thereby, the moving image recording of the imaging device 1 is stopped. Then, the imaging device 1 changes the mode from the recording mode to the reproduction mode (step S202).
次に、撮像装置１のカメラステータスが再生モードになっていることを通信端末５が確認する（ステップＳ２０３）。例えば、撮像装置１が接続中の通信端末５に再生モードになったことを示すモード信号を出力する。そして、通信端末５が、撮像装置１にインデックス総数の取得を要求する（ステップＳ２０４）。撮像装置１に記録された動画ファイルに含まれるフレーム総数がインデックス総数となる。したがって、撮像装置１は、カード型記録媒体３０２に格納した動画ファイルのインデックス総数を通信端末５に送信する。通信端末５が最新のインデックス番号を取得する（ステップＳ２０５）。すなわち、通信端末５が動画ファイルの最後のフレーム番号を取得する。 Next, the communication terminal 5 confirms that the camera status of the imaging device 1 is in the playback mode (step S203). For example, the mode signal indicating that the playback mode is set is output to the communication terminal 5 to which the imaging device 1 is connected. And the communication terminal 5 requests | requires acquisition of the index total number to the imaging device 1 (step S204). The total number of frames included in the moving image file recorded in the imaging apparatus 1 is the total number of indexes. Therefore, the imaging apparatus 1 transmits the total number of moving image file indexes stored in the card type recording medium 302 to the communication terminal 5. The communication terminal 5 acquires the latest index number (step S205). That is, the communication terminal 5 acquires the last frame number of the moving image file.
この後、通信端末５が、撮像装置１に動画の転送を要求する（ステップＳ２０６）。すなわち、通信端末５が転送信号を撮像装置１に送信する。転送信号には、インデックス番号、動画の開始時間、終了時間などが含まれている。例えば、図５のＴ２におけるデータ取得要求時刻、及び図５のＴ３で指定した再生時間から、通信制御部９０２が動画の開始時間、終了時間、インデックス番号を抽出する。具体的には、ユーザが通信端末５によってデータ取得要求を行った時刻に、通信端末５における表示の遅延時間を考慮した時間が、開始時間となる。さらに、開始時間から再生時間経過した時間が、終了時間となる。 Thereafter, the communication terminal 5 requests the imaging device 1 to transfer a moving image (step S206). That is, the communication terminal 5 transmits a transfer signal to the imaging device 1. The transfer signal includes an index number, a moving image start time, an end time, and the like. For example, the communication control unit 902 extracts the start time, end time, and index number of the moving image from the data acquisition request time at T2 in FIG. 5 and the playback time specified at T3 in FIG. Specifically, at the time when the user makes a data acquisition request through the communication terminal 5, the time taking into account the display delay time in the communication terminal 5 is the start time. Furthermore, the time when the playback time has elapsed from the start time is the end time.
そして、撮像装置１は、撮像データの転送の転送要求にしたがって、動画転送の準備を行う（ステップＳ２０７）。ここでは、カード型記録媒体３０２に記録された動画ファイルから、一部の時間を切り出して、転送用の撮像データを作成する。例えば、第１のエンコーダ／デコーダ２０１ａが撮像データをデコードする。そして、第２のエンコーダ／デコーダ２０１ｂが開始時間から終了時間までの撮像データを符号化する。これにより、第２の符号化形式で符号化された撮像データが生成される。 Then, the imaging apparatus 1 prepares for moving image transfer in accordance with the transfer request for transfer of imaging data (step S207). Here, a part of the time is cut out from the moving image file recorded on the card-type recording medium 302 to create imaging data for transfer. For example, the first encoder / decoder 201a decodes the imaging data. Then, the second encoder / decoder 201b encodes the imaging data from the start time to the end time. As a result, imaging data encoded in the second encoding format is generated.
例えば、データ取得要求時刻を１０時４５分２０秒とし、通信端末５の表示での遅延時間を１０秒とし、再生時間を１０秒とする。この場合、１０時４５分１０秒を開始時間とし、１０時４５分３０秒を終了時間とする撮像データが生成される。このように、データ取得要求では、転送される撮像データの再生時間が指定される。そして、第２のエンコーダ／デコーダ２０１ｂが、データ取得要求時刻よりも前の再生時間分の撮像データをエンコードする。これにより、指定された再生時間分の動画となる第２の符号化データが生成される。 For example, the data acquisition request time is 10:45:20, the delay time on the display of the communication terminal 5 is 10 seconds, and the reproduction time is 10 seconds. In this case, imaging data having a start time of 10:45:10 and an end time of 10:45:30 is generated. Thus, in the data acquisition request, the reproduction time of the transferred imaging data is specified. Then, the second encoder / decoder 201b encodes the imaging data for the reproduction time before the data acquisition request time. As a result, second encoded data that is a moving image for the designated reproduction time is generated.
なお、第２のエンコーダ／デコーダ２０１ｂが動画ファイルの撮像データをトランスコードして、第２の符号化データを生成してもよい。このように、カード型記録媒体３０２に格納された動画ファイルの一部の撮像データを抽出して、第２のエンコーダ／デコーダ２０１ｂが、トランスコードするようにしてもよい。このようにすることで、処理を高速化することができる。 Note that the second encoder / decoder 201b may transcode image data of a moving image file to generate second encoded data. In this manner, a part of the moving image file stored in the card-type recording medium 302 may be extracted, and the second encoder / decoder 201b may transcode. By doing so, the processing can be speeded up.
そして、通信端末５の通信制御部４０２が、第２の符号化形式で符号化された撮像データを撮像装置１に転送する（ステップＳ２０８）。データ転送が完了したら、撮像装置１を撮影モードに変更する。そして、カメラステータスが撮影モードに変更したことを確認して（ステップＳ２１０）、録画を開始する(ステップＳ２１１)。すなわち、データ転送が完了した段階で、撮像装置１による録画が再開される。このようにすることで、撮像装置１による録画が停止される期間を、テータ転送の期間のみとすることができる。転送終了後に自動的に録画を再開することができるため、録画が停止する期間をより短くすることができる。よって、重要なシーンの録画を逃すことがなくなり、利便性を向上することができる。また、ユーザが要求するタイミングで、撮像データが通信端末５に転送されるため、利便性を向上することができる。 And the communication control part 402 of the communication terminal 5 transfers the imaging data encoded with the 2nd encoding format to the imaging device 1 (step S208). When the data transfer is completed, the imaging device 1 is changed to the shooting mode. Then, it is confirmed that the camera status has been changed to the shooting mode (step S210), and recording is started (step S211). That is, when the data transfer is completed, recording by the imaging device 1 is resumed. By doing in this way, the period during which the recording by the imaging device 1 is stopped can be limited to the data transfer period. Since the recording can be automatically resumed after the transfer is completed, the period during which the recording is stopped can be further shortened. Therefore, it is not possible to miss the recording of important scenes, and convenience can be improved. Further, since the imaging data is transferred to the communication terminal 5 at the timing requested by the user, the convenience can be improved.
さらに、第２の符号化形式では、第１の符号化形式よりもビットレートが低く、かつ第３の符号化方式よりもビットレートが高くなっている。よって、適切なデータサイズの撮像データを転送することができ、十分に速やかな動画を表示することができるとともに、速やかな処理を行うことができる。よって、利便性を向上することができる。また、データ取得要求に応じて、第３のエンコーダ／デコーダ２０１ｃがエンコードを停止し、第５のエンコーダ／デコーダがデコード処理を停止している。これにより、速やかに転送処理を行うことができる。 Furthermore, the second encoding format has a lower bit rate than the first encoding format and a higher bit rate than the third encoding scheme. Therefore, imaging data having an appropriate data size can be transferred, a sufficiently quick moving image can be displayed, and prompt processing can be performed. Therefore, convenience can be improved. In response to the data acquisition request, the third encoder / decoder 201c stops encoding, and the fifth encoder / decoder stops decoding. Thereby, the transfer process can be performed promptly.
実施の形態２．
本実施の形態２では、第１のエンコーダ／デコーダ２０１ａと第１のエンコーダ／デコーダ２０１ａとが並列にデコード処理を行っている。すなわち、実施の形態１では、転送用の撮像データをエンコード中では、撮像装置１による録画を停止していたが、本実施の形態では、データ転送用の動画用データのエンコード中でも撮像装置１において録画している。
Embodiment 2. FIG.
In the second embodiment, the first encoder / decoder 201a and the first encoder / decoder 201a perform decoding processing in parallel. That is, in the first embodiment, the recording by the imaging device 1 is stopped while the imaging data for transfer is being encoded. In the present embodiment, the imaging device 1 is in the middle of encoding the moving image data for data transfer. Recording.
図８を用いて、本実施の形態に係る撮像システム１０の制御方法について説明する。図８は、本実施の形態にかかる撮像システム１０の制御方法の一部を示すフローチャートである。具体的には、図８は、図４で示したステップＳ１０９のデータ転送処理を示すフローチャートである。ステップＳ１０９の前後の処理は、実施の形態１と同様である。また、撮像システム１０の基本的構成及びデータ処理は、実施の形態１と同様であるため、説明を省略する。 A control method of the imaging system 10 according to the present embodiment will be described with reference to FIG. FIG. 8 is a flowchart showing a part of the control method of the imaging system 10 according to the present embodiment. Specifically, FIG. 8 is a flowchart showing the data transfer process of step S109 shown in FIG. The processes before and after step S109 are the same as those in the first embodiment. Further, the basic configuration and data processing of the imaging system 10 are the same as those in the first embodiment, and thus the description thereof is omitted.
まず、通信端末５が撮像装置１に対いて撮像データの転送要求を行う（ステップＳ３０１）。ここでは、データ取得要求時刻、及び再生時間を含むデータ取得要求信号を通信端末５が送信する。このとき、第３のエンコーダ／デコーダ２０１ｃのエンコードが停止する。 First, the communication terminal 5 requests the imaging device 1 to transfer imaging data (step S301). Here, the communication terminal 5 transmits a data acquisition request signal including the data acquisition request time and the reproduction time. At this time, the encoding of the third encoder / decoder 201c is stopped.
すると、撮像装置１が、転送する撮像データのエンコードを開始する（ステップＳ３０２）。ここでは、第１のエンコーダ／デコーダ２０１ａと第２のエンコーダ／デコーダ２０１ｂとが並列して、エンコード処理を行う。すなわち、第１のエンコーダ／デコーダ２０１ａが撮像データの記録のために第１の符号化方式でエンコードをしている間に、転送データを生成するために第２のエンコーダ／デコーダ２０１ｂが第２の符号化方式でエンコードを行う。デコーダ制御部４０１が第１のエンコーダ／デコーダ２０１ａと第２のエンコーダ／デコーダ２０１ｂとを同時に動作させる。第２のエンコーダ／デコーダ２０１ｂは、カード型記録媒体３０２に格納された動画ファイルをトランスコードして、第２の符号化データを生成してもよい。データ取得要求時刻に、通信端末５における表示の遅延時間を考慮した時間が、開始時間となる。 Then, the imaging apparatus 1 starts encoding of imaging data to be transferred (step S302). Here, the first encoder / decoder 201a and the second encoder / decoder 201b perform the encoding process in parallel. That is, while the first encoder / decoder 201a is encoding with the first encoding method for recording the imaging data, the second encoder / decoder 201b is the second encoder for generating the transfer data. Encoding is performed using an encoding method. The decoder control unit 401 operates the first encoder / decoder 201a and the second encoder / decoder 201b simultaneously. The second encoder / decoder 201b may transcode a moving image file stored in the card type recording medium 302 to generate second encoded data. At the data acquisition request time, the time considering the display delay time in the communication terminal 5 is the start time.
そして、第２の符号化方式における撮像データのエンコードが終了したら、撮像装置１の通信制御部４０２が撮像データを転送する（ステップＳ３０３）。これにより、通信端末５が撮像データを取得する。そして、第４のエンコーダ／デコーダ６０１ｂが撮像データをエンコードして、液晶モニタ７０４が動画を表示する。すなわち、第２の符号化データに基づいて、液晶モニタ７０４が動画を表示する。なお、第２のエンコーダ／デコーダ２０１ｂのエンコードとデータ転送を同時に行ってもよい。 When the encoding of the imaging data in the second encoding method is completed, the communication control unit 402 of the imaging device 1 transfers the imaging data (Step S303). Thereby, the communication terminal 5 acquires imaging data. Then, the fourth encoder / decoder 601b encodes the image data, and the liquid crystal monitor 704 displays a moving image. That is, the liquid crystal monitor 704 displays a moving image based on the second encoded data. Note that the encoding and data transfer of the second encoder / decoder 201b may be performed simultaneously.
このようにすることで、実施の形態１と同様の効果を得ることができる。さらに、第２のエンコーダ／デコーダ２０１ｂがエンコードしている期間、及び撮像装置１が撮像データを転送している期間においても、撮像装置１による撮像が中断されない。すなわち、第２のエンコーダ／デコーダ２０１ｂに動作に関わらず、第１のエンコーダ／デコーダ２０１ａが、エンコードしている。これにより、データ転送中に記録された撮像データを含む動画ファイルがカード型記録媒体３０２に記録される。よって、データの転送中であっても、ビットレートの高い撮像データを記録することができ、より利便性を向上することができる。また、第２のエンコーダ／デコーダ２０１ｂが第１の符号化データを第２の符号化データにトランスコードしてもよい。こうすることで、より処理を高速化できる。 By doing in this way, the effect similar to Embodiment 1 can be acquired. Further, the imaging by the imaging device 1 is not interrupted even during the period in which the second encoder / decoder 201b is encoding and the period in which the imaging device 1 is transferring the imaging data. That is, the first encoder / decoder 201a encodes regardless of the operation of the second encoder / decoder 201b. Thereby, the moving image file including the imaging data recorded during the data transfer is recorded on the card type recording medium 302. Therefore, even during data transfer, imaging data with a high bit rate can be recorded, and convenience can be further improved. Further, the second encoder / decoder 201b may transcode the first encoded data into the second encoded data. By doing so, the processing can be further speeded up.
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、上記の制御方法の処理は、メインプロセッサのＲＯＭ等に格納されたコンピュータプログラムによって実行可能である。上述の例において、各処理をコンピュータ（プロセッサ）に行わせるための命令群を含むプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信
号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
Note that the present invention is not limited to the above-described embodiment, and can be changed as appropriate without departing from the spirit of the present invention. The processing of the above control method can be executed by a computer program stored in the ROM or the like of the main processor. In the above-described example, a program including a group of instructions for causing a computer (processor) to perform each process is stored using various types of non-transitory computer readable media. Can be supplied to. Non-transitory computer readable media include various types of tangible storage media. Examples of non-transitory computer-readable media include magnetic recording media (for example, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (for example, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)) are included. The program may also be supplied to the computer by various types of transitory computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
１ 撮像装置
１００ 撮像部
２０１ａ 第１のエンコーダ／デコーダ
２０１ｂ 第２のエンコーダ／デコーダ
２０１ｃ 第３のエンコーダ／デコーダ
５ 通信端末
６０１ｂ 第４のエンコーダ／デコーダ
６０１ｃ 第５のエンコーダ／デコーダ
９００ 中央制御部
１０ 撮像システム
DESCRIPTION OF SYMBOLS 1 Imaging apparatus 100 Imaging part 201a 1st encoder / decoder 201b 2nd encoder / decoder 201c 3rd encoder / decoder 5 Communication terminal 601b 4th encoder / decoder 601c 5th encoder / decoder 900 Central control part 10 Imaging system
Claims (3)
前記撮像部によって取得された撮像データを第１の符号化方式でエンコードして、第１の符号化データを生成する第１のエンコーダと、
前記第１のエンコーダで生成された前記第１の符号化データを動画ファイルとして記録するメモリと、
前記メモリに格納された前記第１の符号化データを第１の符号化方式よりも低いビットレートの第２の符号化方式でエンコードされた第２の符号化データに変換する第２のエンコーダと、
前記撮像部によって取得された前記撮像データを前記第２の符号化方式よりも低いビットレートの第３の符号化方式でエンコードして、第３の符号化データを生成する第３のエンコーダと、
通信端末に、前記第２の符号化データ、及び第３の符号化データを送信する第１の通信手段と、を備え、
前記通信端末から受け取った接続開始要求に応じて、前記第１の通信手段が前記第３の符号化データを前記通信端末に送信し、
前記通信端末から受け取ったデータ取得要求に応じて、前記第２のエンコーダがエンコードを開始し、
前記第１の通信手段が前記第２の符号化データを前記通信端末に送信し、
前記第１から第３のエンコーダのうち、前記第１のエンコーダと前記第２のエンコーダ、または前記第１のエンコーダと前記第３のエンコーダの組み合わせで、最大２つが同時に動作する撮像装置。 An imaging unit for acquiring imaging data;
A first encoder that encodes imaging data acquired by the imaging unit using a first encoding method to generate first encoded data;
A memory for recording the first encoded data generated by the first encoder as a moving image file;
A second encoder for converting the first encoded data stored in the memory into second encoded data encoded by a second encoding method having a lower bit rate than the first encoding method; ,
A third encoder that encodes the imaging data acquired by the imaging unit with a third encoding method having a lower bit rate than the second encoding method to generate third encoded data;
A first communication means for transmitting the second encoded data and the third encoded data to a communication terminal;
In response to the connection start request received from the communication terminal, the first communication means transmits the third encoded data to the communication terminal,
In response to the data acquisition request received from the communication terminal, the second encoder starts encoding,
The first communication means transmits the second encoded data to the communication terminal;
An imaging apparatus in which at least two of the first to third encoders operate simultaneously by combining the first encoder and the second encoder or the combination of the first encoder and the third encoder .
前記第２のエンコーダが、前記データ取得要求の時刻よりも前の前記再生時間分のデータをエンコードする請求項１に記載の撮像装置。 In the data acquisition request, the reproduction time of the transferred imaging data is specified,
The imaging apparatus according to claim 1 , wherein the second encoder encodes data for the reproduction time before the time of the data acquisition request.
前記撮像部によって取得された撮像データを第１の符号化方式でエンコードして、第１の符号化データを生成する第１のエンコーダと、
前記第１のエンコーダで生成された前記第１の符号化データを動画ファイルとして記録するメモリと、
前記メモリに格納された前記第１の符号化データを第１の符号化方式よりも低いビットレートの第２の符号化方式でエンコードされた第２の符号化データに変換する第２のエンコーダと、
前記撮像部によって取得された前記撮像データを前記第２の符号化方式よりも低いビットレートの第３の符号化方式でエンコードして、第３の符号化データを生成する第３のエンコーダと、
通信端末に、前記第２の符号化データ、及び第３の符号化データを送信する第１の通信手段と、を備え、
前記通信端末から受け取った接続開始要求に応じて、前記第１の通信手段が前記第３の符号化データを前記通信端末に送信し、
前記通信端末から受け取ったデータ取得要求に応じて、前記第２のエンコーダがエンコードを開始し、
前記第１の通信手段が前記第２の符号化データを前記通信端末に送信し、
前記第１から第３のエンコーダのうち、前記第１のエンコーダと前記第２のエンコーダ、または前記第１のエンコーダと前記第３のエンコーダの組み合わせで、最大２つが同時に動作する撮像装置の制御方法。 An imaging unit for acquiring imaging data;
A first encoder that encodes imaging data acquired by the imaging unit using a first encoding method to generate first encoded data;
A memory for recording the first encoded data generated by the first encoder as a moving image file;
A second encoder for converting the first encoded data stored in the memory into second encoded data encoded by a second encoding method having a lower bit rate than the first encoding method; ,
A third encoder that encodes the imaging data acquired by the imaging unit with a third encoding method having a lower bit rate than the second encoding method to generate third encoded data;
A first communication means for transmitting the second encoded data and the third encoded data to a communication terminal;
In response to the connection start request received from the communication terminal, the first communication means transmits the third encoded data to the communication terminal,
In response to the data acquisition request received from the communication terminal, the second encoder starts encoding,
The first communication means transmits the second encoded data to the communication terminal;
Of the first to third encoders, a method for controlling an imaging apparatus in which a maximum of two of the first encoder and the second encoder or a combination of the first encoder and the third encoder operates simultaneously. .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018054098A JP6583458B2 (en) | 2018-03-22 | 2018-03-22 | Imaging apparatus and control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018054098A JP6583458B2 (en) | 2018-03-22 | 2018-03-22 | Imaging apparatus and control method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017058789A Division JP6319491B2 (en) | 2017-03-24 | 2017-03-24 | Imaging apparatus and control method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018137772A JP2018137772A (en) | 2018-08-30 |
| JP6583458B2 true JP6583458B2 (en) | 2019-10-02 |
Family
ID=63365829
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018054098A Active JP6583458B2 (en) | 2018-03-22 | 2018-03-22 | Imaging apparatus and control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6583458B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7367514B2 (en) | 2019-12-19 | 2023-10-24 | 株式会社Ｊｖｃケンウッド | Imaging device and video data transmission method |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4148673B2 (en) * | 2001-11-20 | 2008-09-10 | 株式会社日立製作所 | Video distribution system |
| KR20040104236A (en) * | 2003-06-03 | 2004-12-10 | 삼성전자주식회사 | Photograping apparatus and method which sets resolution automatically |
| JP2005045297A (en) * | 2003-07-22 | 2005-02-17 | Hitachi Ltd | Camera system and camera apparatus |
| JP2006005609A (en) * | 2004-06-17 | 2006-01-05 | Hitachi Ltd | Information processing apparatus |
| JP4695669B2 (en) * | 2008-05-19 | 2011-06-08 | 株式会社日立製作所 | Video distribution system |
| JP5210063B2 (en) * | 2008-07-10 | 2013-06-12 | パナソニック株式会社 | Audio image recording device |
| JP5893434B2 (en) * | 2011-10-05 | 2016-03-23 | 株式会社ザクティ | Electronic camera |
| JP6319491B2 (en) * | 2017-03-24 | 2018-05-09 | 株式会社Ｊｖｃケンウッド | Imaging apparatus and control method |
-
2018
- 2018-03-22 JP JP2018054098A patent/JP6583458B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018137772A (en) | 2018-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101905648B1 (en) | Apparatus and method for shooting a moving picture of camera device | |
| US8045850B2 (en) | Image pickup apparatus, image recording apparatus and image recording method | |
| KR101905621B1 (en) | Apparatus and method for transmitting a frame image of camera using a hybrid interleaved data | |
| JP4719943B2 (en) | Remote control device, remote control system, and device-specific information display method | |
| TW201334539A (en) | Portable terminal apparatus and image-taking method thereof and camera apparatus | |
| JP2011015279A (en) | Digital camera and moving image playback method | |
| JP2013258510A (en) | Imaging device, and method and program of controlling the same | |
| JP5838852B2 (en) | Imaging system, imaging apparatus, imaging method, and program | |
| JP6319491B2 (en) | Imaging apparatus and control method | |
| JP6583458B2 (en) | Imaging apparatus and control method | |
| JP6583457B2 (en) | Imaging apparatus and control method | |
| JP6119447B2 (en) | Imaging system and control method | |
| KR101894531B1 (en) | Apparatus and method for processing a continuous shooting mode in camera device | |
| JP2006352515A (en) | Video doorphone system | |
| KR100810265B1 (en) | Device and method for photographing image in wireless terminal | |
| JP2013118518A (en) | Imaging apparatus | |
| KR101824506B1 (en) | Apparatus and method for processing a continuous shooting using a multi-preset data in camera device | |
| US20100129049A1 (en) | Editing apparatus, control method of the editing apparatus, and image pickup apparatus | |
| JP5024331B2 (en) | Video camera and information transmission method | |
| JP2013145983A (en) | Imaging system, imaging apparatus, imaging method, and imaging program | |
| JP2008199662A (en) | Imaging apparatus, image recorder and image recording method | |
| JP5963921B2 (en) | Digital camera and composite image display method of camera | |
| JP5654148B2 (en) | Digital camera and composite image display method of digital camera | |
| JP5774731B2 (en) | Digital camera and composite image display method of digital camera | |
| JP2015159406A (en) | Image pickup device and control method of the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180322 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190308 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190806 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190819 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6583458 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |