JP5141477B2 - Moving picture receiving apparatus, moving picture communication system, moving picture receiving program, and moving picture communication program - Google Patents
Moving picture receiving apparatus, moving picture communication system, moving picture receiving program, and moving picture communication program Download PDFInfo
- Publication number
- JP5141477B2 JP5141477B2 JP2008251076A JP2008251076A JP5141477B2 JP 5141477 B2 JP5141477 B2 JP 5141477B2 JP 2008251076 A JP2008251076 A JP 2008251076A JP 2008251076 A JP2008251076 A JP 2008251076A JP 5141477 B2 JP5141477 B2 JP 5141477B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- unit
- image data
- data
- pseudo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、通信データ量と処理演算量の削減を図った動画像受信装置、動画像通信システム、動画像受信プログラム及び動画像通信プログラムに関する。 The present invention has a kinematic image receiving apparatus which aimed to reduce the communication data amount and amount of computation processing, moving image communication system, a moving picture reception program and a moving picture communication program.
デジタル動画像の高能率符号化においては、時間的に隣接するフレーム相互間の相関を利用した動き補償方法が大きな情報圧縮を生むことが知られている。動き補償とは、参照画像と符号化画像との間の動きを検出してブロック毎の動きベクトルを求め、それに従って各ブロックのマッチングを取ることで残差信号の符号量を低減する処理である。自然画像などに対しては、このような、動きベクトルと残差信号を符号化する方法は非常に有効であるが、背景が一定の画像や、カメラの稼動範囲が限定されているような画像においては、動きベクトルを符号化することで逆に符号量が増大してしまう場合があった。 In high-efficiency encoding of digital moving images, it is known that a motion compensation method using correlation between temporally adjacent frames produces large information compression. Motion compensation is a process for reducing the code amount of a residual signal by detecting the motion between a reference image and an encoded image, obtaining a motion vector for each block, and matching each block accordingly. . For natural images, this method of encoding motion vectors and residual signals is very effective, but images with a fixed background or images with limited camera operation range are available. However, in some cases, encoding the motion vector may increase the amount of code.
このような問題を解決するため、背景が一定で変化の少ない画像において、動きベクトルを用いず参照画像との残差信号から映像を再生可能にした映像符号化装置が開示されている(特許文献1参照)。 In order to solve such a problem, a video encoding device is disclosed in which an image can be reproduced from a residual signal with a reference image without using a motion vector in an image with a constant background and little change (Patent Document). 1).
しかしながら、実際にネットワーク上の監視装置やTV会議システムにおいては、話者が離席した背景のように、一見変化が無い映像の場合においても撮像した映像のわずかな輝度の変化や、カメラの揺らぎ等によって、残差信号の検出と得られた符号データの送信を行う必要があった。このような場合には、動画像に動きが無い期間、話者が離席した背景のように、一見変化が無い背景映像そのものの受信を停止して、トラフィックの削減と省電力化を図ることが考えられるが、表示側で静止画となってしまうため、閲覧者がシステムが異常を起こしていると誤解してしまう虞がある。また、「変化なし」などの表示を行うことも考えられるが、映像を確認する際には不自然であり、閲覧者には違和感がある。
従来の動画像通信装置においては、背景が一定の画像や、カメラの稼動範囲が限定されているような画像においては、動きベクトルを符号化することで逆に符号量が増大してしまう場合があった。また、動画像に動きが無い期間、話者が離席した背景のように、一見変化が無い背景映像そのものの受信を停止すると、閲覧者に違和感を感じさせる等の課題があった。 In a conventional moving image communication apparatus, in an image with a constant background or an image in which the operating range of the camera is limited, encoding the motion vector may increase the code amount. there were. In addition, the movement is no period in the moving image, as in the background that the speaker is away from the PC, change glance When you stop receiving non-Ise Jing video itself, there is a problem such as feel a sense of discomfort to viewers .
本発明は、このような課題を解決するためになされたものであり、背景のように動画像に動きが無いと判定された期間は、データの受信を行わず、かつ、閲覧者に異常とは感じさせない動画像受信装置、動画像通信システム、動画像受信プログラム及び動画像通信プログラムを提供することを目的とする。 The present invention has been made to solve such problems, the period it is determined that there is no motion in the moving image as the background, without receiving the data, and the abnormal viewers and an object thereof is to provide a mobile image reception apparatus, a moving image communication system, moving picture reception program and a moving picture communication program feel the.
前記目的を達成するために、本発明の動画像受信装置は、動画像符号データを受信する受信部と、前記受信部が受信した前記動画像符号データを復号する復号化部と、前記復号化部によって復号された動画像データの一部を静止画像データとして記憶する静止画像記憶部と、前記静止画像記憶部に記憶された前記静止画像データから擬似動画像データを生成する擬似動画像生成部と、前記復号化部の出力または前記擬似動画像生成部の出力を選択して出力する出力部とを有し、前記擬似動画像生成部は、前記静止画像記憶部に記憶された前記静止画像データ相互間の変化量を学習する変化量学習手段をさらに備え、この変化量学習手段の変化量学習結果と特定の静止画像データとを用いて前記静止画像データを修正して前記擬似動画像データを生成し、かつ、前記動画像に動きが無いと判定された期間は、前記復号化部が前記動画像符号データの復号を中止し、前記出力部が前記擬似動画像生成部の出力を選択することを特徴とする。
また、本発明の動画像受信装置は、動画像符号データを受信する受信部と、前記受信部が受信した前記動画像符号データを復号する復号化部と、前記復号化部によって復号された動画像データの一部を静止画像データとして記憶する静止画像記憶部と、前記静止画像記憶部に記憶された前記静止画像データから揺らぎを伴う擬似動画像データを生成する擬似動画像生成部と、前記復号化部の出力または前記擬似動画像生成部の出力を選択して出力する出力部とを有し、前記動画像に動きが無いと判定された期間は、前記復号化部が前記動画像符号データの復号を中止し、前記出力部が前記擬似動画像生成部の出力を選択することを特徴とする。
In order to achieve the object, a moving image receiving apparatus of the present invention includes a receiving unit that receives moving image code data, a decoding unit that decodes the moving image code data received by the receiving unit, and the decoding A still image storage unit that stores part of the moving image data decoded by the unit as still image data, and a pseudo moving image generation unit that generates pseudo moving image data from the still image data stored in the still image storage unit And an output unit that selects and outputs the output of the decoding unit or the output of the pseudo moving image generation unit, and the pseudo moving image generation unit stores the still image stored in the still image storage unit Further comprising a change amount learning means for learning a change amount between the data, and using the change amount learning result of the change amount learning means and the specific still image data, the still image data is corrected and the pseudo moving image data Produced, and the period it is determined that there is no motion in the moving image, the decoding unit stops decoding of the moving image code data, wherein the output unit selects the output of the pseudo moving image generation unit It is characterized by that.
The moving image receiving apparatus of the present invention includes a receiving unit that receives moving image code data, a decoding unit that decodes the moving image code data received by the receiving unit, and a moving image decoded by the decoding unit. A still image storage unit that stores part of the image data as still image data, a pseudo moving image generation unit that generates pseudo moving image data with fluctuations from the still image data stored in the still image storage unit, and An output unit that selects and outputs an output of the decoding unit or an output of the pseudo moving image generation unit, and the decoding unit is configured to output the moving image code during a period when the moving image is determined to have no motion. The decoding of data is stopped, and the output unit selects the output of the pseudo moving image generation unit.
そして、本発明の動画像通信システムは、動画像を撮影して動画像データを出力するカメラと、前記動画像データを入力する動画像入力部と、前記動画像データを符号化して動画像符号データに変換する符号化部と、前記符号化部で得られた前記動画像符号データを送信する送信部と、前記動画像データの動画像の動きの有無を判定する動き判定部とを有する動画像送信装置と、前記送信部から送信される前記動画像符号データを受信する受信部と、前記受信部が受信した前記動画像符号データを復号する復号化部と、前記復号化部によって復号された動画像データの一部を静止画像データとして記憶する静止画像記憶部と、前記静止画像記憶部に記憶された前記静止画像データから擬似動画像データを生成する擬似動画像生成部と、前記復号化部の出力または前記擬似動画像生成部の出力を選択して出力する出力部とを有する動画像受信装置とを備えて構成され、前記擬似動画像生成部は、前記静止画像記憶部に記憶された前記静止画像データ相互間の変化量を学習する変化量学習手段をさらに備え、この変化量学習手段の変化量学習結果と特定の静止画像データとを用いて前記静止画像データを修正して前記擬似動画像データを生成し、かつ、前記動き判定部の判定結果により前記動画像に動きが無いと判定された期間は、前記動画像送信装置が前記符号化部による動画像データの符号化と前記送信部による前記動画像符号データの送信との双方を停止し、前記動画像受信装置の前記出力部が前記擬似動画像生成部の出力を選択することを特徴とする。
また、本発明の動画像通信システムは、動画像を撮影して動画像データを出力するカメラと、前記動画像データを入力する動画像入力部と、前記動画像データを符号化し動画像符号データに変換する符号化部と、前記符号化部で得られた前記動画像符号データを送信する送信部と、前記動画像データの動画像の動きの有無を判定する動き判定部とを有する動画像送信装置と、前記送信部から送信される前記動画像符号データを受信する受信部と、前記受信部が受信した前記動画像符号データを復号する復号化部と、前記復号化部によって復号された動画像データの一部を静止画像データとして記憶する静止画像記憶部と、前記静止画像記憶部に記憶された前記静止画像データから揺らぎを伴う擬似動画像データを生成する擬似動画像生成部と、前記復号化部の出力または前記擬似動画像生成部の出力を選択して出力する出力部とを有する動画像受信装置とを備えて構成され、前記動き判定部の判定結果により前記動画像に動きが無いと判定された期間は、前記動画像送信装置が前記符号化部による動画像データの符号化と前記送信部による前記動画像符号データの送信との双方を停止し、前記動画像受信装置の前記出力部が前記擬似動画像生成部の出力を選択することを特徴とする。
The moving image communication system of the present invention includes a camera that captures moving images and outputs moving image data, a moving image input unit that inputs the moving image data, and a moving image code that encodes the moving image data. A moving image having an encoding unit that converts data, a transmission unit that transmits the moving image code data obtained by the encoding unit, and a motion determination unit that determines the presence or absence of a moving image of the moving image data An image transmitting apparatus, a receiving unit that receives the moving image code data transmitted from the transmitting unit, a decoding unit that decodes the moving image code data received by the receiving unit, and a decoding unit A still image storage unit that stores a part of the moving image data as still image data; a pseudo moving image generation unit that generates pseudo moving image data from the still image data stored in the still image storage unit; It is configured to include a moving picture receiving apparatus and an output unit which selects and outputs the output of the output or the pseudo moving image generation unit of the unit, the pseudo moving image generation unit is stored in the still image storage unit A change amount learning unit that learns a change amount between the still image data that has been generated, and the still image data is corrected using a change amount learning result of the change amount learning unit and specific still image data. generating the pseudo moving image data, and the determination result by the period of time that is determined that there is no motion in the moving image of the motion determination unit, coding of the video data and the moving picture transmission apparatus according to the encoding unit both the transmission of the moving image code data according to pre-Symbol transmission unit when stopped, the output of the moving picture reception apparatus and selects an output of the pseudo moving image generation unit.
The moving image communication system of the present invention includes a camera that captures moving images and outputs moving image data, a moving image input unit that inputs the moving image data, and moving image code data that encodes the moving image data. A moving image including: an encoding unit that converts the moving image data into a moving image; a transmitting unit that transmits the moving image code data obtained by the encoding unit; and a motion determination unit that determines whether there is a moving image in the moving image data A decoding unit that receives the moving image code data transmitted from the transmission unit; a decoding unit that decodes the moving image code data received by the receiving unit; A still image storage unit that stores a part of the moving image data as still image data; a pseudo moving image generation unit that generates pseudo moving image data with fluctuations from the still image data stored in the still image storage unit; And a moving image receiving device having an output unit that selects and outputs the output of the decoding unit or the output of the pseudo moving image generation unit, and moves to the moving image based on the determination result of the motion determination unit During the period in which it is determined that there is no video, the video transmission device stops both the encoding of the video data by the encoding unit and the transmission of the video code data by the transmission unit, and the video reception device The output unit selects an output of the pseudo moving image generation unit.
さらに、本発明の動画像受信プログラムは、送信側装置から動画像データを受信する受信側装置の制御部に実行させる動画像受信プログラムであって、前記送信側装置から、前記送信側装置に取り込まれた動画像データの符号化で得られる動画像符号データ及び当該動画像データの動画像の動き無しを示す動き無しフラグのいずれか一方のデータを受信する受信ステップと、受信されたデータが前記動画像符号データの場合は前記動き無しフラグを解除して動画像符号データを復号する復号ステップと、復号された動画像データの一部を静止画像データとして記録する静止画像記録ステップと、受信されたデータが前記動き無しフラグの場合はその動き無しフラグを記憶する動き無しフラグ記憶ステップと、前記動き無しフラグを記憶した場合またはすでに前記動き無しフラグを記憶されている場合で静止画像データ間の差分がすでに学習されていない場合は静止画像データ間の差分を学習する差分学習ステップと、特定の静止画像データと学習された差分を用いて擬似動画像データを合成する擬似動画像を合成ステップと、前記擬似動画像データの表示レートを調整する表示レート調整ステップと、前記復号された動画像データまたは前記擬似動画像データのいずれかを前記動き無しフラグを基に選択し出力する出力ステップとを有することを特徴とする。
また、本発明の動画像通信プログラムは、動画像データを送受信する動画像通信システムを構成する送信側装置及び受信側装置のそれぞれの制御部に実行させる動画像通信プログラムであって、動画像入力部で入力した動画像データを取り込む取り込みステップと、取り込まれた前記動画像データの動画像の動きの有無を判定する動き判定ステップと、取り込まれた前記動画像データを符号化する符号化ステップと、前記符号化により得られた動画像符号データの送信か、前記動き判定により動き無しと判定された場合には所定時間後に動画像符号データの送信を停止し、動き無しを示す動き無しフラグの送信を行う送信ステップとを有する送信側プログラムと、前記送信側装置からの送信データを受信する受信ステップと、受信されたデータが前記動画像符号データの場合は前記動き無しフラグを解除して動画像符号データを復号する復号ステップと、復号された動画像データの一部を静止画像データとして記録する静止画像記録ステップと、受信されたデータが前記動き無しフラグの場合はその動き無しフラグを記憶する動き無しフラグ記憶ステップと、前記動き無しフラグを記憶した場合またはすでに前記動き無しフラグを記憶されている場合で静止画像データ間の差分がすでに学習されていない場合は静止画像データ間の差分を学習する差分学習ステップと、特定の静止画像データと学習された差分を用いて擬似動画像データを合成する擬似動画像を合成ステップと、前記擬似動画像データの表示レートを調整する表示レート調整ステップと、前記復号された動画像データまたは前記擬似動画像データのいずれかを前記動き無しフラグを基に選択し出力する出力ステップとを有する受信側プログラムとを備えることを特徴とする。
Furthermore, the moving image receiving program of the present invention is a moving image receiving program to be executed by the control unit of the receiving device that receives moving image data from the transmitting device, and is taken into the transmitting device from the transmitting device. A reception step of receiving either one of the moving image code data obtained by encoding the moving image data and the no-motion flag indicating no movement of the moving image of the moving image data; In the case of moving image code data, a decoding step for canceling the no-motion flag and decoding the moving image code data, a still image recording step for recording a part of the decoded moving image data as still image data, If the data is the no motion flag, a no motion flag storing step for storing the no motion flag, Alternatively, when the no-motion flag is already stored and the difference between the still image data is not already learned, the difference learning step for learning the difference between the still image data and the specific still image data are learned. A step of synthesizing pseudo moving image data to synthesize pseudo moving image data using the difference, a display rate adjusting step of adjusting a display rate of the pseudo moving image data, and the decoded moving image data or the pseudo moving image data And an output step of selecting and outputting either of them based on the no-motion flag.
The moving image communication program of the present invention is a moving image communication program to be executed by each control unit of a transmitting side device and a receiving side device constituting a moving image communication system for transmitting and receiving moving image data. A capturing step for capturing the moving image data input by the image processing unit, a motion determining step for determining the presence or absence of motion of the captured moving image data, and an encoding step for encoding the captured moving image data. The transmission of the moving image code data obtained by the encoding, or when it is determined that there is no motion by the motion determination, the transmission of the moving image code data is stopped after a predetermined time, and the no motion flag indicating no motion is set. A transmission side program having a transmission step for performing transmission, a reception step for receiving transmission data from the transmission side device, and a received data In the case of the moving image code data, the decoding step of canceling the no motion flag and decoding the moving image code data, the still image recording step of recording a part of the decoded moving image data as still image data, When the received data is the no-motion flag, the no-motion flag storing step for storing the no-motion flag, and still image data when the no-motion flag is stored or when the no-motion flag is already stored If the difference between them has not already been learned, the difference learning step for learning the difference between the still image data and the synthesized moving image data for synthesizing the pseudo moving image data using the specific still image data and the learned difference are combined. A display rate adjusting step for adjusting a display rate of the pseudo moving image data; and the decoded moving image data Other is characterized by having a reception-side program and an output step of outputting selected one of the pseudo moving image data based on the no motion flag.
本発明によれば、背景のように動画像に動きが無いと判定された期間は、データの受信を行わず、受信側で合成した擬似的な動画像を表示するので、演算量と通信データ量を削減し、かつ、閲覧者に異常とは感じさせない動画像受信装置、動画像通信システム、動画像受信プログラム及び動画像通信プログラムを提供することができる。 According to the present invention, the period of time that is determined that there is no motion in the moving image as the background, without receiving the data, so to display the pseudo moving image synthesized on the receiving side, the amount of computation and communication reducing the amount of data, and can provide viewers to move the image receiving apparatus, such feel is abnormal, the moving picture communication system, a moving picture reception program and a moving picture communication program.
(第1の実施形態)
図1は、本発明の第1の実施形態を説明するための動画像通信システム100のブロック図である。
(First embodiment)
FIG. 1 is a block diagram of a video communication system 100 for explaining the first embodiment of the present invention.
本実施形態の動画像送信装置10は、装置外部に設置された動画像を撮影するカメラ9からの動画像を入力し動画像データを得る動画像入力部11と、入力された動画像に大きな動きがあるか否かを判定する動き判定部12と、撮影された動画像データの符号化を行う符号化部13と、この符号化部で符号化により得られた動画像符号データ及び動き判定部12の判定結果を送信する送信部14と、動画像送信装置10全体の制御を行う制御部15とを備えて構成される。特に、判定部12、符号化部13及び制御部15は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)及びプログラムにより実現される。
The moving image transmitting apparatus 10 of this embodiment includes a moving
また、動画像受信装置20は、動画像送信装置10からの動画像符号データ及び動き判定結果を受信する受信部21と、受信部21が受信した動画像符号データを復号する復号化部22と、この復号化部22で復号した動画像データの個々のフレームのうちの一部を静止画像データとして格納する静止画像記憶部24と、この静止画像記憶部24の静止画像データから動き判定結果に応じて擬似的に動画像データを生成する擬似動画像生成部25と、復号化部22と擬似動画像生成部25からの出力を装置外部のモニタ27等に出力する出力部23と、動画像受信装置20全体の制御を行う制御部26とを備えて構成される。特に、復号化部22、擬似動画像生成部25及び制御部26は、CPU、ROM、RAM及びプログラムにより実現される。
The moving
動画像送信装置10と動画像受信装置20とは、ネットワーク30を介して接続されている。TV会議システム等のように、双方向に通信を行う場合には、双方向の端末に動画像送信装置10と動画像受信装置20とを設ける形態が好適である。また、ネットワーク30は、有線接続、無線接続を問わず、符号化された動画像データを送受信できるものであれば特に制限はなく、LAN(Local Area Network)やインターネット等を用いても良い。
The moving image transmitting device 10 and the moving
次に、本実施形態の動作を、図2に示す動作フローチャートを参照して説明する。 Next, the operation of the present embodiment will be described with reference to the operation flowchart shown in FIG.
まず、動画像送信装置10において、動画像送信装置10の装置外部に設置された動画像を撮影するカメラ9からの動画像が入力される動画像入力部11で、動画像データの取り込みから処理を開始する(ステップS101)。次に、取り込んだ動画像データに対して動き判定部12で動き判定を行う(ステップS102)。この動き判定は、例えば、図3を参照して説明すると、図3(c)に示すように、画像フレーム上に画素変化を調べる複数の観測点A1を設けて、この観測点での画素の変化が大きい場合には、動きが加わった、例えば、V2のような背景画像図3(b)に被写体人物画像が加わったV1のような画像図3(a)になったと判定する。観測点A1の位置と領域を適度に設定することによって、画像全体を探索する必要はなく、少数の観測点についてのわずかな処理で動き判定が可能となる。
First, in the moving image transmitting apparatus 10, a moving
動き判定の結果、背景が連続した画像により取り込まれているか否かで処理を分岐する(ステップS103)。背景画像の連続でなければ(No)、背景フラグ解除を行って(ステップS104)、符号化部13で取り込まれた動画像データの画像符号化を行い(ステップS105)、送信部14で符号化により得られた動画像符号データを受信装置20へ送信する(ステップS106)。その後、ステップS101に戻って、次の撮影画像の取り込みを行う。符号化には、MPEG2やH.264等の一般的な手法をそのまま用いることができる。
As a result of the motion determination, the process branches depending on whether the background is captured by a continuous image (step S103). If the background image is not continuous (No), the background flag is canceled (step S104), the moving image data captured by the
一方、ステップS103で背景画像の連続と判断された場合には(Yes)、背景フラグが設定済みか否かを判定し(ステップS107)、背景フラグが設定済みの場合には(Yes)、ステップS101に戻って、次の撮影画像の取り込みを行う。背景フラグが設定済みでなかった場合は(No)、背景フラグを設定すると共に(ステップS108)、動画像受信装置20へ背景フラグを送信する(ステップS106)。その後、ステップS101に戻って、次の撮影画像の取り込みを行う。 On the other hand, if it is determined in step S103 that the background image is continuous (Yes), it is determined whether or not the background flag has been set (step S107). If the background flag has been set (Yes), step S103 is performed. Returning to S101, the next captured image is captured. If the background flag has not been set (No), the background flag is set (step S108), and the background flag is transmitted to the moving image receiving apparatus 20 (step S106). Thereafter, the process returns to step S101, and the next captured image is captured.
動画像受信装置20は、動画像送信装置10から送られたデータを受信する(ステップS201)。このとき、受信したデータの種別によって処理を分岐する(ステップS202)。すなわち、受信したデータが動画像符号データである場合は(Yes)、背景フラグを解除し(ステップS203)、動画像符号データを復号して取り込んだ動画像データを生成する(ステップS204)。この復号には、符号化方法と対になる方法をそのまま用いることができる。
The moving
復号した動画像データは、静止画像データとして静止画像バッファメモリに記憶されて記憶内容を更新する(ステップS205)。静止画像バッファメモリは数枚から数秒程度の静止画像を記憶するメモリでFIFO(First In First Out:先入れ先出し)方式で更新することが好ましい。静止画像バッファメモリの更新時は、後述する差分学習結果があれば、必要に応じて削除する。 The decoded moving image data is stored in the still image buffer memory as still image data, and the stored content is updated (step S205). The still image buffer memory is a memory for storing still images of several to several seconds and is preferably updated by a FIFO (First In First Out) method. When the still image buffer memory is updated, if there is a difference learning result to be described later, it is deleted as necessary.
さらに、画像(画像データ)を出力し(ステップS211)、その後、ステップS202の分岐まで戻って符号化により得られた動画像符号データを受信する。符号化により得られた動画像符号データを受信している間は、先に取り込んだ画像データを出力し続ける。 Furthermore, an image (image data) is output (step S211), and then the process returns to the branch of step S202 to receive moving image code data obtained by encoding. While the moving image code data obtained by encoding is being received, the previously captured image data is continuously output.
ステップS202で、背景フラグを受信した場合あるいはすでに背景フラグを受信済みである場合には(No)、背景フラグを記憶し(ステップS206)、静止画像バッファメモリ内に記憶されている静止画像データの差分がすでに学習済みであるか否かによってさらに分岐する(ステップS207)。静止画像データの差分が学習済みか否かの判定は、例えば、学習済みを意味するフラグを立てて判断するとか、差分学習結果の格納場所、例えばメモリの特定番地などに初期化の値(例えば0)以外の値が書き込まれているか否かで判断する。 If the background flag has been received in step S202 or if the background flag has already been received (No), the background flag is stored (step S206), and the still image data stored in the still image buffer memory is stored. The process further branches depending on whether or not the difference has already been learned (step S207). Whether or not the difference between the still image data has been learned is determined by setting a flag indicating learned, for example, or the storage location of the difference learning result, for example, an initialization value (for example, a specific address in the memory). It is judged by whether or not a value other than 0) is written.
静止画像データの差分が学習済みで無い場合は(ステップS207で、No)、静止画像バッファメモリ内の静止画像データ間の相互の差分を抽出し、差分のある位置とその変化量とを学習する(ステップS208)。この静止画像バッファメモリの差分学習は、例えば画素値が変化した画素の座標と変化量の幅、時間軸に対する変化の周期性などを複数枚の静止画像データから求めると良い。一方、差分がすでに学習済みの場合や、差分を学習済みの場合は(ステップS207で、Yes)、静止画像データと学習結果に基づいて擬似動画像データの合成を行う(ステップS209)。 If the difference between the still image data has not been learned (No in step S207), the mutual difference between the still image data in the still image buffer memory is extracted, and the position where the difference exists and the amount of change are learned. (Step S208). In the difference learning of the still image buffer memory, for example, the coordinates of the pixel whose pixel value has changed, the width of the change amount, the periodicity of the change with respect to the time axis, and the like may be obtained from a plurality of still image data. On the other hand, if the difference has already been learned or if the difference has been learned (Yes in step S207), the pseudo moving image data is synthesized based on the still image data and the learning result (step S209).
擬似動画像データの合成は、静止画像バッファメモリ内の静止画像の1枚に対して学習結果の対象になる画素に画素値の変化量の範囲内で適当な値の変化を与えて擬似動画像を合成する。ここでは、最初、静止画像バッファメモリ内の1枚の静止画像を、不特定にまたは特定のものを決めて、時系列的に最初の学習結果、例えば、変化する画素の座標とその変化量の幅などを反映させて次の画像データを作成し、さらに時系列的に次の学習結果を反映させてその次の画像を作成するなどの要領で、次々に異なる静止画像データを画像合成して作成することを想定する。したがって、画素値の変化に時間軸に対する周期性が認められればそれに従い、周期性が見出せない場合は、ランダムに変化を与えても差し支えない。 In the synthesis of the pseudo moving image data, the pseudo moving image is obtained by giving an appropriate value change within the range of the change amount of the pixel value to the target pixel of the learning result for one of the still images in the still image buffer memory. Is synthesized. Here, first, a single still image in the still image buffer memory is determined unspecified or specific, and the first learning result in time series, for example, the coordinates of the changing pixel and its change amount The next image data is created by reflecting the width, etc., and the next learning result is reflected in time series to create the next image. Assume that it is created. Therefore, if the periodicity with respect to the time axis is recognized in the change in the pixel value, the periodicity can be found if the periodicity cannot be found.
ところで、本実施形態のように差分学習して擬似動画像を合成した場合の方が、差分学習せず記録された静止画像を順に出力して示すパラパラ漫画風動画の場合に比べて使用する静止画像バッファメモリの容量が少なくて済むという効果がある。これは、1件の差分の学習結果のデータ量は、1枚の静止画像のデータ量よりも少なくてすみ、また、1枚の静止画像データがあれば差分学習により次の画像処理が行えるためである。 By the way, in the case of synthesizing a pseudo moving image by differential learning as in the present embodiment, the still image to be used is compared to the case of a flip-flop-like moving image in which recorded still images are sequentially output without differential learning. There is an effect that the capacity of the image buffer memory can be reduced. This is because the data amount of the learning result of one difference can be smaller than the data amount of one still image, and if there is one still image data, the next image processing can be performed by difference learning. It is.
擬似動画像データの合成後、フレームレート調整を行う(ステップS210)。フレームレートの調整は、例えば毎秒30フレームの動画像を出力していた場合に、背景の擬似動画像データの場合にのみ、毎秒10フレームへとフレームレートを落とすような、適切なスリーブ処理を入れる。フレームレートの調整は、例えば、差分学習結果において、周期性が認められた場合には、その周期性を維持するためにレート変更を行わない等、差分学習結果から決めても良い。 After the synthesis of the pseudo moving image data, the frame rate is adjusted (step S210). For adjusting the frame rate, for example, when a moving image of 30 frames per second is output, an appropriate sleeve process is performed so that the frame rate is reduced to 10 frames per second only in the case of background pseudo moving image data. . The adjustment of the frame rate may be determined from the difference learning result, for example, when the periodicity is recognized in the difference learning result, the rate is not changed in order to maintain the periodicity.
このフレームレート調整の後、合成した擬似動画像データを出力し(ステップS211)、再びネットワーク受信(ステップS201)に戻る。この背景の擬似動画像データが連続する間は、静止画像バッファメモリの内容は更新されないため、静止画像データから合成された背景の擬似動画像データを出力し続けることになる。 After this frame rate adjustment, the synthesized pseudo moving image data is output (step S211), and the process returns to the network reception (step S201) again. While the background pseudo moving image data continues, the content of the still image buffer memory is not updated, so that the background pseudo moving image data synthesized from the still image data is continuously output.
ここで、取り込み画像とその差分の関係を図4を参照して説明する。通常の連続した画像データ、すなわち、被写体を含む動画像データをM1とする。また、背景動画像データをM2とする。M1からM2への矢印は時間の推移を示している。連続した画像データがM2の状態になって所定時間経過した場合に、動画像送信装置10側で背景フラグを設定し(ステップS108)、動画像受信装置20側では静止画として静止画像バッファメモリに蓄積した背景動画像データM2より、それぞれの差分D1、D2、…Dnを抽出して学習する(ステップS208)。こうして得た差分D1〜Dnから、擬似動画生成部25では、背景の静止画像データM2の中の1枚に対して変化位置と変化量を適宜設定して画面を部分的に変化させた静止画像データを次々と作成して出力することで擬似動画像データを合成していく(ステップS209)。一旦合成した擬似動画像データは繰り返し利用しても良い。
Here, the relationship between the captured image and its difference will be described with reference to FIG. Normal continuous image data, that is, moving image data including a subject is defined as M1. The background moving image data is M2. The arrow from M1 to M2 indicates the transition of time. When a predetermined time has elapsed since the continuous image data is in the M2 state, a background flag is set on the moving image transmitting apparatus 10 side (step S108), and the moving
本実施形態では、静止画像データの差分を用いて学習するように構成したが、静止画像記憶部24に記憶されている静止画像データをパラパラ漫画風動画のようにして示しても良い。この場合、装置の設置状況などから繰り返し表示が機械的に見える場合は、ランダムに順序を変えて出力するように構成しても差し支えない。 In the present embodiment, the learning is performed by using the difference between the still image data. However, the still image data stored in the still image storage unit 24 may be shown as a flip-flop-like moving image. In this case, when the repeated display is mechanically seen from the installation status of the apparatus, the order may be changed at random and output.
以上のように構成することによって、本実施の形態によれば、背景が連続する場合等では、送信を行わず、受信側で背景画像データの差分の学習結果を元に、擬似的に動画像データを生成して再生することで、背景画像データの輝度変化や揺らぎを表示することができ、符号化、復号化にかかる処理や符号データの送受信をほとんど行うことなく、システムが正常に動作しているように表示することが可能であり、この間の装置の消費電力や発熱量を大幅に減らして省電力化を行うことができる。この構成では、符号化、復号化に関する方式に一切変更を行っていないので、既存の手法をそのまま利用することができる。 By configuring as described above, according to the present embodiment, when the background is continuous, the transmission is not performed, and the moving image is simulated based on the learning result of the background image data difference on the reception side. By generating and playing back data, it is possible to display changes in brightness and fluctuations in the background image data, and the system operates normally with little processing related to encoding and decoding and transmission and reception of encoded data. The power consumption and heat generation amount of the apparatus during this period can be greatly reduced to save power. In this configuration, since no changes have been made to the encoding and decoding methods, existing methods can be used as they are.
(第2の実施形態)
次に、本発明の第2の実施形態の動画像通信システムについて図5を参照して説明する。この実施形態は、動画像送信装置40及び動画像受信装置50をパソコン等の一般的なデータ処理装置で構成し、処理をソフトウェアによって実行する動画像通信システム200である。
(Second Embodiment)
Next, a moving image communication system according to a second embodiment of the present invention will be described with reference to FIG. This embodiment is a moving image communication system 200 in which the moving image transmitting device 40 and the moving image receiving device 50 are configured by a general data processing device such as a personal computer, and the processing is executed by software.
図5は、この動画像通信システム200の機能ブロック図である。動画像送信装置40は、CPUを含む演算処理機能を備える制御部41、プログラムや演算処理に必要な数値、データなどを記憶する記憶部42、マウスやキーボードを含む入力部43、ディスプレイを行う表示部44、及び、ネットワーク30を介して通信を行う通信部45とを備え、外部に撮影カメラ46を接続している。
FIG. 5 is a functional block diagram of the moving image communication system 200. The moving image transmitting apparatus 40 includes a
制御部41は、入出力インタフェースを介して撮影カメラ46から動画像を動画像データとして取り込む動画像取り込み機能411、動画像の動きを判定しフラグを設定する動き判定機能412、取り込まれた動画像データを符号化する画像符号化機能413、及び動画像符号データまたは動き判定結果を選択して送信する通信制御機能414の、プログラムによって実現される機能を備えている。
The
一方、受信装置50は、CPUを含む演算処理機能を備える制御部51、プログラムや演算処理に必要な数値、データ、送信装置40から送られる動画像符号データを連続する静止画像データとして、さらに動きなしを示すフラグを記憶する記憶部52、マウスやキーボードを含む入力部53、ディスプレイを行う表示部54、ネットワーク30を介して通信を行う通信部55とから構成されている。
制御部51には、プログラムによって実行される機能として、送信装置40から送られる信号を受信する通信制御機能511、送信装置40から送られる動画像符号データを復号する復号化機能512、復号化により得られた動画像データを連続する静止画像データ521として記憶部52に記憶する静止画像記録制御機能513、送信装置40から送られる動きなしを示す背景フラグ522を記憶部52に記憶するフラグ記録制御機能514、背景静止画像データ相互間の差分を学習する差分学習機能515、背景静止画像データと差分学習結果から背景を示す擬似動画像データを作成する擬似動画像合成機能516、擬似動画像データの表示レートを選択する表示レート調整機能517、復号化により得られた動画像データと擬似動画像データを選択して出力する出力制御機能518が含まれる。
On the other hand, the receiving device 50 further moves as a still image data including a
The
この実施形態の動作は、図2のフローチャートに示す第1の実施形態の動作と基本的に同じである。ただし各処理は、プログラムによって実行される機能によって行われる。
送信装置40では、動画像データ取り込み処理(ステップS101)を動画像取り込み機能411で、動き判定処理(ステップS102)や背景フラグ処理(ステップS103、S104、S107)を動き判定機能412で、画像符号化処理(ステップS105)を画像符号化機能413で、ネットワーク送信処理(ステップS106)を通信制御機能414で実行する。
The operation of this embodiment is basically the same as that of the first embodiment shown in the flowchart of FIG. However, each process is performed by a function executed by the program.
In the transmission device 40, the moving image data capturing process (step S101) is performed by the moving
また、受信装置50では、ネットワーク受信処理(ステップS201)を通信制御機能511で、復号化処理(ステップS204)を復号化機能512で、静止画像記憶処理(ステップS205)を静止画像記録制御機能513で、背景フラグ処理機能(ステップS203)をフラグ記録制御機能514で、差分学習機能(ステップS206、S207、208)を差分学習機能515で、擬似動画像データ合成処理(ステップS209)を擬似動画像合成機能516で、フレームレート調整処理(ステップS210)を表示レート調整機能517で、画像出力処理(ステップS211)を出力制御機能518で実行する。
In the receiving device 50, the network reception process (step S201) is performed by the
このようにすることによって、本実施の形態によれば、汎用のデータ処理装置を用いて本発明を実施することができるので、他の用途を持ったシステムにそのまま組み込んで用いることができるなど、汎用性のある利用が可能になる。 By doing so, according to the present embodiment, the present invention can be implemented using a general-purpose data processing apparatus, so that it can be used as it is incorporated in a system having other uses, etc. Versatile use is possible.
(変形例)
本発明は前記した実施形態に限定されるものではなく、例えば以下のような種々の変形が可能である。
本発明の前記各実施形態では、撮影された動画像データ上の複数の観察点の画素から動きを判定しているが、カメラと連動した赤外線センサや近接センサ、反射光センサなどによって被写体人物の動きを検知しても良い。
(Modification)
The present invention is not limited to the embodiments described above, and various modifications such as the following are possible.
In each of the embodiments of the present invention, the movement is determined from the pixels of the plurality of observation points on the captured moving image data. Motion may be detected.
9 カメラ
10、40 動画像送信装置
11 動画像入力部
12 動き判定部
13 符号化部
14 送信部
15、26、41、51 制御部
20、50 動画像受信装置
21 受信部
22 復号化部
23 出力部
24 静止画像記憶部
25 擬似動画像生成部
27 モニタ
30 ネットワーク
42、52 記憶部
43、53 入力部
44、54 表示部
45、55 通信部
46 撮影カメラ
100、200 動画像通信システム
411 動画像取り込み機能
412 動き判定機能
413 画像符号化機能
414 通信制御機能
511 通信制御機能
512 復号化機能
513 静止画像記録制御機能
514 フラグ記録制御機能
515 差分学習機能
516 擬似動画像合成機能
517 表示レート調整機能
518 出力制御機能
521 静止画像データ
522 背景フラグ
DESCRIPTION OF
Claims (9)
前記受信部が受信した前記動画像符号データを復号する復号化部と、
前記復号化部によって復号された動画像データの一部を静止画像データとして記憶する静止画像記憶部と、
前記静止画像記憶部に記憶された前記静止画像データから擬似動画像データを生成する擬似動画像生成部と、
前記復号化部の出力または前記擬似動画像生成部の出力を選択して出力する出力部とを有し、
前記擬似動画像生成部は、前記静止画像記憶部に記憶された前記静止画像データ相互間の変化量を学習する変化量学習手段をさらに備え、この変化量学習手段の変化量学習結果と特定の静止画像データとを用いて前記静止画像データを修正して前記擬似動画像データを生成し、かつ、
前記動画像に動きが無いと判定された期間は、前記復号化部が前記動画像符号データの復号を中止し、前記出力部が前記擬似動画像生成部の出力を選択することを特徴とする動画像受信装置。 A receiving unit for receiving moving image code data;
A decoding unit for decoding the moving image code data received by the receiving unit;
A still image storage unit that stores a part of the moving image data decoded by the decoding unit as still image data;
A pseudo moving image generation unit that generates pseudo moving image data from the still image data stored in the still image storage unit;
An output unit that selects and outputs the output of the decoding unit or the output of the pseudo moving image generation unit;
The pseudo moving image generation unit further includes a change amount learning unit that learns a change amount between the still image data stored in the still image storage unit, a change amount learning result of the change amount learning unit and a specific amount Correcting the still image data using still image data to generate the pseudo moving image data, and
Period it is determined that there is no motion in the moving image, and wherein the decoding unit stops decoding of the moving image encoded data, before SL output unit selects the output of the pseudo moving image generation unit A moving image receiving apparatus.
前記受信部が受信した前記動画像符号データを復号する復号化部と、 A decoding unit for decoding the moving image code data received by the receiving unit;
前記復号化部によって復号された動画像データの一部を静止画像データとして記憶する静止画像記憶部と、 A still image storage unit that stores a part of the moving image data decoded by the decoding unit as still image data;
前記静止画像記憶部に記憶された前記静止画像データから揺らぎを伴う擬似動画像データを生成する擬似動画像生成部と、 A pseudo moving image generation unit that generates pseudo moving image data with fluctuations from the still image data stored in the still image storage unit;
前記復号化部の出力または前記擬似動画像生成部の出力を選択して出力する出力部とを有し、 An output unit that selects and outputs the output of the decoding unit or the output of the pseudo moving image generation unit;
前記動画像に動きが無いと判定された期間は、前記復号化部が前記動画像符号データの復号を中止し、前記出力部が前記擬似動画像生成部の出力を選択することを特徴とする動画像受信装置。 The decoding unit stops decoding the moving image code data and the output unit selects the output of the pseudo moving image generation unit during a period in which the moving image is determined to have no motion. Moving image receiving device.
前記動画像データを入力する動画像入力部と、前記動画像データを符号化し動画像符号データに変換する符号化部と、前記符号化部で得られた前記動画像符号データを送信する送信部と、前記動画像データの動画像の動きの有無を判定する動き判定部とを有する動画像送信装置と、
前記送信部から送信される前記動画像符号データを受信する受信部と、前記受信部が受信した前記動画像符号データを復号する復号化部と、前記復号化部によって復号された動画像データの一部を静止画像データとして記憶する静止画像記憶部と、前記静止画像記憶部に記憶された前記静止画像データから擬似動画像データを生成する擬似動画像生成部と、前記復号化部の出力または前記擬似動画像生成部の出力を選択して出力する出力部とを有する動画像受信装置とを備えて構成され、
前記擬似動画像生成部は、前記静止画像記憶部に記憶された前記静止画像データ相互間の変化量を学習する変化量学習手段をさらに備え、この変化量学習手段の変化量学習結果と特定の静止画像データとを用いて前記静止画像データを修正して前記擬似動画像データを生成し、かつ、
前記動き判定部の判定結果により前記動画像に動きが無いと判定された期間は、前記動画像送信装置が前記符号化部による動画像データの符号化と前記送信部による前記動画像符号データの送信との双方を停止し、前記動画像受信装置の前記出力部が前記擬似動画像生成部の出力を選択することを特徴とする動画像通信システム。 A camera that captures moving images and outputs moving image data;
A moving image input unit that inputs the moving image data, an encoding unit that encodes the moving image data and converts it into moving image code data, and a transmission unit that transmits the moving image code data obtained by the encoding unit And a moving image transmission device having a motion determination unit that determines the presence or absence of motion of the moving image of the moving image data,
A receiving unit that receives the moving image code data transmitted from the transmitting unit, a decoding unit that decodes the moving image code data received by the receiving unit, and a moving image data decoded by the decoding unit A still image storage unit that stores a part thereof as still image data, a pseudo moving image generation unit that generates pseudo moving image data from the still image data stored in the still image storage unit, and an output of the decoding unit or A moving image receiving apparatus having an output unit that selects and outputs the output of the pseudo moving image generation unit,
The pseudo moving image generation unit further includes a change amount learning unit that learns a change amount between the still image data stored in the still image storage unit, a change amount learning result of the change amount learning unit and a specific amount Correcting the still image data using still image data to generate the pseudo moving image data, and
Period it is determined that there is no motion in the moving image by the determination result of the motion judgment unit, the moving image code data according to the encoding and before Symbol transmission portion of the moving image data and the moving picture transmission apparatus according to the encoding unit moving picture communication system where both the stops and the output portion of the moving image receiving device and selects the output of the pseudo moving image generation unit to the transmission of.
前記動画像データを入力する動画像入力部と、前記動画像データを符号化し動画像符号データに変換する符号化部と、前記符号化部で得られた前記動画像符号データを送信する送信部と、前記動画像データの動画像の動きの有無を判定する動き判定部とを有する動画像送信装置と、 A moving image input unit that inputs the moving image data, an encoding unit that encodes the moving image data and converts it into moving image code data, and a transmission unit that transmits the moving image code data obtained by the encoding unit And a moving image transmission device having a motion determination unit that determines the presence or absence of motion of the moving image of the moving image data,
前記送信部から送信される前記動画像符号データを受信する受信部と、前記受信部が受信した前記動画像符号データを復号する復号化部と、前記復号化部によって復号された動画像データの一部を静止画像データとして記憶する静止画像記憶部と、前記静止画像記憶部に記憶された前記静止画像データから揺らぎを伴う擬似動画像データを生成する擬似動画像生成部と、前記復号化部の出力または前記擬似動画像生成部の出力を選択して出力する出力部とを有する動画像受信装置とを備えて構成され、 A receiving unit that receives the moving image code data transmitted from the transmitting unit, a decoding unit that decodes the moving image code data received by the receiving unit, and a moving image data decoded by the decoding unit A still image storage unit that stores a part thereof as still image data, a pseudo moving image generation unit that generates pseudo moving image data with fluctuations from the still image data stored in the still image storage unit, and the decoding unit Or an output unit for selecting and outputting the output of the pseudo moving image generation unit or the output of the pseudo moving image generation unit,
前記動き判定部の判定結果により前記動画像に動きが無いと判定された期間は、前記動画像送信装置が前記符号化部による動画像データの符号化と前記送信部による前記動画像符号データの送信との双方を停止し、前記動画像受信装置の前記出力部が前記擬似動画像生成部の出力を選択することを特徴とする動画像通信システム。 During the period in which the moving image is determined not to move according to the determination result of the motion determining unit, the moving image transmitting apparatus encodes the moving image data by the encoding unit and the moving image code data by the transmitting unit. The moving image communication system, wherein both the transmission and the transmission are stopped, and the output unit of the moving image receiving apparatus selects the output of the pseudo moving image generating unit.
前記送信側装置から、前記送信側装置に取り込まれた動画像データの符号化で得られる動画像符号データ及び当該動画像データの動画像の動き無しを示す動き無しフラグのいずれか一方のデータを受信する受信ステップと、 Either one of the moving image code data obtained by encoding the moving image data captured by the transmitting side device from the transmitting side device and the no-motion flag data indicating no moving image of the moving image data. A receiving step for receiving;
受信されたデータが前記動画像符号データの場合は前記動き無しフラグを解除して動画像符号データを復号する復号ステップと、 When the received data is the moving image code data, a decoding step of canceling the no motion flag and decoding the moving image code data;
復号された動画像データの一部を静止画像データとして記録する静止画像記録ステップと、 A still image recording step of recording a part of the decoded moving image data as still image data;
受信されたデータが前記動き無しフラグの場合はその動き無しフラグを記憶する動き無しフラグ記憶ステップと、 If the received data is the no-movement flag, a no-movement flag storage step for storing the no-movement flag;
前記動き無しフラグを記憶した場合またはすでに前記動き無しフラグを記憶されている場合で静止画像データ間の差分がすでに学習されていない場合は静止画像データ間の差分を学習する差分学習ステップと、 A difference learning step of learning a difference between still image data when the no-motion flag is stored or when the difference between the still image data is not already learned when the no-motion flag is already stored;
特定の静止画像データと学習された差分を用いて擬似動画像データを合成する擬似動画像を合成ステップと、 A step of synthesizing the pseudo moving image data for synthesizing the pseudo moving image data using the specific still image data and the learned difference;
前記擬似動画像データの表示レートを調整する表示レート調整ステップと、 A display rate adjustment step of adjusting a display rate of the pseudo moving image data;
前記復号された動画像データまたは前記擬似動画像データのいずれかを前記動き無しフラグを基に選択し出力する出力ステップとを有することを特徴とする動画像受信プログラム。 A moving image receiving program comprising: an output step of selecting and outputting either the decoded moving image data or the pseudo moving image data based on the no-motion flag.
動画像入力部で入力した動画像データを取り込む取り込みステップと、
取り込まれた前記動画像データの動画像の動きの有無を判定する動き判定ステップと、
取り込まれた前記動画像データを符号化する符号化ステップと、
前記符号化で得られた動画像符号データの送信か、前記動き判定により動き無しと判定された場合には所定時間後に動画像符号データの送信を停止し、動き無しを示す動き無しフラグの送信を行う送信ステップとを有する送信側プログラムと、
前記送信側装置からの送信データを受信する受信ステップと、
受信されたデータが前記動画像符号データの場合は前記動き無しフラグを解除して動画像符号データを復号する復号ステップと、
復号された動画像データの一部を静止画像データとして記録する静止画像記録ステップと、
受信されたデータが前記動き無しフラグの場合はその動き無しフラグを記憶する動き無しフラグ記憶ステップと、
前記動き無しフラグを記憶した場合またはすでに前記動き無しフラグを記憶されている場合で静止画像データ間の差分がすでに学習されていない場合は静止画像データ間の差分を学習する差分学習ステップと、
特定の静止画像データと学習された差分を用いて擬似動画像データを合成する擬似動画像を合成ステップと、
前記擬似動画像データの表示レートを調整する表示レート調整ステップと、
前記復号された動画像データまたは前記擬似動画像データのいずれかを前記動き無しフラグを基に選択し出力する出力ステップとを有する受信側プログラムとを備えることを特徴とする動画像通信プログラム。 A moving image communication program to be executed by each control unit of a transmission side device and a reception side device constituting a moving image communication system for transmitting and receiving moving image data,
A capturing step of capturing the moving image data input in the moving image input unit;
A motion determination step for determining the presence or absence of motion of the moving image of the captured moving image data;
An encoding step of encoding the captured video data;
Transmission of moving image code data obtained by the encoding or, if it is determined that there is no motion by the motion determination, stops transmission of moving image code data after a predetermined time, and transmits a no motion flag indicating no motion A transmission side program comprising: a transmission step for performing
A reception step of receiving transmission data from the transmission side device;
When the received data is the moving image code data, a decoding step of canceling the no motion flag and decoding the moving image code data;
A still image recording step of recording a part of the decoded moving image data as still image data;
If the received data is the no-movement flag, a no-movement flag storage step for storing the no-movement flag;
A difference learning step of learning a difference between still image data when the no-motion flag is stored or when the difference between the still image data is not already learned when the no-motion flag is already stored;
A step of synthesizing the pseudo moving image data for synthesizing the pseudo moving image data using the specific still image data and the learned difference;
A display rate adjustment step of adjusting a display rate of the pseudo moving image data;
A moving image communication program comprising: a receiving side program having an output step of selecting and outputting either the decoded moving image data or the pseudo moving image data based on the no-motion flag.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008251076A JP5141477B2 (en) | 2008-09-29 | 2008-09-29 | Moving picture receiving apparatus, moving picture communication system, moving picture receiving program, and moving picture communication program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008251076A JP5141477B2 (en) | 2008-09-29 | 2008-09-29 | Moving picture receiving apparatus, moving picture communication system, moving picture receiving program, and moving picture communication program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010087559A JP2010087559A (en) | 2010-04-15 |
JP5141477B2 true JP5141477B2 (en) | 2013-02-13 |
Family
ID=42251119
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008251076A Expired - Fee Related JP5141477B2 (en) | 2008-09-29 | 2008-09-29 | Moving picture receiving apparatus, moving picture communication system, moving picture receiving program, and moving picture communication program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5141477B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9890014B2 (en) | 2015-01-21 | 2018-02-13 | Oki Electric Industry Co., Ltd. | Medium conveyance device and medium transaction device |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5760458B2 (en) * | 2011-01-31 | 2015-08-12 | 株式会社リコー | TV conference system |
JP2014090387A (en) * | 2012-10-31 | 2014-05-15 | Ricoh Co Ltd | Information processor, conference system and program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3240777B2 (en) * | 1993-10-22 | 2001-12-25 | キヤノン株式会社 | Remote monitoring device and monitoring device control method |
JP2005184632A (en) * | 2003-12-22 | 2005-07-07 | Nec Access Technica Ltd | Power consumption reduction method in communication terminal, and communication terminal |
JP2007180759A (en) * | 2005-12-27 | 2007-07-12 | Victor Co Of Japan Ltd | Moving image reproducing device |
JP4706573B2 (en) * | 2006-06-29 | 2011-06-22 | 日本ビクター株式会社 | Motion detection device and motion detection method |
-
2008
- 2008-09-29 JP JP2008251076A patent/JP5141477B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9890014B2 (en) | 2015-01-21 | 2018-02-13 | Oki Electric Industry Co., Ltd. | Medium conveyance device and medium transaction device |
Also Published As
Publication number | Publication date |
---|---|
JP2010087559A (en) | 2010-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8848782B2 (en) | Reception apparatus, reception method, and program with encoding bit rate determination | |
TWI463878B (en) | Image processing apparatus and method | |
JP5774889B2 (en) | Information processing apparatus, information processing system, and information processing method | |
JP5213627B2 (en) | Image processing apparatus and image processing method | |
JP2012216946A (en) | Information processing device, information processing method, and positional information data structure | |
JP2012083412A (en) | Image processing device, image processing method, and program | |
JP2011035576A (en) | Digital broadcast receiver, transmitter, and terminal device | |
US20130003846A1 (en) | Frame encoding selection based on frame similarities and visual quality and interests | |
JP2007194928A (en) | Remote monitoring device and method | |
JP5141477B2 (en) | Moving picture receiving apparatus, moving picture communication system, moving picture receiving program, and moving picture communication program | |
JP2005094154A (en) | Processor and processing method for information signal, and program for executing its processing method | |
JP2009100193A (en) | Selection support device and selection support system | |
JP4930409B2 (en) | Image coding apparatus, image coding method, and image coding program | |
KR101263669B1 (en) | Image processing system of image change adaptation | |
JP3665212B2 (en) | Remote monitoring device and remote monitoring method | |
JP3176046B2 (en) | Video decoding device | |
JP2004180190A (en) | Camera controller and program for performing its control step | |
JP2006013754A (en) | Dynamic image coder and dynamic image decoder | |
JP4795141B2 (en) | Video coding / synthesizing apparatus, video coding / synthesizing method, and video transmission system | |
JP2003319386A (en) | Photographed image transmission system for mobile terminal | |
JP2020080479A (en) | Moving image recording/reproducing device, moving image transmission system and method | |
CN117440175A (en) | Method, apparatus, system, device and medium for video transmission | |
KR101336820B1 (en) | Apparatus and method for decoding specialized multi-channel trick mode | |
JP2022007104A (en) | Image processing apparatus, image processing method, and program | |
WO2017203555A1 (en) | Encoding device, photographing device, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110519 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120327 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120528 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121023 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121105 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151130 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5141477 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |