WO2017203555A1 - Encoding device, photographing device, and program - Google Patents
Encoding device, photographing device, and program Download PDFInfo
- Publication number
- WO2017203555A1 WO2017203555A1 PCT/JP2016/065115 JP2016065115W WO2017203555A1 WO 2017203555 A1 WO2017203555 A1 WO 2017203555A1 JP 2016065115 W JP2016065115 W JP 2016065115W WO 2017203555 A1 WO2017203555 A1 WO 2017203555A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- picture
- difference
- pictures
- importance
- motion
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
Abstract
Even when a differential picture generated by encoding is missing, the present invention enables differential pictures subsequent to the missing differential picture to be decoded. An encoding device 4 is provided with a GOP formation unit 41 for forming a picture group from a moving image generated by photographing by a photographing device, a picture generation unit 42 for generating a beginning picture (I picture) of the picture group and P pictures by a difference from each picture other than the I picture, a motion detection unit 43 for detecting the motion of each picture by a difference from the immediately preceding picture, and an importance setting unit 44 for setting highest importance to the I picture and setting importance to the P pictures in decreasing order of detected magnitude of motion. The photographing device having the encoding device 4 therein transmits encoded pictures in descending order of importance.
Description
本発明は、符号化装置、撮影装置及びプログラム、特に監視カメラ等の撮影装置による撮影により生成された動画像の符号化に関する。
The present invention relates to an encoding device, an imaging device, and a program, and more particularly to encoding of a moving image generated by imaging using an imaging device such as a surveillance camera.
動画像は、静止画像の集合で構成されるが、静止画（以下、「ピクチャ」という）そのままではなく、符号化によりピクチャを圧縮して記憶容量及びデータ通信量の削減を図っている。動画像は、符号化によりＩピクチャ及びＰピクチャで構成される。Ｉピクチャは、他のピクチャとの依存関係がなく、単独で復号し画像が生成できる。Ｐピクチャは、動きのある部分のみを抽出して形成される画像であり、単独で復号しても画像は生成できない。従来における符号化装置は、ＩピクチャとＰピクチャを次のようにして形成する。
A moving image is composed of a set of still images, but not a still image (hereinafter referred to as “picture”) as it is, but compresses a picture by encoding to reduce storage capacity and data communication amount. A moving image is composed of an I picture and a P picture by encoding. An I picture has no dependency with other pictures and can be decoded independently to generate an image. A P picture is an image formed by extracting only a moving part, and an image cannot be generated even if it is decoded alone. A conventional encoding apparatus forms an I picture and a P picture as follows.
まず、一連の動画像を複数のグループに分ける。例えば、３０ピクチャ毎にグループを形成する。この形成されたグループは、ピクチャグループあるいはＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）と呼ばれている。
First, a series of moving images is divided into a plurality of groups. For example, a group is formed every 30 pictures. This formed group is called a picture group or GOP (Group Of Pictures).
符号化装置は、形成されたピクチャグループの先頭のピクチャをＩピクチャと設定する。続いて、符号化装置は、残りのピクチャに対して直前のピクチャとの差分を抽出することでＰピクチャを生成する。例えば、ピクチャグループにおいて２番目のピクチャは、直前のピクチャ、すなわち先頭のピクチャとの差分により生成される。３番目のピクチャは、直前のピクチャ、すなわち２番目のピクチャとの差分により生成される。このように、各Ｐピクチャは、直前のピクチャとの差分により形成される。
The encoding device sets the first picture of the formed picture group as an I picture. Subsequently, the encoding apparatus generates a P picture by extracting the difference between the remaining picture and the previous picture. For example, the second picture in the picture group is generated by the difference from the previous picture, that is, the first picture. The third picture is generated by the difference from the previous picture, that is, the second picture. In this way, each P picture is formed by a difference from the immediately preceding picture.
このように、ピクチャグループは、圧縮していない１つのＩピクチャと圧縮されたｎ－１のＰピクチャとの組で構成されることになり、データ量が削減される。
Thus, the picture group is composed of a set of one uncompressed I picture and a compressed n-1 P picture, thereby reducing the amount of data.
ところで、監視カメラ等で撮影され生成された映像（動画像）は、監視カメラに内蔵された符号化装置にて上記のように圧縮され、ＰＣ等に送信され、再生されることになる。
By the way, the video (moving image) shot and generated by the surveillance camera or the like is compressed as described above by the encoding device built in the surveillance camera, transmitted to the PC or the like, and reproduced.
符号化により生成された動画像を復号するときは、上記と逆の処理を行えばよい。例えば、ピクチャグループにおいて２番目のピクチャは、直前のピクチャ、すなわち先頭のピクチャに、対応するＰピクチャを加算して復号される。３番目のピクチャは、直前のピクチャ、すなわち復号済みの２番目のピクチャに、対応するＰピクチャを加算して復号される。このようにして、各Ｐピクチャが復号されることによって、動画像は送信先で再生可能となる。
When decoding a moving image generated by encoding, a process reverse to the above may be performed. For example, the second picture in the picture group is decoded by adding the corresponding P picture to the previous picture, that is, the first picture. The third picture is decoded by adding the corresponding P picture to the previous picture, that is, the decoded second picture. In this way, by decoding each P picture, the moving image can be reproduced at the transmission destination.
従来の符号化装置により生成されるＰピクチャは、直前のピクチャとの差分により生成される差分ピクチャである。例えば、３番目のＰピクチャは、２番目のピクチャがないと復号できない。また、２番目のＰピクチャは、１番目のピクチャがないと復号できない。すなわち、３番目のＰピクチャは、１番目と２番目のピクチャがないと復号できないことになる。
A P picture generated by a conventional encoding device is a difference picture generated by a difference from the immediately preceding picture. For example, the third P picture cannot be decoded without the second picture. Also, the second P picture cannot be decoded without the first picture. That is, the third P picture cannot be decoded without the first and second pictures.
このように、従来においては、ｍ枚の静止画像で形成されたピクチャグループにおけるｎ（ｎ＝２～ｍ）番目のピクチャは、１～（ｎ－１）番目のピクチャがないと復号できないことになる。仮に、ネットワークの負荷の増大でｋ（ｋ＝２～ｍ）番目のＰピクチャが正常に送信できなった場合、ｋ番目からｍ番目のピクチャは復号できなくなっていた。
Thus, conventionally, the n (n = 2 to m) th picture in a picture group formed of m still images cannot be decoded without the 1st to (n−1) th pictures. Become. If the k (k = 2 to m) -th P picture cannot be normally transmitted due to an increase in network load, the k-th to m-th pictures cannot be decoded.
本発明は、符号化により生成された差分ピクチャが欠落しても、その欠落した差分ピクチャより後段の差分ピクチャを復号できるようにすることを目的とする。
An object of the present invention is to enable decoding of a difference picture subsequent to a missing difference picture even if the difference picture generated by encoding is missing.
本発明に係る符号化装置は、動画像から形成されたピクチャグループに含まれるいずれかのピクチャを単独で復号できる基準ピクチャとして抽出し、基準ピクチャと当該ピクチャグループに含まれる基準ピクチャ以外の各ピクチャとの差分から当該各差分ピクチャを生成するピクチャ生成手段を有するものである。
The encoding apparatus according to the present invention extracts any picture included in a picture group formed from a moving picture as a reference picture that can be decoded independently, and each picture other than the reference picture and the reference picture included in the picture group And a picture generating means for generating each differential picture from the difference between the two.
また、前記差分ピクチャと当該差分ピクチャの直前のピクチャとの差分により当該差分ピクチャの動きを検出する動き検出手段と、前記各差分ピクチャに対し、前記動き検出手段により検出された動きの大きい順に重要度を設定する重要度設定手段と、を有するものである。
Further, a motion detection unit that detects a motion of the difference picture based on a difference between the difference picture and a picture immediately before the difference picture, and each of the difference pictures is important in descending order of the motion detected by the motion detection unit. Importance setting means for setting the degree.
本発明に係る撮影装置は、撮影手段と、前記撮影手段による撮影により生成された動画像から形成されたピクチャグループに含まれるいずれかのピクチャを単独で復号できる基準ピクチャとして抽出し、基準ピクチャと当該ピクチャグループに含まれる基準ピクチャ以外の各ピクチャとの差分から当該各差分ピクチャを生成するピクチャ生成部を有する符号化手段と、を有するものである。
An image capturing apparatus according to the present invention extracts a picture included in a picture group formed from a moving image generated by shooting by a shooting unit and the shooting unit as a reference picture that can be decoded independently, and a reference picture Coding means having a picture generation unit for generating each difference picture from a difference from each picture other than the reference picture included in the picture group.
また、送信手段を有し、前記符号化手段は、更に前記差分ピクチャと当該差分ピクチャの直前のピクチャとの差分により当該差分ピクチャの動きを検出する動き検出部と、前記各差分ピクチャに対し、前記動き検出部により検出された動きの大きい順に重要度を設定する重要度設定部と、を有し、前記送信手段は、前記基準ピクチャに続けて前記各差分ピクチャを前記重要度設定部により設定された重要度の順番に送信するものである。
The encoding means further includes a motion detection unit for detecting a motion of the difference picture based on a difference between the difference picture and a picture immediately before the difference picture, and for each difference picture, An importance level setting unit that sets importance levels in descending order of motion detected by the motion detection unit, and the transmission unit sets the difference pictures following the reference picture by the importance level setting unit. Are transmitted in the order of importance.
本発明に係るプログラムは、コンピュータを、動画像から形成されたピクチャグループに含まれるいずれかのピクチャを単独で復号できる基準ピクチャとして抽出し、基準ピクチャと当該ピクチャグループに含まれる基準ピクチャ以外の各ピクチャとの差分から当該各差分ピクチャを生成するピクチャ生成手段として機能させるためのものである。
The program according to the present invention extracts a computer as a reference picture that can independently decode any picture included in a picture group formed from a moving image, and each of the reference pictures and the reference pictures included in the picture group. This is to function as a picture generating means for generating each differential picture from the difference from the picture.
本発明によれば、符号化により生成された差分ピクチャが欠落しても、その欠落した差分ピクチャより後段の差分ピクチャを復号することができる。
According to the present invention, even if a difference picture generated by encoding is lost, a difference picture subsequent to the lost difference picture can be decoded.
また、検出された動きの大きい順に重要度を設定することで、検出された動きの大きい順に差分ピクチャを送信することができる。
Also, by setting the importance in descending order of detected motion, it is possible to transmit differential pictures in descending order of detected motion.
以下、図面に基づいて、本発明の好適な実施の形態について説明する。
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
図１は、本発明に係る撮影装置の一実施の形態を示したブロック構成図である。本実施の形態における撮影装置１は、例えば監視カメラ等撮影により動画像を生成する装置である。撮影装置１は、映像を撮影する撮影部２、映像データ（動画像）が保存される動画像記憶部３、動画像を符号化する符号化装置４及び符号化された動画像をＰＣ等再生又は保存可能な装置へ送信する送信部５を有している。なお、本実施の形態の説明に用いない構成要素については図１から省略している。詳細は後述するが、本実施の形態における撮影装置１の基本構成は従前と同様でよく、ハードウェア又はソフトウェアにより実現される符号化装置４における符号化方式及び送信部５における送信方式が従前と異なる。
FIG. 1 is a block diagram showing an embodiment of a photographing apparatus according to the present invention. The photographing apparatus 1 in the present embodiment is an apparatus that generates a moving image by photographing such as a surveillance camera. The photographing device 1 includes a photographing unit 2 for photographing video, a moving image storage unit 3 for storing video data (moving images), an encoding device 4 for encoding moving images, and reproducing the encoded moving images on a PC or the like. Or it has the transmission part 5 which transmits to the apparatus which can be preserve | saved. Note that components not used in the description of the present embodiment are omitted from FIG. Although the details will be described later, the basic configuration of the photographing apparatus 1 in the present embodiment may be the same as before, and the encoding method in the encoding device 4 and the transmission method in the transmission unit 5 realized by hardware or software are the same as before. Different.
図２は、本発明に係る符号化装置の一実施の形態を示したブロック構成図である。本実施の形態における符号化装置４は、ＧＯＰ形成部４１、ピクチャ生成部４２、動き検出部４３及び重要度設定部４４を有している。なお、本実施の形態の説明に用いない構成要素については図２から省略している。ＧＯＰ形成部４１は、動画像からピクチャグループを形成する。ピクチャ生成部４２は、ピクチャグループに含まれるいずれかのピクチャを単独で復号できるＩピクチャとして抽出し、Ｉピクチャと当該ピクチャグループに含まれるＩピクチャ以外の各ピクチャとの差分から各Ｐピクチャを生成する。本実施の形態では、ピクチャグループに含まれる先頭のピクチャをＩピクチャとして抽出する。動き検出部４３は、Ｐピクチャと当該Ｐピクチャの直前のピクチャとの差分により当該Ｐピクチャの動きを検出する。重要度設定部４４は、各Ｐピクチャに対し、動き検出部４３により検出された動きの大きい順に重要度を設定する。
FIG. 2 is a block diagram showing an embodiment of the encoding apparatus according to the present invention. The encoding device 4 in the present embodiment includes a GOP forming unit 41, a picture generating unit 42, a motion detecting unit 43, and an importance setting unit 44. Note that components not used in the description of the present embodiment are omitted from FIG. The GOP forming unit 41 forms a picture group from a moving image. The picture generation unit 42 extracts any picture included in the picture group as an I picture that can be decoded independently, and generates each P picture from the difference between the I picture and each picture other than the I picture included in the picture group. To do. In the present embodiment, the first picture included in the picture group is extracted as an I picture. The motion detector 43 detects the motion of the P picture based on the difference between the P picture and the picture immediately before the P picture. The importance level setting unit 44 sets the importance level for each P picture in descending order of motion detected by the motion detection unit 43.
撮影装置１には、ＣＰＵ、ＲＯＭ、またＲＡＭ等の記憶手段、更にネットワークインタフェースを有するコンピュータが内蔵されており、符号化装置４における各構成要素４１～４４は、そのコンピュータと、コンピュータに搭載されたＣＰＵで動作するプログラムとの協調動作により実現される。あるいは、ハードウェアにより実現してもよい。
The photographing apparatus 1 has a built-in computer having storage means such as a CPU, ROM, and RAM, and a network interface. The components 41 to 44 in the encoding apparatus 4 are mounted on the computer and the computer. This is realized by a cooperative operation with a program running on a CPU. Alternatively, it may be realized by hardware.
また、本実施の形態で用いるプログラムは、通信手段により提供することはもちろん、ＵＳＢメモリ等のコンピュータ読み取り可能な記録媒体に格納して提供することも可能である。通信手段や記録媒体から提供されたプログラムはコンピュータにインストールされ、コンピュータのＣＰＵがプログラムを順次実行することで各種処理が実現される。
Further, the program used in this embodiment can be provided not only by communication means but also by storing it in a computer-readable recording medium such as a USB memory. The program provided from the communication means or the recording medium is installed in the computer, and various processes are realized by the CPU of the computer sequentially executing the program.
ところで、動画像は、連続した複数の静止画像の集合である。この１つの静止画像は、一般に「ピクチャ」又は「フレーム」と呼ばれているが、本実施の形態では、「ピクチャ」を用いることにする。動画像は、複数のピクチャ（例えば、３０枚）によってピクチャグループが形成される。ピクチャグループは、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）とも呼ばれ、ピクチャの圧縮、再生、編集の単位となる。
Incidentally, a moving image is a set of a plurality of continuous still images. This one still image is generally called a “picture” or “frame”, but in this embodiment, a “picture” is used. In the moving image, a picture group is formed by a plurality of pictures (for example, 30 pictures). A picture group is also called GOP (Group Of Pictures) and is a unit for compression, playback, and editing of pictures.
ピクチャグループに含まれる各ピクチャは、Ｉピクチャ又はＰピクチャに符号化される。Ｉピクチャは、他のピクチャとの依存関係がなく、単独で復号し画像が生成できる基準ピクチャである。Ｐピクチャは、動きのある部分のみを抽出して形成される差分ピクチャであり、単独で復号しても画像は生成できない。本実施の形態では、このＰピクチャの生成方法に特徴を有している。
Each picture included in the picture group is encoded into an I picture or a P picture. The I picture is a reference picture that has no dependency with other pictures and can be decoded independently to generate an image. A P picture is a differential picture formed by extracting only a moving part, and an image cannot be generated even if it is decoded alone. The present embodiment is characterized by this P picture generation method.
次に、本実施の形態における符号化処理について図３に示したフローチャートを用いて説明する。
Next, the encoding process according to this embodiment will be described with reference to the flowchart shown in FIG.
ＧＯＰ形成部４１は、動画像記憶部３から動画像を読み出すことで取得すると（ステップ１０１）、所定数のピクチャ毎にピクチャグループを形成する（ステップ１０２）。本実施の形態では、ピクチャグループを３０枚毎に形成する場合を例にして説明する。
When the GOP forming unit 41 obtains the moving image by reading out the moving image from the moving image storage unit 3 (step 101), the GOP forming unit 41 forms a picture group for each predetermined number of pictures (step 102). In this embodiment, a case where a picture group is formed every 30 sheets will be described as an example.
ピクチャ生成部４２は、１つのピクチャグループ毎に以下の処理を行う。すなわち、ピクチャ生成部４２は、ＧＯＰ形成部４１から１つのピクチャグループを取得すると、そのピクチャグループに含まれる先頭のピクチャをＩピクチャとして抽出する（ステップ１０３）。そして、ピクチャ生成部４２は、Ｉピクチャとそれ以外のｎ（ｎ＝２～３０）番目のピクチャとの差分をそれぞれ抽出し、この差分からｎ番目のＰピクチャを生成する（ステップ１０４）。例えば、５番目のピクチャに対して、ピクチャ生成部４２は、Ｉピクチャと５番目のピクチャとの差分を抽出し、この差分から５番目のＰピクチャを生成する。本実施の形態では、このようにｎ番目のＰピクチャをＩピクチャとｎ番目のピクチャとの差分により生成するが、この各ピクチャをＩピクチャとの差分に基づき生成する符号化方式の概念を図４に示す。
The picture generation unit 42 performs the following processing for each picture group. That is, when the picture generation unit 42 acquires one picture group from the GOP formation unit 41, the picture generation unit 42 extracts the first picture included in the picture group as an I picture (step 103). Then, the picture generation unit 42 extracts the difference between the I picture and the other n (n = 2 to 30) th pictures, and generates the nth P picture from these differences (step 104). For example, for the fifth picture, the picture generation unit 42 extracts the difference between the I picture and the fifth picture, and generates the fifth P picture from this difference. In this embodiment, the nth P picture is generated based on the difference between the I picture and the nth picture as described above, and the concept of the encoding method for generating each picture based on the difference from the I picture is illustrated in FIG. 4 shows.
なお、２番目のピクチャに基づき生成されるＰピクチャは、Ｐピクチャの中では１番目（先頭）のＰピクチャかもしれないが、２番目のピクチャに基づき生成されることから、本実施の形態では説明の便宜上、２番目のＰピクチャと称することにする。つまり、ｎ（ｎ＝２～３０）番目のＰピクチャは、それぞれ対応するｎ番目のピクチャに基づき生成されることになる。
The P picture generated based on the second picture may be the first (first) P picture in the P picture, but is generated based on the second picture. For convenience of explanation, it will be referred to as a second P picture. That is, the n (n = 2 to 30) -th P pictures are generated based on the corresponding n-th pictures.
従来においては、ｎ（ｎ＝２～３０）番目のＰピクチャを、直前の（ｎ－１）番目のピクチャとｎ番目のピクチャとの差分により生成していた。例えば、５番目のＰピクチャは、直前の４番目のピクチャと５番目のピクチャとの差分により生成する。８番目のＰピクチャは、直前の７番目のピクチャと８番目のピクチャとの差分により生成していた。一方、本実施の形態では、前述したようにｎ（ｎ＝２～３０）番目のＰピクチャをＩピクチャとｎ番目のピクチャとの差分により生成することを特徴としている。例えば、５番目のＰピクチャは、Ｉピクチャ（１番目のピクチャ）と５番目のピクチャとの差分により生成される。８番目のＰピクチャは、Ｉピクチャ（１番目のピクチャ）と８番目のピクチャとの差分により生成される。
Conventionally, the n (n = 2 to 30) th P picture is generated by the difference between the immediately preceding (n−1) th picture and the nth picture. For example, the fifth P picture is generated by the difference between the immediately preceding fourth picture and the fifth picture. The eighth P picture was generated by the difference between the previous seventh picture and the eighth picture. On the other hand, the present embodiment is characterized in that the n (n = 2 to 30) th P picture is generated by the difference between the I picture and the nth picture as described above. For example, the fifth P picture is generated by the difference between the I picture (first picture) and the fifth picture. The eighth P picture is generated by the difference between the I picture (first picture) and the eighth picture.
動き検出部４３は、ピクチャ生成部４２と同じピクチャグループを取得し、そのピクチャグループに含まれている２番目以降のピクチャに対し、直前のピクチャとの差分を抽出することで当該ピクチャにおける動きを検出する（ステップ１０５）。これは、直前のピクチャに対し、画素値に変化のあった画素の総数を積算することにより算出してもよい。この動きの検出に関しては、従前と同じ手法を用いてよい。
The motion detection unit 43 acquires the same picture group as that of the picture generation unit 42, and extracts the difference from the previous picture for the second and subsequent pictures included in the picture group, thereby detecting the motion in the picture. Detect (step 105). This may be calculated by adding up the total number of pixels whose pixel values have changed with respect to the previous picture. For the detection of this movement, the same method as before may be used.
なお、ピクチャ生成部４２における処理（ステップ１０３，１０４）と、動き検出部４３における処理（ステップ１０５）とは独立して行えるので、どちらを先に実行してもよいし、同時並行して実行してもよい。
Note that the processing in the picture generation unit 42 (steps 103 and 104) and the processing in the motion detection unit 43 (step 105) can be performed independently, so either of them may be executed first or in parallel. May be.
続いて、重要度設定部４４は、ピクチャ生成部４２による符号化により生成された各ピクチャに対し重要度を設定する（ステップ１０６）。重要度設定部４４は、まずＩピクチャに対して、最高の重要度１を設定する。続いて、重要度設定部４４は、動き検出部４３により検出された動きを示す値（上記例で言えば、画素値が変化した画素の総数）を参照して、値の大きい順に２以降の重要度を設定する。
Subsequently, the importance level setting unit 44 sets the importance level for each picture generated by the encoding by the picture generation unit 42 (step 106). The importance level setting unit 44 first sets the highest importance level 1 for the I picture. Subsequently, the importance level setting unit 44 refers to the value indicating the motion detected by the motion detection unit 43 (in the above example, the total number of pixels in which the pixel value has changed), and the importance level setting unit 44 performs the second and subsequent values in descending order. Set importance.
図４に示したピクチャの例によると、例えば、ピクチャ３，６のピクチャは、Ｉピクチャと比較して多くの動きが検出されるので、相対的に高い重要度が設定される。これに対し、ピクチャ２，４，５のピクチャは、Ｉピクチャと比較して動きがそれほど検出されていないので相対的に低い重要度が設定される。仮に、動きを示す値が同値であれば、先頭に近いピクチャに高い重要度を設定するなど所定の規則を設けておけばよい。
According to the example of the picture shown in FIG. 4, for example, the pictures 3 and 6 have a relatively high importance level because many motions are detected as compared with the I picture. On the other hand, the pictures 2, 4, and 5 are set with relatively low importance because no motion is detected as compared with the I picture. If the value indicating motion is the same value, a predetermined rule such as setting a high importance level for a picture close to the head may be provided.
符号化装置４が以上のようにして動画像を符号化すると、送信部５は、その符号化された動画像を、再生又は保存が可能な情報端末装置へ送信する。このとき、送信部５は、ピクチャの並び順に送信してもよいが、符号化装置４により設定された重要度を参照して、重要度の高い順に送信してもよい。
When the encoding device 4 encodes a moving image as described above, the transmission unit 5 transmits the encoded moving image to an information terminal device that can be reproduced or stored. At this time, the transmission unit 5 may transmit the images in the order in which the pictures are arranged, but may transmit the images in the descending order of importance with reference to the importance set by the encoding device 4.
図５は、本実施の形態における情報端末装置６のブロック構成図である。本実施の形態における情報端末装置６は、ＰＣ等の汎用的なコンピュータにより実現される。すなわち、情報端末装置６は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等の記憶手段、ネットワークインタフェース、更にマウス、キーボード、ディスプレイ等のユーザインタフェース手段を有している。情報端末装置６は、撮影装置１から送信されてくる符号化された動画像を受信する受信部７、符号化された動画像を復号する復号装置８、復号された動画像を記憶する動画像記憶部９及び動画像を表示する表示部１０を有している。
FIG. 5 is a block configuration diagram of the information terminal device 6 in the present embodiment. The information terminal device 6 in the present embodiment is realized by a general-purpose computer such as a PC. That is, the information terminal device 6 includes storage means such as a CPU, ROM, RAM, and HDD, a network interface, and user interface means such as a mouse, keyboard, and display. The information terminal device 6 includes a receiving unit 7 that receives the encoded moving image transmitted from the photographing device 1, a decoding device 8 that decodes the encoded moving image, and a moving image that stores the decoded moving image. It has the memory | storage part 9 and the display part 10 which displays a moving image.
以上の構成を有する情報端末装置６において、復号装置８は、受信部７により受信された動画像を次のように復号する。なお、ここでは、説明の便宜上、Ｐピクチャは重要度によって並び替えられていないものとして説明する。
In the information terminal device 6 having the above configuration, the decoding device 8 decodes the moving image received by the receiving unit 7 as follows. Here, for convenience of explanation, it is assumed that P pictures are not rearranged according to importance.
復号装置８は、基本的には、符号化装置４における符号化処理と逆の処理を行えばよい。まず、Ｉピクチャは、Ｐピクチャのような差分圧縮による符号化が実施されていないので、差分圧縮による復号をせずに元の画像を生成できる。続いて、復号装置８は、ｎ（ｎ＝２～３０）番目のピクチャを、Ｉピクチャにｎ番目のＰピクチャを加算して復号する。復号装置８は、このように各ピクチャを復号することにより得た動画像を動画像記憶部９に書き込み保存する。そして、表示部１０は、動画像記憶部９に保存されている動画像を再生する。
The decoding device 8 may basically perform the reverse process of the encoding process in the encoding device 4. First, since an I picture is not encoded by differential compression like a P picture, an original image can be generated without decoding by differential compression. Subsequently, the decoding device 8 decodes the n (n = 2 to 30) th picture by adding the nth P picture to the I picture. The decoding device 8 writes and saves the moving image obtained by decoding each picture in this manner in the moving image storage unit 9. The display unit 10 reproduces the moving image stored in the moving image storage unit 9.
ところで、従来において、２番目のピクチャは、直前の１番目のピクチャと２番目のＰピクチャとで復号して生成される。３番目のピクチャは、直前の２番目のピクチャと３番目のＰピクチャとで復号して生成される。つまり、３番目のピクチャは、直前の２番目のピクチャが正常に復号されてはじめて復号できることになる。
By the way, conventionally, the second picture is generated by decoding the immediately preceding first picture and second P picture. The third picture is generated by decoding the immediately preceding second picture and the third P picture. That is, the third picture can be decoded only after the immediately preceding second picture is decoded normally.
ここで、情報端末装置がネットワーク負荷の増大等何らかの事象が原因で、撮影装置から送信された全てのＰピクチャが正常に受信できなかったとする。例えば、４番目のＰピクチャが正常に受信できなかった場合、従来においては、４番目以降のピクチャを復号により生成することはできない。つまり、次にＩピクチャを正常に受信できるまで動画像を正常に復号することはできない。
Here, it is assumed that the information terminal device cannot normally receive all the P pictures transmitted from the photographing device due to some event such as an increase in network load. For example, when the fourth P picture cannot be received normally, conventionally, the fourth and subsequent pictures cannot be generated by decoding. That is, the moving image cannot be normally decoded until the next I picture can be normally received.
これに対し、本実施の形態においては、ｎ番目のピクチャをＩピクチャとｎ番目のＰピクチャとで復号する。従って、４番目のＰピクチャが正常に受信できなかった場合でもそれ以降のＰピクチャが正常にできた場合、例えば５番目のＰピクチャが正常に受信できた場合、５番目のピクチャをＩピクチャと５番目のＰピクチャとで正常に復号することができる。このように、本実施の形態によれば、復号した動画像においてピクチャの抜けを最小限に抑えることができる。
On the other hand, in this embodiment, the nth picture is decoded by the I picture and the nth P picture. Therefore, even when the fourth P picture cannot be received normally, when the subsequent P pictures can be received normally, for example, when the fifth P picture can be received normally, the fifth picture is designated as an I picture. It can be normally decoded with the fifth P picture. As described above, according to the present embodiment, it is possible to minimize missing of a picture in a decoded moving image.
また、前述したように、本実施の形態では、符号化したピクチャに対して検出された動きの大きい順に重要度を設定し、重要度の高い順に送信するようにした。従って、ピクチャグループの後半に位置するピクチャを正常に送信できない場合、それは動きが相対的に小さいピクチャが送信できなかったことになる。つまり、ピクチャグループの送信中の後半に送信が正常にできなくなったとしても、それは検出された動きが相対的に小さいピクチャが送信できないことになる。つまり、本実施の形態では、動きが相対的に小さいピクチャが復号できなくても、動きが相対的に大きいピクチャは正常に復号できる可能性が高いので、滑らかに動く動画像を復号できる可能性が高くなる。
Also, as described above, in this embodiment, the importance is set in the descending order of the detected motion with respect to the encoded picture, and transmission is performed in the descending order of importance. Therefore, when a picture located in the second half of the picture group cannot be transmitted normally, it means that a picture with relatively small motion could not be transmitted. That is, even if transmission cannot be performed normally in the latter half of the transmission of a picture group, it means that a picture with a relatively small detected motion cannot be transmitted. That is, in this embodiment, even if a picture with relatively small motion cannot be decoded, it is highly possible that a picture with relatively large motion can be decoded normally. Becomes higher.
また、重要度の高い順に全てのＰピクチャを送信するのではなく、ネットワーク負荷等の外的要因を考慮して、重要度の低い差分ピクチャを送信しないようにしてもよい。例えば、仮に復号され再生されても直前のピクチャとの差分では動きが視認できない程度の動き量を示す閾値を予め設定しておき、送信部５は、その閾値未満の動きしか検出されなかった差分ピクチャを送信しないようする。これにより、動画像の送信に伴うネットワーク負荷の増大を未然に防止することができる。また、動きがほとんど検出されなかったピクチャが再生されなくても、視聴者は違和感なく動画像を視聴できる。
Also, instead of transmitting all P pictures in order of importance, it is possible not to transmit differential pictures with low importance in consideration of external factors such as network load. For example, a threshold value indicating a motion amount that does not allow a motion to be visually recognized with a difference from the previous picture even if it is decoded and played back is set in advance, and the transmission unit 5 detects a motion whose motion is less than the threshold value. Avoid sending pictures. Thereby, it is possible to prevent an increase in network load accompanying the transmission of moving images. Further, even if a picture in which little motion is detected is not reproduced, the viewer can view the moving image without feeling uncomfortable.
なお、本実施の形態では、符号化装置４を監視カメラ等の撮影装置１に搭載した場合を例にして説明したが、撮影装置１に限らず動画像を取り扱う装置に搭載するように構成してもよい。
In this embodiment, the case where the encoding device 4 is installed in the imaging device 1 such as a surveillance camera has been described as an example. However, the encoding device 4 is not limited to the imaging device 1 and is installed in an apparatus that handles moving images. May be.
１ 撮影装置、２ 撮影部、３ 動画像記憶部、４ 符号化装置、５ 送信部、６ 情報端末装置、７ 受信部、８ 復号装置、９ 動画像記憶部、１０ 表示部、４１ ＧＯＰ形成部、４２ ピクチャ生成部、４３ 検出部、４４ 重要度設定部。
1 shooting device, 2 shooting unit, 3 moving image storage unit, 4 encoding device, 5 transmission unit, 6 information terminal device, 7 receiving unit, 8 decoding device, 9 moving image storage unit, 10 display unit, 41 GOP forming unit 42 picture generation unit, 43 detection unit, 44 importance setting unit.
Claims (5)
- 動画像から形成されたピクチャグループに含まれるいずれかのピクチャを単独で復号できる基準ピクチャとして抽出し、基準ピクチャと当該ピクチャグループに含まれる基準ピクチャ以外の各ピクチャとの差分から当該各差分ピクチャを生成するピクチャ生成手段を有することを特徴とする符号化装置。 One of the pictures included in the picture group formed from the moving image is extracted as a reference picture that can be decoded independently, and the difference picture is determined from the difference between the reference picture and each of the pictures other than the reference picture included in the picture group. An encoding device comprising picture generation means for generating.
- 前記差分ピクチャと当該差分ピクチャの直前のピクチャとの差分により当該差分ピクチャの動きを検出する動き検出手段と、
前記各差分ピクチャに対し、前記動き検出手段により検出された動きの大きい順に重要度を設定する重要度設定手段と、
を有することを特徴とする請求項１に記載の符号化装置。 Motion detection means for detecting a motion of the difference picture based on a difference between the difference picture and a picture immediately before the difference picture;
Importance setting means for setting importance for each difference picture in descending order of motion detected by the motion detection means;
The encoding device according to claim 1, comprising: - 撮影手段と、
前記撮影手段による撮影により生成された動画像から形成されたピクチャグループに含まれるいずれかのピクチャを単独で復号できる基準ピクチャとして抽出し、基準ピクチャと当該ピクチャグループに含まれる基準ピクチャ以外の各ピクチャとの差分から当該各差分ピクチャを生成するピクチャ生成部を有する符号化手段と、
を有することを特徴とする撮影装置。 Photographing means;
Any picture included in a picture group formed from a moving image generated by shooting by the shooting unit is extracted as a reference picture that can be decoded independently, and each picture other than the reference picture and the reference picture included in the picture group is extracted. Encoding means having a picture generation unit for generating each difference picture from the difference between
A photographing apparatus comprising: - 送信手段を有し、
前記符号化手段は、更に
前記差分ピクチャと当該差分ピクチャの直前のピクチャとの差分により当該差分ピクチャの動きを検出する動き検出部と、
前記各差分ピクチャに対し、前記動き検出部により検出された動きの大きい順に重要度を設定する重要度設定部と、
を有し、
前記送信手段は、前記基準ピクチャに続けて前記各差分ピクチャを前記重要度設定部により設定された重要度の順番に送信する、
ことを特徴とする請求項３に記載の撮影装置。 Having a transmission means,
The encoding means further includes a motion detection unit that detects a motion of the difference picture based on a difference between the difference picture and a picture immediately before the difference picture;
An importance setting unit for setting importance for each difference picture in descending order of motion detected by the motion detection unit;
Have
The transmission means transmits the difference pictures following the reference picture in the order of importance set by the importance setting unit.
The imaging device according to claim 3. - コンピュータを、
動画像から形成されたピクチャグループに含まれるいずれかのピクチャを単独で復号できる基準ピクチャとして抽出し、基準ピクチャと当該ピクチャグループに含まれる基準ピクチャ以外の各ピクチャとの差分から当該各差分ピクチャを生成するピクチャ生成手段として機能させるためのプログラム。 Computer
One of the pictures included in the picture group formed from the moving image is extracted as a reference picture that can be decoded independently, and the difference picture is determined from the difference between the reference picture and each of the pictures other than the reference picture included in the picture group. A program for functioning as a picture generating means for generating.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2016/065115 WO2017203555A1 (en) | 2016-05-23 | 2016-05-23 | Encoding device, photographing device, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2016/065115 WO2017203555A1 (en) | 2016-05-23 | 2016-05-23 | Encoding device, photographing device, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2017203555A1 true WO2017203555A1 (en) | 2017-11-30 |
Family
ID=60411717
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2016/065115 WO2017203555A1 (en) | 2016-05-23 | 2016-05-23 | Encoding device, photographing device, and program |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2017203555A1 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0795571A (en) * | 1993-09-27 | 1995-04-07 | Oki Electric Ind Co Ltd | Picture coder, picture decoder and method for sending data among multi-points |
| JP2001224032A (en) * | 2000-02-10 | 2001-08-17 | Mega Chips Corp | Image transmitter, image receiver, and image transmission system |
| US20030086494A1 (en) * | 1999-03-12 | 2003-05-08 | Microsoft Corporation | Media coding for loss recovery with remotely predicted data units |
| JP2006086991A (en) * | 2004-09-17 | 2006-03-30 | Fuji Photo Film Co Ltd | Monitoring camera system, apparatus and method for controlling monitoring camera system |
| JP2010087711A (en) * | 2008-09-30 | 2010-04-15 | Sanyo Electric Co Ltd | Image processor |
| WO2011123882A2 (en) * | 2010-04-07 | 2011-10-13 | Vincenzo Liguori | Video transmission system having reduced memory requirements |
-
2016
- 2016-05-23 WO PCT/JP2016/065115 patent/WO2017203555A1/en active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0795571A (en) * | 1993-09-27 | 1995-04-07 | Oki Electric Ind Co Ltd | Picture coder, picture decoder and method for sending data among multi-points |
| US20030086494A1 (en) * | 1999-03-12 | 2003-05-08 | Microsoft Corporation | Media coding for loss recovery with remotely predicted data units |
| JP2001224032A (en) * | 2000-02-10 | 2001-08-17 | Mega Chips Corp | Image transmitter, image receiver, and image transmission system |
| JP2006086991A (en) * | 2004-09-17 | 2006-03-30 | Fuji Photo Film Co Ltd | Monitoring camera system, apparatus and method for controlling monitoring camera system |
| JP2010087711A (en) * | 2008-09-30 | 2010-04-15 | Sanyo Electric Co Ltd | Image processor |
| WO2011123882A2 (en) * | 2010-04-07 | 2011-10-13 | Vincenzo Liguori | Video transmission system having reduced memory requirements |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5331316B2 (en) | Improved video buffer before alarm | |
| US10911817B2 (en) | Information processing system | |
| US9877056B1 (en) | Compressed media with still images selected from a video stream | |
| US20100254455A1 (en) | Image processing apparatus, image processing method, and program | |
| US11330263B1 (en) | Machine learning based coded size estimation in rate control of video encoding | |
| JP5713797B2 (en) | Video surveillance device | |
| US20240048738A1 (en) | Methods, apparatuses, computer programs and computer-readable media for processing configuration data | |
| Ascenso et al. | The jpeg ai standard: Providing efficient human and machine visual data consumption | |
| US20220335560A1 (en) | Watermark-Based Image Reconstruction | |
| US8086056B2 (en) | Encoding device and method, decoding device and method, and program | |
| JP2008252262A (en) | Coder and change point detection method for moving images | |
| JP2006020330A (en) | Process and device for compressing video documents | |
| US8594195B2 (en) | Method and apparatus for encoding and decoding at least one image frame that is artificially inserted into image sequence | |
| JP2014011572A5 (en) | Moving picture predictive decoding apparatus, method and program | |
| WO2017203555A1 (en) | Encoding device, photographing device, and program | |
| US20100027621A1 (en) | Apparatus, method and computer program product for moving image generation | |
| US11323730B2 (en) | Temporally-overlapped video encoding, video decoding and video rendering techniques therefor | |
| JP4795141B2 (en) | Video coding / synthesizing apparatus, video coding / synthesizing method, and video transmission system | |
| JP2007214931A (en) | Device and method for detecting motion vector | |
| US20230111528A1 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium | |
| KR20190067577A (en) | Apparatus and method for encoding and decoding of data | |
| JP2020080479A (en) | Moving image recording/reproducing device, moving image transmission system and method | |
| JP4519569B2 (en) | 3D MPEG signal synchronization system | |
| US20230105436A1 (en) | Generative adversarial network for video compression | |
| JPWO2008129648A1 (en) | Frame rate conversion apparatus, frame rate conversion method, and moving picture encoding apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16903037 Country of ref document: EP Kind code of ref document: A1 |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 16903037 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: JP |