JP6782789B2 - Image processing device and image processing method - Google Patents
Image processing device and image processing method Download PDFInfo
- Publication number
- JP6782789B2 JP6782789B2 JP2018550470A JP2018550470A JP6782789B2 JP 6782789 B2 JP6782789 B2 JP 6782789B2 JP 2018550470 A JP2018550470 A JP 2018550470A JP 2018550470 A JP2018550470 A JP 2018550470A JP 6782789 B2 JP6782789 B2 JP 6782789B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- feature amount
- pictures
- processing block
- evaluation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 13
- 238000011156 evaluation Methods 0.000 claims description 203
- 230000008859 change Effects 0.000 claims description 83
- 238000000034 method Methods 0.000 claims description 69
- 230000008569 process Effects 0.000 claims description 31
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000015654 memory Effects 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000007704 transition Effects 0.000 description 5
- 239000013585 weight reducing agent Substances 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
この発明は、シーンの変化点であるシーンチェンジの有無を判定する画像処理装置及び画像処理方法に関するものである。 The present invention relates to an image processing apparatus and an image processing method for determining the presence or absence of a scene change, which is a scene change point.
以下の特許文献1には、シーンチェンジの有無を判定する画像処理装置が開示されている。
この画像処理装置は、符号化映像ストリームから、複数のピクチャの符号化パラメータの一つである動きベクトルを取得し、複数のピクチャの間での動きベクトルの差分からシーンチェンジの有無を判定するようにしている。The following
This image processing device acquires a motion vector, which is one of the coding parameters of a plurality of pictures, from the coded video stream, and determines whether or not there is a scene change from the difference of the motion vector between the plurality of pictures. I have to.
従来の画像処理装置は以上のように構成されているので、符号化映像ストリームの中に、ピクチャの符号化パラメータとして、動きベクトルが含まれていれば、シーンチェンジの有無を判定することができる。しかし、ピクチャの符号化モードが例えば画面内符号化モードであるために、当該ピクチャの符号化パラメータとして、動きベクトルが含まれていないことがある。符号化パラメータとして、動きベクトルが含まれていないピクチャについては、シーンチェンジの有無を判定することができないという課題があった。 Since the conventional image processing device is configured as described above, if a motion vector is included as a picture coding parameter in the coded video stream, it is possible to determine whether or not there is a scene change. .. However, since the coding mode of the picture is, for example, the in-screen coding mode, the motion vector may not be included as the coding parameter of the picture. There is a problem that it is not possible to determine the presence or absence of a scene change for a picture that does not include a motion vector as a coding parameter.
この発明は上記のような課題を解決するためになされたもので、動きベクトルが含まれていないピクチャについても、シーンチェンジの有無を判定することができる画像処理装置及び画像処理方法を得ることを目的とする。 The present invention has been made to solve the above problems, and it is desired to obtain an image processing device and an image processing method capable of determining the presence or absence of a scene change even for a picture that does not include a motion vector. The purpose.
この発明に係る画像処理装置は、符号化ブロック単位に符号化する方式で符号化処理された複数のピクチャの中から、シーンの変化点であるシーンチェンジの有無を評価する対象のピクチャとして、2つのピクチャを選択するピクチャ選択部と、ピクチャ選択部により選択された2つのピクチャのそれぞれについて、ピクチャに含まれる符号化処理単位を示す符号化ブロックを2つのピクチャ間でそれぞれ独立に1以上含む同一サイズに定義された処理ブロック単位の特徴量をそれぞれ算出する特徴量算出部と、特徴量算出部により算出された2つのピクチャに含まれる処理ブロック単位の特徴量から、シーンチェンジの有無の判定に用いる評価値を算出する評価値算出部と、評価値算出部により算出された評価値と閾値を比較することで、2つのピクチャの間でのシーンチェンジの有無を判定する有無判定部とを備え、特徴量算出部が、ピクチャ選択部により選択されたピクチャの処理ブロック毎に、処理ブロックの符号量又は処理ブロックに含まれている符号化ブロックにおける分割ブロックの最深の階層数から、処理ブロックの特徴量を算出するようにしたものである。 The image processing apparatus according to the present invention, from among a plurality of pictures that have been processed coded in a manner that coded marks Goka blocks, as a target picture to assess the presence or absence of a scene change is a change point of scenes, For each of the picture selection unit that selects two pictures and the two pictures selected by the picture selection unit, one or more coding blocks indicating the coding processing units included in the pictures are independently included between the two pictures. The presence or absence of a scene change is determined from the feature amount calculation unit that calculates the feature amount of each processing block unit defined in the same size and the feature amount of the processing block unit included in the two pictures calculated by the feature amount calculation unit. The evaluation value calculation unit that calculates the evaluation value used for the above, and the presence / absence judgment unit that determines the presence / absence of a scene change between the two pictures by comparing the evaluation value calculated by the evaluation value calculation unit with the threshold value. The feature amount calculation unit prepares the processing block for each processing block of the picture selected by the picture selection unit from the code amount of the processing block or the number of layers of the deepest division block in the coding block included in the processing block. It is designed to calculate the feature amount of.
この発明によれば、特徴量算出部により算出された2つのピクチャに含まれるブロック単位の特徴量から、シーンチェンジの有無の判定に用いる評価値を算出する評価値算出部を設け、有無判定部が、評価値算出部により算出された評価値と閾値を比較することで、2つのピクチャの間でのシーンチェンジの有無を判定する。そして、特徴量算出部が、ピクチャ選択部により選択されたピクチャのブロック毎に、当該ブロックの符号量又は当該ブロックに含まれている分割ブロックの最深の階層数から、当該ブロックの特徴量を算出するように、画像処理装置を構成した。したがって、この発明に係る画像処理装置は、動きベクトルが含まれていないピクチャについても、シーンチェンジの有無を判定することができる。 According to the present invention, an evaluation value calculation unit for calculating an evaluation value used for determining the presence / absence of a scene change is provided from a block-based feature amount included in two pictures calculated by the feature amount calculation unit. However, by comparing the evaluation value calculated by the evaluation value calculation unit with the threshold value, it is determined whether or not there is a scene change between the two pictures. Then, the feature amount calculation unit calculates the feature amount of the block from the code amount of the block or the deepest number of layers of the divided block included in the block for each block of the picture selected by the picture selection unit. The image processing device was configured to do so. Therefore, the image processing apparatus according to the present invention can determine the presence or absence of a scene change even for a picture that does not include a motion vector.
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。 Hereinafter, in order to explain the present invention in more detail, a mode for carrying out the present invention will be described with reference to the accompanying drawings.
実施の形態1.
図1は、この発明の実施の形態1による画像処理装置を示す構成図である。図2は、この発明の実施の形態1による画像処理装置を示すハードウェア構成図である。
図1において、ピクチャ選択部1は、例えば図2に示すピクチャ選択回路11で実現される。
ピクチャ選択部1は、複数のピクチャの符号化データが含まれている符号化映像ストリームを取得する処理を実施する。
ピクチャ選択部1は、符号化ブロック単位(ブロック単位)に符号化されている符号化データを有する複数のピクチャの中から、シーンの変化点であるシーンチェンジの有無を評価する候補ピクチャを定め、候補ピクチャの中からシーンチェンジの有無を評価する対象ピクチャとして、2つのピクチャを選択する処理を実施する。ただし、候補ピクチャの決定方法は、予め定義されているものとする。
FIG. 1 is a configuration diagram showing an image processing apparatus according to the first embodiment of the present invention. FIG. 2 is a hardware configuration diagram showing an image processing apparatus according to the first embodiment of the present invention.
In FIG. 1, the
The
The
ピクチャの符号化データは、例えば、マクロブロックと呼ばれる符号化ブロック単位、あるいは、CTU(Coding Tree Unit)と呼ばれる符号化ブロック単位に符号化されているデータである。
マクロブロック単位に符号化する符号化方式の規格として、例えば、AVC/H.264規格が以下の非特許文献1に開示されている。
また、CTU単位に符号化する符号化方式の規格として、例えば、HEVC/H.265規格が以下の非特許文献2に開示されている。
[非特許文献1]ISO/IEC 14496−10/ITU−T H.264規格
[非特許文献2]ISO/IEC 23008−2/ITU−T H.265規格The coded data of the picture is, for example, data encoded in a coded block unit called a macro block or a coded block unit called a CTU (Coding Tree Unit).
As a standard of a coding method for coding in macroblock units, for example, AVC / H. The 264 standard is disclosed in Non-Patent
Further, as a standard of a coding method for encoding in units of CTU, for example, HEVC / H. The 265 standard is disclosed in Non-Patent
[Non-Patent Document 1] ISO / IEC 14496-10 / ITU-TH. 264 Standard [Non-Patent Document 2] ISO / IEC 23008-2 / ITU-TH. 265 standard
特徴量算出部2は、例えば図2に示す特徴量算出回路12で実現される。
特徴量算出部2は、ピクチャ選択部1により選択されたピクチャ毎に、当該ピクチャにおける符号化ブロック単位の符号化データから、処理ブロック単位の特徴量をそれぞれ算出する処理を実施する。処理ブロックは、1以上の符号化ブロックから構成されており、その構成は予め定義されている。処理ブロックは、1以上の符号化ブロックから構成されるため、処理ブロックの定義可能な最小単位は符号化ブロックとなる(処理ブロック=符号化ブロック)。
図14は、4つの符号化ブロックから処理ブロックを構成する例を示している。また、図15に示す例のように、処理ブロックを構成する縦方向と横方向の符号化ブロック数が異なるように構成してもよい。
処理ブロック単位の特徴量は、処理ブロック内の各々の符号化ブロックの符号化データから算出する。この実施の形態1では、各々の符号化ブロックの符号化データを復号して、符号化データの復号結果から各々の符号化ブロックの符号量を特定し、各々の処理ブロックに属する符号化ブロックの符号量の総和を処理ブロック単位の特徴量とする。
なお、ピクチャ選択部1により選択された2つのピクチャの処理ブロックサイズ(予め定義する処理ブロックにおける符号化ブロックの構成)は同一とする。The feature
The feature
FIG. 14 shows an example in which a processing block is composed of four coding blocks. Further, as in the example shown in FIG. 15, the number of coded blocks in the vertical direction and the horizontal direction constituting the processing block may be different.
The feature amount of each processing block is calculated from the coded data of each coded block in the processing block. In the first embodiment, the coded data of each coded block is decoded, the code amount of each coded block is specified from the decoding result of the coded data, and the coded blocks belonging to each processing block The sum of the code amounts is used as the feature amount for each processing block.
The processing block sizes of the two pictures selected by the picture selection unit 1 (the configuration of the coded block in the predefined processing block) are the same.
評価値算出部3は、例えば図2に示す評価値算出回路13で実現される。
評価値算出部3は、特徴量算出部2により算出された2つのピクチャに含まれる処理ブロック単位の特徴量から、シーンチェンジの有無の判定に用いる評価値を算出する処理を実施する。The evaluation
The evaluation
有無判定部4は、例えば図2に示す有無判定回路14で実現される。
有無判定部4は、評価値算出部3により算出された評価値と閾値を比較することで、2つのピクチャの間でのシーンチェンジの有無を判定する処理を実施する。The presence / absence determination unit 4 is realized by, for example, the presence /
The presence / absence determination unit 4 performs a process of determining the presence / absence of a scene change between the two pictures by comparing the evaluation value calculated by the evaluation
図1では、画像処理装置の構成要素であるピクチャ選択部1、特徴量算出部2、評価値算出部3及び有無判定部4のそれぞれが、図2に示すような専用のハードウェアで実現されるものを想定している。即ち、ピクチャ選択回路11、特徴量算出回路12、評価値算出回路13及び有無判定回路14で実現されるものを想定している。
ここで、ピクチャ選択回路11、特徴量算出回路12、評価値算出回路13及び有無判定回路14は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)、または、これらを組み合わせたものが該当する。In FIG. 1, each of the
Here, the
画像処理装置の構成要素は、専用のハードウェアで実現されるものに限るものではなく、画像処理装置がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
ソフトウェア又はファームウェアはプログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、CPU(Central Processing Unit)、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、DSP(Digital Signal Processor)などが該当する。
コンピュータのメモリは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)などの不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)などが該当する。The components of the image processing device are not limited to those realized by dedicated hardware, and the image processing device may be realized by software, firmware, or a combination of software and firmware.
The software or firmware is stored as a program in the memory of the computer. A computer means hardware for executing a program, and corresponds to, for example, a CPU (Central Processing Unit), a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, a processor, a DSP (Digital Signal Processor), and the like. ..
The memory of the computer is, for example, RAM (Random Access Memory), ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable Read Online Memory), EEPROM (Electrically Molecular Memory) such as EEPROM (Electrically Molecular Memory). This includes semiconductor memories, magnetic disks, flexible disks, optical disks, compact disks, mini disks, DVDs (Digital Versaille Disc), and the like.
図3は、画像処理装置がソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。
画像処理装置がソフトウェア又はファームウェアなどで実現される場合、ピクチャ選択部1、特徴量算出部2、評価値算出部3及び有無判定部4の処理手順をコンピュータに実行させるためのプログラムをメモリ21に格納し、コンピュータのプロセッサ22がメモリ21に格納されているプログラムを実行するようにすればよい。
図4は、画像処理装置がソフトウェア又はファームウェアなどで実現される場合の処理手順である画像処理方法を示すフローチャートである。FIG. 3 is a hardware configuration diagram of a computer when the image processing device is realized by software, firmware, or the like.
When the image processor is realized by software or firmware, the
FIG. 4 is a flowchart showing an image processing method which is a processing procedure when the image processing device is realized by software or firmware.
また、図2では、画像処理装置の構成要素のそれぞれが専用のハードウェアで実現される例を示し、図3では、画像処理装置がソフトウェアやファームウェアなどで実現される例を示しているが、画像処理装置における一部の構成要素が専用のハードウェアで実現され、残りの構成要素がソフトウェアやファームウェアなどで実現されるものであってもよい。 Further, FIG. 2 shows an example in which each of the components of the image processing device is realized by dedicated hardware, and FIG. 3 shows an example in which the image processing device is realized by software, firmware, or the like. Some components of the image processing apparatus may be realized by dedicated hardware, and the remaining components may be realized by software, firmware, or the like.
次に動作について説明する。
ピクチャ選択部1は、複数のピクチャの符号化データが含まれている符号化映像ストリームを取得する。
ピクチャ選択部1は、取得した符号化映像ストリームから、予め定義された候補ピクチャの決定方法に従って候補ピクチャを決定し、候補ピクチャの中から、シーンの変化点であるシーンチェンジの有無を評価する対象のピクチャとして、2つのピクチャを選択する(図4のステップST1)。
ここで、選択した2つのピクチャのうち、再生順で後のピクチャを「評価対象ピクチャ」、再生順で先のピクチャを「参照ピクチャ」と称する。「2つのピクチャの間のシーンチェンジの有無を評価する」とは、参照ピクチャより再生順で一つ後のピクチャから評価対象ピクチャまで(評価対象ピクチャ自身を含む)にシーンチェンジが発生しているか否かを評価することを示すものである。Next, the operation will be described.
The
The
Here, of the two selected pictures, the later picture in the reproduction order is referred to as "evaluation target picture", and the earlier picture in the reproduction order is referred to as "reference picture". "Evaluating the presence or absence of a scene change between two pictures" means that a scene change has occurred from the picture one after the reference picture to the picture to be evaluated (including the picture to be evaluated itself) in the playback order. It indicates that it is evaluated whether or not it is.
図5及び図6は、符号化データが符号化映像ストリームに含まれているピクチャの中から、評価対象ピクチャとなる候補ピクチャを決定し、候補ピクチャの中から、評価対象ピクチャと参照ピクチャを選択する例を示す説明図である。
図5では、符号化データが符号化映像ストリームに含まれている複数のピクチャの全てを候補ピクチャとし、候補ピクチャの中から、再生順で順番に評価対象ピクチャを選択することで、最終的に、符号化映像ストリームに含まれている全てのピクチャが評価対象ピクチャとして選択される例を示している。
図6では、符号化データが符号化映像ストリームに含まれている複数のピクチャがGOP(Group Of Picture)構造を有しており、各々のGOPにおけるランダムアクセスポイントのイントラピクチャを候補ピクチャとし、候補ピクチャの中から、再生順で順番に評価対象ピクチャとして選択される例を示している。
AVC/H.264では、IDR(Instantaneous Decoding Refresh)ピクチャが、ランダムアクセスポイントのイントラピクチャである。
HEVC/H.265では、IRAP(Intra Random Access Point)ピクチャが、ランダムアクセスポイントのイントラピクチャである。
参照ピクチャは、図5及び図6のいずれでも、に評価対象ピクチャより再生順で一つ前の候補ピクチャとしている。したがって、図5の例では、隣接している2つのピクチャの間でのシーンチェンジの有無、即ち、評価対象ピクチャ自身がシーンチェンジ点であるか否かが評価される。図6の例では、隣接しているGOPにおけるランダムアクセスポイントのイントラピクチャの間でのシーンチェンジの有無が評価される。
なお、上記以外にもN個(Nは0以上の整数)のピクチャ間隔で評価対象ピクチャを選択する(N=0の場合、図5と同じとなる)など、候補ピクチャの定義を任意に設定することができる。In FIGS. 5 and 6, a candidate picture to be evaluated is determined from the pictures whose coded data is included in the coded video stream, and the evaluation target picture and the reference picture are selected from the candidate pictures. It is explanatory drawing which shows the example.
In FIG. 5, all of a plurality of pictures whose coded data is included in the coded video stream are set as candidate pictures, and the evaluation target pictures are finally selected from the candidate pictures in the order of reproduction. , An example is shown in which all the pictures included in the encoded video stream are selected as the pictures to be evaluated.
In FIG. 6, a plurality of pictures in which the coded data is included in the coded video stream have a GOP (Group Of Pictures) structure, and the intra picture of the random access point in each GOP is used as a candidate picture and is a candidate. An example is shown in which the pictures are selected as evaluation target pictures in order of reproduction.
AVC / H. In 264, the IDR (Instantaneus Decoding Refresh) picture is an intra picture of a random access point.
HEVC / H. In 265, the IRAP (Intra Random Access Point) picture is an intra picture of a random access point.
The reference picture is a candidate picture immediately preceding the evaluation target picture in the reproduction order in both FIGS. 5 and 6. Therefore, in the example of FIG. 5, it is evaluated whether or not there is a scene change between two adjacent pictures, that is, whether or not the evaluation target picture itself is a scene change point. In the example of FIG. 6, the presence or absence of a scene change between the intra pictures of random access points in the adjacent GOP is evaluated.
In addition to the above, the definition of candidate pictures can be arbitrarily set, such as selecting evaluation target pictures at N picture intervals (N is an integer of 0 or more) (when N = 0, it is the same as in FIG. 5). can do.
図7は、符号化方式がAVC/H.264又はHEVC/H.265である場合の符号化映像ストリームの構成例を示す説明図である。
図7では、複数のアクセスユニットが符号化順に並んでおり、1つのアクセスユニットが1つのピクチャのデータを示している。
各々のアクセスユニットは、複数のNAL(Network Abst ruction Layer)ユニットから構成される。
各々のNALユニットは、ヘッダ情報(non−VCL)と、ピクチャの符号化データであるピクチャデータ(VCL)とに分類される。
ヘッダ情報(non−VCL)は、アクセスユニットデリミタ、シーケンスレベルヘッダ及びピクチャレベルヘッダを有している。
AVC/H.264又はHEVC/H.265では、1つのアクセスユニットを構成する1つ以上のNALユニットが連続しており、ストリーム上で隣接するアクセスユニット間の区切り位置が分かるように、アクセスユニットの先頭位置の識別方法が定義されている。その一つの例として、アクセスユニットの先頭を示すNALユニットであるアクセスユニットデリミタが定義されている。
なお、図7に示すNALユニットは一例であり、NALユニットの構成パターンは、それぞれの規格の仕様に準ずる。このとき、アクセスユニットを構成するNALユニットにアクセスユニットデリミタが存在しない場合もあり、その場合においても、規格で定義されたアクセスユニットの先頭位置の識別方法に従ってアクセスユニットの先頭位置を識別することが可能である。In FIG. 7, the coding method is AVC / H. 264 or HEVC / H. It is explanatory drawing which shows the structural example of the coded video stream in the case of 265.
In FIG. 7, a plurality of access units are arranged in the order of coding, and one access unit shows data of one picture.
Each access unit is composed of a plurality of NAL (Network Abst rection Layer) units.
Each NAL unit is classified into header information (non-VCL) and picture data (VCL) which is picture coding data.
The header information (non-VCL) includes an access unit delimiter, a sequence level header, and a picture level header.
AVC / H. 264 or HEVC / H. In 265, one or more NAL units constituting one access unit are continuous, and a method of identifying the head position of the access unit is defined so that the delimiter position between adjacent access units on the stream can be known. There is. As one example, an access unit delimiter, which is a NAL unit indicating the head of the access unit, is defined.
The NAL unit shown in FIG. 7 is an example, and the configuration pattern of the NAL unit conforms to the specifications of the respective standards. At this time, the access unit delimiter may not exist in the NAL unit that constitutes the access unit, and even in that case, the head position of the access unit can be identified according to the method for identifying the head position of the access unit defined in the standard. It is possible.
したがって、ピクチャ選択部1は、規格で定義されているアクセスユニットの先頭位置の識別方法に従ってアクセスユニットの先頭位置を識別することで、ピクチャであるアクセスユニットの区切り位置を識別することができる。
ピクチャ選択部1は、アクセスユニットの区切り位置を識別することができるため、複数のアクセスユニットの中から、2つのピクチャを選択することができ、選択した2つのピクチャの符号化データを特徴量算出部2に出力する。Therefore, the
Since the
特徴量算出部2は、ピクチャ選択部1により選択されたピクチャ毎に、符号化ブロック単位の符号化データから、処理ブロック単位の特徴量をそれぞれ算出する(図4のステップST2)。
以下、特徴量算出部2による処理ブロック単位の特徴量の算出処理を具体的に説明する。
ここで、ピクチャ選択部1により選択されたピクチャ番号tのピクチャPtに含まれる処理ブロックの特徴量をCn,tとし、参照ピクチャのピクチャ番号をt=tp、評価対象ピクチャのピクチャ番号をt=tcとする。
nは、ピクチャ内の特徴量算出対象の処理ブロックを特定するブロック番号であり、左上の処理ブロックからラスタスキャン順に1,2,・・・,NUM_BLtと番号付けされている。ここで、NUM_BLtは、ピクチャ番号tのピクチャPtにおける特徴量算出対象の処理ブロックの総数を示している。処理ブロックサイズが64×64画素、ピクチャの解像度が3840×2160画素であった場合、1画面の全てを対象としたとすると、NUM_BLt=60×34=2040となる。ただし、最下端の列のブロックはブロックサイズが64×48画素となる。NUM_BLtは、上記のように画面全体の処理ブロック数としても良いし、処理負荷を低減するために画面全体の処理ブロック数よりも小さい値に制限しても良い。
よって、t=tp及びt=tcにおける特徴量Cn,tp、Cn,tcをそれぞれ下記に従って算出する。The feature
Hereinafter, the feature amount calculation process for each processing block by the feature
Here, the feature amounts of the processing blocks included in the picture P t of the picture number t selected by the
n is a block number for specifying the processing block for which the feature amount is calculated in the picture, and is numbered 1, 2, ..., NUM_BL t in the order of raster scan from the upper left processing block. Here, NUM_BL t indicates the total number of processing blocks for which the feature amount is to be calculated in the picture P t of the picture number t. When the processing block size is 64 × 64 pixels and the resolution of the picture is 3840 × 2160 pixels, NUM_BL t = 60 × 34 = 2040, assuming that the entire screen is targeted. However, the block in the lowermost column has a block size of 64 × 48 pixels. NUM_BL t may be the number of processing blocks of the entire screen as described above, or may be limited to a value smaller than the number of processing blocks of the entire screen in order to reduce the processing load.
Therefore, the feature quantities C n, tp , C n, and tk at t = tp and t = tk are calculated according to the following, respectively.
特徴量算出部2は、特徴量算出対象ピクチャPtにおけるシンタックスの復号処理を実施し、シンタックスの復号処理結果から、処理ブロック単位の符号量Sn,t(n=1,2,・・・,NUM_BLt)をそれぞれ特定する。
例えば、特徴量算出部2は、特徴量算出対象の処理ブロックに属する各々の符号化ブロックの符号化データに含まれている全ての符号化パラメータをそれぞれ復号し、復号した全ての符号化パラメータの符号量の総和を符号量Sn,tとして特定する。
符号化パラメータは、符号化ブロックの復号画像の生成に必要なパラメータであり、例えば、符号化モードを示すパラメータ、イントラ予測パラメータ、インター予測パラメータ、予測差分符号化パラメータ、動きベクトルなどが該当する。The feature
For example, the feature
The coding parameter is a parameter necessary for generating a decoded image of the coded block, and corresponds to, for example, a parameter indicating a coding mode, an intra prediction parameter, an inter prediction parameter, a prediction difference coding parameter, a motion vector, and the like.
次に、特徴量算出部2は、特徴量算出対象ピクチャPtの符号量SALL,tを特定し、以下の式(1)に示すように、特徴量算出対象ピクチャPtの符号量SALL,tで、処理ブロック単位の符号量Sn,tを除算することで正規化し、処理ブロック単位の特徴量Cn,tとして、正規化した処理ブロック単位の符号量Sn,tをM倍する。Mは、予め設定した定数であり、例えば、0より大きな実数である。
Next, the feature
ここでは、特徴量算出部2が、特徴量算出対象ピクチャPtの符号量SALL,tを特定する例を示しているが、特徴量算出対象ピクチャPtの符号量SALL,tとして、特徴量算出対象ピクチャPtに含まれている全ての処理ブロックの符号量Sn,tの総和を算出する例が考えられる。
ただし、これは一例に過ぎず、特徴量算出対象ピクチャPtの符号量SALL,tとして、特徴量算出対象ピクチャPtのピクチャデータ(VCL)のサイズを特定するようにしてもよい。ピクチャデータ(VCL)のサイズは、特徴量算出対象ピクチャPtにおけるシンタックスの復号処理を実施することなく、特定することができる。他にも、特徴量算出対象ピクチャPtの符号量SALL,tとして、特徴量算出対象ピクチャPtのアクセスユニットのサイズを特定するようにしてもよい。アクセスユニットのサイズは、上述したアクセスユニットの区切り位置を識別するのみで計算することができる。Here, the feature
However, this is only an example, the code amount S ALL feature quantity calculation target picture P t, as t, the size of the picture data (VCL) of the feature quantity calculation target picture P t may be specified. The size of the picture data (VCL), without performing the decoding process of syntax in the feature quantity calculation target picture P t, can be identified. Additional code amount S ALL feature quantity calculation target picture P t, as t, may be specified the size of the access unit of the feature amount calculation target picture P t. The size of the access unit can be calculated only by identifying the partition position of the access unit described above.
式(1)で算出される処理ブロック単位の特徴量Cn,tは、各々の処理ブロックの符号量の比を表しており、ピクチャ毎の総符号量の大きさのばらつきの影響を抑えた特徴量になっている。
図8は、処理ブロック単位の符号量の一例を示す説明図である。
図8は、処理ブロックが2×2個の符号化ブロックから構成され、符号化ブロックがマクロブロック又はCTUである例を示しており、各々の符号化ブロックの符号量を数字で表している。さらに、各処理ブロックの中央に、当該処理ブロックに属する符号化ブロックの符号量の総和を当該処理ブロックの符号量として表している。
図8の例では、符号化ブロックの符号量の単位をbyteで表しているが、一例に過ぎず、bit単位で表されていてもよい。The feature quantities C n and t of each processing block calculated by the equation (1) represent the ratio of the code amounts of each processing block, and the influence of the variation in the size of the total code amount for each picture is suppressed. It is a feature quantity.
FIG. 8 is an explanatory diagram showing an example of the code amount in the processing block unit.
FIG. 8 shows an example in which the processing block is composed of 2 × 2 coded blocks and the coded block is a macro block or a CTU, and the code amount of each coded block is represented by a number. Further, in the center of each processing block, the total code amount of the coded blocks belonging to the processing block is represented as the code amount of the processing block.
In the example of FIG. 8, the unit of the code amount of the coded block is represented by byte, but it is only an example and may be represented by bit unit.
評価値算出部3は、特徴量算出部2により算出された参照ピクチャPtpにおける処理ブロック単位の特徴量Cn,tpと、評価対象ピクチャPtcにおける処理ブロック単位の特徴量Cn,tcとから、シーンチェンジの有無の判定に用いる評価値Jを算出する(図4のステップST3)。
例えば、評価値算出部3は、シーンチェンジの有無の判定に用いる評価値Jとして、以下の式(2)に示すように、参照ピクチャPtpと評価対象ピクチャPtcとの間での処理ブロック単位の特徴量の差分絶対値和を算出する。
評価値算出部3により算出された評価値Jは、参照ピクチャPtpと評価対象ピクチャPtcとの間での絵柄の変化が大きい程、参照ピクチャPtpと評価対象ピクチャPtcの処理ブロック単位の符号量の分布の差異が大きくなり、値が大きくなる。
また、MIN_NUM_BLは、NUM_BLtpとNUM_BLtcの最小値である。即ち、参照ピクチャPtpと評価対象ピクチャPtcの処理ブロック数が異なる場合、両ピクチャ共に特徴量を算出している処理ブロックのみが評価値Jの算出対象となる。
例えば、参照ピクチャPtpと評価対象ピクチャPtcの符号化データのサイズが大きく異なる場合、復号処理時間も大きく異なる傾向にある。そのようなケースにて、各ピクチャの符号化データの復号処理や処理ブロック単位の特徴量の算出に割かれる時間が一律に制限されている場合、処理可能な処理ブロック数が両ピクチャで異なる結果となる。このような場合、評価値Jは、両ピクチャ共に特徴量を算出している処理ブロックのみを対象として求められる。なお、上記のように各々のピクチャで消費できる処理時間Tを決定することで、所望の処理速度(フレームレート1/T)での特徴量算出処理が可能となる。Evaluation
For example, the evaluation
Evaluation value J calculated by the evaluation
Further, MIN_NUM_BL is the minimum value of NUM_BL tp and NUM_BL tc. That is, when the number of processing blocks of the reference picture P tp and the evaluation target picture P tk are different, only the processing block for which the feature amount is calculated for both pictures is the calculation target of the evaluation value J.
For example, when the sizes of the encoded data of the reference picture P tp and the evaluation target picture P ct are significantly different, the decoding processing time tends to be significantly different. In such a case, if the time devoted to decoding the coded data of each picture and calculating the feature amount in each processing block is uniformly limited, the number of processing blocks that can be processed differs between the two pictures. It becomes. In such a case, the evaluation value J is obtained only for the processing block for which the feature amount is calculated for both pictures. By determining the processing time T that can be consumed in each picture as described above, the feature amount calculation processing at a desired processing speed (
有無判定部4は、評価値算出部3により算出された評価値Jと、事前に設定された閾値Thとを比較する(図4のステップST4)。
有無判定部4は、評価値算出部3により算出された評価値Jが閾値Th以上であれば(図4のステップST4:YESの場合)、参照ピクチャPtpと評価対象ピクチャPtcとの間にシーンチェンジが有ると判定する(図4のステップST5)。
有無判定部4は、評価値算出部3により算出された評価値Jが閾値Th未満であれば(図4のステップST4:NOの場合)、参照ピクチャPtpと評価対象ピクチャPtcとの間にシーンチェンジが無いと判定する(図4のステップST6)。
有無判定部4は、シーンチェンジの有無の判定結果を出力する。
なお、閾値Thは、予め設定する固定値であってもよいし、特定の条件に従って切り替えたり、変化したりするものであってもよい。例えば、コンテンツの種類(ドラマ、ニュース、スポーツ等)毎に閾値Thを用意して切り替えるようにする方法、放送局毎に閾値Thを用意して切り替えるようにする方法、ストリームを生成するエンコーダ毎に閾値Thを用意して切り替えるようにする方法、ストリームを生成するエンコーダの設定に従って適応的に閾値Thを算出する(エンコーダの設定値を変数とした閾値Thの算出式を用意する)方法、ストリームの符号量推移に従って適応的に閾値Thを算出する(符号量の時間変化(時間方向の1〜n次微分、nは1以上の整数)を変数とした閾値Thの算出式を用意する)方法、対象とする処理ブロック数、即ち、MIN_NUM_BLに比例した値(Th=MIN_NUM_BL×Th_Base、Th_Baseは、閾値Thの基準値となる予め設定する0より大きい定数)とする方法などが考えられる。なお、MIN_NUM_BLに比例した値とする方法では、評価対象ピクチャPtc毎のMIN_NUM_BL(またはMIN_NUM_BL’)の変動による評価値Jの取りうる最大値の変動を加味した閾値が設定されることとなり、高精度なシーンチェンジ検出処理を実現できる。
さらに、これらの方法を組み合わせた方法でもよい。例えば、ストリームの符号量推移に従って適応的に閾値Thを算出する方法と、MIN_NUM_BLに比例した値とする方法とを組み合わせた方法等である。この場合、ストリームの符号量推移に従って適応的に算出する閾値ThをTh_Baseに置き換えることで実現できる。The presence / absence determination unit 4 compares the evaluation value J calculated by the evaluation
If the evaluation value J calculated by the evaluation
If the evaluation value J calculated by the evaluation
The presence / absence determination unit 4 outputs a determination result of presence / absence of a scene change.
The threshold value Th may be a fixed value set in advance, or may be switched or changed according to a specific condition. For example, a method of preparing a threshold Th for each type of content (drama, news, sports, etc.) and switching, a method of preparing a threshold Th for each broadcasting station and switching, and each encoder that generates a stream. A method of preparing a threshold Th and switching, a method of adaptively calculating the threshold Th according to the setting of the encoder that generates the stream (preparing a calculation formula of the threshold Th using the setting value of the encoder as a variable), a method of the stream A method of adaptively calculating the threshold Th according to the transition of the code amount (preparing a calculation formula of the threshold Th with the time change of the code amount (1st to nth differential in the time direction, n is an integer of 1 or more) as a variable). A method of setting the number of target processing blocks, that is, a value proportional to MIN_NUM_BL (Th = MIN_NUM_BL × Th_Base, Th_Base is a preset value larger than 0 which is a reference value of the threshold Th) can be considered. In the method of a value proportional to MIN_NUM_BL, becomes the threshold in consideration of the variation of the maximum possible value of the evaluation value J of changes in MIN_NUM_BL of each evaluation object picture P tc (or MIN_NUM_BL ') is set, the high Accurate scene change detection processing can be realized.
Further, a method in which these methods are combined may be used. For example, there is a method that combines a method of adaptively calculating the threshold value Th according to the transition of the code amount of the stream and a method of setting the value proportional to MIN_NUM_BL. In this case, it can be realized by replacing the threshold value Th, which is adaptively calculated according to the code amount transition of the stream, with Th_Base.
ピクチャ選択部1により決定された候補ピクチャの中に、未だ評価対象ピクチャとして選択していないピクチャが残っていれば(図4のステップST7:YESの場合)、ステップST1の処理に戻り、ステップST1〜ST7の処理が繰り返される。
なお、戻ったステップST1の処理で、ピクチャ選択部1により選択された2つのピクチャのうち、特徴量が既に算出されているピクチャについては、特徴量算出部2による特徴量の算出処理を省略するようにしてもよい。このようにすることで、特徴量の再計算を実施せずに済み、処理時間を短縮することができる。例えば、図5、図6で説明したように、候補ピクチャの中から、再生順に評価対象ピクチャを選択し、参照ピクチャを評価対象ピクチャより再生順で一つ前の候補ピクチャとする場合、評価対象ピクチャにおける特徴量Cn,tcは、再生順で一つ先の候補ピクチャを評価対象ピクチャに選択した際の参照ピクチャにおける特徴量Cn,tpとなる。したがって、算出した特徴量Cn,tcを順次保存しておき、特徴量Cn,tpは、保存された特徴量から読み出すようにすることで特徴量の算出処理を省略することができる。
また、復号順と再生順が異なる場合、復号順に評価対象ピクチャを選択し、参照ピクチャを評価対象ピクチャより復号順で前かつ再生順で最も評価対象ピクチャに近い候補ピクチャとしてシーンチェンジの有無を評価してもよい。この場合においても、特徴量が既に算出されているピクチャは、特徴量の算出結果を流用して処理を省略するようにしてもよい。
ピクチャ選択部1により決定された候補ピクチャの中に、未だ評価対象ピクチャとして選択していない候補ピクチャが残っていなければ(図4のステップST7:NOの場合)、一連の処理が終了する。If a picture that has not yet been selected as an evaluation target picture remains among the candidate pictures determined by the picture selection unit 1 (step ST7 in FIG. 4: YES), the process returns to step ST1 and step ST1 The process of ~ ST7 is repeated.
Of the two pictures selected by the
If the decoding order and the playback order are different, the evaluation target picture is selected in the decoding order, and the presence or absence of a scene change is evaluated as the reference picture before the evaluation target picture in the decoding order and as the candidate picture closest to the evaluation target picture in the playback order. You may. Even in this case, for the picture for which the feature amount has already been calculated, the calculation result of the feature amount may be diverted and the processing may be omitted.
If there is no candidate picture that has not yet been selected as the evaluation target picture in the candidate pictures determined by the picture selection unit 1 (step ST7: NO in FIG. 4), a series of processes is completed.
以上で明らかなように、この実施の形態1によれば、特徴量算出部2により算出された2つのピクチャに含まれるブロック単位の特徴量から、シーンチェンジの有無の判定に用いる評価値を算出する評価値算出部3を設け、有無判定部4が、評価値算出部3により算出された評価値と閾値を比較することで、2つのピクチャの間でのシーンチェンジの有無を判定する。そして、特徴量算出部2が、ピクチャ選択部1により選択されたピクチャのブロック毎に、当該ブロックの符号量から、当該ブロックの特徴量を算出するように、画像処理装置を構成した。したがって、画像処理装置は、動きベクトルが含まれていないピクチャについても、シーンチェンジの有無を判定することができる。
As is clear from the above, according to the first embodiment, the evaluation value used for determining the presence or absence of a scene change is calculated from the feature amount of each block included in the two pictures calculated by the feature
この実施の形態1では、符号化映像ストリームが画像処理装置のピクチャ選択部1に与えられる例を示しているが、符号化映像ストリームを格納するメディア伝送ストリームが画像処理装置に与えられることがある。
この場合、図9に示すように、メディア伝送ストリームから符号化映像ストリームを取り出して、符号化映像ストリームをピクチャ選択部1に出力するデマルチプレクサ5を備えるようにしてもよい。
図9は、この発明の実施の形態1による他の画像処理装置を示す構成図である。
メディア伝送ストリームとしては、例えば、MPEG−2 TS(ISO/IEC 13818−1/ITU−T H.222.0のTransport Stream)、あるいは、MMT(ISO/IEC 23008−1)などのメディア伝送フォーマットでパケット化されているメディア伝送ストリームなどが想定される。In the first embodiment, an example in which the coded video stream is given to the
In this case, as shown in FIG. 9, a
FIG. 9 is a configuration diagram showing another image processing apparatus according to the first embodiment of the present invention.
The media transmission stream may be, for example, in a media transmission format such as MPEG-2 TS (ISO / IEC 13818-1 / ITU-TH.222.0 Transport Stream) or MMT (ISO / IEC 23008-1). A packetized media transmission stream or the like is assumed.
デマルチプレクサ5は、与えられたメディア伝送ストリームのヘッダ情報から、各々のアクセスユニットの間の区切り、NALユニットの種類及びサイズを知ることができる。
デマルチプレクサ5が、各々のアクセスユニットの間の区切りを示す情報をピクチャ選択部1に与えるようにすれば、ピクチャ選択部1では、デマルチプレクサ5から与えられた情報に基づいて、符号化映像ストリームの中から所望のピクチャを選択することができる。
また、デマルチプレクサ5が、NALユニットの種類及びサイズを示す情報を特徴量算出部2に与えるようにすれば、特徴量算出部2では、評価対象ピクチャにおけるシンタックスの復号処理を実施することなく、上記評価対象ピクチャの符号量を特定することができる。From the header information of the given media transmission stream, the
If the
Further, if the
この実施の形態1では、特徴量算出部2が、処理ブロックの符号量Sn,tの算出処理において、ピクチャ全体の処理ブロックを対象とする例を示している。
これは一例に過ぎず、特徴量算出部2の処理負荷を軽減するために、処理ブロックの符号量Sn,tの算出処理において、ピクチャ内の一部の処理ブロックだけを対象とするようにしてもよい。In the first embodiment, the feature
This is only an example, and in order to reduce the processing load of the feature
具体的には、図10に示すように、行方向及び列方向のそれぞれで、1つおきの処理ブロックだけを対象とするようにしてもよい。
図10は、ピクチャを構成する処理ブロックのうち、符号量を特定する処理ブロックを示す説明図である。
図10において、“1”が記述されている処理ブロックは、符号量を特定する処理ブロックであり、“0”が記述されている処理ブロックは、符号量を特定しない処理ブロックである。Specifically, as shown in FIG. 10, only every other processing block may be targeted in each of the row direction and the column direction.
FIG. 10 is an explanatory diagram showing a processing block for specifying a code amount among the processing blocks constituting the picture.
In FIG. 10, the processing block in which "1" is described is a processing block for specifying the code amount, and the processing block in which "0" is described is a processing block for which the code amount is not specified.
また、図11に示すように、1行おきの処理ブロック、あるいは、1列おきの処理ブロックだけを対象とするようにしてもよい。
図11は、ピクチャを構成する処理ブロックのうち、符号量を特定する処理ブロックを示す説明図である。
図11において、“1”が記述されている処理ブロックは、符号量を特定する処理ブロックであり、“0”が記述されている処理ブロックは、符号量を特定しない処理ブロックである。Further, as shown in FIG. 11, only the processing blocks every other row or the processing blocks every other column may be targeted.
FIG. 11 is an explanatory diagram showing a processing block for specifying a code amount among the processing blocks constituting the picture.
In FIG. 11, the processing block in which "1" is described is a processing block for specifying the code amount, and the processing block in which "0" is described is a processing block for which the code amount is not specified.
図12に示すように、処理ブロックの符号量Sn,tの算出処理において、ピクチャの左上の処理ブロックからラスタスキャン順に特定の処理ブロックまでを対象とし、残りの処理ブロックは対象としないようにしてもよい。
図12は、ピクチャを構成する処理ブロックのうち、符号量を特定する処理ブロックを示す説明図である。
図12において、“1”が記述されている処理ブロックは、符号量を特定する処理ブロックであり、“0”が記述されている処理ブロックは、符号量を特定しない処理ブロックである。
なお、図10から図12において、“1”が記述されている処理ブロックと、“0”が記述されている処理ブロックとが逆であってもよい。As shown in FIG. 12, in the calculation process of the code amounts Sn and t of the processing blocks, the processing blocks from the upper left of the picture to the specific processing blocks in the order of raster scan are targeted, and the remaining processing blocks are not targeted. You may.
FIG. 12 is an explanatory diagram showing a processing block for specifying a code amount among the processing blocks constituting the picture.
In FIG. 12, the processing block in which "1" is described is a processing block for specifying the code amount, and the processing block in which "0" is described is a processing block for which the code amount is not specified.
In addition, in FIGS. 10 to 12, the processing block in which "1" is described and the processing block in which "0" is described may be reversed.
実施の形態2.
上記実施の形態1では、特徴量算出部2が、符号化ブロックの符号化データを復号して、符号化データの復号結果から処理ブロックの符号量を特定し、処理ブロックの符号量から、処理ブロックの特徴量を算出する例を示している。
この実施の形態2では、特徴量算出部2が、ピクチャ選択部1により選択されたピクチャ番号tのピクチャPtの処理ブロック毎に、当該処理ブロックの特徴量Cn,tとして、当該処理ブロックに含まれている分割ブロックの個数を用いるようにしてもよい。
In the first embodiment, the feature
In the second embodiment, the feature
当該処理ブロックに含まれている分割ブロックの個数は、当該処理ブロックに属する各符号化ブロックに含まれている分割ブロックの個数を加算することで算出される。
符号化ブロックに含まれている分割ブロックの個数は、例えば、符号化方式がAVC/H.264であれば、マクロブロックタイプ(mb_type)で決まるマクロブロック内のブロック数に相当する。マクロブロック内のブロック数は、評価対象ピクチャにおけるシンタックスの復号処理を実施することで得られる。
符号化方式がHEVC/H.265であれば、符号化ブロックであるCTU内のCU(Coding Unit)の数に相当する。CTU内のCUの数は、評価対象ピクチャにおけるシンタックスの復号処理を実施することで得られる。
処理ブロックの特徴量として、当該処理ブロックに含まれている分割ブロックの個数を特定する場合、特徴量算出部2が、処理ブロックの特徴量を算出する際に符号量を正規化する処理が不要になり、特徴量算出部2の処理負荷が軽減される。The number of divided blocks included in the processing block is calculated by adding the number of divided blocks included in each coded block belonging to the processing block.
The number of divided blocks included in the coded block is determined by, for example, the coding method being AVC / H. If it is 264, it corresponds to the number of blocks in the macro block determined by the macro block type (mb_type). The number of blocks in the macroblock can be obtained by performing a syntax decoding process on the picture to be evaluated.
The coding method is HEVC / H. If it is 265, it corresponds to the number of CUs (Coding Units) in the CTU which is a coding block. The number of CUs in the CTU is obtained by performing a syntax decoding process on the picture to be evaluated.
When specifying the number of divided blocks included in the processing block as the feature amount of the processing block, the feature
実施の形態3.
上記実施の形態1では、特徴量算出部2が、符号化ブロックの符号化データを復号して、符号化データの復号結果から処理ブロックの符号量を特定し、処理ブロックの符号量から、処理ブロックの特徴量を算出する例を示している。
この実施の形態3では、特徴量算出部2が、ピクチャ選択部1により選択されたピクチャ番号tのピクチャPtの処理ブロック毎に、当該処理ブロックの特徴量Cn,tとして、当該処理ブロックにおける分割ブロックの最深の階層数を用いるようにしてもよい。
In the first embodiment, the feature
In the third embodiment, the feature
当該処理ブロックにおける分割ブロックの最深の階層数は、当該処理ブロックに属する各符号化ブロックにおける分割ブロックの最深の階層数の最大値を求めることで算出される。
符号化ブロックにおける分割ブロックの最深の階層数は、例えば、符号化方式がHEVC/H.265であれば、図13に示すように、符号化ブロックであるCTUに含まれている複数のCUのうち、分割の階層が最も深い数に相当する。
図13は、符号化ブロックにおける分割ブロックの階層数を示す説明図である。
図13の例では、CU depthの最大値が3であるため、符号化ブロックにおける分割ブロックの最深の階層数は、3である。
分割ブロックの最深の階層数は、評価対象ピクチャにおけるシンタックスの復号処理を実施することで得られる。
処理ブロックの特徴量として、当該処理ブロックにおける分割ブロックの最深の階層数を特定する場合、特徴量算出部2が、処理ブロックの特徴量を算出する際に符号量を正規化する処理が不要になり、特徴量算出部2の処理負荷が軽減される。The number of the deepest layers of the divided block in the processing block is calculated by obtaining the maximum value of the number of the deepest layers of the divided block in each coded block belonging to the processing block.
The number of layers in the deepest division block in the coding block is, for example, the coding method is HEVC / H. If it is 265, as shown in FIG. 13, among the plurality of CUs included in the CTU which is the coding block, the division hierarchy corresponds to the deepest number.
FIG. 13 is an explanatory diagram showing the number of layers of the divided blocks in the coded block.
In the example of FIG. 13, since the maximum value of CU depth is 3, the number of layers in the deepest division block in the coded block is 3.
The number of layers at the deepest layer of the divided block can be obtained by performing a syntax decoding process on the picture to be evaluated.
When specifying the number of layers of the division block in the processing block as the feature amount of the processing block, the feature
実施の形態4.
上記実施の形態1では、評価値算出部3が、特徴量算出部2により算出された参照ピクチャPtpにおける処理ブロック単位の特徴量Cn,tpと、評価対象ピクチャPtcにおける処理ブロック単位の特徴量Cn,tcとから、評価値Jを算出する例を示している。
この実施の形態4では、評価値算出部3が、ピクチャ番号t=tpの参照ピクチャPtpにおける処理ブロック単位の特徴量Cn,tpと、ピクチャ番号t=tcの評価対象ピクチャPtcにおける処理ブロック単位の特徴量Cn,tcと、候補ピクチャの中で参照ピクチャPtpよりも再生時刻的に1つ前のピクチャ番号t=tp’の二次参照ピクチャPtp’における処理ブロック単位の特徴量Cn,tp’とから、評価値Jを算出する例を説明する。
なお、二次参照ピクチャPtp’は参照ピクチャPtpの参照ピクチャ、即ち、参照ピクチャPtpが評価対象ピクチャPtcであったときの参照ピクチャPtpである。したがって、3つのピクチャの再生時刻的位置関係はtp’<tp<tcである。ただし、一般に、GOP毎のピクチャ数は、可変でも良いことから、図6の候補ピクチャの例において、tp’、tp、tcの各候補ピクチャの間隔(tc−tp、tp−tp’)は、異なる可能性がある。
二次参照ピクチャPtp’が再生順で1番目のピクチャであるとすると、参照ピクチャPtpが再生順で2番目のピクチャであり、評価対象ピクチャPtcが再生順で3番目のピクチャである。Embodiment 4.
In the first embodiment, the evaluation
In the fourth embodiment, the evaluation
Incidentally, the secondary reference picture P tp 'is the reference picture of the reference picture P tp, i.e., a reference picture P tp when the reference picture P tp was evaluated picture P tc. Therefore, the reproduction time positional relationship of the three pictures is tp'<tp <tk. However, in general, since the number of pictures for each GOP may be variable, in the example of the candidate pictures of FIG. 6, the intervals (tc-tp, tp-tp') of the candidate pictures of tp', tp, and tk are set. It can be different.
With secondary reference picture P tp 'is assumed to be the first picture in the reproduction order, the reference picture P tp is the second picture in the reproduction order, the evaluation object picture P tc is the third picture in the reproduction order ..
次に動作について説明する。
この実施の形態4では、上記実施の形態1と同様に、図4のフローチャートに従って処理されるが、処理内容は、下記に説明する処理に変更となる。Next, the operation will be described.
In the fourth embodiment, the processing is performed according to the flowchart of FIG. 4 as in the first embodiment, but the processing content is changed to the processing described below.
ピクチャ選択部1は、上記実施の形態1と同様に、複数のピクチャの符号化データが含まれている符号化映像ストリームを取得する。
ピクチャ選択部1は、符号化データが符号化映像ストリームに含まれている複数のピクチャの中から、予め定義された候補ピクチャの決定方法に従って候補ピクチャを決定し、候補ピクチャの中から、上記実施の形態1と同様に、参照ピクチャPtp及び評価対象ピクチャPtcを選択する。
また、ピクチャ選択部1は、候補ピクチャの中から、二次参照ピクチャPtp’を選択する。即ち、図4のステップST1では、評価対象ピクチャと参照ピクチャに加えて、二次参照ピクチャも選択する。Similar to the first embodiment, the
The
Further, the
特徴量算出部2は、上記実施の形態1と同様に、ピクチャ選択部1により選択されたピクチャ毎に、当該評価対象ピクチャに含まれる符号化ブロック単位の符号化データから、処理ブロック単位の特徴量をそれぞれ算出する(図4のステップST2)。
即ち、特徴量算出部2は、参照ピクチャPtpに含まれる処理ブロック単位の特徴量Cn,tpと、評価対象ピクチャPtcに含まれる処理ブロック単位の特徴量Cn,tcとを算出する。
また、特徴量算出部2は、二次参照ピクチャPtp’に含まれる処理ブロック単位の特徴量Cn,tp’を算出する。Similar to the first embodiment, the feature
That is, the feature
Further, the feature
評価値算出部3は、特徴量算出部2により算出された参照ピクチャPtpに含まれる処理ブロック単位の特徴量Cn,tpと、評価対象ピクチャPtcに含まれる処理ブロック単位の特徴量Cn,tcと、二次参照ピクチャPtp’に含まれる処理ブロック単位の特徴量Cn,tp’とから、評価値Jを算出する(図4のステップST3)。
具体的には、評価値算出部3は、参照ピクチャPtpと評価対象ピクチャPtcとの間での処理ブロック単位の特徴量の差分絶対値和を算出する。
また、評価値算出部3は、参照ピクチャPtpと二次参照ピクチャPtp’との間での処理ブロック単位の特徴量の差分絶対値和を算出する。
評価値算出部3は、評価値Jとして、以下の式(3)に示すように、算出した双方の差分絶対値和の差分を算出する。
ここで、MIN_NUM_BL’は、NUM_BLtp’、NUM_BLtp、NUM_BLtcの3つの値の最小値である。即ち、二次参照ピクチャPtp’と参照ピクチャPtpと評価対象ピクチャPtcの処理ブロック数が全て同じでない場合、3つのピクチャ共通で特徴量を算出している処理ブロックのみが評価値Jの算出対象となる。
評価値算出部3により算出された評価値Jは、二次参照ピクチャPtp’と参照ピクチャPtpの間で絵柄があまり変化せずに処理ブロック単位の特徴量の変化が小さくなり、さらに、参照ピクチャPtpと評価対象ピクチャPtcの間で絵柄が大きく変化して処理ブロック単位の特徴量の変化が大きくなる場合、値が大きくなる。
したがって、上記実施の形態1〜3では、参照ピクチャPtpと評価対象ピクチャPtcの間の絵柄の変化の大きさを評価していたが、この実施の形態4では、参照ピクチャPtpにおける絵柄の変化の程度と評価対象ピクチャPtcにおける絵柄の変化の程度の差異の大きさを評価するようにしたので、シーンチェンジではないピクチャ間での緩やかな絵柄の変化を、画面全体の絵柄が大きく変化するシーンチェンジと誤検出する可能性を低減し、上記実施の形態1〜3よりも、シーンチェンジの検出精度を高めることができる。
また、処理ブロック単位の特徴量の算出対象となる処理ブロックの定義方法は、上記実施の形態1と同様(ピクチャ内全ての処理ブロック、図10〜12のような一部の処理ブロック等)に任意に定義できる。The evaluation
Specifically, evaluation
Further, the evaluation
The evaluation
Here, MIN_NUM_BL 'is, NUM_BL tp', the minimum value of the three values of NUM_BL tp, NUM_BL tc. That is, when the number of processing blocks of the secondary reference picture P tp' , the reference picture P tp, and the evaluation target picture P tk are not all the same, only the processing block for which the feature amount is calculated for all three pictures has the evaluation value J. It is a calculation target.
Evaluation value evaluation value J calculated by the calculating
Therefore, in the first to third embodiments, reference had been evaluating the size of the pattern of change between pictures P tp evaluated picture P tc, in the fourth embodiment, a picture in the reference picture P tp Since the magnitude of the difference between the degree of change in the picture and the degree of change in the picture in the evaluation target picture PTC is evaluated, the picture on the entire screen becomes large due to the gradual change in the picture between pictures that are not scene changes. It is possible to reduce the possibility of erroneous detection of a changing scene change and improve the detection accuracy of the scene change as compared with the above-described first to third embodiments.
Further, the method of defining the processing block for which the feature amount of each processing block is calculated is the same as that of the first embodiment (all processing blocks in the picture, some processing blocks as shown in FIGS. 10 to 12 and the like). It can be defined arbitrarily.
有無判定部4は、上記実施の形態1と同様に、評価値算出部3により算出された評価値Jと、事前に設定された閾値Thとを比較する(図4のステップST4)。
有無判定部4は、上記実施の形態1と同様に、評価値算出部3により算出された評価値Jが閾値Th以上であれば、参照ピクチャPtpと評価対象ピクチャPtcとの間にシーンチェンジが有ると判定する(図4のステップST5)。
有無判定部4は、上記実施の形態1と同様に、評価値算出部3により算出された評価値Jが閾値Th未満であれば、参照ピクチャPtpと評価対象ピクチャPtcとの間にシーンチェンジが無いと判定する(図4のステップST6)。
有無判定部4は、シーンチェンジの有無の判定結果を出力する。
また、閾値Thの設定方法は、上記実施の形態1と同様である。The presence / absence determination unit 4 compares the evaluation value J calculated by the evaluation
Similar to the first embodiment, the presence / absence determination unit 4 has a scene between the reference picture P tp and the evaluation target picture P tk when the evaluation value J calculated by the evaluation
Similar to the first embodiment, if the evaluation value J calculated by the evaluation
The presence / absence determination unit 4 outputs a determination result of presence / absence of a scene change.
Further, the method of setting the threshold value Th is the same as that of the first embodiment.
ピクチャ選択部1により決定された候補ピクチャの中に、未だ評価対象ピクチャとして選択していないピクチャが残っていれば(図4のステップST7:YESの場合)、ステップST1の処理に戻り、ステップST1〜ST7の処理が繰り返される。
なお、戻ったステップST1の処理で、ピクチャ選択部1により選択された3つのピクチャのうち、特徴量が既に算出されているピクチャについては、特徴量算出部2による特徴量の算出処理を省略するようにしてもよい。このようにすることで、特徴量の再計算を実施せずに済み、処理時間を短縮することができる。
ピクチャ選択部1により決定された候補ピクチャの中に、未だ評価対象ピクチャとして選択していないピクチャが残っていなければ(図4のステップST7:NOの場合)、一連の処理が終了する。If a picture that has not yet been selected as an evaluation target picture remains among the candidate pictures determined by the picture selection unit 1 (step ST7 in FIG. 4: YES), the process returns to step ST1 and step ST1 The process of ~ ST7 is repeated.
Of the three pictures selected by the
If there is no picture that has not yet been selected as the evaluation target picture among the candidate pictures determined by the picture selection unit 1 (step ST7: NO in FIG. 4), a series of processes is completed.
実施の形態5.
上記実施の形態1〜4では、評価値算出部3が、式(2)又は式(3)を用いて、特徴量算出部2により算出された処理ブロック単位の特徴量Cn,tから、評価値Jを算出する例を示している。
この実施の形態5では、評価値算出部3が、評価値Jを算出する際に、処理ブロック単位の特徴量Cn,tと、当該処理ブロックに対応する重み係数wnとを用いて、評価値Jを算出する例を説明する。
In the first to fourth embodiments, the evaluation
In the fifth embodiment, when the evaluation
この実施の形態5では、式(2)を以下の式(4)に変更する。あるいは、式(3)を以下の式(5)に変更する。
評価値算出部3は、処理ブロック単位の特徴量Cn,tである特徴量Cn,tc及び特徴量Cn,tpと、重み係数wnとを式(4)に代入することで、評価値Jを算出する。
あるいは、評価値算出部3は、処理ブロック単位の特徴量Cn,tである特徴量Cn,tc、特徴量Cn,tp及び特徴量Cn,tp’と、重み係数wnとを式(5)に代入することで、評価値Jを算出する。
In the fifth embodiment, the equation (2) is changed to the following equation (4). Alternatively, the equation (3) is changed to the following equation (5).
The evaluation
Alternatively, evaluation
式(4)及び式(5)において、特徴量Cn,tcは、評価対象ピクチャPtcにおけるブロック番号nの処理ブロックの特徴量であり、特徴量Cn,tpは、参照ピクチャPtpにおけるブロック番号nの処理ブロックの特徴量である。
また、特徴量Cn,tp’は、二次参照ピクチャPtp’におけるブロック番号nの処理ブロックの特徴量である。
wnは、特徴量Cn,tcと特徴量Cn,tpとの差分絶対値に乗算する重み係数、あるいは、特徴量Cn,tpと特徴量Cn,tp’との差分絶対値に乗算する重み係数である。In the formulas (4) and (5), the feature quantities C n and tk are the feature quantities of the processing block of the block number n in the evaluation target picture P tk , and the feature quantities C n and tp are the feature quantities in the reference picture P tp . It is a feature amount of the processing block of block number n.
Further, the feature quantities C n and tp'are the feature quantities of the processing block of the block number n in the secondary reference picture P tp' .
w n is a weighting coefficient that multiplies the absolute value of the difference between the feature C n, tk and the feature C n, tp , or the absolute value of the difference between the feature C n, tp and the feature C n, tp'. The weighting factor to multiply.
式(4)は、以下の式(6)のように変形することができる。また、式(5)は、以下の式(7)のように変形することができる。
Equation (4) can be modified as in equation (6) below. Further, the equation (5) can be modified as the following equation (7).
したがって、評価値算出部3は、式(6)又は式(7)を用いて、評価値Jを算出することができる。
評価値算出部3が、式(6)を用いて、評価値Jを算出する場合、評価値算出部3が、差分絶対値に重み係数wnを乗算する代わりに、特徴量算出部2が、特徴量Cn,tc及び特徴量Cn,tpのそれぞれに重み係数wnを乗算する。
評価値算出部3が、式(7)を用いて、評価値Jを算出する場合、評価値算出部3が、差分絶対値に重み係数wnを乗算する代わりに、特徴量算出部2が、特徴量Cn,tc、特徴量Cn,tp及び特徴量Cn,tp’のそれぞれに重み係数wnを乗算する。Therefore, the evaluation
When the evaluation
When the evaluation
具体的には、評価値算出部3が式(6)を用いて、評価値Jを算出する場合、特徴量算出部2は、式(1)の定数Mを以下の式(8)に示す変数M’nに置き換えた上で、式(1)を用いて、特徴量Cn,tc及び特徴量Cn,tpのそれぞれを算出する。
特徴量算出部2は、算出した特徴量Cn,tc及び特徴量Cn,tpを評価値算出部3に出力する。
特徴量算出部2から出力された特徴量Cn,tcは、式(6)に示すwnCn,tcに相当し、特徴量算出部2から出力された特徴量Cn,tpは、式(6)に示すwnCn,tpに相当する。
Specifically, when the evaluation
The feature
Amount characteristic output from the feature
評価値算出部3が式(7)を用いて、評価値Jを算出する場合、特徴量算出部2は、式(1)の定数Mを式(8)に示す変数M’nに置き換えた上で、式(1)を用いて、特徴量Cn,tc、特徴量Cn,tp及び特徴量Cn,tp’のそれぞれを算出する。
特徴量算出部2は、算出した特徴量Cn,tc、特徴量Cn,tp及び特徴量Cn,tp’を評価値算出部3に出力する。
特徴量算出部2から出力された特徴量Cn,tcは、式(7)に示すwnCn,tcに相当し、特徴量算出部2から出力された特徴量Cn,tpは、式(7)に示すwnCn,tpに相当する。また、特徴量算出部2から出力された特徴量Cn,tp’は、式(7)に示すwnCn,tp’に相当する。Evaluation
The feature
Feature amount C n outputted from the feature amount calculation unit 2, tc is w n C n shown in equation (7) corresponds to tc, the output from the feature
評価値算出部3は、特徴量算出部2から出力された特徴量Cn,tcをwnCn,tc、特徴量算出部2から出力された特徴量Cn,tpをwnCn,tpとして式(6)に代入することで、評価値Jを算出する。
あるいは、評価値算出部3は、特徴量算出部2から出力された特徴量Cn,tcをwnCn,tc、特徴量算出部2から出力された特徴量Cn,tpをwnCn,tp、特徴量算出部2から出力された特徴量Cn,tp’をwnCn,tp’として式(7)に代入することで、評価値Jを算出する。The evaluation
Alternatively, the evaluation
ここで、処理ブロック毎の重み係数wnは、処理ブロックの重要度を示すものであり、重み係数wnの値が大きい処理ブロックほど、シーンチェンジを検出するに際して、重要な処理ブロックであることを意味している。
したがって、処理ブロック毎の重み係数wnは、検出したいシーンの変化パターンにおいて、絵柄の変化が不連続または変化が急峻となりやすい処理ブロック程、大きな値になるように設計されていればよい。Here, the weighting coefficient w n for each processing block indicates the importance of the processing block, and the larger the value of the weighting coefficient w n is, the more important the processing block is when detecting a scene change. Means.
Therefore, the weighting coefficient w n for each processing block at the changing pattern of to be detected scene, the pattern of change in a discontinuous or changes as prone processing block steep, need only be designed to be large value.
以下、重み係数wnの具体例を挙げる。
以下の式(9)に示すように、処理ブロックの2次元座標(Xn,Yn)を変数とする関数h(Xn,Yn)で、重み係数wnを定義する。
例えば、ピクチャに含まれる複数の処理ブロックが、図16のように表される場合、(Xn,Yn)は、ブロック番号nの処理ブロックの2次元座標(Xn:水平方向(x)成分、Yn:垂直方向(y)成分)を示している。
図16は、処理ブロックの水平方向と垂直方向の座標を示す説明図である。
図16の例では、左上の処理ブロック(0,0)を基準の処理ブロックとしており、基準の処理ブロックの2次元座標は、(X1,Y1)である。
例えば、処理ブロック(5,1)の2次元座標は、(X6,Y6)であり、処理ブロック(2,3)の2次元座標は、(X21,Y21)である。Hereinafter, specific examples of the weighting coefficient w n will be given.
As shown in the following equation (9), the weighting coefficient w n is defined by the function h (X n , Y n ) whose variables are the two-dimensional coordinates (X n , Y n ) of the processing block.
For example, when a plurality of processing blocks included in the picture are represented as shown in FIG. 16, (X n , Y n ) is the two-dimensional coordinates (X n : horizontal direction (x)) of the processing block having the block number n. Component, Y n : vertical (y) component) is shown.
FIG. 16 is an explanatory diagram showing the coordinates in the horizontal direction and the vertical direction of the processing block.
In the example of FIG. 16, the upper left processing block (0, 0) is used as the reference processing block, and the two-dimensional coordinates of the reference processing block are (X 1 , Y 1 ).
For example, the two-dimensional coordinates of the processing block (5, 1) are (X 6 , Y 6 ), and the two-dimensional coordinates of the processing block (2, 3) are (X 21 , Y 21 ).
例えば、シーンチェンジを、「画面の中央部分に移る被写体が不連続に変化することである」と定義する場合、以下の式(10)に示す関数h(x,y)で表される重み係数wnは、画面中央に近い処理ブロック程、値が大きくなるように設定される。
For example, when a scene change is defined as "a subject moving to the center of the screen changes discontinuously", a weighting coefficient represented by the function h (x, y) shown in the following equation (10) is used. The value of w n is set so that the processing block closer to the center of the screen has a larger value.
式(10)において、Wは、ピクチャ全体を処理ブロックで分割したときの水平方向の処理ブロック数、Hは、ピクチャ全体を処理ブロックで分割したときの垂直方向の処理ブロック数、Ax、Ay、Lx、Lyは、それぞれ正の定数である。さらに、Ax、Ayは、それぞれx成分、y成分の重みのスケーリング値の役割を持っており、値が大きいほど、画面中央からの距離が離れたときの重みの低減比率が高くなる。
fi(x)は、任意の単調増加関数である。fi(x)の例として、以下の式(11)又は式(12)で表される関数が考えられる。
式(11)及び式(12)において、ai及びbiは、それぞれ正の定数である。In equation (10), W is the number of horizontal processing blocks when the entire picture is divided by processing blocks, and H is the number of vertical processing blocks when the entire picture is divided by processing blocks, A x , A. y , L x , and L y are positive constants, respectively. Further, A x and A y have a role of scaling values of the weights of the x component and the y component, respectively, and the larger the value, the higher the weight reduction ratio when the distance from the center of the screen is increased.
f i (x) is any monotonically increasing function. As an example of fi (x), a function represented by the following equation (11) or equation (12) can be considered.
In the formula (11) and Equation (12), a i and b i is a positive constant, respectively.
例えば、W=6、H=4として、ピクチャに含まれる複数の処理ブロックが、図16のように表され、単調増加関数fi(x)が、式(11)で表される関数であるとする。
このとき、例えば、a1=a2=1、Ax=1、Ay=1、Lx=(W/2)−1=2、Ly=(H/2)−1=1であれば、図17のように、画面中心の処理ブロックの重み係数が、最も大きいwn=1となり、画面中心から離れている処理ブロックの重み係数ほど、小さい重み係数となる。一方、Lx、Lyの値を小さい値とする。例えばa1=a2=1、Ax=1、Ay=1、Lx=1、Ly=1とすれば、各々の処理ブロックの重み係数wnは、図18のように、画面中央部分で重み係数がwn=1となり、重み係数が大きい処理ブロックの数が、図17の場合よりも増加する。
図17及び図18は、処理ブロック毎の重みwnの一例を示す説明図である。
図17では、例えば、処理ブロック(5,0)の重み係数wnは、1/√6、処理ブロック(1,1)の重み係数wnは、1/√2、処理ブロック(3,1)の重み係数wnは、1である。
図18では、例えば、処理ブロック(5,0)の重み係数wnは、1/√3、処理ブロック(1,1)及び処理ブロック(3,1)の重み係数wnは、1である。For example, as W = 6, H = 4, a plurality of processing blocks included in the picture is represented as in FIG. 16, monotonically increasing function f i (x) is a function expressed by the formula (11) And.
At this time, for example, a 1 = a 2 = 1, A x = 1, A y = 1, L x = (W / 2) -1 = 2, Ly = (H / 2) -1 = 1. For example, as shown in FIG. 17, the weighting coefficient of the processing block at the center of the screen is the largest w n = 1, and the weighting coefficient of the processing block farther from the center of the screen is smaller. On the other hand, the values of L x and Ly are set to small values. For example, if a 1 = a 2 = 1, A x = 1, A y = 1, L x = 1, Ly = 1, the weighting coefficient w n of each processing block is a screen as shown in FIG. The weighting coefficient is w n = 1 in the central portion, and the number of processing blocks having a large weighting coefficient increases as compared with the case of FIG.
17 and 18 are explanatory views showing an example of the weight w n for each processing block.
In Figure 17, for example, the weight coefficient w n of the processing block (5,0) is, 1 / √6, weighting coefficient w n of the processing block (1,1), 1 / √2, processing blocks (3,1 ) Has a weighting coefficient w n of 1.
In Figure 18, for example, the weight coefficient w n of the processing block (5,0) is 1 / √3, the weight coefficient w n of the processing block (1,1) and the processing block (3,1) is a 1 ..
また、式(10)について、fi(x)が、式(11)で表される関数であり、a1=a2=1、Lx=(W/2)−1、Ly=(H/2)−1の場合、式(10)は、式(13)のように変形できる。これによって、x、yの値に応じた場合分けが不要となる。
Further, the equation (10), f i (x ) is a function expressed by the
また、重み係数wnは、式(10)に示す関数h(x,y)の代わりに、以下の式(14)に示す関数h(x,y)としてもよい。
重み係数wnを式(14)に示す関数h(x,y)で表す場合、二乗の計算及び平方根の計算がないため、重み係数wnを式(10)に示す関数h(x,y)で表す場合よりも、計算負荷を下げることができる。
式(10)の例と同様に、例えば、a1=a2=1、Lx=(W/2)−1、Ly=(H/2)−1であれば、画面中心の処理ブロックの重み係数が、最も大きいwn=1となり、画面中心から離れている処理ブロックの重み係数ほど、小さい重み係数となる。一方、Lx、Lyの値を小さい値とする。例えばa1=a2=1、Lx=1、Ly=1とすれば、各々の処理ブロックの重み係数wnは、画面中央部分で重み係数がwn=1となり、重み係数が大きい処理ブロックの数が増加する。Further, the weighting coefficient w n may be a function h (x, y) shown in the following equation (14) instead of the function h (x, y) shown in the equation (10).
When the weighting coefficient w n is expressed by the function h (x, y) shown in the equation (14), the weighting coefficient w n is expressed by the function h (x, y) shown in the equation (10) because there is no calculation of the square and the square root. ) Can be used to reduce the calculation load.
Similar to the example of the equation (10), for example, if a 1 = a 2 = 1, L x = (W / 2) -1, and Ly = (H / 2) -1, the processing block at the center of the screen. The weighting coefficient of is the largest w n = 1, and the weighting coefficient of the processing block farther from the center of the screen is smaller. On the other hand, the values of L x and Ly are set to small values. For example, if a 1 = a 2 = 1, L x = 1, and Ly = 1, the weighting coefficient w n of each processing block is w n = 1 in the center of the screen, and the weighting coefficient is large. The number of processing blocks increases.
また、式(14)について、fi(x)が、式(11)で表される関数であり、a1=a2=1、Lx=(W/2)−1、Ly=(H/2)−1の場合、式(14)は、式(15)のように変形できる。これによって、x、yの値に応じた場合分けが不要となる。
Further, the equation (14), f i (x ) is a function expressed by the
さらに、式(10)及び式(14)の計算負荷を削減するため、x成分、y成分の重みのスケーリング値を意味するAx、Ayは、それぞれ式(16)及び式(17)に示すように、シフト演算としてもよい。このようにすることで、スケーリングの精度は、整数精度となるが、スケーリング処理は、ビットシフトで演算可能となる。
ここで、Bx、Byは、シフト量を示し、値が大きいほど、画面中央からの距離が離れたときの重みの低減比率が高くなる。さらに、式(16)及び式(17)では、左シフトするように定義したが、式(18)及び式(19)に示すように、それぞれ右シフトを用いるようにしてもよい。
式(18)及び式(19)は、式(16)及び式(17)と同様に、Bx、Byは、シフト量を示すが、値が大きいほど、画面中央からの距離が離れたときの重みの低減比率が低くなる点で、式(16)及び式(17)と異なる。
また、上記で説明した「Ax、AyをBx、Byによるシフト演算とすること」は、式(13)及び式(15)にも適用できる。Furthermore, in order to reduce the computational load of the formula (10) and (14), x component, A x, which means the scaling value of the weight of the y component, A y are each formula (16) and (17) As shown, it may be a shift operation. By doing so, the scaling accuracy becomes an integer accuracy, but the scaling process can be calculated by bit shifting.
Here, B x, B y represents the shift amount, the larger the value, reducing the ratio of the weight increases when a remote distance from the screen center. Further, in the equations (16) and (17), the shift to the left is defined, but as shown in the equations (18) and (19), the right shift may be used respectively.
Equation (18) and (19), similar to Equation (16) and (17), B x, B y, while indicating the shift amount, the larger the value, apart distance from the screen center It differs from the equations (16) and (17) in that the weight reduction ratio at the time is low.
Further, as described above, "A x, to the A y B x, a shift operation by B y" is also applicable to Formula (13) and (15).
また、図12に示すように、処理ブロックの符号量Sn,tの算出処理において、ピクチャを構成する処理ブロックのうち、ピクチャの左上の処理ブロックからラスタスキャン順に特定の処理ブロックまでを算出対象とする。そして、残りの処理ブロックについては、算出対象としないようにする場合、あるいは、復号処理時間等の制約で符号量Sn,tの算出処理を行える処理ブロックの数がピクチャ毎に変化する場合、LxとLyは、評価値Jの算出単位に可変としてもよい。
例えば、符号量Sn,tの算出処理を実施できた最後の処理ブロックの2次元座標を(XMIN_NUM_BL,YMIN_NUM_BL)(あるいは(XMIN_NUM_BL’,YMIN_NUM_BL’))とした場合、Lxは、(W/2)−1に固定する。一方、Lyは、YMIN_NUM_BL(あるいはYMIN_NUM_BL’)が(H/2)−1より小さい場合、Ly=YMIN_NUM_BL(あるいはYMIN_NUM_BL’)とし、それ以外は、Ly=(H/2)−1とする。これによって、評価値Jを算出する際のMIN_NUM_BL(あるいはMIN_NUM_BL’)が小さい場合において、Ly=(H/2)−1で固定した場合よりも、それぞれの処理ブロックの重み係数wnが大きくなって評価値Jの値が大きくなるため、有無判定部4でのシーンチェンジ検出感度を高くすることができる。Further, as shown in FIG. 12, in the calculation process of the code amounts Sn and t of the processing blocks, among the processing blocks constituting the picture, the processing blocks from the upper left processing block of the picture to the specific processing blocks in the order of raster scan are calculated. And. Then, when the remaining processing blocks are not included in the calculation target, or when the number of processing blocks that can perform the calculation processing of the code amounts Sn and t changes for each picture due to restrictions such as the decoding processing time. L x and L y may be variable in the calculation unit of the evaluation value J.
For example, when the two-dimensional coordinates of the last processing block that can perform the calculation processing of the code amounts S n and t are (X MIN_NUM_BL , Y MIN_NUM_BL ) (or (X MIN_NUM_BL' , Y MIN_NUM_BL' )), L x is , (W / 2) -1. On the other hand, L y is 'If (H / 2) -1 smaller, L y = Y MIN_NUM_BL (or Y MIN_NUM_BL Y MIN_NUM_BL (or Y MIN_NUM_BL)' and), otherwise, L y = (H / 2 ) -1. Thus, in the case MIN_NUM_BL when calculating the evaluation value J (or MIN_NUM_BL ') is smaller, than when secured with L y = (H / 2) -1, a large weighting coefficient w n of the respective processing blocks Therefore, since the value of the evaluation value J becomes large, the scene change detection sensitivity in the presence / absence determination unit 4 can be increased.
上記では、シーンチェンジを、「画面の中央部分に移る被写体が不連続に変化することである」と定義したが、シーンチェンジを、「画面の背景が不連続に変化することである」と定義するようにしてもよい。
シーンチェンジを、「画面の背景が不連続に変化することである」と定義する場合、重み係数wnは、背景が写りやすい画面端に近い処理ブロック程、値が大きくなるように設定される。
シーンチェンジを、「画面の背景が不連続に変化することである」と定義する場合、重み係数wnは、式(10)に示す関数h(x,y)の代わりに、以下の式(20)に示す関数h(x,y)で表すことができる。
あるいは、重み係数wnは、式(14)に示す関数h(x,y)の代わりに、以下の式(21)に示す関数h(x,y)で表すことができる。
In the above, the scene change is defined as "the subject moving to the center of the screen changes discontinuously", but the scene change is defined as "the background of the screen changes discontinuously". You may try to do it.
When the scene change is defined as "the background of the screen changes discontinuously", the weighting coefficient w n is set so that the processing block closer to the edge of the screen where the background is easily reflected has a larger value. ..
When the scene change is defined as "the background of the screen changes discontinuously", the weighting coefficient w n is expressed by the following equation (x, y) instead of the function h (x, y) shown in the equation (10). It can be represented by the function h (x, y) shown in 20).
Alternatively, the weighting coefficient w n can be expressed by the function h (x, y) shown in the following equation (21) instead of the function h (x, y) shown in the equation (14).
有無判定部4での閾値Thの設定方法は、上記実施の形態1と同様として良い。さらに、他の例として、MIN_NUM_BL(またはMIN_NUM_BL’)が評価対象ピクチャPtc毎に変わる場合、閾値Thを重み係数wnから求まる式(22)で算出するようにしても良い。このようにすることで、評価対象ピクチャPtc毎のMIN_NUM_BL(またはMIN_NUM_BL’)の変動による評価値Jの取りうる最大値の変動を加味した閾値が設定されることとなり、高精度なシーンチェンジ検出処理を実現できる。
ただし、Th_Baseは、閾値Thの基準値となる予め設定する0より大きい定数である。また、評価値Jの算出にMIN_NUM_BL’を用いる場合は、式(22)のMIN_NUM_BLをMIN_NUM_BL’に置き換える。
さらに、本方法を上記実施の形態1に記載の方法と組み合わせた方法でもよい。例えば、本方法とストリームの符号量推移に従って適応的に閾値Thを算出する方法とを組み合わせた方法等である。この場合、ストリームの符号量推移に従って適応的に算出する閾値ThをTh_Baseに置き換えることで実現できる。The method of setting the threshold value Th in the presence / absence determination unit 4 may be the same as that of the first embodiment. Further, as another example, if the MIN_NUM_BL (or MIN_NUM_BL ') is changed for each evaluation object picture P tc, it may be the threshold value Th be calculated by equation (22) obtained from the weighting coefficient w n. In this way, it becomes the threshold in consideration of the variation of the maximum possible value of the evaluation value J of changes in MIN_NUM_BL of each evaluation object picture P tc (or MIN_NUM_BL ') is set, accurate scene change detection Processing can be realized.
However, Th_Base is a preset value larger than 0, which is a reference value of the threshold value Th. When MIN_NUM_BL'is used for the calculation of the evaluation value J, MIN_NUM_BL in the formula (22) is replaced with MIN_NUM_BL'.
Further, a method in which this method is combined with the method described in the first embodiment may be used. For example, it is a method that combines this method and a method of adaptively calculating the threshold value Th according to the code amount transition of the stream. In this case, it can be realized by replacing the threshold value Th, which is adaptively calculated according to the code amount transition of the stream, with Th_Base.
実施の形態6.
上記実施の形態5では、処理ブロック毎の重み係数wnを用いて、評価値Jを算出する例を示している。
この実施の形態6では、符号化ブロック毎の重み係数wmを用いて、評価値Jを算出する例を説明する。Embodiment 6.
In the fifth embodiment, an example in which the evaluation value J is calculated by using the weighting coefficient w n for each processing block is shown.
In the sixth embodiment, by using a weighting factor w m for each code block, an example of calculating the evaluation value J.
まず、特徴量算出部2は、処理ブロック毎の重み係数wnの代わりに、符号化ブロック毎の重み係数wmを取得する。mは、ラスタスキャン順に番号付けされた符号化ブロックのブロック番号を示す変数であり、wmは、ブロック番号mの符号化ブロックについての重み係数である。
特徴量算出部2は、式(1)の定数Mを以下の式(23)に示す変数M’mに置き換えた上で、式(1)を用いて、ブロック番号mの符号化ブロックにおける特徴量Cm,tc及び特徴量Cm,tpのそれぞれを算出、あるいは、特徴量Cm,tc、特徴量Cm,tp及び特徴量Cm,tp’のそれぞれを算出する。
特徴量算出部2は、変数M’mを用いて、特徴量Cm,t(Cm,tc、Cm,tp、あるいは、Cm,tp’)を算出する場合、式(1)におけるブロック番号nの処理ブロックの符号量Sn,tの代わりに、ブロック番号mの符号化ブロックの符号量を用いる。First, the feature
Feature
Feature amount calculation unit 2 'with m, the feature amount C m, t (C m, tc, C m, tp or,, C m, tp' variables M) when calculating the, in the formula (1) The code amount of the coded block of the block number m is used instead of the code amount Sn and t of the processing block of the block number n.
特徴量算出部2は、算出した特徴量Cm,tc及び特徴量Cm,tpを評価値算出部3に出力する。
あるいは、特徴量算出部2は、算出した特徴量Cm,tc、特徴量Cm,tp及び特徴量Cm,tp’を評価値算出部3に出力する。
評価値算出部3は、式(6)において、wnCn,tcの代わりにCm,tcを用い、wnCn,tpの代わりにCm,tpを用いて、評価値Jを算出する。
あるいは、評価値算出部3は、式(7)において、wnCn,tcの代わりにCm,tcを用い、wnCn,tpの代わりにCm,tpを用い、wnCn,tp’の代わりにCm,tp’を用いて、評価値Jを算出する。The feature
Alternatively, the feature
Evaluation
Alternatively, evaluation
この実施の形態6では、符号化ブロック毎の重み係数wmを用いて、評価値Jを算出するようにしているので、処理ブロックよりも細かい符号化ブロック単位で、各領域の重要度を調節することができ、シーンチェンジの検出性能を高めることができる。In the sixth embodiment, since the evaluation value J is calculated by using the weighting coefficient w m for each coded block, the importance of each area is adjusted in units of coded blocks finer than the processing block. It is possible to improve the detection performance of the scene change.
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。 In the present invention, within the scope of the invention, it is possible to freely combine each embodiment, modify any component of each embodiment, or omit any component in each embodiment. ..
この発明は、シーンの変化点であるシーンチェンジの有無を判定する画像処理装置及び画像処理方法に適している。 The present invention is suitable for an image processing apparatus and an image processing method for determining the presence or absence of a scene change, which is a scene change point.
1 ピクチャ選択部、2 特徴量算出部、3 評価値算出部、4 有無判定部、5 デマルチプレクサ、11 ピクチャ選択回路、12 特徴量算出回路、13 評価値算出回路、14 有無判定回路、21 メモリ、22 プロセッサ。 1 Picture selection unit, 2 Feature amount calculation unit, 3 Evaluation value calculation unit, 4 Presence / absence determination unit, 5 Demultiplexer, 11 Picture selection circuit, 12 Feature amount calculation circuit, 13 Evaluation value calculation circuit, 14 Presence / absence determination circuit, 21 Memory , 22 processors.
Claims (23)
前記ピクチャ選択部により選択された2つのピクチャのそれぞれについて、ピクチャに含まれる符号化処理単位を示す符号化ブロックを2つのピクチャ間でそれぞれ独立に1以上含む同一サイズに定義された処理ブロック単位の特徴量をそれぞれ算出する特徴量算出部と、
前記特徴量算出部により算出された2つのピクチャに含まれる前記処理ブロック単位の特徴量から、シーンチェンジの有無の判定に用いる評価値を算出する評価値算出部と、
前記評価値算出部により算出された評価値と閾値を比較することで、前記2つのピクチャの間でのシーンチェンジの有無を判定する有無判定部とを備え、
前記特徴量算出部は、前記ピクチャ選択部により選択されたピクチャの前記処理ブロック毎に、前記処理ブロックの符号量又は前記処理ブロックに含まれている符号化ブロックにおける分割ブロックの最深の階層数から、前記処理ブロックの特徴量を算出することを特徴とする画像処理装置。 From a manner of encoding the marks Goka blocks of the encoding process by a plurality of pictures, as a target picture to assess the presence or absence of a scene change is a change point of scenes, the picture selecting unit for selecting two pictures When,
For each of the two pictures selected by the picture selection unit, a processing block unit defined to the same size including one or more coding blocks indicating a coding processing unit included in the picture independently between the two pictures. A feature amount calculation unit that calculates each feature amount,
An evaluation value calculation unit that calculates an evaluation value used for determining the presence or absence of a scene change from the feature amount of the processing block unit included in the two pictures calculated by the feature amount calculation unit.
A presence / absence determination unit for determining the presence / absence of a scene change between the two pictures is provided by comparing the evaluation value calculated by the evaluation value calculation unit with the threshold value.
The feature amount calculation unit is based on the code amount of the processing block or the number of layers of the deepest division block in the coding block included in the processing block for each processing block of the picture selected by the picture selection unit. , An image processing apparatus characterized by calculating a feature amount of the processing block.
前記特徴量算出部は、前記ピクチャ選択部により選択された3つのピクチャのそれぞれについて、ピクチャに含まれる符号化処理単位を示す符号化ブロックを3つのピクチャ間でそれぞれ独立に1以上含んだ同一サイズの処理ブロック単位の特徴量をそれぞれ算出し、
前記評価値算出部は、前記特徴量算出部により前記処理ブロック単位の特徴量が算出された3つのピクチャのうち、再生順で、2番目のピクチャと3番目のピクチャとの間での前記処理ブロック単位の特徴量の差分絶対値和を算出するとともに、再生順で、1番目のピクチャと2番目のピクチャとの間での前記処理ブロック単位の特徴量の差分絶対値和を算出し、シーンチェンジの有無の判定に用いる評価値として、算出した双方の差分絶対値和の差分を算出し、
前記有無判定部は、前記評価値算出部により算出された評価値と閾値を比較することで、再生順で、2番目のピクチャと3番目のピクチャとの間でのシーンチェンジの有無を判定することを特徴とする請求項1記載の画像処理装置。 The picture selection unit selects three pictures as the pictures to be evaluated for the presence or absence of a scene change.
The feature amount calculation unit has the same size for each of the three pictures selected by the picture selection unit, including one or more coding blocks indicating coding processing units included in the pictures independently among the three pictures. Calculate the feature amount of each processing block of
The evaluation value calculation unit performs the processing between the second picture and the third picture in the reproduction order among the three pictures for which the feature amount in the processing block unit is calculated by the feature amount calculation unit. In addition to calculating the difference absolute value sum of the feature amount in the block unit, the difference absolute value sum of the feature amount in the processing block unit between the first picture and the second picture is calculated in the playback order, and the scene As an evaluation value used to determine the presence or absence of a change, the difference between the calculated absolute values of the differences between the two is calculated.
The presence / absence determination unit determines whether or not there is a scene change between the second picture and the third picture in the playback order by comparing the evaluation value calculated by the evaluation value calculation unit with the threshold value. The image processing apparatus according to claim 1.
前記特徴量算出部により算出された2つのピクチャの間での前記処理ブロック単位の特徴量の差分絶対値に対して、前記処理ブロックに対応する重み係数をそれぞれ乗算して、それぞれ重み係数を乗算したブロック単位の差分絶対値の総和を算出することを特徴とする請求項1記載の画像処理装置。 The evaluation value calculation unit uses the evaluation value as an evaluation value used for determining the presence or absence of a scene change.
The absolute value of the feature amount in the processing block unit between the two pictures calculated by the feature amount calculation unit is multiplied by the weighting coefficient corresponding to the processing block, and each is multiplied by the weighting coefficient. The image processing apparatus according to claim 1, wherein the sum of the absolute differences between the blocks is calculated.
前記評価値算出部は、シーンチェンジの有無の判定に用いる評価値として、前記特徴量算出部から出力された2つのピクチャの間での前記処理ブロック単位の特徴量の差分絶対値和を算出することを特徴とする請求項1記載の画像処理装置。 The feature amount calculation unit multiplies the feature amount of the processing block unit between the two pictures selected by the picture selection unit by the weighting coefficient corresponding to the processing block, respectively, and the two pictures. As the feature amount of the processing block unit between, the feature amount multiplied by the weighting coefficient is output.
The evaluation value calculation unit calculates the sum of the difference absolute values of the feature amounts in the processing block units between the two pictures output from the feature amount calculation unit as the evaluation values used for determining the presence or absence of a scene change. The image processing apparatus according to claim 1, wherein the image processing apparatus is characterized by the above.
前記特徴量算出部は、前記ピクチャ選択部により選択された3つのピクチャのそれぞれについて、ピクチャに含まれる符号化処理単位を示す符号化ブロックを3つのピクチャ間でそれぞれ独立に1以上含んだ同一サイズの処理ブロック単位の特徴量をそれぞれ算出し、
前記評価値算出部は、前記特徴量算出部により前記処理ブロック単位の特徴量が算出された3つのピクチャのうち、再生順で、2番目のピクチャと3番目のピクチャとの間でのブロック単位の特徴量の差分絶対値に対して、前記処理ブロックに対応する重み係数をそれぞれ乗算して、それぞれ重み係数を乗算したブロック単位の差分絶対値の総和を算出するとともに、再生順で、1番目のピクチャと2番目のピクチャとの間での前記処理ブロック単位の特徴量の差分絶対値に対して、前記処理ブロックに対応する重み係数をそれぞれ乗算して、それぞれ重み係数を乗算した前記処理ブロック単位の差分絶対値の総和を算出し、シーンチェンジの有無の判定に用いる評価値として、算出した双方の差分絶対値の総和の差分を算出し、
前記有無判定部は、前記評価値算出部により算出された評価値と閾値を比較することで、再生順で、2番目のピクチャと3番目のピクチャとの間でのシーンチェンジの有無を判定することを特徴とする請求項1記載の画像処理装置。 The picture selection unit selects three pictures as the pictures to be evaluated for the presence or absence of a scene change.
The feature amount calculation unit has the same size for each of the three pictures selected by the picture selection unit, including one or more coding blocks indicating coding processing units included in the pictures independently among the three pictures. Calculate the feature amount of each processing block of
The evaluation value calculation unit is a block unit between the second picture and the third picture in the playback order among the three pictures for which the feature amount of the processing block unit is calculated by the feature amount calculation unit. The absolute difference value of the feature amount of is multiplied by the weighting coefficient corresponding to the processing block to calculate the total difference absolute value of each block multiplied by the weighting coefficient, and the first in the playback order. The processing block obtained by multiplying the absolute value of the difference in the feature amount in the processing block unit between the picture and the second picture by the weighting coefficient corresponding to the processing block and multiplying each by the weighting coefficient. The total difference absolute value of the unit is calculated, and the difference between the calculated total difference absolute values of both is calculated as the evaluation value used for determining the presence or absence of a scene change.
The presence / absence determination unit determines whether or not there is a scene change between the second picture and the third picture in the playback order by comparing the evaluation value calculated by the evaluation value calculation unit with the threshold value. The image processing apparatus according to claim 1.
前記特徴量算出部は、前記ピクチャ選択部により選択された3つのピクチャのそれぞれについて、ピクチャに含まれる符号化処理単位を示す符号化ブロックを3つのピクチャ間でそれぞれ独立に1以上含んだ同一サイズの処理ブロック単位の特徴量をそれぞれ算出して、それぞれ算出した前記処理ブロック単位の特徴量に対して、前記処理ブロックに対応する重み係数をそれぞれ乗算し、前記ピクチャに含まれる前記処理ブロック単位の特徴量として、それぞれ重み係数を乗算した特徴量を出力し、
前記評価値算出部は、前記特徴量算出部から前記処理ブロック単位の特徴量が出力された3つのピクチャのうち、再生順で、2番目のピクチャと3番目のピクチャとの間での前記処理ブロック単位の特徴量の差分絶対値和を算出するとともに、再生順で、1番目のピクチャと2番目のピクチャとの間での前記処理ブロック単位の特徴量の差分絶対値和を算出し、シーンチェンジの有無の判定に用いる評価値として、算出した双方の差分絶対値和の差分を算出し、
前記有無判定部は、前記評価値算出部により算出された評価値と閾値を比較することで、再生順で、2番目のピクチャと3番目のピクチャとの間でのシーンチェンジの有無を判定することを特徴とする請求項1記載の画像処理装置。 The picture selection unit selects three pictures as the pictures to be evaluated for the presence or absence of a scene change.
The feature amount calculation unit has the same size for each of the three pictures selected by the picture selection unit, including one or more coding blocks indicating the coding processing units included in the pictures independently among the three pictures. The feature amount of each processing block unit is calculated, and the calculated feature amount of the processing block unit is multiplied by the weighting coefficient corresponding to the processing block, respectively, and the feature amount of the processing block unit included in the picture is included. As the feature quantity, the feature quantity multiplied by the weighting coefficient is output.
The evaluation value calculation unit performs the processing between the second picture and the third picture in the reproduction order among the three pictures in which the feature amount in the processing block unit is output from the feature amount calculation unit. In addition to calculating the difference absolute value sum of the feature amount in the block unit, the difference absolute value sum of the feature amount in the processing block unit between the first picture and the second picture is calculated in the playback order, and the scene As an evaluation value used to determine the presence or absence of a change, the difference between the calculated absolute values of the differences between the two is calculated.
The presence / absence determination unit determines whether or not there is a scene change between the second picture and the third picture in the playback order by comparing the evaluation value calculated by the evaluation value calculation unit with the threshold value. The image processing apparatus according to claim 1.
特徴量算出部が、前記ピクチャ選択部により選択された2つのピクチャのそれぞれについて、ピクチャに含まれる符号化処理単位を示す符号化ブロックを2つのピクチャ間でそれぞれ独立に1以上含む同一サイズに定義された処理ブロック単位の特徴量をそれぞれ算出し、
評価値算出部が、前記特徴量算出部により算出された2つのピクチャに含まれる前記処理ブロック単位の特徴量から、シーンチェンジの有無の判定に用いる評価値を算出し、
有無判定部が、前記評価値算出部により算出された評価値と閾値を比較することで、前記2つのピクチャの間でのシーンチェンジの有無を判定するものであり、
前記特徴量算出部が、前記ピクチャ選択部により選択されたピクチャの前記処理ブロック毎に、前記処理ブロックの符号量又は前記処理ブロックに含まれている符号化ブロックにおける分割ブロックの最深の階層数から、前記処理ブロックの特徴量を算出することを特徴とする画像処理方法。 Picture selecting unit from among the coding process is a plurality of pictures in a manner that coded marks Goka blocks, as a target picture to assess the presence or absence of a scene change, select two pictures,
The feature amount calculation unit defines, for each of the two pictures selected by the picture selection unit, the same size including one or more coding blocks indicating the coding processing units included in the pictures independently between the two pictures. Calculate the feature amount of each processing block,
The evaluation value calculation unit calculates an evaluation value used for determining the presence or absence of a scene change from the feature amount of the processing block unit included in the two pictures calculated by the feature amount calculation unit.
The presence / absence determination unit determines the presence / absence of a scene change between the two pictures by comparing the evaluation value calculated by the evaluation value calculation unit with the threshold value.
For each processing block of the picture selected by the picture selection unit, the feature amount calculation unit is based on the code amount of the processing block or the number of layers of the deepest division block in the coding block included in the processing block. , An image processing method characterized by calculating a feature amount of the processing block.
前記特徴量算出部は、前記ピクチャ選択部により選択された3つのピクチャのそれぞれについて、ピクチャに含まれる符号化処理単位を示す符号化ブロックを3つのピクチャ間でそれぞれ独立に1以上含んだ同一サイズの処理ブロック単位の特徴量をそれぞれ算出し、
前記評価値算出部は、前記特徴量算出部により前記処理ブロック単位の特徴量が算出された3つのピクチャのうち、再生順で、2番目のピクチャと3番目のピクチャとの間での前記処理ブロック単位の特徴量の差分絶対値和を算出するとともに、再生順で、1番目のピクチャと2番目のピクチャとの間での前記処理ブロック単位の特徴量の差分絶対値和を算出し、シーンチェンジの有無の判定に用いる評価値として、算出した双方の差分絶対値和の差分を算出し、
前記有無判定部は、前記評価値算出部により算出された評価値と閾値を比較することで、再生順で、2番目のピクチャと3番目のピクチャとの間でのシーンチェンジの有無を判定することを特徴とする請求項10記載の画像処理方法。 The picture selection unit selects three pictures as the pictures to be evaluated for the presence or absence of a scene change.
The feature amount calculation unit has the same size for each of the three pictures selected by the picture selection unit, including one or more coding blocks indicating coding processing units included in the pictures independently among the three pictures. Calculate the feature amount of each processing block of
The evaluation value calculation unit performs the processing between the second picture and the third picture in the reproduction order among the three pictures for which the feature amount in the processing block unit is calculated by the feature amount calculation unit. In addition to calculating the difference absolute value sum of the feature amount in the block unit, the difference absolute value sum of the feature amount in the processing block unit between the first picture and the second picture is calculated in the playback order, and the scene As an evaluation value used to determine the presence or absence of a change, the difference between the calculated absolute values of the differences between the two is calculated.
The presence / absence determination unit determines whether or not there is a scene change between the second picture and the third picture in the playback order by comparing the evaluation value calculated by the evaluation value calculation unit with the threshold value. The image processing method according to claim 10, wherein the image processing method is characterized.
前記ピクチャ選択部により選択された2つのピクチャで特徴量を算出した前記処理ブロックのうち全てのピクチャにて共通する処理ブロックのみを前記評価値算出部で評価値を算出する対象とすることを特徴とする請求項2記載の画像処理装置。 The code amount of the entire picture is the size of the access unit.
Of the processing blocks for which the feature amount is calculated for the two pictures selected by the picture selection unit, only the processing block common to all the pictures is targeted for calculating the evaluation value by the evaluation value calculation unit. 2. The image processing apparatus according to claim 2.
前記ピクチャ全体の符号量はアクセスユニットのサイズとし、
前記ピクチャ選択された3つのピクチャで特徴量を算出した前記処理ブロックのうち全てのピクチャにて共通する処理ブロックのみを前記評価値算出部で評価値を算出する対象とすることを特徴とする請求項5記載の画像処理装置。 The feature amount calculation unit specifies the code amount of the processing block for each of the processing blocks of the picture selected by the picture selection unit, and divides the code amount of the processing block by the code amount of the entire picture. Then, the feature amount of the processing block was calculated.
The code amount of the entire picture is the size of the access unit.
The claim is characterized in that, of the processing blocks for which the feature amount is calculated for the three selected pictures, only the processing block common to all the pictures is targeted for the evaluation value calculation unit to calculate the evaluation value. Item 5. The image processing apparatus according to item 5.
前記ピクチャ全体の符号量はアクセスユニットのサイズとし、
前記ピクチャ選択部により選択された3つのピクチャで特徴量を算出した前記処理ブロックのうち全てのピクチャにて共通する処理ブロックのみを前記評価値算出部で評価値を算出する対象とすることを特徴とする請求項8記載の画像処理装置。 The feature amount calculation unit specifies the code amount of the processing block for each of the processing blocks of the picture selected by the picture selection unit, and divides the code amount of the processing block by the code amount of the entire picture. Then, the feature amount of the processing block was calculated.
The code amount of the entire picture is the size of the access unit.
Among the processing blocks for which the feature amount is calculated for the three pictures selected by the picture selection unit, only the processing block common to all the pictures is targeted for calculating the evaluation value by the evaluation value calculation unit. 8. The image processing apparatus according to claim 8.
前記ピクチャ全体の符号量はアクセスユニットのサイズとし、
前記ピクチャ選択部により選択された3つのピクチャで特徴量を算出した前記処理ブロックのうち全てのピクチャにて共通する処理ブロックのみを前記評価値算出部で評価値を算出する対象とすることを特徴とする請求項9記載の画像処理装置。 The feature amount calculation unit specifies the code amount of the processing block for each of the processing blocks of the picture selected by the picture selection unit, and divides the code amount of the processing block by the code amount of the entire picture. Then, the feature amount of the processing block was calculated.
The code amount of the entire picture is the size of the access unit.
Among the processing blocks for which the feature amount is calculated for the three pictures selected by the picture selection unit, only the processing block common to all the pictures is targeted for calculating the evaluation value by the evaluation value calculation unit. 9. The image processing apparatus according to claim 9.
前記ピクチャ全体の符号量はアクセスユニットのサイズとし、
前記ピクチャ選択部により選択された2つのピクチャで特徴量を算出した前記処理ブロックのうち全てのピクチャにて共通する処理ブロックのみを前記評価値算出部で評価値を算出する対象とすることを特徴とする請求項10記載の画像処理方法。 The feature amount calculation unit specifies the code amount of the processing block for each of the processing blocks of the picture selected by the picture selection unit, and divides the code amount of the processing block by the code amount of the entire picture. Then, the feature amount of the processing block was calculated.
The code amount of the entire picture is the size of the access unit.
Of the processing blocks for which the feature amount is calculated for the two pictures selected by the picture selection unit, only the processing block common to all the pictures is targeted for calculating the evaluation value by the evaluation value calculation unit. 10. The image processing method according to claim 10.
前記ピクチャ全体の符号量はアクセスユニットのサイズとし、
前記ピクチャ選択部により選択された3つのピクチャで特徴量を算出した前記処理ブロックのうち全てのピクチャにて共通する処理ブロックのみを前記評価値算出部で評価値を算出する対象とすることを特徴とする請求項11記載の画像処理方法。 The feature amount calculation unit specifies the code amount of the processing block for each of the processing blocks of the picture selected by the picture selection unit, and divides the code amount of the processing block by the code amount of the entire picture. Then, the feature amount of the processing block was calculated.
The code amount of the entire picture is the size of the access unit.
Among the processing blocks for which the feature amount is calculated for the three pictures selected by the picture selection unit, only the processing block common to all the pictures is targeted for calculating the evaluation value by the evaluation value calculation unit. The image processing method according to claim 11.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JPPCT/JP2017/038339 | 2017-10-24 | ||
PCT/JP2017/038339 WO2019082268A1 (en) | 2017-10-24 | 2017-10-24 | Image processing device, and image processing method |
PCT/JP2018/013789 WO2019082413A1 (en) | 2017-10-24 | 2018-03-30 | Image processing device, and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019082413A1 JPWO2019082413A1 (en) | 2019-11-21 |
JP6782789B2 true JP6782789B2 (en) | 2020-11-11 |
Family
ID=66247342
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018550470A Active JP6782789B2 (en) | 2017-10-24 | 2018-03-30 | Image processing device and image processing method |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6782789B2 (en) |
TW (1) | TWI673652B (en) |
WO (2) | WO2019082268A1 (en) |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0636026A (en) * | 1992-07-13 | 1994-02-10 | Toshiba Corp | Moving picture processor |
JP3315766B2 (en) * | 1992-09-07 | 2002-08-19 | 富士通株式会社 | Image data encoding method, image data encoding device using the method, image data restoring method, image data restoring device using the method, scene change detecting method, scene change detecting device using the method, scene change recording Device and image data scene change recording / reproducing device |
JPH07152779A (en) * | 1993-11-29 | 1995-06-16 | Toshiba Corp | Processing method for detecting moving picture index and moving picture processor having moving picture index detection processing function |
JP3175632B2 (en) * | 1997-04-18 | 2001-06-11 | 松下電器産業株式会社 | Scene change detection method and scene change detection device |
JP2001251630A (en) * | 2000-03-06 | 2001-09-14 | Nec Corp | Image signal coder and its method |
US7382417B2 (en) * | 2004-12-23 | 2008-06-03 | Intel Corporation | Method and algorithm for detection of scene cuts or similar images in video images |
JP4618166B2 (en) * | 2006-03-07 | 2011-01-26 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
TW200822739A (en) * | 2006-11-10 | 2008-05-16 | Benq Corp | Method for chaptering an image datum according to scene change |
JP4420056B2 (en) * | 2007-04-20 | 2010-02-24 | ソニー株式会社 | Image processing apparatus, image processing method, image processing program, reproduction information generation apparatus, reproduction information generation method, and reproduction information generation program |
JP4698754B2 (en) * | 2007-05-21 | 2011-06-08 | 三菱電機株式会社 | Scene change detection method and apparatus |
US7859547B2 (en) * | 2007-09-25 | 2010-12-28 | Himax Technologies Limited | Display parameter adjusting method and apparatus for scene change compensation |
JP5191240B2 (en) * | 2008-01-09 | 2013-05-08 | オリンパス株式会社 | Scene change detection apparatus and scene change detection program |
JP5178616B2 (en) * | 2009-04-22 | 2013-04-10 | 三菱電機株式会社 | Scene change detection device and video recording device |
JP2012142645A (en) * | 2009-04-28 | 2012-07-26 | Mitsubishi Electric Corp | Audio/video reproducing apparatus, audio/video recording and reproducing apparatus, audio/video editing apparatus, audio/video reproducing method, audio/video recording and reproducing method, and audio/video editing apparatus |
JP2015216632A (en) * | 2014-04-22 | 2015-12-03 | ソニー株式会社 | Coding device and coding method |
JP6373681B2 (en) * | 2014-07-30 | 2018-08-15 | Kddi株式会社 | Objective image quality evaluation apparatus, objective image quality evaluation method, and program |
JP6588745B2 (en) * | 2015-06-24 | 2019-10-09 | 日本放送協会 | Scene change detection device and program thereof |
-
2017
- 2017-10-24 WO PCT/JP2017/038339 patent/WO2019082268A1/en active Application Filing
-
2018
- 2018-03-30 JP JP2018550470A patent/JP6782789B2/en active Active
- 2018-03-30 WO PCT/JP2018/013789 patent/WO2019082413A1/en active Application Filing
- 2018-08-07 TW TW107127425A patent/TWI673652B/en not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
TWI673652B (en) | 2019-10-01 |
WO2019082268A1 (en) | 2019-05-02 |
WO2019082413A1 (en) | 2019-05-02 |
JPWO2019082413A1 (en) | 2019-11-21 |
TW201917631A (en) | 2019-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6005157B2 (en) | Depth map encoding and decoding | |
JP2005191706A (en) | Moving picture coding method and apparatus adopting the same | |
US20150264383A1 (en) | Block Copy Modes for Image and Video Coding | |
CN101682758A (en) | Method and system for encoding an image signal, encoded image signal, method and system for decoding an image signal | |
KR102453803B1 (en) | Method and apparatus for processing image | |
US8611423B2 (en) | Determination of optimal frame types in video encoding | |
US20080112631A1 (en) | Method of obtaining a motion vector in block-based motion estimation | |
JP5178616B2 (en) | Scene change detection device and video recording device | |
JP6782789B2 (en) | Image processing device and image processing method | |
CA2871668A1 (en) | Macroblock partitioning and motion estimation using object analysis for video compression | |
Shen et al. | Context-adaptive based CU processing for 3D-HEVC | |
JP4759537B2 (en) | Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, image decoding program, and computer-readable recording medium | |
KR101671759B1 (en) | Method for executing intra prediction using bottom-up pruning method appliing to high efficiency video coding and apparatus therefor | |
CN112203094A (en) | Encoding method, encoding device, electronic device and storage medium | |
JP2021103876A (en) | Method and system of encoding image in video sequence | |
JP6758977B2 (en) | Image processing equipment, image processing methods and programs | |
US10075691B2 (en) | Multiview video coding method using non-referenced view video group | |
KR101492060B1 (en) | Method for overall transforming color of video | |
CN112383774B (en) | Encoding method, encoder and server | |
CN113438483B (en) | Crowdsourcing video coding method and device | |
JP2008072608A (en) | Apparatus and method for encoding image | |
KR20210108265A (en) | Method, Device And Non-Transitory Computer Readable Recording Medium For Depth Picture Encoding Using Plane Modeling Coefficient Prediction | |
JP4536505B2 (en) | Predictive image generation method and image encoding method | |
JP6187286B2 (en) | Video encoding device | |
JP5754120B2 (en) | Motion vector detection apparatus, motion vector detection method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180925 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180925 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180925 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20181107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190108 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190409 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190626 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20190626 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20190704 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20190709 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20190906 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20190910 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200421 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20200630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200825 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200825 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20200908 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20201013 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20201013 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201020 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6782789 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |