JP6782789B2 - Image processing device and image processing method - Google Patents

Image processing device and image processing method Download PDF

Info

Publication number
JP6782789B2
JP6782789B2 JP2018550470A JP2018550470A JP6782789B2 JP 6782789 B2 JP6782789 B2 JP 6782789B2 JP 2018550470 A JP2018550470 A JP 2018550470A JP 2018550470 A JP2018550470 A JP 2018550470A JP 6782789 B2 JP6782789 B2 JP 6782789B2
Authority
JP
Japan
Prior art keywords
picture
feature amount
pictures
processing block
evaluation value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018550470A
Other languages
Japanese (ja)
Other versions
JPWO2019082413A1 (en
Inventor
彰 峯澤
彰 峯澤
守屋 芳美
芳美 守屋
杉本 和夫
和夫 杉本
島田 昌明
昌明 島田
恵明 楠
恵明 楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2019082413A1 publication Critical patent/JPWO2019082413A1/en
Application granted granted Critical
Publication of JP6782789B2 publication Critical patent/JP6782789B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Description

この発明は、シーンの変化点であるシーンチェンジの有無を判定する画像処理装置及び画像処理方法に関するものである。 The present invention relates to an image processing apparatus and an image processing method for determining the presence or absence of a scene change, which is a scene change point.

以下の特許文献1には、シーンチェンジの有無を判定する画像処理装置が開示されている。
この画像処理装置は、符号化映像ストリームから、複数のピクチャの符号化パラメータの一つである動きベクトルを取得し、複数のピクチャの間での動きベクトルの差分からシーンチェンジの有無を判定するようにしている。
The following Patent Document 1 discloses an image processing device that determines the presence or absence of a scene change.
This image processing device acquires a motion vector, which is one of the coding parameters of a plurality of pictures, from the coded video stream, and determines whether or not there is a scene change from the difference of the motion vector between the plurality of pictures. I have to.

国際公開第2010/125757号International Publication No. 2010/125757

従来の画像処理装置は以上のように構成されているので、符号化映像ストリームの中に、ピクチャの符号化パラメータとして、動きベクトルが含まれていれば、シーンチェンジの有無を判定することができる。しかし、ピクチャの符号化モードが例えば画面内符号化モードであるために、当該ピクチャの符号化パラメータとして、動きベクトルが含まれていないことがある。符号化パラメータとして、動きベクトルが含まれていないピクチャについては、シーンチェンジの有無を判定することができないという課題があった。 Since the conventional image processing device is configured as described above, if a motion vector is included as a picture coding parameter in the coded video stream, it is possible to determine whether or not there is a scene change. .. However, since the coding mode of the picture is, for example, the in-screen coding mode, the motion vector may not be included as the coding parameter of the picture. There is a problem that it is not possible to determine the presence or absence of a scene change for a picture that does not include a motion vector as a coding parameter.

この発明は上記のような課題を解決するためになされたもので、動きベクトルが含まれていないピクチャについても、シーンチェンジの有無を判定することができる画像処理装置及び画像処理方法を得ることを目的とする。 The present invention has been made to solve the above problems, and it is desired to obtain an image processing device and an image processing method capable of determining the presence or absence of a scene change even for a picture that does not include a motion vector. The purpose.

この発明に係る画像処理装置は、符号化ブロック単位に符号化する方式で符号化処理された複数のピクチャの中から、シーンの変化点であるシーンチェンジの有無を評価する対象のピクチャとして、2つのピクチャを選択するピクチャ選択部と、ピクチャ選択部により選択された2つのピクチャのそれぞれについて、ピクチャに含まれる符号化処理単位を示す符号化ブロックを2つのピクチャ間でそれぞれ独立に1以上含む同一サイズに定義された処理ブロック単位の特徴量をそれぞれ算出する特徴量算出部と、特徴量算出部により算出された2つのピクチャに含まれる処理ブロック単位の特徴量から、シーンチェンジの有無の判定に用いる評価値を算出する評価値算出部と、評価値算出部により算出された評価値と閾値を比較することで、2つのピクチャの間でのシーンチェンジの有無を判定する有無判定部とを備え、特徴量算出部が、ピクチャ選択部により選択されたピクチャの処理ブロック毎に、処理ブロックの符号量又は処理ブロックに含まれている符号化ブロックにおける分割ブロックの最深の階層数から、処理ブロックの特徴量を算出するようにしたものである。 The image processing apparatus according to the present invention, from among a plurality of pictures that have been processed coded in a manner that coded marks Goka blocks, as a target picture to assess the presence or absence of a scene change is a change point of scenes, For each of the picture selection unit that selects two pictures and the two pictures selected by the picture selection unit, one or more coding blocks indicating the coding processing units included in the pictures are independently included between the two pictures. The presence or absence of a scene change is determined from the feature amount calculation unit that calculates the feature amount of each processing block unit defined in the same size and the feature amount of the processing block unit included in the two pictures calculated by the feature amount calculation unit. The evaluation value calculation unit that calculates the evaluation value used for the above, and the presence / absence judgment unit that determines the presence / absence of a scene change between the two pictures by comparing the evaluation value calculated by the evaluation value calculation unit with the threshold value. The feature amount calculation unit prepares the processing block for each processing block of the picture selected by the picture selection unit from the code amount of the processing block or the number of layers of the deepest division block in the coding block included in the processing block. It is designed to calculate the feature amount of.

この発明によれば、特徴量算出部により算出された2つのピクチャに含まれるブロック単位の特徴量から、シーンチェンジの有無の判定に用いる評価値を算出する評価値算出部を設け、有無判定部が、評価値算出部により算出された評価値と閾値を比較することで、2つのピクチャの間でのシーンチェンジの有無を判定する。そして、特徴量算出部が、ピクチャ選択部により選択されたピクチャのブロック毎に、当該ブロックの符号量又は当該ブロックに含まれている分割ブロックの最深の階層数から、当該ブロックの特徴量を算出するように、画像処理装置を構成した。したがって、この発明に係る画像処理装置は、動きベクトルが含まれていないピクチャについても、シーンチェンジの有無を判定することができる。 According to the present invention, an evaluation value calculation unit for calculating an evaluation value used for determining the presence / absence of a scene change is provided from a block-based feature amount included in two pictures calculated by the feature amount calculation unit. However, by comparing the evaluation value calculated by the evaluation value calculation unit with the threshold value, it is determined whether or not there is a scene change between the two pictures. Then, the feature amount calculation unit calculates the feature amount of the block from the code amount of the block or the deepest number of layers of the divided block included in the block for each block of the picture selected by the picture selection unit. The image processing device was configured to do so. Therefore, the image processing apparatus according to the present invention can determine the presence or absence of a scene change even for a picture that does not include a motion vector.

この発明の実施の形態1による画像処理装置を示す構成図である。It is a block diagram which shows the image processing apparatus according to Embodiment 1 of this invention. この発明の実施の形態1による画像処理装置を示すハードウェア構成図である。It is a hardware block diagram which shows the image processing apparatus according to Embodiment 1 of this invention. 画像処理装置がソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。It is a hardware block diagram of a computer when an image processing apparatus is realized by software or firmware. 画像処理装置がソフトウェア又はファームウェアなどで実現される場合の処理手順である画像処理方法を示すフローチャートである。It is a flowchart which shows the image processing method which is the processing procedure when the image processing apparatus is realized by software or firmware. 符号化映像ストリームに含まれている複数のピクチャの中から、評価対象ピクチャを選択する例を示す説明図である。It is explanatory drawing which shows the example which selects the evaluation target picture from a plurality of pictures included in a coded video stream. 符号化映像ストリームに含まれている複数のピクチャの中から、評価対象ピクチャを選択する例を示す説明図である。It is explanatory drawing which shows the example which selects the evaluation target picture from a plurality of pictures included in a coded video stream. 符号化方式がAVC/H.264又はHEVC/H.265である場合の符号化映像ストリームの構成例を示す説明図である。The coding method is AVC / H. 264 or HEVC / H. It is explanatory drawing which shows the structural example of the coded video stream in the case of 265. 処理ブロック単位の符号量の一例を示す説明図である。It is explanatory drawing which shows an example of the code amount in the processing block unit. この発明の実施の形態1による他の画像処理装置を示す構成図である。It is a block diagram which shows the other image processing apparatus by Embodiment 1 of this invention. 評価対象ピクチャに含まれている処理ブロックのうち、符号量を特定する処理ブロックを示す説明図である。It is explanatory drawing which shows the processing block which specifies the code amount among the processing blocks included in the evaluation target picture. 評価対象ピクチャに含まれている処理ブロックのうち、符号量を特定する処理ブロックを示す説明図である。It is explanatory drawing which shows the processing block which specifies the code amount among the processing blocks included in the evaluation target picture. 評価対象ピクチャに含まれている処理ブロックのうち、符号量を特定する処理ブロックを示す説明図である。It is explanatory drawing which shows the processing block which specifies the code amount among the processing blocks included in the evaluation target picture. 符号化ブロックにおける分割ブロックの階層数を示す説明図である。It is explanatory drawing which shows the number of layers of the division block in a coded block. 処理ブロックと符号化ブロックの例を示す説明図である。It is explanatory drawing which shows the example of the processing block and the coding block. 処理ブロックと符号化ブロックの例を示す説明図である。It is explanatory drawing which shows the example of the processing block and the coding block. 処理ブロックの水平方向と垂直方向の座標を示す説明図である。It is explanatory drawing which shows the coordinates in a horizontal direction and a vertical direction of a processing block. 処理ブロック毎の重み係数wの一例を示す説明図である。Is an explanatory view showing an example of weighting coefficient w n for each processing block. 処理ブロック毎の重み係数wの一例を示す説明図である。Is an explanatory view showing an example of weighting coefficient w n for each processing block.

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。 Hereinafter, in order to explain the present invention in more detail, a mode for carrying out the present invention will be described with reference to the accompanying drawings.

実施の形態1.
図1は、この発明の実施の形態1による画像処理装置を示す構成図である。図2は、この発明の実施の形態1による画像処理装置を示すハードウェア構成図である。
図1において、ピクチャ選択部1は、例えば図2に示すピクチャ選択回路11で実現される。
ピクチャ選択部1は、複数のピクチャの符号化データが含まれている符号化映像ストリームを取得する処理を実施する。
ピクチャ選択部1は、符号化ブロック単位(ブロック単位)に符号化されている符号化データを有する複数のピクチャの中から、シーンの変化点であるシーンチェンジの有無を評価する候補ピクチャを定め、候補ピクチャの中からシーンチェンジの有無を評価する対象ピクチャとして、2つのピクチャを選択する処理を実施する。ただし、候補ピクチャの決定方法は、予め定義されているものとする。
Embodiment 1.
FIG. 1 is a configuration diagram showing an image processing apparatus according to the first embodiment of the present invention. FIG. 2 is a hardware configuration diagram showing an image processing apparatus according to the first embodiment of the present invention.
In FIG. 1, the picture selection unit 1 is realized by, for example, the picture selection circuit 11 shown in FIG.
The picture selection unit 1 performs a process of acquiring a coded video stream containing coded data of a plurality of pictures.
The picture selection unit 1 determines candidate pictures for evaluating the presence or absence of a scene change, which is a change point of a scene, from a plurality of pictures having coded data encoded in a coded block unit (block unit). A process of selecting two pictures from the candidate pictures as target pictures for evaluating the presence or absence of a scene change is performed. However, it is assumed that the method for determining the candidate picture is defined in advance.

ピクチャの符号化データは、例えば、マクロブロックと呼ばれる符号化ブロック単位、あるいは、CTU(Coding Tree Unit)と呼ばれる符号化ブロック単位に符号化されているデータである。
マクロブロック単位に符号化する符号化方式の規格として、例えば、AVC/H.264規格が以下の非特許文献1に開示されている。
また、CTU単位に符号化する符号化方式の規格として、例えば、HEVC/H.265規格が以下の非特許文献2に開示されている。
[非特許文献1]ISO/IEC 14496−10/ITU−T H.264規格
[非特許文献2]ISO/IEC 23008−2/ITU−T H.265規格
The coded data of the picture is, for example, data encoded in a coded block unit called a macro block or a coded block unit called a CTU (Coding Tree Unit).
As a standard of a coding method for coding in macroblock units, for example, AVC / H. The 264 standard is disclosed in Non-Patent Document 1 below.
Further, as a standard of a coding method for encoding in units of CTU, for example, HEVC / H. The 265 standard is disclosed in Non-Patent Document 2 below.
[Non-Patent Document 1] ISO / IEC 14496-10 / ITU-TH. 264 Standard [Non-Patent Document 2] ISO / IEC 23008-2 / ITU-TH. 265 standard

特徴量算出部2は、例えば図2に示す特徴量算出回路12で実現される。
特徴量算出部2は、ピクチャ選択部1により選択されたピクチャ毎に、当該ピクチャにおける符号化ブロック単位の符号化データから、処理ブロック単位の特徴量をそれぞれ算出する処理を実施する。処理ブロックは、1以上の符号化ブロックから構成されており、その構成は予め定義されている。処理ブロックは、1以上の符号化ブロックから構成されるため、処理ブロックの定義可能な最小単位は符号化ブロックとなる(処理ブロック=符号化ブロック)。
図14は、4つの符号化ブロックから処理ブロックを構成する例を示している。また、図15に示す例のように、処理ブロックを構成する縦方向と横方向の符号化ブロック数が異なるように構成してもよい。
処理ブロック単位の特徴量は、処理ブロック内の各々の符号化ブロックの符号化データから算出する。この実施の形態1では、各々の符号化ブロックの符号化データを復号して、符号化データの復号結果から各々の符号化ブロックの符号量を特定し、各々の処理ブロックに属する符号化ブロックの符号量の総和を処理ブロック単位の特徴量とする。
なお、ピクチャ選択部1により選択された2つのピクチャの処理ブロックサイズ(予め定義する処理ブロックにおける符号化ブロックの構成)は同一とする。
The feature amount calculation unit 2 is realized by, for example, the feature amount calculation circuit 12 shown in FIG.
The feature amount calculation unit 2 performs a process of calculating the feature amount of each processing block unit from the coded data of the coded block unit in the picture for each picture selected by the picture selection unit 1. The processing block is composed of one or more coded blocks, and the configuration is defined in advance. Since the processing block is composed of one or more coded blocks, the smallest definable unit of the processing block is the coded block (processing block = coded block).
FIG. 14 shows an example in which a processing block is composed of four coding blocks. Further, as in the example shown in FIG. 15, the number of coded blocks in the vertical direction and the horizontal direction constituting the processing block may be different.
The feature amount of each processing block is calculated from the coded data of each coded block in the processing block. In the first embodiment, the coded data of each coded block is decoded, the code amount of each coded block is specified from the decoding result of the coded data, and the coded blocks belonging to each processing block The sum of the code amounts is used as the feature amount for each processing block.
The processing block sizes of the two pictures selected by the picture selection unit 1 (the configuration of the coded block in the predefined processing block) are the same.

評価値算出部3は、例えば図2に示す評価値算出回路13で実現される。
評価値算出部3は、特徴量算出部2により算出された2つのピクチャに含まれる処理ブロック単位の特徴量から、シーンチェンジの有無の判定に用いる評価値を算出する処理を実施する。
The evaluation value calculation unit 3 is realized by, for example, the evaluation value calculation circuit 13 shown in FIG.
The evaluation value calculation unit 3 executes a process of calculating an evaluation value used for determining the presence or absence of a scene change from the feature amount of each processing block included in the two pictures calculated by the feature amount calculation unit 2.

有無判定部4は、例えば図2に示す有無判定回路14で実現される。
有無判定部4は、評価値算出部3により算出された評価値と閾値を比較することで、2つのピクチャの間でのシーンチェンジの有無を判定する処理を実施する。
The presence / absence determination unit 4 is realized by, for example, the presence / absence determination circuit 14 shown in FIG.
The presence / absence determination unit 4 performs a process of determining the presence / absence of a scene change between the two pictures by comparing the evaluation value calculated by the evaluation value calculation unit 3 with the threshold value.

図1では、画像処理装置の構成要素であるピクチャ選択部1、特徴量算出部2、評価値算出部3及び有無判定部4のそれぞれが、図2に示すような専用のハードウェアで実現されるものを想定している。即ち、ピクチャ選択回路11、特徴量算出回路12、評価値算出回路13及び有無判定回路14で実現されるものを想定している。
ここで、ピクチャ選択回路11、特徴量算出回路12、評価値算出回路13及び有無判定回路14は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)、または、これらを組み合わせたものが該当する。
In FIG. 1, each of the picture selection unit 1, the feature amount calculation unit 2, the evaluation value calculation unit 3, and the presence / absence determination unit 4, which are the components of the image processing device, is realized by the dedicated hardware as shown in FIG. I'm assuming something. That is, it is assumed that the picture selection circuit 11, the feature amount calculation circuit 12, the evaluation value calculation circuit 13, and the presence / absence determination circuit 14 are realized.
Here, the picture selection circuit 11, the feature amount calculation circuit 12, the evaluation value calculation circuit 13, and the presence / absence determination circuit 14 are, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, and an ASIC (Application Specific). Integrated Circuit), FPGA (Field-Programmable Gate Array), or a combination thereof is applicable.

画像処理装置の構成要素は、専用のハードウェアで実現されるものに限るものではなく、画像処理装置がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
ソフトウェア又はファームウェアはプログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、CPU(Central Processing Unit)、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、DSP(Digital Signal Processor)などが該当する。
コンピュータのメモリは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)などの不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)などが該当する。
The components of the image processing device are not limited to those realized by dedicated hardware, and the image processing device may be realized by software, firmware, or a combination of software and firmware.
The software or firmware is stored as a program in the memory of the computer. A computer means hardware for executing a program, and corresponds to, for example, a CPU (Central Processing Unit), a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, a processor, a DSP (Digital Signal Processor), and the like. ..
The memory of the computer is, for example, RAM (Random Access Memory), ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable Read Online Memory), EEPROM (Electrically Molecular Memory) such as EEPROM (Electrically Molecular Memory). This includes semiconductor memories, magnetic disks, flexible disks, optical disks, compact disks, mini disks, DVDs (Digital Versaille Disc), and the like.

図3は、画像処理装置がソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。
画像処理装置がソフトウェア又はファームウェアなどで実現される場合、ピクチャ選択部1、特徴量算出部2、評価値算出部3及び有無判定部4の処理手順をコンピュータに実行させるためのプログラムをメモリ21に格納し、コンピュータのプロセッサ22がメモリ21に格納されているプログラムを実行するようにすればよい。
図4は、画像処理装置がソフトウェア又はファームウェアなどで実現される場合の処理手順である画像処理方法を示すフローチャートである。
FIG. 3 is a hardware configuration diagram of a computer when the image processing device is realized by software, firmware, or the like.
When the image processor is realized by software or firmware, the memory 21 is provided with a program for causing the computer to execute the processing procedures of the picture selection unit 1, the feature amount calculation unit 2, the evaluation value calculation unit 3, and the presence / absence determination unit 4. It may be stored and the processor 22 of the computer may execute the program stored in the memory 21.
FIG. 4 is a flowchart showing an image processing method which is a processing procedure when the image processing device is realized by software or firmware.

また、図2では、画像処理装置の構成要素のそれぞれが専用のハードウェアで実現される例を示し、図3では、画像処理装置がソフトウェアやファームウェアなどで実現される例を示しているが、画像処理装置における一部の構成要素が専用のハードウェアで実現され、残りの構成要素がソフトウェアやファームウェアなどで実現されるものであってもよい。 Further, FIG. 2 shows an example in which each of the components of the image processing device is realized by dedicated hardware, and FIG. 3 shows an example in which the image processing device is realized by software, firmware, or the like. Some components of the image processing apparatus may be realized by dedicated hardware, and the remaining components may be realized by software, firmware, or the like.

次に動作について説明する。
ピクチャ選択部1は、複数のピクチャの符号化データが含まれている符号化映像ストリームを取得する。
ピクチャ選択部1は、取得した符号化映像ストリームから、予め定義された候補ピクチャの決定方法に従って候補ピクチャを決定し、候補ピクチャの中から、シーンの変化点であるシーンチェンジの有無を評価する対象のピクチャとして、2つのピクチャを選択する(図4のステップST1)。
ここで、選択した2つのピクチャのうち、再生順で後のピクチャを「評価対象ピクチャ」、再生順で先のピクチャを「参照ピクチャ」と称する。「2つのピクチャの間のシーンチェンジの有無を評価する」とは、参照ピクチャより再生順で一つ後のピクチャから評価対象ピクチャまで(評価対象ピクチャ自身を含む)にシーンチェンジが発生しているか否かを評価することを示すものである。
Next, the operation will be described.
The picture selection unit 1 acquires a coded video stream containing coded data of a plurality of pictures.
The picture selection unit 1 determines candidate pictures from the acquired encoded video stream according to a predetermined method for determining candidate pictures, and evaluates the presence or absence of a scene change, which is a change point of the scene, from the candidate pictures. Two pictures are selected as the pictures of (step ST1 in FIG. 4).
Here, of the two selected pictures, the later picture in the reproduction order is referred to as "evaluation target picture", and the earlier picture in the reproduction order is referred to as "reference picture". "Evaluating the presence or absence of a scene change between two pictures" means that a scene change has occurred from the picture one after the reference picture to the picture to be evaluated (including the picture to be evaluated itself) in the playback order. It indicates that it is evaluated whether or not it is.

図5及び図6は、符号化データが符号化映像ストリームに含まれているピクチャの中から、評価対象ピクチャとなる候補ピクチャを決定し、候補ピクチャの中から、評価対象ピクチャと参照ピクチャを選択する例を示す説明図である。
図5では、符号化データが符号化映像ストリームに含まれている複数のピクチャの全てを候補ピクチャとし、候補ピクチャの中から、再生順で順番に評価対象ピクチャを選択することで、最終的に、符号化映像ストリームに含まれている全てのピクチャが評価対象ピクチャとして選択される例を示している。
図6では、符号化データが符号化映像ストリームに含まれている複数のピクチャがGOP(Group Of Picture)構造を有しており、各々のGOPにおけるランダムアクセスポイントのイントラピクチャを候補ピクチャとし、候補ピクチャの中から、再生順で順番に評価対象ピクチャとして選択される例を示している。
AVC/H.264では、IDR(Instantaneous Decoding Refresh)ピクチャが、ランダムアクセスポイントのイントラピクチャである。
HEVC/H.265では、IRAP(Intra Random Access Point)ピクチャが、ランダムアクセスポイントのイントラピクチャである。
参照ピクチャは、図5及び図6のいずれでも、に評価対象ピクチャより再生順で一つ前の候補ピクチャとしている。したがって、図5の例では、隣接している2つのピクチャの間でのシーンチェンジの有無、即ち、評価対象ピクチャ自身がシーンチェンジ点であるか否かが評価される。図6の例では、隣接しているGOPにおけるランダムアクセスポイントのイントラピクチャの間でのシーンチェンジの有無が評価される。
なお、上記以外にもN個(Nは0以上の整数)のピクチャ間隔で評価対象ピクチャを選択する(N=0の場合、図5と同じとなる)など、候補ピクチャの定義を任意に設定することができる。
In FIGS. 5 and 6, a candidate picture to be evaluated is determined from the pictures whose coded data is included in the coded video stream, and the evaluation target picture and the reference picture are selected from the candidate pictures. It is explanatory drawing which shows the example.
In FIG. 5, all of a plurality of pictures whose coded data is included in the coded video stream are set as candidate pictures, and the evaluation target pictures are finally selected from the candidate pictures in the order of reproduction. , An example is shown in which all the pictures included in the encoded video stream are selected as the pictures to be evaluated.
In FIG. 6, a plurality of pictures in which the coded data is included in the coded video stream have a GOP (Group Of Pictures) structure, and the intra picture of the random access point in each GOP is used as a candidate picture and is a candidate. An example is shown in which the pictures are selected as evaluation target pictures in order of reproduction.
AVC / H. In 264, the IDR (Instantaneus Decoding Refresh) picture is an intra picture of a random access point.
HEVC / H. In 265, the IRAP (Intra Random Access Point) picture is an intra picture of a random access point.
The reference picture is a candidate picture immediately preceding the evaluation target picture in the reproduction order in both FIGS. 5 and 6. Therefore, in the example of FIG. 5, it is evaluated whether or not there is a scene change between two adjacent pictures, that is, whether or not the evaluation target picture itself is a scene change point. In the example of FIG. 6, the presence or absence of a scene change between the intra pictures of random access points in the adjacent GOP is evaluated.
In addition to the above, the definition of candidate pictures can be arbitrarily set, such as selecting evaluation target pictures at N picture intervals (N is an integer of 0 or more) (when N = 0, it is the same as in FIG. 5). can do.

図7は、符号化方式がAVC/H.264又はHEVC/H.265である場合の符号化映像ストリームの構成例を示す説明図である。
図7では、複数のアクセスユニットが符号化順に並んでおり、1つのアクセスユニットが1つのピクチャのデータを示している。
各々のアクセスユニットは、複数のNAL(Network Abst ruction Layer)ユニットから構成される。
各々のNALユニットは、ヘッダ情報(non−VCL)と、ピクチャの符号化データであるピクチャデータ(VCL)とに分類される。
ヘッダ情報(non−VCL)は、アクセスユニットデリミタ、シーケンスレベルヘッダ及びピクチャレベルヘッダを有している。
AVC/H.264又はHEVC/H.265では、1つのアクセスユニットを構成する1つ以上のNALユニットが連続しており、ストリーム上で隣接するアクセスユニット間の区切り位置が分かるように、アクセスユニットの先頭位置の識別方法が定義されている。その一つの例として、アクセスユニットの先頭を示すNALユニットであるアクセスユニットデリミタが定義されている。
なお、図7に示すNALユニットは一例であり、NALユニットの構成パターンは、それぞれの規格の仕様に準ずる。このとき、アクセスユニットを構成するNALユニットにアクセスユニットデリミタが存在しない場合もあり、その場合においても、規格で定義されたアクセスユニットの先頭位置の識別方法に従ってアクセスユニットの先頭位置を識別することが可能である。
In FIG. 7, the coding method is AVC / H. 264 or HEVC / H. It is explanatory drawing which shows the structural example of the coded video stream in the case of 265.
In FIG. 7, a plurality of access units are arranged in the order of coding, and one access unit shows data of one picture.
Each access unit is composed of a plurality of NAL (Network Abst rection Layer) units.
Each NAL unit is classified into header information (non-VCL) and picture data (VCL) which is picture coding data.
The header information (non-VCL) includes an access unit delimiter, a sequence level header, and a picture level header.
AVC / H. 264 or HEVC / H. In 265, one or more NAL units constituting one access unit are continuous, and a method of identifying the head position of the access unit is defined so that the delimiter position between adjacent access units on the stream can be known. There is. As one example, an access unit delimiter, which is a NAL unit indicating the head of the access unit, is defined.
The NAL unit shown in FIG. 7 is an example, and the configuration pattern of the NAL unit conforms to the specifications of the respective standards. At this time, the access unit delimiter may not exist in the NAL unit that constitutes the access unit, and even in that case, the head position of the access unit can be identified according to the method for identifying the head position of the access unit defined in the standard. It is possible.

したがって、ピクチャ選択部1は、規格で定義されているアクセスユニットの先頭位置の識別方法に従ってアクセスユニットの先頭位置を識別することで、ピクチャであるアクセスユニットの区切り位置を識別することができる。
ピクチャ選択部1は、アクセスユニットの区切り位置を識別することができるため、複数のアクセスユニットの中から、2つのピクチャを選択することができ、選択した2つのピクチャの符号化データを特徴量算出部2に出力する。
Therefore, the picture selection unit 1 can identify the delimiter position of the access unit which is a picture by identifying the head position of the access unit according to the method of identifying the head position of the access unit defined in the standard.
Since the picture selection unit 1 can identify the delimiter position of the access unit, two pictures can be selected from a plurality of access units, and the coded data of the two selected pictures is calculated as a feature amount. Output to part 2.

特徴量算出部2は、ピクチャ選択部1により選択されたピクチャ毎に、符号化ブロック単位の符号化データから、処理ブロック単位の特徴量をそれぞれ算出する(図4のステップST2)。
以下、特徴量算出部2による処理ブロック単位の特徴量の算出処理を具体的に説明する。
ここで、ピクチャ選択部1により選択されたピクチャ番号tのピクチャPに含まれる処理ブロックの特徴量をCn,tとし、参照ピクチャのピクチャ番号をt=tp、評価対象ピクチャのピクチャ番号をt=tcとする。
nは、ピクチャ内の特徴量算出対象の処理ブロックを特定するブロック番号であり、左上の処理ブロックからラスタスキャン順に1,2,・・・,NUM_BLと番号付けされている。ここで、NUM_BLは、ピクチャ番号tのピクチャPにおける特徴量算出対象の処理ブロックの総数を示している。処理ブロックサイズが64×64画素、ピクチャの解像度が3840×2160画素であった場合、1画面の全てを対象としたとすると、NUM_BL=60×34=2040となる。ただし、最下端の列のブロックはブロックサイズが64×48画素となる。NUM_BLは、上記のように画面全体の処理ブロック数としても良いし、処理負荷を低減するために画面全体の処理ブロック数よりも小さい値に制限しても良い。
よって、t=tp及びt=tcにおける特徴量Cn,tp、Cn,tcをそれぞれ下記に従って算出する。
The feature amount calculation unit 2 calculates the feature amount of each processing block unit from the coded data of the coded block unit for each picture selected by the picture selection unit 1 (step ST2 in FIG. 4).
Hereinafter, the feature amount calculation process for each processing block by the feature amount calculation unit 2 will be specifically described.
Here, the feature amounts of the processing blocks included in the picture P t of the picture number t selected by the picture selection unit 1 are set to C n and t , the picture number of the reference picture is t = tp, and the picture number of the evaluation target picture is set. Let t = tc.
n is a block number for specifying the processing block for which the feature amount is calculated in the picture, and is numbered 1, 2, ..., NUM_BL t in the order of raster scan from the upper left processing block. Here, NUM_BL t indicates the total number of processing blocks for which the feature amount is to be calculated in the picture P t of the picture number t. When the processing block size is 64 × 64 pixels and the resolution of the picture is 3840 × 2160 pixels, NUM_BL t = 60 × 34 = 2040, assuming that the entire screen is targeted. However, the block in the lowermost column has a block size of 64 × 48 pixels. NUM_BL t may be the number of processing blocks of the entire screen as described above, or may be limited to a value smaller than the number of processing blocks of the entire screen in order to reduce the processing load.
Therefore, the feature quantities C n, tp , C n, and tk at t = tp and t = tk are calculated according to the following, respectively.

特徴量算出部2は、特徴量算出対象ピクチャPにおけるシンタックスの復号処理を実施し、シンタックスの復号処理結果から、処理ブロック単位の符号量Sn,t(n=1,2,・・・,NUM_BL)をそれぞれ特定する。
例えば、特徴量算出部2は、特徴量算出対象の処理ブロックに属する各々の符号化ブロックの符号化データに含まれている全ての符号化パラメータをそれぞれ復号し、復号した全ての符号化パラメータの符号量の総和を符号量Sn,tとして特定する。
符号化パラメータは、符号化ブロックの復号画像の生成に必要なパラメータであり、例えば、符号化モードを示すパラメータ、イントラ予測パラメータ、インター予測パラメータ、予測差分符号化パラメータ、動きベクトルなどが該当する。
The feature amount calculation unit 2 executes the syntax decoding process in the feature amount calculation target picture P t , and based on the syntax decoding process result, the code amount Sn, t (n = 1, 2, ... ・ ・, NUM_BL t ) are specified respectively.
For example, the feature amount calculation unit 2 decodes all the coding parameters included in the coding data of each coding block belonging to the processing block for which the feature amount is calculated, and of all the decoded coding parameters. The sum of the code amounts is specified as the code amount Sn, t .
The coding parameter is a parameter necessary for generating a decoded image of the coded block, and corresponds to, for example, a parameter indicating a coding mode, an intra prediction parameter, an inter prediction parameter, a prediction difference coding parameter, a motion vector, and the like.

次に、特徴量算出部2は、特徴量算出対象ピクチャPの符号量SALL,tを特定し、以下の式(1)に示すように、特徴量算出対象ピクチャPの符号量SALL,tで、処理ブロック単位の符号量Sn,tを除算することで正規化し、処理ブロック単位の特徴量Cn,tとして、正規化した処理ブロック単位の符号量Sn,tをM倍する。Mは、予め設定した定数であり、例えば、0より大きな実数である。

Figure 0006782789
Next, the feature amount calculating unit 2, the code amount S ALL feature quantity calculation target picture P t, identifies t, as shown in the following equation (1), the feature quantity calculation target picture P t code amount S ALL, in t, the code amount S n of the processing blocks, normalized by dividing t, feature amount C n of the processing block, as t, the code amount S n of normalized processing block units, the t M Double. M is a preset constant, for example, a real number greater than 0.
Figure 0006782789

ここでは、特徴量算出部2が、特徴量算出対象ピクチャPの符号量SALL,tを特定する例を示しているが、特徴量算出対象ピクチャPの符号量SALL,tとして、特徴量算出対象ピクチャPに含まれている全ての処理ブロックの符号量Sn,tの総和を算出する例が考えられる。
ただし、これは一例に過ぎず、特徴量算出対象ピクチャPの符号量SALL,tとして、特徴量算出対象ピクチャPのピクチャデータ(VCL)のサイズを特定するようにしてもよい。ピクチャデータ(VCL)のサイズは、特徴量算出対象ピクチャPにおけるシンタックスの復号処理を実施することなく、特定することができる。他にも、特徴量算出対象ピクチャPの符号量SALL,tとして、特徴量算出対象ピクチャPのアクセスユニットのサイズを特定するようにしてもよい。アクセスユニットのサイズは、上述したアクセスユニットの区切り位置を識別するのみで計算することができる。
Here, the feature amount calculating section 2, the code amount S ALL feature quantity calculation target picture P t, is shown an example of specifying a t, the feature quantity calculation target picture P t code amount S ALL, as t, An example is considered in which the sum of the code amounts Sn and t of all the processing blocks included in the feature amount calculation target picture P t is calculated.
However, this is only an example, the code amount S ALL feature quantity calculation target picture P t, as t, the size of the picture data (VCL) of the feature quantity calculation target picture P t may be specified. The size of the picture data (VCL), without performing the decoding process of syntax in the feature quantity calculation target picture P t, can be identified. Additional code amount S ALL feature quantity calculation target picture P t, as t, may be specified the size of the access unit of the feature amount calculation target picture P t. The size of the access unit can be calculated only by identifying the partition position of the access unit described above.

式(1)で算出される処理ブロック単位の特徴量Cn,tは、各々の処理ブロックの符号量の比を表しており、ピクチャ毎の総符号量の大きさのばらつきの影響を抑えた特徴量になっている。
図8は、処理ブロック単位の符号量の一例を示す説明図である。
図8は、処理ブロックが2×2個の符号化ブロックから構成され、符号化ブロックがマクロブロック又はCTUである例を示しており、各々の符号化ブロックの符号量を数字で表している。さらに、各処理ブロックの中央に、当該処理ブロックに属する符号化ブロックの符号量の総和を当該処理ブロックの符号量として表している。
図8の例では、符号化ブロックの符号量の単位をbyteで表しているが、一例に過ぎず、bit単位で表されていてもよい。
The feature quantities C n and t of each processing block calculated by the equation (1) represent the ratio of the code amounts of each processing block, and the influence of the variation in the size of the total code amount for each picture is suppressed. It is a feature quantity.
FIG. 8 is an explanatory diagram showing an example of the code amount in the processing block unit.
FIG. 8 shows an example in which the processing block is composed of 2 × 2 coded blocks and the coded block is a macro block or a CTU, and the code amount of each coded block is represented by a number. Further, in the center of each processing block, the total code amount of the coded blocks belonging to the processing block is represented as the code amount of the processing block.
In the example of FIG. 8, the unit of the code amount of the coded block is represented by byte, but it is only an example and may be represented by bit unit.

評価値算出部3は、特徴量算出部2により算出された参照ピクチャPtpにおける処理ブロック単位の特徴量Cn,tpと、評価対象ピクチャPtcにおける処理ブロック単位の特徴量Cn,tcとから、シーンチェンジの有無の判定に用いる評価値Jを算出する(図4のステップST3)。
例えば、評価値算出部3は、シーンチェンジの有無の判定に用いる評価値Jとして、以下の式(2)に示すように、参照ピクチャPtpと評価対象ピクチャPtcとの間での処理ブロック単位の特徴量の差分絶対値和を算出する。

Figure 0006782789
評価値算出部3により算出された評価値Jは、参照ピクチャPtpと評価対象ピクチャPtcとの間での絵柄の変化が大きい程、参照ピクチャPtpと評価対象ピクチャPtcの処理ブロック単位の符号量の分布の差異が大きくなり、値が大きくなる。
また、MIN_NUM_BLは、NUM_BLtpとNUM_BLtcの最小値である。即ち、参照ピクチャPtpと評価対象ピクチャPtcの処理ブロック数が異なる場合、両ピクチャ共に特徴量を算出している処理ブロックのみが評価値Jの算出対象となる。
例えば、参照ピクチャPtpと評価対象ピクチャPtcの符号化データのサイズが大きく異なる場合、復号処理時間も大きく異なる傾向にある。そのようなケースにて、各ピクチャの符号化データの復号処理や処理ブロック単位の特徴量の算出に割かれる時間が一律に制限されている場合、処理可能な処理ブロック数が両ピクチャで異なる結果となる。このような場合、評価値Jは、両ピクチャ共に特徴量を算出している処理ブロックのみを対象として求められる。なお、上記のように各々のピクチャで消費できる処理時間Tを決定することで、所望の処理速度(フレームレート1/T)での特徴量算出処理が可能となる。Evaluation value calculation unit 3, the feature amount C n of the processing block in the reference picture P tp calculated by the feature amount calculation unit 2, and tp, the feature amount C n of the processing block in the evaluation object picture P tc, and tc From, the evaluation value J used for determining the presence or absence of the scene change is calculated (step ST3 in FIG. 4).
For example, the evaluation value calculation unit 3 sets the evaluation value J used for determining the presence or absence of a scene change as a processing block between the reference picture P t t and the evaluation target picture P tc as shown in the following equation (2). Calculate the sum of the absolute values of the features of the unit.
Figure 0006782789
Evaluation value J calculated by the evaluation value calculating section 3, as the pattern of change between the reference picture P tp evaluated picture P tc is large, the reference process block units of picture P tp evaluated picture P tc The difference in the distribution of the code amount of is large, and the value is large.
Further, MIN_NUM_BL is the minimum value of NUM_BL tp and NUM_BL tc. That is, when the number of processing blocks of the reference picture P tp and the evaluation target picture P tk are different, only the processing block for which the feature amount is calculated for both pictures is the calculation target of the evaluation value J.
For example, when the sizes of the encoded data of the reference picture P tp and the evaluation target picture P ct are significantly different, the decoding processing time tends to be significantly different. In such a case, if the time devoted to decoding the coded data of each picture and calculating the feature amount in each processing block is uniformly limited, the number of processing blocks that can be processed differs between the two pictures. It becomes. In such a case, the evaluation value J is obtained only for the processing block for which the feature amount is calculated for both pictures. By determining the processing time T that can be consumed in each picture as described above, the feature amount calculation processing at a desired processing speed (frame rate 1 / T) becomes possible.

有無判定部4は、評価値算出部3により算出された評価値Jと、事前に設定された閾値Thとを比較する(図4のステップST4)。
有無判定部4は、評価値算出部3により算出された評価値Jが閾値Th以上であれば(図4のステップST4:YESの場合)、参照ピクチャPtpと評価対象ピクチャPtcとの間にシーンチェンジが有ると判定する(図4のステップST5)。
有無判定部4は、評価値算出部3により算出された評価値Jが閾値Th未満であれば(図4のステップST4:NOの場合)、参照ピクチャPtpと評価対象ピクチャPtcとの間にシーンチェンジが無いと判定する(図4のステップST6)。
有無判定部4は、シーンチェンジの有無の判定結果を出力する。
なお、閾値Thは、予め設定する固定値であってもよいし、特定の条件に従って切り替えたり、変化したりするものであってもよい。例えば、コンテンツの種類(ドラマ、ニュース、スポーツ等)毎に閾値Thを用意して切り替えるようにする方法、放送局毎に閾値Thを用意して切り替えるようにする方法、ストリームを生成するエンコーダ毎に閾値Thを用意して切り替えるようにする方法、ストリームを生成するエンコーダの設定に従って適応的に閾値Thを算出する(エンコーダの設定値を変数とした閾値Thの算出式を用意する)方法、ストリームの符号量推移に従って適応的に閾値Thを算出する(符号量の時間変化(時間方向の1〜n次微分、nは1以上の整数)を変数とした閾値Thの算出式を用意する)方法、対象とする処理ブロック数、即ち、MIN_NUM_BLに比例した値(Th=MIN_NUM_BL×Th_Base、Th_Baseは、閾値Thの基準値となる予め設定する0より大きい定数)とする方法などが考えられる。なお、MIN_NUM_BLに比例した値とする方法では、評価対象ピクチャPtc毎のMIN_NUM_BL(またはMIN_NUM_BL’)の変動による評価値Jの取りうる最大値の変動を加味した閾値が設定されることとなり、高精度なシーンチェンジ検出処理を実現できる。
さらに、これらの方法を組み合わせた方法でもよい。例えば、ストリームの符号量推移に従って適応的に閾値Thを算出する方法と、MIN_NUM_BLに比例した値とする方法とを組み合わせた方法等である。この場合、ストリームの符号量推移に従って適応的に算出する閾値ThをTh_Baseに置き換えることで実現できる。
The presence / absence determination unit 4 compares the evaluation value J calculated by the evaluation value calculation unit 3 with the preset threshold value Th (step ST4 in FIG. 4).
If the evaluation value J calculated by the evaluation value calculation unit 3 is equal to or greater than the threshold value Th (in the case of step ST4: YES in FIG. 4), the presence / absence determination unit 4 is between the reference picture P tp and the evaluation target picture P tk. It is determined that there is a scene change in (step ST5 in FIG. 4).
If the evaluation value J calculated by the evaluation value calculation unit 3 is less than the threshold value Th (in the case of step ST4: NO in FIG. 4), the presence / absence determination unit 4 is between the reference picture P tp and the evaluation target picture P tk. It is determined that there is no scene change in (step ST6 in FIG. 4).
The presence / absence determination unit 4 outputs a determination result of presence / absence of a scene change.
The threshold value Th may be a fixed value set in advance, or may be switched or changed according to a specific condition. For example, a method of preparing a threshold Th for each type of content (drama, news, sports, etc.) and switching, a method of preparing a threshold Th for each broadcasting station and switching, and each encoder that generates a stream. A method of preparing a threshold Th and switching, a method of adaptively calculating the threshold Th according to the setting of the encoder that generates the stream (preparing a calculation formula of the threshold Th using the setting value of the encoder as a variable), a method of the stream A method of adaptively calculating the threshold Th according to the transition of the code amount (preparing a calculation formula of the threshold Th with the time change of the code amount (1st to nth differential in the time direction, n is an integer of 1 or more) as a variable). A method of setting the number of target processing blocks, that is, a value proportional to MIN_NUM_BL (Th = MIN_NUM_BL × Th_Base, Th_Base is a preset value larger than 0 which is a reference value of the threshold Th) can be considered. In the method of a value proportional to MIN_NUM_BL, becomes the threshold in consideration of the variation of the maximum possible value of the evaluation value J of changes in MIN_NUM_BL of each evaluation object picture P tc (or MIN_NUM_BL ') is set, the high Accurate scene change detection processing can be realized.
Further, a method in which these methods are combined may be used. For example, there is a method that combines a method of adaptively calculating the threshold value Th according to the transition of the code amount of the stream and a method of setting the value proportional to MIN_NUM_BL. In this case, it can be realized by replacing the threshold value Th, which is adaptively calculated according to the code amount transition of the stream, with Th_Base.

ピクチャ選択部1により決定された候補ピクチャの中に、未だ評価対象ピクチャとして選択していないピクチャが残っていれば(図4のステップST7:YESの場合)、ステップST1の処理に戻り、ステップST1〜ST7の処理が繰り返される。
なお、戻ったステップST1の処理で、ピクチャ選択部1により選択された2つのピクチャのうち、特徴量が既に算出されているピクチャについては、特徴量算出部2による特徴量の算出処理を省略するようにしてもよい。このようにすることで、特徴量の再計算を実施せずに済み、処理時間を短縮することができる。例えば、図5、図6で説明したように、候補ピクチャの中から、再生順に評価対象ピクチャを選択し、参照ピクチャを評価対象ピクチャより再生順で一つ前の候補ピクチャとする場合、評価対象ピクチャにおける特徴量Cn,tcは、再生順で一つ先の候補ピクチャを評価対象ピクチャに選択した際の参照ピクチャにおける特徴量Cn,tpとなる。したがって、算出した特徴量Cn,tcを順次保存しておき、特徴量Cn,tpは、保存された特徴量から読み出すようにすることで特徴量の算出処理を省略することができる。
また、復号順と再生順が異なる場合、復号順に評価対象ピクチャを選択し、参照ピクチャを評価対象ピクチャより復号順で前かつ再生順で最も評価対象ピクチャに近い候補ピクチャとしてシーンチェンジの有無を評価してもよい。この場合においても、特徴量が既に算出されているピクチャは、特徴量の算出結果を流用して処理を省略するようにしてもよい。
ピクチャ選択部1により決定された候補ピクチャの中に、未だ評価対象ピクチャとして選択していない候補ピクチャが残っていなければ(図4のステップST7:NOの場合)、一連の処理が終了する。
If a picture that has not yet been selected as an evaluation target picture remains among the candidate pictures determined by the picture selection unit 1 (step ST7 in FIG. 4: YES), the process returns to step ST1 and step ST1 The process of ~ ST7 is repeated.
Of the two pictures selected by the picture selection unit 1 in the returned step ST1, the feature amount calculation process by the feature amount calculation unit 2 is omitted for the picture whose feature amount has already been calculated. You may do so. By doing so, it is not necessary to recalculate the feature amount, and the processing time can be shortened. For example, as described in FIGS. 5 and 6, when the evaluation target picture is selected from the candidate pictures in the playback order and the reference picture is set to the previous candidate picture in the playback order from the evaluation target picture, the evaluation target is The feature amounts C n, tk in the picture are the feature amounts C n, tp in the reference picture when the candidate picture one ahead in the reproduction order is selected as the evaluation target picture. Therefore, the calculated feature quantities C n and tk are sequentially stored, and the feature quantities C n and tp are read out from the stored feature quantities, so that the feature quantity calculation process can be omitted.
If the decoding order and the playback order are different, the evaluation target picture is selected in the decoding order, and the presence or absence of a scene change is evaluated as the reference picture before the evaluation target picture in the decoding order and as the candidate picture closest to the evaluation target picture in the playback order. You may. Even in this case, for the picture for which the feature amount has already been calculated, the calculation result of the feature amount may be diverted and the processing may be omitted.
If there is no candidate picture that has not yet been selected as the evaluation target picture in the candidate pictures determined by the picture selection unit 1 (step ST7: NO in FIG. 4), a series of processes is completed.

以上で明らかなように、この実施の形態1によれば、特徴量算出部2により算出された2つのピクチャに含まれるブロック単位の特徴量から、シーンチェンジの有無の判定に用いる評価値を算出する評価値算出部3を設け、有無判定部4が、評価値算出部3により算出された評価値と閾値を比較することで、2つのピクチャの間でのシーンチェンジの有無を判定する。そして、特徴量算出部2が、ピクチャ選択部1により選択されたピクチャのブロック毎に、当該ブロックの符号量から、当該ブロックの特徴量を算出するように、画像処理装置を構成した。したがって、画像処理装置は、動きベクトルが含まれていないピクチャについても、シーンチェンジの有無を判定することができる。 As is clear from the above, according to the first embodiment, the evaluation value used for determining the presence or absence of a scene change is calculated from the feature amount of each block included in the two pictures calculated by the feature amount calculation unit 2. The evaluation value calculation unit 3 is provided, and the presence / absence determination unit 4 determines the presence / absence of a scene change between the two pictures by comparing the evaluation value calculated by the evaluation value calculation unit 3 with the threshold value. Then, the image processing device is configured so that the feature amount calculation unit 2 calculates the feature amount of the block from the code amount of the block for each block of the picture selected by the picture selection unit 1. Therefore, the image processing device can determine whether or not there is a scene change even for a picture that does not include a motion vector.

この実施の形態1では、符号化映像ストリームが画像処理装置のピクチャ選択部1に与えられる例を示しているが、符号化映像ストリームを格納するメディア伝送ストリームが画像処理装置に与えられることがある。
この場合、図9に示すように、メディア伝送ストリームから符号化映像ストリームを取り出して、符号化映像ストリームをピクチャ選択部1に出力するデマルチプレクサ5を備えるようにしてもよい。
図9は、この発明の実施の形態1による他の画像処理装置を示す構成図である。
メディア伝送ストリームとしては、例えば、MPEG−2 TS(ISO/IEC 13818−1/ITU−T H.222.0のTransport Stream)、あるいは、MMT(ISO/IEC 23008−1)などのメディア伝送フォーマットでパケット化されているメディア伝送ストリームなどが想定される。
In the first embodiment, an example in which the coded video stream is given to the picture selection unit 1 of the image processing device is shown, but a media transmission stream for storing the coded video stream may be given to the image processing device. ..
In this case, as shown in FIG. 9, a demultiplexer 5 may be provided which takes out the coded video stream from the media transmission stream and outputs the coded video stream to the picture selection unit 1.
FIG. 9 is a configuration diagram showing another image processing apparatus according to the first embodiment of the present invention.
The media transmission stream may be, for example, in a media transmission format such as MPEG-2 TS (ISO / IEC 13818-1 / ITU-TH.222.0 Transport Stream) or MMT (ISO / IEC 23008-1). A packetized media transmission stream or the like is assumed.

デマルチプレクサ5は、与えられたメディア伝送ストリームのヘッダ情報から、各々のアクセスユニットの間の区切り、NALユニットの種類及びサイズを知ることができる。
デマルチプレクサ5が、各々のアクセスユニットの間の区切りを示す情報をピクチャ選択部1に与えるようにすれば、ピクチャ選択部1では、デマルチプレクサ5から与えられた情報に基づいて、符号化映像ストリームの中から所望のピクチャを選択することができる。
また、デマルチプレクサ5が、NALユニットの種類及びサイズを示す情報を特徴量算出部2に与えるようにすれば、特徴量算出部2では、評価対象ピクチャにおけるシンタックスの復号処理を実施することなく、上記評価対象ピクチャの符号量を特定することができる。
From the header information of the given media transmission stream, the demultiplexer 5 can know the delimiter between each access unit, the type and size of the NAL unit.
If the demultiplexer 5 gives the picture selection unit 1 information indicating the delimiter between the access units, the picture selection unit 1 will use the coded video stream based on the information given by the demultiplexer 5. A desired picture can be selected from the above.
Further, if the demultiplexer 5 provides the feature amount calculation unit 2 with information indicating the type and size of the NAL unit, the feature amount calculation unit 2 does not perform the syntax decoding process in the evaluation target picture. , The code amount of the evaluation target picture can be specified.

この実施の形態1では、特徴量算出部2が、処理ブロックの符号量Sn,tの算出処理において、ピクチャ全体の処理ブロックを対象とする例を示している。
これは一例に過ぎず、特徴量算出部2の処理負荷を軽減するために、処理ブロックの符号量Sn,tの算出処理において、ピクチャ内の一部の処理ブロックだけを対象とするようにしてもよい。
In the first embodiment, the feature amount calculation unit 2 shows an example in which the processing block of the entire picture is targeted in the calculation processing of the code amounts Sn and t of the processing block.
This is only an example, and in order to reduce the processing load of the feature amount calculation unit 2 , in the calculation process of the code amounts Sn and t of the processing blocks, only a part of the processing blocks in the picture are targeted. You may.

具体的には、図10に示すように、行方向及び列方向のそれぞれで、1つおきの処理ブロックだけを対象とするようにしてもよい。
図10は、ピクチャを構成する処理ブロックのうち、符号量を特定する処理ブロックを示す説明図である。
図10において、“1”が記述されている処理ブロックは、符号量を特定する処理ブロックであり、“0”が記述されている処理ブロックは、符号量を特定しない処理ブロックである。
Specifically, as shown in FIG. 10, only every other processing block may be targeted in each of the row direction and the column direction.
FIG. 10 is an explanatory diagram showing a processing block for specifying a code amount among the processing blocks constituting the picture.
In FIG. 10, the processing block in which "1" is described is a processing block for specifying the code amount, and the processing block in which "0" is described is a processing block for which the code amount is not specified.

また、図11に示すように、1行おきの処理ブロック、あるいは、1列おきの処理ブロックだけを対象とするようにしてもよい。
図11は、ピクチャを構成する処理ブロックのうち、符号量を特定する処理ブロックを示す説明図である。
図11において、“1”が記述されている処理ブロックは、符号量を特定する処理ブロックであり、“0”が記述されている処理ブロックは、符号量を特定しない処理ブロックである。
Further, as shown in FIG. 11, only the processing blocks every other row or the processing blocks every other column may be targeted.
FIG. 11 is an explanatory diagram showing a processing block for specifying a code amount among the processing blocks constituting the picture.
In FIG. 11, the processing block in which "1" is described is a processing block for specifying the code amount, and the processing block in which "0" is described is a processing block for which the code amount is not specified.

図12に示すように、処理ブロックの符号量Sn,tの算出処理において、ピクチャの左上の処理ブロックからラスタスキャン順に特定の処理ブロックまでを対象とし、残りの処理ブロックは対象としないようにしてもよい。
図12は、ピクチャを構成する処理ブロックのうち、符号量を特定する処理ブロックを示す説明図である。
図12において、“1”が記述されている処理ブロックは、符号量を特定する処理ブロックであり、“0”が記述されている処理ブロックは、符号量を特定しない処理ブロックである。
なお、図10から図12において、“1”が記述されている処理ブロックと、“0”が記述されている処理ブロックとが逆であってもよい。
As shown in FIG. 12, in the calculation process of the code amounts Sn and t of the processing blocks, the processing blocks from the upper left of the picture to the specific processing blocks in the order of raster scan are targeted, and the remaining processing blocks are not targeted. You may.
FIG. 12 is an explanatory diagram showing a processing block for specifying a code amount among the processing blocks constituting the picture.
In FIG. 12, the processing block in which "1" is described is a processing block for specifying the code amount, and the processing block in which "0" is described is a processing block for which the code amount is not specified.
In addition, in FIGS. 10 to 12, the processing block in which "1" is described and the processing block in which "0" is described may be reversed.

実施の形態2.
上記実施の形態1では、特徴量算出部2が、符号化ブロックの符号化データを復号して、符号化データの復号結果から処理ブロックの符号量を特定し、処理ブロックの符号量から、処理ブロックの特徴量を算出する例を示している。
この実施の形態2では、特徴量算出部2が、ピクチャ選択部1により選択されたピクチャ番号tのピクチャPの処理ブロック毎に、当該処理ブロックの特徴量Cn,tとして、当該処理ブロックに含まれている分割ブロックの個数を用いるようにしてもよい。
Embodiment 2.
In the first embodiment, the feature amount calculation unit 2 decodes the coded data of the coded block, specifies the code amount of the processing block from the decoding result of the coded data, and processes from the code amount of the processing block. An example of calculating the feature amount of a block is shown.
In the second embodiment, the feature amount calculating section 2, for each processing block of the picture P t of the picture number t selected by the picture selecting unit 1, the feature amount of the processing block C n, as t, the processing block The number of division blocks included in may be used.

当該処理ブロックに含まれている分割ブロックの個数は、当該処理ブロックに属する各符号化ブロックに含まれている分割ブロックの個数を加算することで算出される。
符号化ブロックに含まれている分割ブロックの個数は、例えば、符号化方式がAVC/H.264であれば、マクロブロックタイプ(mb_type)で決まるマクロブロック内のブロック数に相当する。マクロブロック内のブロック数は、評価対象ピクチャにおけるシンタックスの復号処理を実施することで得られる。
符号化方式がHEVC/H.265であれば、符号化ブロックであるCTU内のCU(Coding Unit)の数に相当する。CTU内のCUの数は、評価対象ピクチャにおけるシンタックスの復号処理を実施することで得られる。
処理ブロックの特徴量として、当該処理ブロックに含まれている分割ブロックの個数を特定する場合、特徴量算出部2が、処理ブロックの特徴量を算出する際に符号量を正規化する処理が不要になり、特徴量算出部2の処理負荷が軽減される。
The number of divided blocks included in the processing block is calculated by adding the number of divided blocks included in each coded block belonging to the processing block.
The number of divided blocks included in the coded block is determined by, for example, the coding method being AVC / H. If it is 264, it corresponds to the number of blocks in the macro block determined by the macro block type (mb_type). The number of blocks in the macroblock can be obtained by performing a syntax decoding process on the picture to be evaluated.
The coding method is HEVC / H. If it is 265, it corresponds to the number of CUs (Coding Units) in the CTU which is a coding block. The number of CUs in the CTU is obtained by performing a syntax decoding process on the picture to be evaluated.
When specifying the number of divided blocks included in the processing block as the feature amount of the processing block, the feature amount calculation unit 2 does not need to normalize the code amount when calculating the feature amount of the processing block. Therefore, the processing load of the feature amount calculation unit 2 is reduced.

実施の形態3.
上記実施の形態1では、特徴量算出部2が、符号化ブロックの符号化データを復号して、符号化データの復号結果から処理ブロックの符号量を特定し、処理ブロックの符号量から、処理ブロックの特徴量を算出する例を示している。
この実施の形態3では、特徴量算出部2が、ピクチャ選択部1により選択されたピクチャ番号tのピクチャPの処理ブロック毎に、当該処理ブロックの特徴量Cn,tとして、当該処理ブロックにおける分割ブロックの最深の階層数を用いるようにしてもよい。
Embodiment 3.
In the first embodiment, the feature amount calculation unit 2 decodes the coded data of the coded block, specifies the code amount of the processing block from the decoding result of the coded data, and processes from the code amount of the processing block. An example of calculating the feature amount of a block is shown.
In the third embodiment, the feature amount calculating section 2, for each processing block of the picture P t of the picture number t selected by the picture selecting unit 1, the feature amount of the processing block C n, as t, the processing block You may use the number of layers of the deepest division block in.

当該処理ブロックにおける分割ブロックの最深の階層数は、当該処理ブロックに属する各符号化ブロックにおける分割ブロックの最深の階層数の最大値を求めることで算出される。
符号化ブロックにおける分割ブロックの最深の階層数は、例えば、符号化方式がHEVC/H.265であれば、図13に示すように、符号化ブロックであるCTUに含まれている複数のCUのうち、分割の階層が最も深い数に相当する。
図13は、符号化ブロックにおける分割ブロックの階層数を示す説明図である。
図13の例では、CU depthの最大値が3であるため、符号化ブロックにおける分割ブロックの最深の階層数は、3である。
分割ブロックの最深の階層数は、評価対象ピクチャにおけるシンタックスの復号処理を実施することで得られる。
処理ブロックの特徴量として、当該処理ブロックにおける分割ブロックの最深の階層数を特定する場合、特徴量算出部2が、処理ブロックの特徴量を算出する際に符号量を正規化する処理が不要になり、特徴量算出部2の処理負荷が軽減される。
The number of the deepest layers of the divided block in the processing block is calculated by obtaining the maximum value of the number of the deepest layers of the divided block in each coded block belonging to the processing block.
The number of layers in the deepest division block in the coding block is, for example, the coding method is HEVC / H. If it is 265, as shown in FIG. 13, among the plurality of CUs included in the CTU which is the coding block, the division hierarchy corresponds to the deepest number.
FIG. 13 is an explanatory diagram showing the number of layers of the divided blocks in the coded block.
In the example of FIG. 13, since the maximum value of CU depth is 3, the number of layers in the deepest division block in the coded block is 3.
The number of layers at the deepest layer of the divided block can be obtained by performing a syntax decoding process on the picture to be evaluated.
When specifying the number of layers of the division block in the processing block as the feature amount of the processing block, the feature amount calculation unit 2 does not need to normalize the code amount when calculating the feature amount of the processing block. Therefore, the processing load of the feature amount calculation unit 2 is reduced.

実施の形態4.
上記実施の形態1では、評価値算出部3が、特徴量算出部2により算出された参照ピクチャPtpにおける処理ブロック単位の特徴量Cn,tpと、評価対象ピクチャPtcにおける処理ブロック単位の特徴量Cn,tcとから、評価値Jを算出する例を示している。
この実施の形態4では、評価値算出部3が、ピクチャ番号t=tpの参照ピクチャPtpにおける処理ブロック単位の特徴量Cn,tpと、ピクチャ番号t=tcの評価対象ピクチャPtcにおける処理ブロック単位の特徴量Cn,tcと、候補ピクチャの中で参照ピクチャPtpよりも再生時刻的に1つ前のピクチャ番号t=tp’の二次参照ピクチャPtp’における処理ブロック単位の特徴量Cn,tp’とから、評価値Jを算出する例を説明する。
なお、二次参照ピクチャPtp’は参照ピクチャPtpの参照ピクチャ、即ち、参照ピクチャPtpが評価対象ピクチャPtcであったときの参照ピクチャPtpである。したがって、3つのピクチャの再生時刻的位置関係はtp’<tp<tcである。ただし、一般に、GOP毎のピクチャ数は、可変でも良いことから、図6の候補ピクチャの例において、tp’、tp、tcの各候補ピクチャの間隔(tc−tp、tp−tp’)は、異なる可能性がある。
二次参照ピクチャPtp’が再生順で1番目のピクチャであるとすると、参照ピクチャPtpが再生順で2番目のピクチャであり、評価対象ピクチャPtcが再生順で3番目のピクチャである。
Embodiment 4.
In the first embodiment, the evaluation value calculating unit 3, the processing block in the reference picture P tp calculated by the feature amount calculation unit 2 feature quantity C n, and tp, the processing block in the evaluation object picture P tc An example of calculating the evaluation value J from the feature quantities C n and tk is shown.
In the fourth embodiment, the evaluation value calculation unit 3, the feature amount C n of the processing block in the reference picture P tp the picture number t = tp, and tp, the processing in the evaluation object picture P tc the picture number t = tc Features of block units C n, tk and features of processing block units in the secondary reference picture P tp'with picture number t = tp'one before the reference picture P tp in the candidate pictures An example of calculating the evaluation value J from the quantities C n and tp'will be described.
Incidentally, the secondary reference picture P tp 'is the reference picture of the reference picture P tp, i.e., a reference picture P tp when the reference picture P tp was evaluated picture P tc. Therefore, the reproduction time positional relationship of the three pictures is tp'<tp <tk. However, in general, since the number of pictures for each GOP may be variable, in the example of the candidate pictures of FIG. 6, the intervals (tc-tp, tp-tp') of the candidate pictures of tp', tp, and tk are set. It can be different.
With secondary reference picture P tp 'is assumed to be the first picture in the reproduction order, the reference picture P tp is the second picture in the reproduction order, the evaluation object picture P tc is the third picture in the reproduction order ..

次に動作について説明する。
この実施の形態4では、上記実施の形態1と同様に、図4のフローチャートに従って処理されるが、処理内容は、下記に説明する処理に変更となる。
Next, the operation will be described.
In the fourth embodiment, the processing is performed according to the flowchart of FIG. 4 as in the first embodiment, but the processing content is changed to the processing described below.

ピクチャ選択部1は、上記実施の形態1と同様に、複数のピクチャの符号化データが含まれている符号化映像ストリームを取得する。
ピクチャ選択部1は、符号化データが符号化映像ストリームに含まれている複数のピクチャの中から、予め定義された候補ピクチャの決定方法に従って候補ピクチャを決定し、候補ピクチャの中から、上記実施の形態1と同様に、参照ピクチャPtp及び評価対象ピクチャPtcを選択する。
また、ピクチャ選択部1は、候補ピクチャの中から、二次参照ピクチャPtp’を選択する。即ち、図4のステップST1では、評価対象ピクチャと参照ピクチャに加えて、二次参照ピクチャも選択する。
Similar to the first embodiment, the picture selection unit 1 acquires a coded video stream including coded data of a plurality of pictures.
The picture selection unit 1 determines a candidate picture from a plurality of pictures whose coded data is included in the coded video stream according to a predetermined candidate picture determination method, and performs the above operation from the candidate pictures. The reference picture P t p and the evaluation target picture P tc are selected in the same manner as in Form 1 of the above.
Further, the picture selection unit 1 selects the secondary reference picture P tp'from the candidate pictures. That is, in step ST1 of FIG. 4, in addition to the evaluation target picture and the reference picture, the secondary reference picture is also selected.

特徴量算出部2は、上記実施の形態1と同様に、ピクチャ選択部1により選択されたピクチャ毎に、当該評価対象ピクチャに含まれる符号化ブロック単位の符号化データから、処理ブロック単位の特徴量をそれぞれ算出する(図4のステップST2)。
即ち、特徴量算出部2は、参照ピクチャPtpに含まれる処理ブロック単位の特徴量Cn,tpと、評価対象ピクチャPtcに含まれる処理ブロック単位の特徴量Cn,tcとを算出する。
また、特徴量算出部2は、二次参照ピクチャPtp’に含まれる処理ブロック単位の特徴量Cn,tp’を算出する。
Similar to the first embodiment, the feature amount calculation unit 2 performs features of the processing block unit from the coded data of the coded block unit included in the evaluation target picture for each picture selected by the picture selection unit 1. Each amount is calculated (step ST2 in FIG. 4).
That is, the feature amount calculation unit 2 calculates the feature amount C n of the processing blocks included in the reference picture P tp, and tp, the feature amount C n of the processing blocks included in the evaluation object picture P tc, and tc ..
Further, the feature amount calculation unit 2 calculates the feature amount C n, tp'in the processing block unit included in the secondary reference picture P tp' .

評価値算出部3は、特徴量算出部2により算出された参照ピクチャPtpに含まれる処理ブロック単位の特徴量Cn,tpと、評価対象ピクチャPtcに含まれる処理ブロック単位の特徴量Cn,tcと、二次参照ピクチャPtp’に含まれる処理ブロック単位の特徴量Cn,tp’とから、評価値Jを算出する(図4のステップST3)。
具体的には、評価値算出部3は、参照ピクチャPtpと評価対象ピクチャPtcとの間での処理ブロック単位の特徴量の差分絶対値和を算出する。
また、評価値算出部3は、参照ピクチャPtpと二次参照ピクチャPtp’との間での処理ブロック単位の特徴量の差分絶対値和を算出する。
評価値算出部3は、評価値Jとして、以下の式(3)に示すように、算出した双方の差分絶対値和の差分を算出する。

Figure 0006782789
ここで、MIN_NUM_BL’は、NUM_BLtp’、NUM_BLtp、NUM_BLtcの3つの値の最小値である。即ち、二次参照ピクチャPtp’と参照ピクチャPtpと評価対象ピクチャPtcの処理ブロック数が全て同じでない場合、3つのピクチャ共通で特徴量を算出している処理ブロックのみが評価値Jの算出対象となる。
評価値算出部3により算出された評価値Jは、二次参照ピクチャPtp’と参照ピクチャPtpの間で絵柄があまり変化せずに処理ブロック単位の特徴量の変化が小さくなり、さらに、参照ピクチャPtpと評価対象ピクチャPtcの間で絵柄が大きく変化して処理ブロック単位の特徴量の変化が大きくなる場合、値が大きくなる。
したがって、上記実施の形態1〜3では、参照ピクチャPtpと評価対象ピクチャPtcの間の絵柄の変化の大きさを評価していたが、この実施の形態4では、参照ピクチャPtpにおける絵柄の変化の程度と評価対象ピクチャPtcにおける絵柄の変化の程度の差異の大きさを評価するようにしたので、シーンチェンジではないピクチャ間での緩やかな絵柄の変化を、画面全体の絵柄が大きく変化するシーンチェンジと誤検出する可能性を低減し、上記実施の形態1〜3よりも、シーンチェンジの検出精度を高めることができる。
また、処理ブロック単位の特徴量の算出対象となる処理ブロックの定義方法は、上記実施の形態1と同様(ピクチャ内全ての処理ブロック、図10〜12のような一部の処理ブロック等)に任意に定義できる。The evaluation value calculation unit 3 includes the feature amounts C n and tp of the processing block unit included in the reference picture P tp calculated by the feature amount calculation unit 2 and the feature amount C of the processing block unit included in the evaluation target picture P tc. The evaluation value J is calculated from n, tk and the feature amounts C n, tp'in the processing block unit included in the secondary reference picture P tp' (step ST3 in FIG. 4).
Specifically, evaluation value calculation unit 3 calculates a difference absolute value sum of the feature processing block between the reference picture P tp evaluated picture P tc.
Further, the evaluation value calculation unit 3 calculates the sum of the difference absolute values of the feature amounts in the processing block units between the reference picture P tp and the secondary reference picture P tp' .
The evaluation value calculation unit 3 calculates the difference between the calculated absolute values of the differences as the evaluation value J, as shown in the following equation (3).
Figure 0006782789
Here, MIN_NUM_BL 'is, NUM_BL tp', the minimum value of the three values of NUM_BL tp, NUM_BL tc. That is, when the number of processing blocks of the secondary reference picture P tp' , the reference picture P tp, and the evaluation target picture P tk are not all the same, only the processing block for which the feature amount is calculated for all three pictures has the evaluation value J. It is a calculation target.
Evaluation value evaluation value J calculated by the calculating section 3, changes in the characteristics of the processing block without pattern so much change is reduced between the secondary reference picture P tp 'and the reference picture P tp, further, If the change of the feature of the picture is greatly changed and the processing block unit between the reference pictures P tp evaluation object picture P tc increases, the value becomes larger.
Therefore, in the first to third embodiments, reference had been evaluating the size of the pattern of change between pictures P tp evaluated picture P tc, in the fourth embodiment, a picture in the reference picture P tp Since the magnitude of the difference between the degree of change in the picture and the degree of change in the picture in the evaluation target picture PTC is evaluated, the picture on the entire screen becomes large due to the gradual change in the picture between pictures that are not scene changes. It is possible to reduce the possibility of erroneous detection of a changing scene change and improve the detection accuracy of the scene change as compared with the above-described first to third embodiments.
Further, the method of defining the processing block for which the feature amount of each processing block is calculated is the same as that of the first embodiment (all processing blocks in the picture, some processing blocks as shown in FIGS. 10 to 12 and the like). It can be defined arbitrarily.

有無判定部4は、上記実施の形態1と同様に、評価値算出部3により算出された評価値Jと、事前に設定された閾値Thとを比較する(図4のステップST4)。
有無判定部4は、上記実施の形態1と同様に、評価値算出部3により算出された評価値Jが閾値Th以上であれば、参照ピクチャPtpと評価対象ピクチャPtcとの間にシーンチェンジが有ると判定する(図4のステップST5)。
有無判定部4は、上記実施の形態1と同様に、評価値算出部3により算出された評価値Jが閾値Th未満であれば、参照ピクチャPtpと評価対象ピクチャPtcとの間にシーンチェンジが無いと判定する(図4のステップST6)。
有無判定部4は、シーンチェンジの有無の判定結果を出力する。
また、閾値Thの設定方法は、上記実施の形態1と同様である。
The presence / absence determination unit 4 compares the evaluation value J calculated by the evaluation value calculation unit 3 with the preset threshold value Th, as in the first embodiment (step ST4 in FIG. 4).
Similar to the first embodiment, the presence / absence determination unit 4 has a scene between the reference picture P tp and the evaluation target picture P tk when the evaluation value J calculated by the evaluation value calculation unit 3 is equal to or higher than the threshold value Th. It is determined that there is a change (step ST5 in FIG. 4).
Similar to the first embodiment, if the evaluation value J calculated by the evaluation value calculation unit 3 is less than the threshold value Th, the presence / absence determination unit 4 has a scene between the reference picture P tp and the evaluation target picture P tk. It is determined that there is no change (step ST6 in FIG. 4).
The presence / absence determination unit 4 outputs a determination result of presence / absence of a scene change.
Further, the method of setting the threshold value Th is the same as that of the first embodiment.

ピクチャ選択部1により決定された候補ピクチャの中に、未だ評価対象ピクチャとして選択していないピクチャが残っていれば(図4のステップST7:YESの場合)、ステップST1の処理に戻り、ステップST1〜ST7の処理が繰り返される。
なお、戻ったステップST1の処理で、ピクチャ選択部1により選択された3つのピクチャのうち、特徴量が既に算出されているピクチャについては、特徴量算出部2による特徴量の算出処理を省略するようにしてもよい。このようにすることで、特徴量の再計算を実施せずに済み、処理時間を短縮することができる。
ピクチャ選択部1により決定された候補ピクチャの中に、未だ評価対象ピクチャとして選択していないピクチャが残っていなければ(図4のステップST7:NOの場合)、一連の処理が終了する。
If a picture that has not yet been selected as an evaluation target picture remains among the candidate pictures determined by the picture selection unit 1 (step ST7 in FIG. 4: YES), the process returns to step ST1 and step ST1 The process of ~ ST7 is repeated.
Of the three pictures selected by the picture selection unit 1 in the returned step ST1, the feature amount calculation process by the feature amount calculation unit 2 is omitted for the pictures for which the feature amount has already been calculated. You may do so. By doing so, it is not necessary to recalculate the feature amount, and the processing time can be shortened.
If there is no picture that has not yet been selected as the evaluation target picture among the candidate pictures determined by the picture selection unit 1 (step ST7: NO in FIG. 4), a series of processes is completed.

実施の形態5.
上記実施の形態1〜4では、評価値算出部3が、式(2)又は式(3)を用いて、特徴量算出部2により算出された処理ブロック単位の特徴量Cn,tから、評価値Jを算出する例を示している。
この実施の形態5では、評価値算出部3が、評価値Jを算出する際に、処理ブロック単位の特徴量Cn,tと、当該処理ブロックに対応する重み係数wとを用いて、評価値Jを算出する例を説明する。
Embodiment 5.
In the first to fourth embodiments, the evaluation value calculation unit 3 uses the formula (2) or the formula (3) to calculate the feature amount Cn , t of the processing block unit calculated by the feature amount calculation unit 2. An example of calculating the evaluation value J is shown.
In the fifth embodiment, when the evaluation value calculation unit 3 calculates the evaluation value J, the feature amounts C n and t of the processing block unit and the weighting coefficient w n corresponding to the processing block are used. An example of calculating the evaluation value J will be described.

この実施の形態5では、式(2)を以下の式(4)に変更する。あるいは、式(3)を以下の式(5)に変更する。
評価値算出部3は、処理ブロック単位の特徴量Cn,tである特徴量Cn,tc及び特徴量Cn,tpと、重み係数wとを式(4)に代入することで、評価値Jを算出する。
あるいは、評価値算出部3は、処理ブロック単位の特徴量Cn,tである特徴量Cn,tc、特徴量Cn,tp及び特徴量Cn,tp’と、重み係数wとを式(5)に代入することで、評価値Jを算出する。

Figure 0006782789
In the fifth embodiment, the equation (2) is changed to the following equation (4). Alternatively, the equation (3) is changed to the following equation (5).
The evaluation value calculation unit 3 substitutes the feature quantities C n, tk and the feature quantities C n, tp , which are the feature quantities C n, t in the processing block unit , and the weighting coefficient w n into the equation (4). The evaluation value J is calculated.
Alternatively, evaluation value calculation unit 3, the feature amount C n of the processing block, a t feature amount C n, tc, the feature amount C n, tp and the feature C n, and tp ', and a weighting coefficient w n The evaluation value J is calculated by substituting into the equation (5).

Figure 0006782789

式(4)及び式(5)において、特徴量Cn,tcは、評価対象ピクチャPtcにおけるブロック番号nの処理ブロックの特徴量であり、特徴量Cn,tpは、参照ピクチャPtpにおけるブロック番号nの処理ブロックの特徴量である。
また、特徴量Cn,tp’は、二次参照ピクチャPtp’におけるブロック番号nの処理ブロックの特徴量である。
は、特徴量Cn,tcと特徴量Cn,tpとの差分絶対値に乗算する重み係数、あるいは、特徴量Cn,tpと特徴量Cn,tp’との差分絶対値に乗算する重み係数である。
In the formulas (4) and (5), the feature quantities C n and tk are the feature quantities of the processing block of the block number n in the evaluation target picture P tk , and the feature quantities C n and tp are the feature quantities in the reference picture P tp . It is a feature amount of the processing block of block number n.
Further, the feature quantities C n and tp'are the feature quantities of the processing block of the block number n in the secondary reference picture P tp' .
w n is a weighting coefficient that multiplies the absolute value of the difference between the feature C n, tk and the feature C n, tp , or the absolute value of the difference between the feature C n, tp and the feature C n, tp'. The weighting factor to multiply.

式(4)は、以下の式(6)のように変形することができる。また、式(5)は、以下の式(7)のように変形することができる。

Figure 0006782789
Equation (4) can be modified as in equation (6) below. Further, the equation (5) can be modified as the following equation (7).

Figure 0006782789

したがって、評価値算出部3は、式(6)又は式(7)を用いて、評価値Jを算出することができる。
評価値算出部3が、式(6)を用いて、評価値Jを算出する場合、評価値算出部3が、差分絶対値に重み係数wを乗算する代わりに、特徴量算出部2が、特徴量Cn,tc及び特徴量Cn,tpのそれぞれに重み係数wを乗算する。
評価値算出部3が、式(7)を用いて、評価値Jを算出する場合、評価値算出部3が、差分絶対値に重み係数wを乗算する代わりに、特徴量算出部2が、特徴量Cn,tc、特徴量Cn,tp及び特徴量Cn,tp’のそれぞれに重み係数wを乗算する。
Therefore, the evaluation value calculation unit 3 can calculate the evaluation value J by using the formula (6) or the formula (7).
When the evaluation value calculation unit 3 calculates the evaluation value J using the equation (6), the evaluation value calculation unit 3 uses the feature amount calculation unit 2 instead of multiplying the difference absolute value by the weighting coefficient w n. , Each of the feature quantities C n and tk and the feature quantities C n and tp are multiplied by the weighting coefficient w n .
When the evaluation value calculation unit 3 calculates the evaluation value J using the equation (7), the evaluation value calculation unit 3 uses the feature amount calculation unit 2 instead of multiplying the difference absolute value by the weighting coefficient w n. , The feature amount C n, tk , the feature amount C n, tp and the feature amount C n, tp'are each multiplied by the weighting coefficient w n .

具体的には、評価値算出部3が式(6)を用いて、評価値Jを算出する場合、特徴量算出部2は、式(1)の定数Mを以下の式(8)に示す変数M’に置き換えた上で、式(1)を用いて、特徴量Cn,tc及び特徴量Cn,tpのそれぞれを算出する。
特徴量算出部2は、算出した特徴量Cn,tc及び特徴量Cn,tpを評価値算出部3に出力する。
特徴量算出部2から出力された特徴量Cn,tcは、式(6)に示すwn,tcに相当し、特徴量算出部2から出力された特徴量Cn,tpは、式(6)に示すwn,tpに相当する。

Figure 0006782789
Specifically, when the evaluation value calculation unit 3 calculates the evaluation value J using the equation (6), the feature amount calculation unit 2 shows the constant M of the equation (1) in the following equation (8). after having replaced the variable M 'n, using equation (1), the feature amount C n, tc and the feature C n, calculates the respective tp.
The feature amount calculation unit 2 outputs the calculated feature amounts C n, tk and the feature amount C n, tp to the evaluation value calculation unit 3.
Amount characteristic output from the feature amount calculation unit 2 C n, tc is w n C n shown in equation (6) corresponds to tc, the feature quantity output from the feature amount calculation unit 2 C n, tp is It corresponds to w n C n, tp shown in the formula (6).

Figure 0006782789

評価値算出部3が式(7)を用いて、評価値Jを算出する場合、特徴量算出部2は、式(1)の定数Mを式(8)に示す変数M’に置き換えた上で、式(1)を用いて、特徴量Cn,tc、特徴量Cn,tp及び特徴量Cn,tp’のそれぞれを算出する。
特徴量算出部2は、算出した特徴量Cn,tc、特徴量Cn,tp及び特徴量Cn,tp’を評価値算出部3に出力する。
特徴量算出部2から出力された特徴量Cn,tcは、式(7)に示すwn,tcに相当し、特徴量算出部2から出力された特徴量Cn,tpは、式(7)に示すwn,tpに相当する。また、特徴量算出部2から出力された特徴量Cn,tp’は、式(7)に示すwn,tp’に相当する。
Evaluation value calculating unit 3 using Equation (7), when calculating the evaluation value J, the feature amount calculation unit 2 was replaced by a variable M 'n indicating the constant M in equation (1) into equation (8) Above, using the formula (1), each of the feature quantities C n, tk , the feature quantities C n, tp and the feature quantities C n, tp'is calculated.
The feature amount calculation unit 2 outputs the calculated feature amounts C n, tk , the feature amount C n, tp, and the feature amount C n, tp'to the evaluation value calculation unit 3.
Feature amount C n outputted from the feature amount calculation unit 2, tc is w n C n shown in equation (7) corresponds to tc, the output from the feature amount calculation unit 2 feature quantity C n, tp is It corresponds to w n C n, tp shown in the formula (7). The feature amount C n outputted from the feature amount calculation unit 2, tp 'is, w n C n shown in equation (7), tp' corresponds to.

評価値算出部3は、特徴量算出部2から出力された特徴量Cn,tcをwn,tc、特徴量算出部2から出力された特徴量Cn,tpをwn,tpとして式(6)に代入することで、評価値Jを算出する。
あるいは、評価値算出部3は、特徴量算出部2から出力された特徴量Cn,tcをwn,tc、特徴量算出部2から出力された特徴量Cn,tpをwn,tp、特徴量算出部2から出力された特徴量Cn,tp’をwn,tp’として式(7)に代入することで、評価値Jを算出する。
The evaluation value calculation unit 3 sets the feature amounts C n and ct output from the feature amount calculation unit 2 as w n C n and tk , and sets the feature amounts C n and tp output from the feature amount calculation unit 2 as w n C n. , Tp is substituted into the equation (6) to calculate the evaluation value J.
Alternatively, the evaluation value calculation unit 3 sets the feature amounts C n, ct output from the feature amount calculation unit 2 to w n C n, tk , and sets the feature amounts C n, tp output from the feature amount calculation unit 2 w n. C n, by substituting tp, the feature amount C n outputted from the feature amount calculation unit 2, 'a w n C n, tp' tp in equation (7) as to calculate the evaluation value J.

ここで、処理ブロック毎の重み係数wは、処理ブロックの重要度を示すものであり、重み係数wの値が大きい処理ブロックほど、シーンチェンジを検出するに際して、重要な処理ブロックであることを意味している。
したがって、処理ブロック毎の重み係数wは、検出したいシーンの変化パターンにおいて、絵柄の変化が不連続または変化が急峻となりやすい処理ブロック程、大きな値になるように設計されていればよい。
Here, the weighting coefficient w n for each processing block indicates the importance of the processing block, and the larger the value of the weighting coefficient w n is, the more important the processing block is when detecting a scene change. Means.
Therefore, the weighting coefficient w n for each processing block at the changing pattern of to be detected scene, the pattern of change in a discontinuous or changes as prone processing block steep, need only be designed to be large value.

以下、重み係数wの具体例を挙げる。
以下の式(9)に示すように、処理ブロックの2次元座標(X,Y)を変数とする関数h(X,Y)で、重み係数wを定義する。

Figure 0006782789

例えば、ピクチャに含まれる複数の処理ブロックが、図16のように表される場合、(X,Y)は、ブロック番号nの処理ブロックの2次元座標(X:水平方向(x)成分、Y:垂直方向(y)成分)を示している。
図16は、処理ブロックの水平方向と垂直方向の座標を示す説明図である。
図16の例では、左上の処理ブロック(0,0)を基準の処理ブロックとしており、基準の処理ブロックの2次元座標は、(X,Y)である。
例えば、処理ブロック(5,1)の2次元座標は、(X,Y)であり、処理ブロック(2,3)の2次元座標は、(X21,Y21)である。Hereinafter, specific examples of the weighting coefficient w n will be given.
As shown in the following equation (9), the weighting coefficient w n is defined by the function h (X n , Y n ) whose variables are the two-dimensional coordinates (X n , Y n ) of the processing block.

Figure 0006782789

For example, when a plurality of processing blocks included in the picture are represented as shown in FIG. 16, (X n , Y n ) is the two-dimensional coordinates (X n : horizontal direction (x)) of the processing block having the block number n. Component, Y n : vertical (y) component) is shown.
FIG. 16 is an explanatory diagram showing the coordinates in the horizontal direction and the vertical direction of the processing block.
In the example of FIG. 16, the upper left processing block (0, 0) is used as the reference processing block, and the two-dimensional coordinates of the reference processing block are (X 1 , Y 1 ).
For example, the two-dimensional coordinates of the processing block (5, 1) are (X 6 , Y 6 ), and the two-dimensional coordinates of the processing block (2, 3) are (X 21 , Y 21 ).

例えば、シーンチェンジを、「画面の中央部分に移る被写体が不連続に変化することである」と定義する場合、以下の式(10)に示す関数h(x,y)で表される重み係数wは、画面中央に近い処理ブロック程、値が大きくなるように設定される。

Figure 0006782789
For example, when a scene change is defined as "a subject moving to the center of the screen changes discontinuously", a weighting coefficient represented by the function h (x, y) shown in the following equation (10) is used. The value of w n is set so that the processing block closer to the center of the screen has a larger value.

Figure 0006782789

式(10)において、Wは、ピクチャ全体を処理ブロックで分割したときの水平方向の処理ブロック数、Hは、ピクチャ全体を処理ブロックで分割したときの垂直方向の処理ブロック数、A、A、L、Lは、それぞれ正の定数である。さらに、A、Aは、それぞれx成分、y成分の重みのスケーリング値の役割を持っており、値が大きいほど、画面中央からの距離が離れたときの重みの低減比率が高くなる。
(x)は、任意の単調増加関数である。f(x)の例として、以下の式(11)又は式(12)で表される関数が考えられる。

Figure 0006782789
式(11)及び式(12)において、a及びbは、それぞれ正の定数である。In equation (10), W is the number of horizontal processing blocks when the entire picture is divided by processing blocks, and H is the number of vertical processing blocks when the entire picture is divided by processing blocks, A x , A. y , L x , and L y are positive constants, respectively. Further, A x and A y have a role of scaling values of the weights of the x component and the y component, respectively, and the larger the value, the higher the weight reduction ratio when the distance from the center of the screen is increased.
f i (x) is any monotonically increasing function. As an example of fi (x), a function represented by the following equation (11) or equation (12) can be considered.
Figure 0006782789
In the formula (11) and Equation (12), a i and b i is a positive constant, respectively.

例えば、W=6、H=4として、ピクチャに含まれる複数の処理ブロックが、図16のように表され、単調増加関数f(x)が、式(11)で表される関数であるとする。
このとき、例えば、a1=a2=1、A=1、A=1、L=(W/2)−1=2、L=(H/2)−1=1であれば、図17のように、画面中心の処理ブロックの重み係数が、最も大きいw=1となり、画面中心から離れている処理ブロックの重み係数ほど、小さい重み係数となる。一方、L、Lの値を小さい値とする。例えばa1=a2=1、A=1、A=1、L=1、L=1とすれば、各々の処理ブロックの重み係数wは、図18のように、画面中央部分で重み係数がw=1となり、重み係数が大きい処理ブロックの数が、図17の場合よりも増加する。
図17及び図18は、処理ブロック毎の重みwの一例を示す説明図である。
図17では、例えば、処理ブロック(5,0)の重み係数wは、1/√6、処理ブロック(1,1)の重み係数wは、1/√2、処理ブロック(3,1)の重み係数wは、1である。
図18では、例えば、処理ブロック(5,0)の重み係数wは、1/√3、処理ブロック(1,1)及び処理ブロック(3,1)の重み係数wは、1である。
For example, as W = 6, H = 4, a plurality of processing blocks included in the picture is represented as in FIG. 16, monotonically increasing function f i (x) is a function expressed by the formula (11) And.
At this time, for example, a 1 = a 2 = 1, A x = 1, A y = 1, L x = (W / 2) -1 = 2, Ly = (H / 2) -1 = 1. For example, as shown in FIG. 17, the weighting coefficient of the processing block at the center of the screen is the largest w n = 1, and the weighting coefficient of the processing block farther from the center of the screen is smaller. On the other hand, the values of L x and Ly are set to small values. For example, if a 1 = a 2 = 1, A x = 1, A y = 1, L x = 1, Ly = 1, the weighting coefficient w n of each processing block is a screen as shown in FIG. The weighting coefficient is w n = 1 in the central portion, and the number of processing blocks having a large weighting coefficient increases as compared with the case of FIG.
17 and 18 are explanatory views showing an example of the weight w n for each processing block.
In Figure 17, for example, the weight coefficient w n of the processing block (5,0) is, 1 / √6, weighting coefficient w n of the processing block (1,1), 1 / √2, processing blocks (3,1 ) Has a weighting coefficient w n of 1.
In Figure 18, for example, the weight coefficient w n of the processing block (5,0) is 1 / √3, the weight coefficient w n of the processing block (1,1) and the processing block (3,1) is a 1 ..

また、式(10)について、f(x)が、式(11)で表される関数であり、a1=a2=1、L=(W/2)−1、L=(H/2)−1の場合、式(10)は、式(13)のように変形できる。これによって、x、yの値に応じた場合分けが不要となる。

Figure 0006782789
Further, the equation (10), f i (x ) is a function expressed by the formula (11), a 1 = a 2 = 1, L x = (W / 2) -1, L y = ( In the case of H / 2) -1, the equation (10) can be modified as in the equation (13). As a result, it is not necessary to classify cases according to the values of x and y.
Figure 0006782789

また、重み係数wは、式(10)に示す関数h(x,y)の代わりに、以下の式(14)に示す関数h(x,y)としてもよい。

Figure 0006782789
重み係数wを式(14)に示す関数h(x,y)で表す場合、二乗の計算及び平方根の計算がないため、重み係数wを式(10)に示す関数h(x,y)で表す場合よりも、計算負荷を下げることができる。
式(10)の例と同様に、例えば、a=a=1、L=(W/2)−1、L=(H/2)−1であれば、画面中心の処理ブロックの重み係数が、最も大きいw=1となり、画面中心から離れている処理ブロックの重み係数ほど、小さい重み係数となる。一方、L、Lの値を小さい値とする。例えばa=a=1、L=1、L=1とすれば、各々の処理ブロックの重み係数wは、画面中央部分で重み係数がw=1となり、重み係数が大きい処理ブロックの数が増加する。Further, the weighting coefficient w n may be a function h (x, y) shown in the following equation (14) instead of the function h (x, y) shown in the equation (10).
Figure 0006782789
When the weighting coefficient w n is expressed by the function h (x, y) shown in the equation (14), the weighting coefficient w n is expressed by the function h (x, y) shown in the equation (10) because there is no calculation of the square and the square root. ) Can be used to reduce the calculation load.
Similar to the example of the equation (10), for example, if a 1 = a 2 = 1, L x = (W / 2) -1, and Ly = (H / 2) -1, the processing block at the center of the screen. The weighting coefficient of is the largest w n = 1, and the weighting coefficient of the processing block farther from the center of the screen is smaller. On the other hand, the values of L x and Ly are set to small values. For example, if a 1 = a 2 = 1, L x = 1, and Ly = 1, the weighting coefficient w n of each processing block is w n = 1 in the center of the screen, and the weighting coefficient is large. The number of processing blocks increases.

また、式(14)について、f(x)が、式(11)で表される関数であり、a1=a2=1、L=(W/2)−1、L=(H/2)−1の場合、式(14)は、式(15)のように変形できる。これによって、x、yの値に応じた場合分けが不要となる。

Figure 0006782789
Further, the equation (14), f i (x ) is a function expressed by the formula (11), a 1 = a 2 = 1, L x = (W / 2) -1, L y = ( In the case of H / 2) -1, the equation (14) can be transformed like the equation (15). As a result, it is not necessary to classify cases according to the values of x and y.
Figure 0006782789

さらに、式(10)及び式(14)の計算負荷を削減するため、x成分、y成分の重みのスケーリング値を意味するA、Aは、それぞれ式(16)及び式(17)に示すように、シフト演算としてもよい。このようにすることで、スケーリングの精度は、整数精度となるが、スケーリング処理は、ビットシフトで演算可能となる。

Figure 0006782789

Figure 0006782789
ここで、B、Bは、シフト量を示し、値が大きいほど、画面中央からの距離が離れたときの重みの低減比率が高くなる。さらに、式(16)及び式(17)では、左シフトするように定義したが、式(18)及び式(19)に示すように、それぞれ右シフトを用いるようにしてもよい。
Figure 0006782789

Figure 0006782789
式(18)及び式(19)は、式(16)及び式(17)と同様に、B、Bは、シフト量を示すが、値が大きいほど、画面中央からの距離が離れたときの重みの低減比率が低くなる点で、式(16)及び式(17)と異なる。
また、上記で説明した「A、AをB、Bによるシフト演算とすること」は、式(13)及び式(15)にも適用できる。Furthermore, in order to reduce the computational load of the formula (10) and (14), x component, A x, which means the scaling value of the weight of the y component, A y are each formula (16) and (17) As shown, it may be a shift operation. By doing so, the scaling accuracy becomes an integer accuracy, but the scaling process can be calculated by bit shifting.
Figure 0006782789

Figure 0006782789
Here, B x, B y represents the shift amount, the larger the value, reducing the ratio of the weight increases when a remote distance from the screen center. Further, in the equations (16) and (17), the shift to the left is defined, but as shown in the equations (18) and (19), the right shift may be used respectively.
Figure 0006782789

Figure 0006782789
Equation (18) and (19), similar to Equation (16) and (17), B x, B y, while indicating the shift amount, the larger the value, apart distance from the screen center It differs from the equations (16) and (17) in that the weight reduction ratio at the time is low.
Further, as described above, "A x, to the A y B x, a shift operation by B y" is also applicable to Formula (13) and (15).

また、図12に示すように、処理ブロックの符号量Sn,tの算出処理において、ピクチャを構成する処理ブロックのうち、ピクチャの左上の処理ブロックからラスタスキャン順に特定の処理ブロックまでを算出対象とする。そして、残りの処理ブロックについては、算出対象としないようにする場合、あるいは、復号処理時間等の制約で符号量Sn,tの算出処理を行える処理ブロックの数がピクチャ毎に変化する場合、LとLは、評価値Jの算出単位に可変としてもよい。
例えば、符号量Sn,tの算出処理を実施できた最後の処理ブロックの2次元座標を(XMIN_NUM_BL,YMIN_NUM_BL)(あるいは(XMIN_NUM_BL’,YMIN_NUM_BL’))とした場合、Lは、(W/2)−1に固定する。一方、Lは、YMIN_NUM_BL(あるいはYMIN_NUM_BL’)が(H/2)−1より小さい場合、L=YMIN_NUM_BL(あるいはYMIN_NUM_BL’)とし、それ以外は、L=(H/2)−1とする。これによって、評価値Jを算出する際のMIN_NUM_BL(あるいはMIN_NUM_BL’)が小さい場合において、L=(H/2)−1で固定した場合よりも、それぞれの処理ブロックの重み係数wが大きくなって評価値Jの値が大きくなるため、有無判定部4でのシーンチェンジ検出感度を高くすることができる。
Further, as shown in FIG. 12, in the calculation process of the code amounts Sn and t of the processing blocks, among the processing blocks constituting the picture, the processing blocks from the upper left processing block of the picture to the specific processing blocks in the order of raster scan are calculated. And. Then, when the remaining processing blocks are not included in the calculation target, or when the number of processing blocks that can perform the calculation processing of the code amounts Sn and t changes for each picture due to restrictions such as the decoding processing time. L x and L y may be variable in the calculation unit of the evaluation value J.
For example, when the two-dimensional coordinates of the last processing block that can perform the calculation processing of the code amounts S n and t are (X MIN_NUM_BL , Y MIN_NUM_BL ) (or (X MIN_NUM_BL' , Y MIN_NUM_BL' )), L x is , (W / 2) -1. On the other hand, L y is 'If (H / 2) -1 smaller, L y = Y MIN_NUM_BL (or Y MIN_NUM_BL Y MIN_NUM_BL (or Y MIN_NUM_BL)' and), otherwise, L y = (H / 2 ) -1. Thus, in the case MIN_NUM_BL when calculating the evaluation value J (or MIN_NUM_BL ') is smaller, than when secured with L y = (H / 2) -1, a large weighting coefficient w n of the respective processing blocks Therefore, since the value of the evaluation value J becomes large, the scene change detection sensitivity in the presence / absence determination unit 4 can be increased.

上記では、シーンチェンジを、「画面の中央部分に移る被写体が不連続に変化することである」と定義したが、シーンチェンジを、「画面の背景が不連続に変化することである」と定義するようにしてもよい。
シーンチェンジを、「画面の背景が不連続に変化することである」と定義する場合、重み係数wは、背景が写りやすい画面端に近い処理ブロック程、値が大きくなるように設定される。
シーンチェンジを、「画面の背景が不連続に変化することである」と定義する場合、重み係数wは、式(10)に示す関数h(x,y)の代わりに、以下の式(20)に示す関数h(x,y)で表すことができる。

Figure 0006782789
あるいは、重み係数wは、式(14)に示す関数h(x,y)の代わりに、以下の式(21)に示す関数h(x,y)で表すことができる。
Figure 0006782789
In the above, the scene change is defined as "the subject moving to the center of the screen changes discontinuously", but the scene change is defined as "the background of the screen changes discontinuously". You may try to do it.
When the scene change is defined as "the background of the screen changes discontinuously", the weighting coefficient w n is set so that the processing block closer to the edge of the screen where the background is easily reflected has a larger value. ..
When the scene change is defined as "the background of the screen changes discontinuously", the weighting coefficient w n is expressed by the following equation (x, y) instead of the function h (x, y) shown in the equation (10). It can be represented by the function h (x, y) shown in 20).
Figure 0006782789
Alternatively, the weighting coefficient w n can be expressed by the function h (x, y) shown in the following equation (21) instead of the function h (x, y) shown in the equation (14).
Figure 0006782789

有無判定部4での閾値Thの設定方法は、上記実施の形態1と同様として良い。さらに、他の例として、MIN_NUM_BL(またはMIN_NUM_BL’)が評価対象ピクチャPtc毎に変わる場合、閾値Thを重み係数wから求まる式(22)で算出するようにしても良い。このようにすることで、評価対象ピクチャPtc毎のMIN_NUM_BL(またはMIN_NUM_BL’)の変動による評価値Jの取りうる最大値の変動を加味した閾値が設定されることとなり、高精度なシーンチェンジ検出処理を実現できる。

Figure 0006782789
ただし、Th_Baseは、閾値Thの基準値となる予め設定する0より大きい定数である。また、評価値Jの算出にMIN_NUM_BL’を用いる場合は、式(22)のMIN_NUM_BLをMIN_NUM_BL’に置き換える。
さらに、本方法を上記実施の形態1に記載の方法と組み合わせた方法でもよい。例えば、本方法とストリームの符号量推移に従って適応的に閾値Thを算出する方法とを組み合わせた方法等である。この場合、ストリームの符号量推移に従って適応的に算出する閾値ThをTh_Baseに置き換えることで実現できる。The method of setting the threshold value Th in the presence / absence determination unit 4 may be the same as that of the first embodiment. Further, as another example, if the MIN_NUM_BL (or MIN_NUM_BL ') is changed for each evaluation object picture P tc, it may be the threshold value Th be calculated by equation (22) obtained from the weighting coefficient w n. In this way, it becomes the threshold in consideration of the variation of the maximum possible value of the evaluation value J of changes in MIN_NUM_BL of each evaluation object picture P tc (or MIN_NUM_BL ') is set, accurate scene change detection Processing can be realized.
Figure 0006782789
However, Th_Base is a preset value larger than 0, which is a reference value of the threshold value Th. When MIN_NUM_BL'is used for the calculation of the evaluation value J, MIN_NUM_BL in the formula (22) is replaced with MIN_NUM_BL'.
Further, a method in which this method is combined with the method described in the first embodiment may be used. For example, it is a method that combines this method and a method of adaptively calculating the threshold value Th according to the code amount transition of the stream. In this case, it can be realized by replacing the threshold value Th, which is adaptively calculated according to the code amount transition of the stream, with Th_Base.

実施の形態6.
上記実施の形態5では、処理ブロック毎の重み係数wを用いて、評価値Jを算出する例を示している。
この実施の形態6では、符号化ブロック毎の重み係数wを用いて、評価値Jを算出する例を説明する。
Embodiment 6.
In the fifth embodiment, an example in which the evaluation value J is calculated by using the weighting coefficient w n for each processing block is shown.
In the sixth embodiment, by using a weighting factor w m for each code block, an example of calculating the evaluation value J.

まず、特徴量算出部2は、処理ブロック毎の重み係数wの代わりに、符号化ブロック毎の重み係数wを取得する。mは、ラスタスキャン順に番号付けされた符号化ブロックのブロック番号を示す変数であり、wは、ブロック番号mの符号化ブロックについての重み係数である。
特徴量算出部2は、式(1)の定数Mを以下の式(23)に示す変数M’に置き換えた上で、式(1)を用いて、ブロック番号mの符号化ブロックにおける特徴量Cm,tc及び特徴量Cm,tpのそれぞれを算出、あるいは、特徴量Cm,tc、特徴量Cm,tp及び特徴量Cm,tp’のそれぞれを算出する。

Figure 0006782789
特徴量算出部2は、変数M’を用いて、特徴量Cm,t(Cm,tc、m,tp、あるいは、Cm,tp’)を算出する場合、式(1)におけるブロック番号nの処理ブロックの符号量Sn,tの代わりに、ブロック番号mの符号化ブロックの符号量を用いる。First, the feature amount calculating unit 2, instead of the weighting coefficient w n for each processing block acquires a weighting factor w m for each encoding block. m is a variable indicating the block number of the coded block numbered in the raster scan order, and w m is a weighting coefficient for the coded block of the block number m.
Feature amount calculation unit 2, after replacing the variable M 'm shown in equation (23) below the constant M in equation (1), using equation (1), characterized in the coding block of the block number m Calculate each of the quantities C m, ct and the feature C m, tp , or calculate each of the features C m, tk , the features C m, tp and the features C m, tp' .
Figure 0006782789
Feature amount calculation unit 2 'with m, the feature amount C m, t (C m, tc, C m, tp or,, C m, tp' variables M) when calculating the, in the formula (1) The code amount of the coded block of the block number m is used instead of the code amount Sn and t of the processing block of the block number n.

特徴量算出部2は、算出した特徴量Cm,tc及び特徴量Cm,tpを評価値算出部3に出力する。
あるいは、特徴量算出部2は、算出した特徴量Cm,tc、特徴量Cm,tp及び特徴量Cm,tp’を評価値算出部3に出力する。
評価値算出部3は、式(6)において、wn,tcの代わりにCm,tcを用い、wn,tpの代わりにCm,tpを用いて、評価値Jを算出する。
あるいは、評価値算出部3は、式(7)において、wn,tcの代わりにCm,tcを用い、wn,tpの代わりにCm,tpを用い、wn,tp’の代わりにCm,tp’を用いて、評価値Jを算出する。
The feature amount calculation unit 2 outputs the calculated feature amounts C m, tk and the feature amount C m, tp to the evaluation value calculation unit 3.
Alternatively, the feature amount calculation unit 2 outputs the calculated feature amounts C m, ct , feature amount C m, tp, and feature amount C m, tp'to the evaluation value calculation unit 3.
Evaluation value calculation unit 3, in formula (6), w n C n , with C m, tc instead of tc, with w n C n, C m, tp instead of tp, the evaluation value J calculate.
Alternatively, evaluation value calculation unit 3, in formula (7), C m, the tc using w n C n, instead of tc, C m, the tp using w n C n, instead of tp, w n C The evaluation value J is calculated by using C m, tp'instead of n, tp' .

この実施の形態6では、符号化ブロック毎の重み係数wを用いて、評価値Jを算出するようにしているので、処理ブロックよりも細かい符号化ブロック単位で、各領域の重要度を調節することができ、シーンチェンジの検出性能を高めることができる。In the sixth embodiment, since the evaluation value J is calculated by using the weighting coefficient w m for each coded block, the importance of each area is adjusted in units of coded blocks finer than the processing block. It is possible to improve the detection performance of the scene change.

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。 In the present invention, within the scope of the invention, it is possible to freely combine each embodiment, modify any component of each embodiment, or omit any component in each embodiment. ..

この発明は、シーンの変化点であるシーンチェンジの有無を判定する画像処理装置及び画像処理方法に適している。 The present invention is suitable for an image processing apparatus and an image processing method for determining the presence or absence of a scene change, which is a scene change point.

1 ピクチャ選択部、2 特徴量算出部、3 評価値算出部、4 有無判定部、5 デマルチプレクサ、11 ピクチャ選択回路、12 特徴量算出回路、13 評価値算出回路、14 有無判定回路、21 メモリ、22 プロセッサ。 1 Picture selection unit, 2 Feature amount calculation unit, 3 Evaluation value calculation unit, 4 Presence / absence determination unit, 5 Demultiplexer, 11 Picture selection circuit, 12 Feature amount calculation circuit, 13 Evaluation value calculation circuit, 14 Presence / absence determination circuit, 21 Memory , 22 processors.

Claims (23)

号化ブロック単位に符号化する方式で符号化処理された複数のピクチャの中から、シーンの変化点であるシーンチェンジの有無を評価する対象のピクチャとして、2つのピクチャを選択するピクチャ選択部と、
前記ピクチャ選択部により選択された2つのピクチャのそれぞれについて、ピクチャに含まれる符号化処理単位を示す符号化ブロックを2つのピクチャ間でそれぞれ独立に1以上含む同一サイズに定義された処理ブロック単位の特徴量をそれぞれ算出する特徴量算出部と、
前記特徴量算出部により算出された2つのピクチャに含まれる前記処理ブロック単位の特徴量から、シーンチェンジの有無の判定に用いる評価値を算出する評価値算出部と、
前記評価値算出部により算出された評価値と閾値を比較することで、前記2つのピクチャの間でのシーンチェンジの有無を判定する有無判定部とを備え、
前記特徴量算出部は、前記ピクチャ選択部により選択されたピクチャの前記処理ブロック毎に、前記処理ブロックの符号量又は前記処理ブロックに含まれている符号化ブロックにおける分割ブロックの最深の階層数から、前記処理ブロックの特徴量を算出することを特徴とする画像処理装置。
From a manner of encoding the marks Goka blocks of the encoding process by a plurality of pictures, as a target picture to assess the presence or absence of a scene change is a change point of scenes, the picture selecting unit for selecting two pictures When,
For each of the two pictures selected by the picture selection unit, a processing block unit defined to the same size including one or more coding blocks indicating a coding processing unit included in the picture independently between the two pictures. A feature amount calculation unit that calculates each feature amount,
An evaluation value calculation unit that calculates an evaluation value used for determining the presence or absence of a scene change from the feature amount of the processing block unit included in the two pictures calculated by the feature amount calculation unit.
A presence / absence determination unit for determining the presence / absence of a scene change between the two pictures is provided by comparing the evaluation value calculated by the evaluation value calculation unit with the threshold value.
The feature amount calculation unit is based on the code amount of the processing block or the number of layers of the deepest division block in the coding block included in the processing block for each processing block of the picture selected by the picture selection unit. , An image processing apparatus characterized by calculating a feature amount of the processing block.
前記特徴量算出部は、前記ピクチャ選択部により選択されたピクチャの前記処理ブロック毎に、前記処理ブロックの符号量を特定し、前記処理ブロックの符号量を当該ピクチャ全体の符号量で除算することで、前記処理ブロックの特徴量を算出することを特徴とする請求項1記載の画像処理装置。 The feature amount calculation unit specifies the code amount of the processing block for each of the processing blocks of the picture selected by the picture selection unit, and divides the code amount of the processing block by the code amount of the entire picture. The image processing apparatus according to claim 1, wherein the feature amount of the processing block is calculated. 前記特徴量算出部は、前記ピクチャ選択部により選択されたピクチャの前記処理ブロック毎に、前記処理ブロックに含まれている分割ブロックの最深の階層数を特定し、前記階層数を前記処理ブロックの特徴量とすることを特徴とする請求項1記載の画像処理装置。 The feature amount calculation unit specifies the number of the deepest layers of the divided blocks included in the processing block for each processing block of the picture selected by the picture selection unit, and determines the number of layers of the processing block. The image processing apparatus according to claim 1, wherein the feature amount is used. 前記評価値算出部は、シーンチェンジの有無の判定に用いる評価値として、前記特徴量算出部により算出された2つのピクチャの間での前記処理ブロック単位の特徴量の差分絶対値和を算出することを特徴とする請求項1記載の画像処理装置。 The evaluation value calculation unit calculates the sum of the difference absolute values of the feature amounts in the processing block units between the two pictures calculated by the feature amount calculation unit as the evaluation value used for determining the presence or absence of a scene change. The image processing apparatus according to claim 1, wherein the image processing apparatus is characterized by the above. 前記ピクチャ選択部は、シーンチェンジの有無を評価する対象のピクチャとして、3つのピクチャを選択し、
前記特徴量算出部は、前記ピクチャ選択部により選択された3つのピクチャのそれぞれについて、ピクチャに含まれる符号化処理単位を示す符号化ブロックを3つのピクチャ間でそれぞれ独立に1以上含んだ同一サイズの処理ブロック単位の特徴量をそれぞれ算出し、
前記評価値算出部は、前記特徴量算出部により前記処理ブロック単位の特徴量が算出された3つのピクチャのうち、再生順で、2番目のピクチャと3番目のピクチャとの間での前記処理ブロック単位の特徴量の差分絶対値和を算出するとともに、再生順で、1番目のピクチャと2番目のピクチャとの間での前記処理ブロック単位の特徴量の差分絶対値和を算出し、シーンチェンジの有無の判定に用いる評価値として、算出した双方の差分絶対値和の差分を算出し、
前記有無判定部は、前記評価値算出部により算出された評価値と閾値を比較することで、再生順で、2番目のピクチャと3番目のピクチャとの間でのシーンチェンジの有無を判定することを特徴とする請求項1記載の画像処理装置。
The picture selection unit selects three pictures as the pictures to be evaluated for the presence or absence of a scene change.
The feature amount calculation unit has the same size for each of the three pictures selected by the picture selection unit, including one or more coding blocks indicating coding processing units included in the pictures independently among the three pictures. Calculate the feature amount of each processing block of
The evaluation value calculation unit performs the processing between the second picture and the third picture in the reproduction order among the three pictures for which the feature amount in the processing block unit is calculated by the feature amount calculation unit. In addition to calculating the difference absolute value sum of the feature amount in the block unit, the difference absolute value sum of the feature amount in the processing block unit between the first picture and the second picture is calculated in the playback order, and the scene As an evaluation value used to determine the presence or absence of a change, the difference between the calculated absolute values of the differences between the two is calculated.
The presence / absence determination unit determines whether or not there is a scene change between the second picture and the third picture in the playback order by comparing the evaluation value calculated by the evaluation value calculation unit with the threshold value. The image processing apparatus according to claim 1.
前記評価値算出部は、シーンチェンジの有無の判定に用いる評価値として、
前記特徴量算出部により算出された2つのピクチャの間での前記処理ブロック単位の特徴量の差分絶対値に対して、前記処理ブロックに対応する重み係数をそれぞれ乗算して、それぞれ重み係数を乗算したブロック単位の差分絶対値の総和を算出することを特徴とする請求項1記載の画像処理装置。
The evaluation value calculation unit uses the evaluation value as an evaluation value used for determining the presence or absence of a scene change.
The absolute value of the feature amount in the processing block unit between the two pictures calculated by the feature amount calculation unit is multiplied by the weighting coefficient corresponding to the processing block, and each is multiplied by the weighting coefficient. The image processing apparatus according to claim 1, wherein the sum of the absolute differences between the blocks is calculated.
前記特徴量算出部は、前記ピクチャ選択部により選択された2つのピクチャの間での前記処理ブロック単位の特徴量に対して、前記処理ブロックに対応する重み係数をそれぞれ乗算し、前記2つのピクチャの間での前記処理ブロック単位の特徴量として、それぞれ重み係数を乗算した特徴量を出力し、
前記評価値算出部は、シーンチェンジの有無の判定に用いる評価値として、前記特徴量算出部から出力された2つのピクチャの間での前記処理ブロック単位の特徴量の差分絶対値和を算出することを特徴とする請求項1記載の画像処理装置。
The feature amount calculation unit multiplies the feature amount of the processing block unit between the two pictures selected by the picture selection unit by the weighting coefficient corresponding to the processing block, respectively, and the two pictures. As the feature amount of the processing block unit between, the feature amount multiplied by the weighting coefficient is output.
The evaluation value calculation unit calculates the sum of the difference absolute values of the feature amounts in the processing block units between the two pictures output from the feature amount calculation unit as the evaluation values used for determining the presence or absence of a scene change. The image processing apparatus according to claim 1, wherein the image processing apparatus is characterized by the above.
前記ピクチャ選択部は、シーンチェンジの有無を評価する対象のピクチャとして、3つのピクチャを選択し、
前記特徴量算出部は、前記ピクチャ選択部により選択された3つのピクチャのそれぞれについて、ピクチャに含まれる符号化処理単位を示す符号化ブロックを3つのピクチャ間でそれぞれ独立に1以上含んだ同一サイズの処理ブロック単位の特徴量をそれぞれ算出し、
前記評価値算出部は、前記特徴量算出部により前記処理ブロック単位の特徴量が算出された3つのピクチャのうち、再生順で、2番目のピクチャと3番目のピクチャとの間でのブロック単位の特徴量の差分絶対値に対して、前記処理ブロックに対応する重み係数をそれぞれ乗算して、それぞれ重み係数を乗算したブロック単位の差分絶対値の総和を算出するとともに、再生順で、1番目のピクチャと2番目のピクチャとの間での前記処理ブロック単位の特徴量の差分絶対値に対して、前記処理ブロックに対応する重み係数をそれぞれ乗算して、それぞれ重み係数を乗算した前記処理ブロック単位の差分絶対値の総和を算出し、シーンチェンジの有無の判定に用いる評価値として、算出した双方の差分絶対値の総和の差分を算出し、
前記有無判定部は、前記評価値算出部により算出された評価値と閾値を比較することで、再生順で、2番目のピクチャと3番目のピクチャとの間でのシーンチェンジの有無を判定することを特徴とする請求項1記載の画像処理装置。
The picture selection unit selects three pictures as the pictures to be evaluated for the presence or absence of a scene change.
The feature amount calculation unit has the same size for each of the three pictures selected by the picture selection unit, including one or more coding blocks indicating coding processing units included in the pictures independently among the three pictures. Calculate the feature amount of each processing block of
The evaluation value calculation unit is a block unit between the second picture and the third picture in the playback order among the three pictures for which the feature amount of the processing block unit is calculated by the feature amount calculation unit. The absolute difference value of the feature amount of is multiplied by the weighting coefficient corresponding to the processing block to calculate the total difference absolute value of each block multiplied by the weighting coefficient, and the first in the playback order. The processing block obtained by multiplying the absolute value of the difference in the feature amount in the processing block unit between the picture and the second picture by the weighting coefficient corresponding to the processing block and multiplying each by the weighting coefficient. The total difference absolute value of the unit is calculated, and the difference between the calculated total difference absolute values of both is calculated as the evaluation value used for determining the presence or absence of a scene change.
The presence / absence determination unit determines whether or not there is a scene change between the second picture and the third picture in the playback order by comparing the evaluation value calculated by the evaluation value calculation unit with the threshold value. The image processing apparatus according to claim 1.
前記ピクチャ選択部は、シーンチェンジの有無を評価する対象のピクチャとして、3つのピクチャを選択し、
前記特徴量算出部は、前記ピクチャ選択部により選択された3つのピクチャのそれぞれについて、ピクチャに含まれる符号化処理単位を示す符号化ブロックを3つのピクチャ間でそれぞれ独立に1以上含んだ同一サイズの処理ブロック単位の特徴量をそれぞれ算出して、それぞれ算出した前記処理ブロック単位の特徴量に対して、前記処理ブロックに対応する重み係数をそれぞれ乗算し、前記ピクチャに含まれる前記処理ブロック単位の特徴量として、それぞれ重み係数を乗算した特徴量を出力し、
前記評価値算出部は、前記特徴量算出部から前記処理ブロック単位の特徴量が出力された3つのピクチャのうち、再生順で、2番目のピクチャと3番目のピクチャとの間での前記処理ブロック単位の特徴量の差分絶対値和を算出するとともに、再生順で、1番目のピクチャと2番目のピクチャとの間での前記処理ブロック単位の特徴量の差分絶対値和を算出し、シーンチェンジの有無の判定に用いる評価値として、算出した双方の差分絶対値和の差分を算出し、
前記有無判定部は、前記評価値算出部により算出された評価値と閾値を比較することで、再生順で、2番目のピクチャと3番目のピクチャとの間でのシーンチェンジの有無を判定することを特徴とする請求項1記載の画像処理装置。
The picture selection unit selects three pictures as the pictures to be evaluated for the presence or absence of a scene change.
The feature amount calculation unit has the same size for each of the three pictures selected by the picture selection unit, including one or more coding blocks indicating the coding processing units included in the pictures independently among the three pictures. The feature amount of each processing block unit is calculated, and the calculated feature amount of the processing block unit is multiplied by the weighting coefficient corresponding to the processing block, respectively, and the feature amount of the processing block unit included in the picture is included. As the feature quantity, the feature quantity multiplied by the weighting coefficient is output.
The evaluation value calculation unit performs the processing between the second picture and the third picture in the reproduction order among the three pictures in which the feature amount in the processing block unit is output from the feature amount calculation unit. In addition to calculating the difference absolute value sum of the feature amount in the block unit, the difference absolute value sum of the feature amount in the processing block unit between the first picture and the second picture is calculated in the playback order, and the scene As an evaluation value used to determine the presence or absence of a change, the difference between the calculated absolute values of the differences between the two is calculated.
The presence / absence determination unit determines whether or not there is a scene change between the second picture and the third picture in the playback order by comparing the evaluation value calculated by the evaluation value calculation unit with the threshold value. The image processing apparatus according to claim 1.
ピクチャ選択部が、符号化ブロック単位に符号化する方式で符号化処理された複数のピクチャの中から、シーンチェンジの有無を評価する対象のピクチャとして、2つのピクチャを選択し、
特徴量算出部が、前記ピクチャ選択部により選択された2つのピクチャのそれぞれについて、ピクチャに含まれる符号化処理単位を示す符号化ブロックを2つのピクチャ間でそれぞれ独立に1以上含む同一サイズに定義された処理ブロック単位の特徴量をそれぞれ算出し、
評価値算出部が、前記特徴量算出部により算出された2つのピクチャに含まれる前記処理ブロック単位の特徴量から、シーンチェンジの有無の判定に用いる評価値を算出し、
有無判定部が、前記評価値算出部により算出された評価値と閾値を比較することで、前記2つのピクチャの間でのシーンチェンジの有無を判定するものであり、
前記特徴量算出部が、前記ピクチャ選択部により選択されたピクチャの前記処理ブロック毎に、前記処理ブロックの符号量又は前記処理ブロックに含まれている符号化ブロックにおける分割ブロックの最深の階層数から、前記処理ブロックの特徴量を算出することを特徴とする画像処理方法。
Picture selecting unit from among the coding process is a plurality of pictures in a manner that coded marks Goka blocks, as a target picture to assess the presence or absence of a scene change, select two pictures,
The feature amount calculation unit defines, for each of the two pictures selected by the picture selection unit, the same size including one or more coding blocks indicating the coding processing units included in the pictures independently between the two pictures. Calculate the feature amount of each processing block,
The evaluation value calculation unit calculates an evaluation value used for determining the presence or absence of a scene change from the feature amount of the processing block unit included in the two pictures calculated by the feature amount calculation unit.
The presence / absence determination unit determines the presence / absence of a scene change between the two pictures by comparing the evaluation value calculated by the evaluation value calculation unit with the threshold value.
For each processing block of the picture selected by the picture selection unit, the feature amount calculation unit is based on the code amount of the processing block or the number of layers of the deepest division block in the coding block included in the processing block. , An image processing method characterized by calculating a feature amount of the processing block.
前記ピクチャ選択部は、シーンチェンジの有無を評価する対象のピクチャとして、3つのピクチャを選択し、
前記特徴量算出部は、前記ピクチャ選択部により選択された3つのピクチャのそれぞれについて、ピクチャに含まれる符号化処理単位を示す符号化ブロックを3つのピクチャ間でそれぞれ独立に1以上含んだ同一サイズの処理ブロック単位の特徴量をそれぞれ算出し、
前記評価値算出部は、前記特徴量算出部により前記処理ブロック単位の特徴量が算出された3つのピクチャのうち、再生順で、2番目のピクチャと3番目のピクチャとの間での前記処理ブロック単位の特徴量の差分絶対値和を算出するとともに、再生順で、1番目のピクチャと2番目のピクチャとの間での前記処理ブロック単位の特徴量の差分絶対値和を算出し、シーンチェンジの有無の判定に用いる評価値として、算出した双方の差分絶対値和の差分を算出し、
前記有無判定部は、前記評価値算出部により算出された評価値と閾値を比較することで、再生順で、2番目のピクチャと3番目のピクチャとの間でのシーンチェンジの有無を判定することを特徴とする請求項10記載の画像処理方法。
The picture selection unit selects three pictures as the pictures to be evaluated for the presence or absence of a scene change.
The feature amount calculation unit has the same size for each of the three pictures selected by the picture selection unit, including one or more coding blocks indicating coding processing units included in the pictures independently among the three pictures. Calculate the feature amount of each processing block of
The evaluation value calculation unit performs the processing between the second picture and the third picture in the reproduction order among the three pictures for which the feature amount in the processing block unit is calculated by the feature amount calculation unit. In addition to calculating the difference absolute value sum of the feature amount in the block unit, the difference absolute value sum of the feature amount in the processing block unit between the first picture and the second picture is calculated in the playback order, and the scene As an evaluation value used to determine the presence or absence of a change, the difference between the calculated absolute values of the differences between the two is calculated.
The presence / absence determination unit determines whether or not there is a scene change between the second picture and the third picture in the playback order by comparing the evaluation value calculated by the evaluation value calculation unit with the threshold value. The image processing method according to claim 10, wherein the image processing method is characterized.
前記ピクチャ選択部より選択された2つのピクチャで特徴量を算出した前記処理ブロックのうち全てのピクチャにて共通する処理ブロックのみを前記評価値算出部で評価値を算出する対象とすることを特徴とする請求項1記載の画像処理装置。 Of the processing blocks for which the feature amount is calculated for the two pictures selected from the picture selection unit, only the processing block common to all the pictures is targeted for calculating the evaluation value by the evaluation value calculation unit. The image processing apparatus according to claim 1. 前記ピクチャ全体の符号量はアクセスユニットのサイズとし、
前記ピクチャ選択部により選択された2つのピクチャで特徴量を算出した前記処理ブロックのうち全てのピクチャにて共通する処理ブロックのみを前記評価値算出部で評価値を算出する対象とすることを特徴とする請求項2記載の画像処理装置。
The code amount of the entire picture is the size of the access unit.
Of the processing blocks for which the feature amount is calculated for the two pictures selected by the picture selection unit, only the processing block common to all the pictures is targeted for calculating the evaluation value by the evaluation value calculation unit. 2. The image processing apparatus according to claim 2.
前記ピクチャ選択部により選択された3つのピクチャで特徴量を算出した前記処理ブロックのうち全てのピクチャにて共通する処理ブロックのみを前記評価値算出部で評価値を算出する対象とすることを特徴とする請求項5記載の画像処理装置。 Among the processing blocks for which the feature amount is calculated for the three pictures selected by the picture selection unit, only the processing block common to all the pictures is targeted for calculating the evaluation value by the evaluation value calculation unit. The image processing apparatus according to claim 5. 前記特徴量算出部は、前記ピクチャ選択部により選択されたピクチャの前記処理ブロック毎に、前記処理ブロックの符号量を特定し、前記処理ブロックの符号量を当該ピクチャ全体の符号量で除算することで、前記処理ブロックの特徴量を算出し、
前記ピクチャ全体の符号量はアクセスユニットのサイズとし、
前記ピクチャ選択された3つのピクチャで特徴量を算出した前記処理ブロックのうち全てのピクチャにて共通する処理ブロックのみを前記評価値算出部で評価値を算出する対象とすることを特徴とする請求項5記載の画像処理装置。
The feature amount calculation unit specifies the code amount of the processing block for each of the processing blocks of the picture selected by the picture selection unit, and divides the code amount of the processing block by the code amount of the entire picture. Then, the feature amount of the processing block was calculated.
The code amount of the entire picture is the size of the access unit.
The claim is characterized in that, of the processing blocks for which the feature amount is calculated for the three selected pictures, only the processing block common to all the pictures is targeted for the evaluation value calculation unit to calculate the evaluation value. Item 5. The image processing apparatus according to item 5.
前記ピクチャ選択部により選択された3つのピクチャで特徴量を算出した前記処理ブロックのうち全てのピクチャにて共通する処理ブロックのみを前記評価値算出部で評価値を算出する対象とすることを特徴とする請求項8記載の画像処理装置。 Among the processing blocks for which the feature amount is calculated for the three pictures selected by the picture selection unit, only the processing block common to all the pictures is targeted for calculating the evaluation value by the evaluation value calculation unit. 8. The image processing apparatus according to claim 8. 前記特徴量算出部は、前記ピクチャ選択部により選択されたピクチャの前記処理ブロック毎に、前記処理ブロックの符号量を特定し、前記処理ブロックの符号量を当該ピクチャ全体の符号量で除算することで、前記処理ブロックの特徴量を算出し、
前記ピクチャ全体の符号量はアクセスユニットのサイズとし、
前記ピクチャ選択部により選択された3つのピクチャで特徴量を算出した前記処理ブロックのうち全てのピクチャにて共通する処理ブロックのみを前記評価値算出部で評価値を算出する対象とすることを特徴とする請求項8記載の画像処理装置。
The feature amount calculation unit specifies the code amount of the processing block for each of the processing blocks of the picture selected by the picture selection unit, and divides the code amount of the processing block by the code amount of the entire picture. Then, the feature amount of the processing block was calculated.
The code amount of the entire picture is the size of the access unit.
Among the processing blocks for which the feature amount is calculated for the three pictures selected by the picture selection unit, only the processing block common to all the pictures is targeted for calculating the evaluation value by the evaluation value calculation unit. 8. The image processing apparatus according to claim 8.
前記ピクチャ選択部により選択された3つのピクチャで特徴量を算出した前記処理ブロックのうち全てのピクチャにて共通する処理ブロックのみを前記評価値算出部で評価値を算出する対象とすることを特徴とする請求項9記載の画像処理装置。 Among the processing blocks for which the feature amount is calculated for the three pictures selected by the picture selection unit, only the processing block common to all the pictures is targeted for calculating the evaluation value by the evaluation value calculation unit. 9. The image processing apparatus according to claim 9. 前記特徴量算出部は、前記ピクチャ選択部により選択されたピクチャの前記処理ブロック毎に、前記処理ブロックの符号量を特定し、前記処理ブロックの符号量を当該ピクチャ全体の符号量で除算することで、前記処理ブロックの特徴量を算出し、
前記ピクチャ全体の符号量はアクセスユニットのサイズとし、
前記ピクチャ選択部により選択された3つのピクチャで特徴量を算出した前記処理ブロックのうち全てのピクチャにて共通する処理ブロックのみを前記評価値算出部で評価値を算出する対象とすることを特徴とする請求項9記載の画像処理装置。
The feature amount calculation unit specifies the code amount of the processing block for each of the processing blocks of the picture selected by the picture selection unit, and divides the code amount of the processing block by the code amount of the entire picture. Then, the feature amount of the processing block was calculated.
The code amount of the entire picture is the size of the access unit.
Among the processing blocks for which the feature amount is calculated for the three pictures selected by the picture selection unit, only the processing block common to all the pictures is targeted for calculating the evaluation value by the evaluation value calculation unit. 9. The image processing apparatus according to claim 9.
前記ピクチャ選択部により選択された2つのピクチャで特徴量を算出した前記処理ブロックのうち全てのピクチャにて共通する処理ブロックのみを前記評価値算出部で評価値を算出する対象とすることを特徴とする請求項10記載の画像処理方法。 Of the processing blocks for which the feature amount is calculated for the two pictures selected by the picture selection unit, only the processing block common to all the pictures is targeted for calculating the evaluation value by the evaluation value calculation unit. 10. The image processing method according to claim 10. 前記特徴量算出部は、前記ピクチャ選択部により選択されたピクチャの前記処理ブロック毎に、前記処理ブロックの符号量を特定し、前記処理ブロックの符号量を当該ピクチャ全体の符号量で除算することで、前記処理ブロックの特徴量を算出し、
前記ピクチャ全体の符号量はアクセスユニットのサイズとし、
前記ピクチャ選択部により選択された2つのピクチャで特徴量を算出した前記処理ブロックのうち全てのピクチャにて共通する処理ブロックのみを前記評価値算出部で評価値を算出する対象とすることを特徴とする請求項10記載の画像処理方法。
The feature amount calculation unit specifies the code amount of the processing block for each of the processing blocks of the picture selected by the picture selection unit, and divides the code amount of the processing block by the code amount of the entire picture. Then, the feature amount of the processing block was calculated.
The code amount of the entire picture is the size of the access unit.
Of the processing blocks for which the feature amount is calculated for the two pictures selected by the picture selection unit, only the processing block common to all the pictures is targeted for calculating the evaluation value by the evaluation value calculation unit. 10. The image processing method according to claim 10.
前記ピクチャ選択部により選択された3つのピクチャで特徴量を算出した前記処理ブロックのうち全てのピクチャにて共通する処理ブロックのみを前記評価値算出部で評価値を算出する対象とすることを特徴とする請求項11記載の画像処理方法。 Among the processing blocks for which the feature amount is calculated for the three pictures selected by the picture selection unit, only the processing block common to all the pictures is targeted for calculating the evaluation value by the evaluation value calculation unit. The image processing method according to claim 11. 前記特徴量算出部は、前記ピクチャ選択部により選択されたピクチャの前記処理ブロック毎に、前記処理ブロックの符号量を特定し、前記処理ブロックの符号量を当該ピクチャ全体の符号量で除算することで、前記処理ブロックの特徴量を算出し、
前記ピクチャ全体の符号量はアクセスユニットのサイズとし、
前記ピクチャ選択部により選択された3つのピクチャで特徴量を算出した前記処理ブロックのうち全てのピクチャにて共通する処理ブロックのみを前記評価値算出部で評価値を算出する対象とすることを特徴とする請求項11記載の画像処理方法。
The feature amount calculation unit specifies the code amount of the processing block for each of the processing blocks of the picture selected by the picture selection unit, and divides the code amount of the processing block by the code amount of the entire picture. Then, the feature amount of the processing block was calculated.
The code amount of the entire picture is the size of the access unit.
Among the processing blocks for which the feature amount is calculated for the three pictures selected by the picture selection unit, only the processing block common to all the pictures is targeted for calculating the evaluation value by the evaluation value calculation unit. The image processing method according to claim 11.
JP2018550470A 2017-10-24 2018-03-30 Image processing device and image processing method Active JP6782789B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPPCT/JP2017/038339 2017-10-24
PCT/JP2017/038339 WO2019082268A1 (en) 2017-10-24 2017-10-24 Image processing device, and image processing method
PCT/JP2018/013789 WO2019082413A1 (en) 2017-10-24 2018-03-30 Image processing device, and image processing method

Publications (2)

Publication Number Publication Date
JPWO2019082413A1 JPWO2019082413A1 (en) 2019-11-21
JP6782789B2 true JP6782789B2 (en) 2020-11-11

Family

ID=66247342

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018550470A Active JP6782789B2 (en) 2017-10-24 2018-03-30 Image processing device and image processing method

Country Status (3)

Country Link
JP (1) JP6782789B2 (en)
TW (1) TWI673652B (en)
WO (2) WO2019082268A1 (en)

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0636026A (en) * 1992-07-13 1994-02-10 Toshiba Corp Moving picture processor
JP3315766B2 (en) * 1992-09-07 2002-08-19 富士通株式会社 Image data encoding method, image data encoding device using the method, image data restoring method, image data restoring device using the method, scene change detecting method, scene change detecting device using the method, scene change recording Device and image data scene change recording / reproducing device
JPH07152779A (en) * 1993-11-29 1995-06-16 Toshiba Corp Processing method for detecting moving picture index and moving picture processor having moving picture index detection processing function
JP3175632B2 (en) * 1997-04-18 2001-06-11 松下電器産業株式会社 Scene change detection method and scene change detection device
JP2001251630A (en) * 2000-03-06 2001-09-14 Nec Corp Image signal coder and its method
US7382417B2 (en) * 2004-12-23 2008-06-03 Intel Corporation Method and algorithm for detection of scene cuts or similar images in video images
JP4618166B2 (en) * 2006-03-07 2011-01-26 ソニー株式会社 Image processing apparatus, image processing method, and program
TW200822739A (en) * 2006-11-10 2008-05-16 Benq Corp Method for chaptering an image datum according to scene change
JP4420056B2 (en) * 2007-04-20 2010-02-24 ソニー株式会社 Image processing apparatus, image processing method, image processing program, reproduction information generation apparatus, reproduction information generation method, and reproduction information generation program
JP4698754B2 (en) * 2007-05-21 2011-06-08 三菱電機株式会社 Scene change detection method and apparatus
US7859547B2 (en) * 2007-09-25 2010-12-28 Himax Technologies Limited Display parameter adjusting method and apparatus for scene change compensation
JP5191240B2 (en) * 2008-01-09 2013-05-08 オリンパス株式会社 Scene change detection apparatus and scene change detection program
JP5178616B2 (en) * 2009-04-22 2013-04-10 三菱電機株式会社 Scene change detection device and video recording device
JP2012142645A (en) * 2009-04-28 2012-07-26 Mitsubishi Electric Corp Audio/video reproducing apparatus, audio/video recording and reproducing apparatus, audio/video editing apparatus, audio/video reproducing method, audio/video recording and reproducing method, and audio/video editing apparatus
JP2015216632A (en) * 2014-04-22 2015-12-03 ソニー株式会社 Coding device and coding method
JP6373681B2 (en) * 2014-07-30 2018-08-15 Kddi株式会社 Objective image quality evaluation apparatus, objective image quality evaluation method, and program
JP6588745B2 (en) * 2015-06-24 2019-10-09 日本放送協会 Scene change detection device and program thereof

Also Published As

Publication number Publication date
TWI673652B (en) 2019-10-01
WO2019082268A1 (en) 2019-05-02
WO2019082413A1 (en) 2019-05-02
JPWO2019082413A1 (en) 2019-11-21
TW201917631A (en) 2019-05-01

Similar Documents

Publication Publication Date Title
JP6005157B2 (en) Depth map encoding and decoding
JP2005191706A (en) Moving picture coding method and apparatus adopting the same
US20150264383A1 (en) Block Copy Modes for Image and Video Coding
CN101682758A (en) Method and system for encoding an image signal, encoded image signal, method and system for decoding an image signal
KR102453803B1 (en) Method and apparatus for processing image
US8611423B2 (en) Determination of optimal frame types in video encoding
US20080112631A1 (en) Method of obtaining a motion vector in block-based motion estimation
JP5178616B2 (en) Scene change detection device and video recording device
JP6782789B2 (en) Image processing device and image processing method
CA2871668A1 (en) Macroblock partitioning and motion estimation using object analysis for video compression
Shen et al. Context-adaptive based CU processing for 3D-HEVC
JP4759537B2 (en) Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, image decoding program, and computer-readable recording medium
KR101671759B1 (en) Method for executing intra prediction using bottom-up pruning method appliing to high efficiency video coding and apparatus therefor
CN112203094A (en) Encoding method, encoding device, electronic device and storage medium
JP2021103876A (en) Method and system of encoding image in video sequence
JP6758977B2 (en) Image processing equipment, image processing methods and programs
US10075691B2 (en) Multiview video coding method using non-referenced view video group
KR101492060B1 (en) Method for overall transforming color of video
CN112383774B (en) Encoding method, encoder and server
CN113438483B (en) Crowdsourcing video coding method and device
JP2008072608A (en) Apparatus and method for encoding image
KR20210108265A (en) Method, Device And Non-Transitory Computer Readable Recording Medium For Depth Picture Encoding Using Plane Modeling Coefficient Prediction
JP4536505B2 (en) Predictive image generation method and image encoding method
JP6187286B2 (en) Video encoding device
JP5754120B2 (en) Motion vector detection apparatus, motion vector detection method and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180925

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180925

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180925

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20181107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190108

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190626

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20190626

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190704

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20190709

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20190906

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20190910

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200421

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20200630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200825

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200825

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20200908

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20201013

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20201013

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201020

R150 Certificate of patent or registration of utility model

Ref document number: 6782789

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250