WO2019082413A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法

Info

Publication number
WO2019082413A1
WO2019082413A1 PCT/JP2018/013789 JP2018013789W WO2019082413A1 WO 2019082413 A1 WO2019082413 A1 WO 2019082413A1 JP 2018013789 W JP2018013789 W JP 2018013789W WO 2019082413 A1 WO2019082413 A1 WO 2019082413A1
Authority
WO
WIPO (PCT)
Prior art keywords
picture
block
pictures
evaluation value
feature
Prior art date
Application number
PCT/JP2018/013789
Other languages
English (en)
French (fr)
Inventor
彰 峯澤
守屋　芳美
杉本　和夫
島田　昌明
恵明 楠
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2018550470A priority Critical patent/JP6782789B2/ja
Priority to TW107127425A priority patent/TWI673652B/zh
Publication of WO2019082413A1 publication Critical patent/WO2019082413A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression

Definitions

  • the present invention relates to an image processing apparatus and an image processing method for determining the presence or absence of a scene change which is a change point of a scene.
  • Patent Document 1 discloses an image processing apparatus that determines the presence or absence of a scene change.
  • This image processing apparatus acquires a motion vector, which is one of the coding parameters of a plurality of pictures, from the encoded video stream, and determines the presence or absence of a scene change from the difference of the motion vectors among the plurality of pictures. I have to.
  • the presence or absence of a scene change can be determined if a motion vector is included as a coding parameter of a picture in a coded video stream.
  • the coding mode of a picture is, for example, an intra-frame coding mode
  • a motion vector may not be included as a coding parameter of the picture.
  • the present invention has been made to solve the above-described problems, and it is an object of the present invention to provide an image processing apparatus and an image processing method capable of determining the presence or absence of a scene change even for a picture containing no motion vector. To aim.
  • the image processing apparatus selects one of a plurality of pictures as a picture to be evaluated for the presence or absence of a scene change, which is a scene change point, by a picture selection unit and a picture selection unit.
  • the feature quantity calculation unit that calculates the feature quantity of each block included in the picture and the feature quantity of the block unit included in the two pictures calculated by the feature quantity calculation unit By comparing the evaluation value calculated by the evaluation value calculation unit with the evaluation value calculation unit that calculates the evaluation value used to determine the presence or absence of a change, and the threshold value, the presence or absence of a scene change between two pictures is determined.
  • a feature amount calculation unit for each block of the picture selected by the picture selection unit, a symbol of the block From the number of layers of the deepest split blocks included in the amount or the block, in which to calculate the characteristic amount of the block.
  • the evaluation value calculation unit is provided for calculating an evaluation value used to determine the presence or absence of a scene change from the feature amounts in block units included in two pictures calculated by the feature amount calculation unit.
  • the presence or absence of a scene change between two pictures is determined by comparing the threshold with the evaluation value calculated by the evaluation value calculation unit.
  • the feature amount calculation unit calculates the feature amount of the block based on the code amount of the block or the deepest number of layers in the divided block included in the block.
  • the image processing apparatus was configured to Therefore, the image processing apparatus according to the present invention can determine the presence or absence of a scene change even for a picture which does not include a motion vector.
  • FIG. 1 is a block diagram showing an image processing apparatus according to Embodiment 1 of the present invention. It is a hardware block diagram which shows the image processing apparatus by Embodiment 1 of this invention.
  • FIG. 17 is a hardware configuration diagram of a computer in the case where the image processing apparatus is realized by software or firmware.
  • 7 is a flowchart showing an image processing method which is a processing procedure when the image processing apparatus is realized by software or firmware.
  • FIG. 7 is an explanatory drawing showing an example of selecting an evaluation target picture from among a plurality of pictures included in a coded video stream.
  • FIG. 7 is an explanatory drawing showing an example of selecting an evaluation target picture from among a plurality of pictures included in a coded video stream.
  • the coding method is AVC / H.
  • FIG. 1 is a block diagram showing an image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a hardware configuration diagram showing an image processing apparatus according to Embodiment 1 of the present invention.
  • the picture selection unit 1 is realized by, for example, the picture selection circuit 11 shown in FIG.
  • the picture selection unit 1 executes a process of acquiring a coded video stream including coded data of a plurality of pictures.
  • the picture selection unit 1 determines a candidate picture to be evaluated for the presence or absence of a scene change, which is a scene change point, from among a plurality of pictures having encoded data encoded in encoded block units (block units), A process of selecting two pictures is performed as a target picture for which the presence or absence of a scene change is to be evaluated from candidate pictures.
  • the method of determining candidate pictures is assumed to be previously defined.
  • the coded data of a picture is, for example, data coded in coding block units called macroblocks, or in coding block units called CTU (Coding Tree Unit).
  • the H.264 standard is disclosed in the following non-patent document 1.
  • the H.265 standard is disclosed in the following non-patent document 2.
  • Non-Patent Document 1 ISO / IEC 14496-10 / ITU-T H.2.
  • H.264 standard ISO / IEC 23008-2 / ITU-T H.264. 265 standard
  • the feature quantity calculation unit 2 is realized by, for example, the feature quantity calculation circuit 12 shown in FIG.
  • the feature amount calculation unit 2 performs, for each of the pictures selected by the picture selection unit 1, a process of calculating a feature amount in units of processing blocks from coded data in units of coding blocks in the picture.
  • FIG. 14 shows an example in which a processing block is composed of four coding blocks. Further, as in the example shown in FIG. 15, the number of coding blocks in the vertical direction and the horizontal direction constituting the processing block may be different.
  • the feature amount in processing block units is calculated from the coded data of each coding block in the processing block.
  • the coded data of each coding block is decoded, the code amount of each coding block is specified from the decoding result of the coded data, and the coding blocks belonging to each processing block are identified.
  • the sum of code amounts is taken as a feature amount in processing block units. Note that the processing block sizes of two pictures selected by the picture selection unit 1 (configurations of coding blocks in processing blocks to be defined in advance) are the same.
  • the evaluation value calculation unit 3 is realized by, for example, the evaluation value calculation circuit 13 shown in FIG.
  • the evaluation value calculation unit 3 executes a process of calculating an evaluation value to be used to determine the presence or absence of a scene change from the feature amounts of the processing block unit included in the two pictures calculated by the feature amount calculation unit 2.
  • the presence / absence determination unit 4 is realized by, for example, the presence / absence determination circuit 14 illustrated in FIG.
  • the presence / absence determination unit 4 executes a process of determining the presence / absence of a scene change between two pictures by comparing the evaluation value calculated by the evaluation value calculation unit 3 with a threshold.
  • each of the picture selection unit 1, the feature amount calculation unit 2, the evaluation value calculation unit 3, and the presence / absence determination unit 4 which are components of the image processing apparatus is realized by dedicated hardware as shown in FIG. 2.
  • the thing is assumed. That is, what is realized by the picture selection circuit 11, the feature amount calculation circuit 12, the evaluation value calculation circuit 13, and the presence / absence determination circuit 14 is assumed.
  • the picture selection circuit 11, the feature value calculation circuit 12, the evaluation value calculation circuit 13, and the presence / absence determination circuit 14 are, for example, a single circuit, a composite circuit, a processor that has been programmed, a processor that is parallel programmed, ASIC (Application Specific) An integrated circuit), an FPGA (field-programmable gate array), or a combination thereof is applicable.
  • the components of the image processing apparatus are not limited to those realized by dedicated hardware, and the image processing apparatus may be realized by software, firmware, or a combination of software and firmware.
  • the software or firmware is stored as a program in the memory of the computer.
  • a computer means hardware that executes a program, and corresponds to, for example, a central processing unit (CPU), a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, a processor, a digital signal processor (DSP), etc. .
  • the memory of the computer may be, for example, non-volatile or volatile such as random access memory (RAM), read only memory (ROM), flash memory, erasable programmable read only memory (EPROM), electrically erasable programmable read only memory (EEPROM).
  • RAM random access memory
  • ROM read only memory
  • EPROM erasable programmable read only memory
  • EEPROM electrically erasable programmable read only memory
  • a semiconductor memory a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD (Digital Versatile Disc), etc. correspond.
  • FIG. 3 is a hardware configuration diagram of a computer when the image processing apparatus is realized by software or firmware.
  • the memory 21 has a program for causing a computer to execute the processing procedure of the picture selection unit 1, feature quantity calculation unit 2, evaluation value calculation unit 3, and presence / absence determination unit 4.
  • the program may be stored and the processor 22 of the computer may execute the program stored in the memory 21.
  • FIG. 4 is a flowchart showing an image processing method which is a processing procedure when the image processing apparatus is realized by software or firmware.
  • FIG. 2 shows an example in which each of the components of the image processing apparatus is realized by dedicated hardware
  • FIG. 3 shows an example in which the image processing apparatus is realized by software or firmware. Some components of the image processing apparatus may be realized by dedicated hardware, and the remaining components may be realized by software, firmware or the like.
  • the picture selection unit 1 obtains a coded video stream including coded data of a plurality of pictures.
  • the picture selecting unit 1 determines a candidate picture from the obtained encoded video stream according to a method for determining a candidate picture defined in advance, and evaluates the presence or absence of a scene change which is a scene change point among the candidate pictures.
  • Two pictures are selected as the picture of (1) (step ST1 in FIG. 4).
  • the later picture in the reproduction order is referred to as the “evaluation target picture”
  • the previous picture in the reproduction order is referred to as the “reference picture”.
  • “Evaluate the presence or absence of a scene change between two pictures” means that there is a scene change from the picture one after the reference picture in the playback order to the evaluation target picture (including the evaluation target picture itself) It shows that it evaluates whether it is not.
  • all of the plurality of pictures in which the encoded data is included in the encoded video stream are set as candidate pictures, and the evaluation target pictures are sequentially selected in the reproduction order from the candidate pictures.
  • An example is shown in which all pictures included in the encoded video stream are selected as pictures to be evaluated.
  • a plurality of pictures in which the encoded data is included in the encoded video stream has a GOP (Group Of Picture) structure, and the intra picture of the random access point in each GOP is taken as a candidate picture.
  • GOP Group Of Picture
  • the reference picture is a candidate picture one before the evaluation target picture in reproduction order in any of FIGS. 5 and 6. Therefore, in the example of FIG. 5, it is evaluated whether there is a scene change between two adjacent pictures, that is, whether the evaluation target picture itself is a scene change point. In the example of FIG. 6, the presence or absence of a scene change between the intra pictures of random access points in adjacent GOPs is evaluated.
  • FIG. 7 shows that the coding method is AVC / H. H.264 or HEVC / H. It is explanatory drawing which shows the structural example of the encoding video stream in the case of being H.265.
  • a plurality of access units are arranged in coding order, and one access unit indicates data of one picture.
  • Each access unit is composed of a plurality of NAL (Network Abst Ruction Layer) units.
  • Each NAL unit is classified into header information (non-VCL) and picture data (VCL) which is coded data of a picture.
  • the header information (non-VCL) includes an access unit delimiter, a sequence level header and a picture level header.
  • one or more NAL units constituting one access unit are continuous, and a method of identifying the head position of the access unit is defined so that the division position between adjacent access units on the stream can be known.
  • an access unit delimiter which is an NAL unit indicating the beginning of an access unit is defined.
  • the NAL unit illustrated in FIG. 7 is an example, and the configuration pattern of the NAL unit conforms to the specifications of the respective standards.
  • the head position of the access unit should be identified according to the identification method of the head position of the access unit defined in the standard. It is possible.
  • the picture selection unit 1 can identify the break position of the access unit which is a picture by identifying the start position of the access unit according to the identification method of the start position of the access unit defined in the standard. Since the picture selection unit 1 can identify the break position of the access unit, it can select two pictures from among a plurality of access units, and calculates the feature amount of the encoded data of the selected two pictures Output to part 2.
  • the feature quantity calculation unit 2 calculates feature quantities in processing block units from the encoded data in coding block units for each of the pictures selected by the picture selection unit 1 (step ST2 in FIG. 4). The process of calculating the feature amount in units of processing blocks by the feature amount calculation unit 2 will be specifically described below.
  • n is a block number for specifying a processing block to be subjected to feature amount calculation in a picture, and is numbered 1, 2,..., NUM_BL t in raster scan order from the upper left processing block.
  • the feature amount calculation unit 2 decodes each of all the encoding parameters included in the encoded data of each encoding block belonging to the processing block for which the feature amount is to be calculated, The sum of code amounts is specified as a code amount Sn, t .
  • the coding parameter is a parameter necessary for generating a decoded image of a coding block, and corresponds to, for example, a parameter indicating a coding mode, an intra prediction parameter, an inter prediction parameter, a prediction difference coding parameter, a motion vector, and the like.
  • the feature amount calculating unit 2 the code amount S ALL feature quantity calculation target picture P t, identifies t, as shown in the following equation (1), the feature quantity calculation target picture P t code amount S ALL, in t, the code amount S n of the processing blocks, normalized by dividing t, feature amount C n of the processing block, as t, the code amount S n of normalized processing block units, the t M Double.
  • M is a preset constant, for example, a real number greater than zero.
  • the feature amount calculating section 2 the code amount S ALL feature quantity calculation target picture P t
  • the code amount S ALL feature quantity calculation target picture P t is shown an example of specifying a t, the feature quantity calculation target picture P t code amount S ALL, as t, code amount S n of all of the processing blocks included in the feature quantity calculation target picture P t, example of calculating the sum of t is considered.
  • the code amount S ALL feature quantity calculation target picture P t, as t the size of the picture data (VCL) of the feature quantity calculation target picture P t may be specified.
  • the size of the picture data (VCL) without performing the decoding process of syntax in the feature quantity calculation target picture P t, can be identified.
  • Additional code amount S ALL feature quantity calculation target picture P t, as t may be specified the size of the access unit of the feature amount calculation target picture P t.
  • the size of the access unit can be calculated only by identifying the separation position of the access unit described above.
  • FIG. 8 is an explanatory diagram of an example of the code amount in processing block units.
  • FIG. 8 shows an example in which the processing block is composed of 2 ⁇ 2 coded blocks and the coded block is a macroblock or CTU, and the code amount of each coded block is indicated by a numeral. Furthermore, at the center of each processing block, the sum of the code amounts of the coding blocks belonging to the processing block is represented as the code amount of the processing block.
  • the unit of the code amount of the coding block is represented by bytes in the example of FIG. 8, this is merely an example, and may be represented by bit units.
  • Evaluation value calculation unit 3 the feature amount C n of the processing block in the reference picture P tp calculated by the feature amount calculation unit 2, and tp, the feature amount C n of the processing block in the evaluation object picture P tc, and tc Then, the evaluation value J used to determine the presence or absence of a scene change is calculated (step ST3 in FIG. 4). For example, as the evaluation value J used to determine the presence or absence of a scene change, the evaluation value calculation unit 3 performs processing blocks between the reference picture P tp and the evaluation target picture P tc as shown in the following equation (2). Calculate the sum of absolute differences of the feature amounts of the unit.
  • MIN_NUM_BL is the minimum value of NUM_BL tp and NUM_BL tc . That is, when the number of processing blocks of the reference picture P tp and the evaluation target picture P tc is different, only the processing block whose feature amount is calculated for both pictures is the calculation target of the evaluation value J.
  • the decoding processing time also tends to be largely different.
  • the time allocated to decoding processing of the encoded data of each picture and calculation of the feature amount in processing block units is uniformly limited, the result that the number of process blocks that can be processed is different in both pictures It becomes.
  • the evaluation value J can be obtained for only the processing block whose feature amount has been calculated for both pictures.
  • the presence / absence determination unit 4 compares the evaluation value J calculated by the evaluation value calculation unit 3 with the threshold value Th set in advance (step ST4 in FIG. 4). If the evaluation value J calculated by the evaluation value calculation unit 3 is equal to or greater than the threshold Th (if step ST4 in FIG. 4: YES), the presence / absence determination unit 4 determines between the reference picture Ptp and the evaluation target picture Ptc. It is determined that there is a scene change (step ST5 in FIG. 4). If the evaluation value J calculated by the evaluation value calculation unit 3 is less than the threshold Th (in the case of NO in step ST4 of FIG. 4), the presence / absence determination unit 4 selects between the reference picture Ptp and the evaluation target picture Ptc.
  • the presence determination unit 4 outputs the determination result of the presence or absence of a scene change.
  • the threshold Th may be a fixed value set in advance, or may be switched or changed according to a specific condition.
  • a method of preparing and switching the threshold Th for each type of content (drama, news, sports, etc.), a method of preparing and switching the threshold Th for each broadcasting station, and for each encoder generating a stream
  • a method of preparing and switching the threshold Th a method of adaptively calculating the threshold Th according to the setting of the encoder that generates the stream (a method of calculating the threshold Th with the setting value of the encoder as a variable)
  • Method of calculating threshold Th adaptively according to code amount transition provisioning formula for calculating threshold Th with time change of code amount (first to nth differential in the time direction, n is an integer of 1 or more) as a variable)
  • a method in which a greater than 0 constant) be set in advance as a reference value Th can be considered.
  • the method of a value proportional to MIN_NUM_BL becomes the threshold in consideration of the variation of the maximum possible value of the evaluation value J of changes in MIN_NUM_BL of each evaluation object picture P tc (or MIN_NUM_BL ') is set, the high Accurate scene change detection processing can be realized.
  • methods combining these methods may be used. For example, there is a method combining the method of adaptively calculating the threshold Th according to the shift of the code amount of the stream and the method of making the value proportional to MIN_NUM_BL. In this case, it can be realized by replacing the threshold Th which is adaptively calculated according to the transition of the code amount of the stream by Th_Base.
  • step ST7 in FIG. 4 If there is still a picture not selected as an evaluation target picture among the candidate pictures determined by the picture selection unit 1 (step ST7 in FIG. 4: YES), the process returns to step ST1 and step ST1. The processing of ⁇ ST7 is repeated. In the process of step ST1 returned, the process of calculating the feature amount by the feature amount calculating unit 2 is omitted for the picture of which the feature amount is already calculated among the two pictures selected by the picture selecting unit 1 You may do so. By doing this, it is not necessary to recalculate feature amounts, and processing time can be shortened. For example, as described in FIG. 5 and FIG.
  • the evaluation target picture when the evaluation target picture is selected from among the candidate pictures in the reproduction order and the reference picture is made one candidate picture in reproduction order from the evaluation target picture, the evaluation target The feature amount C n, tc in the picture is the feature amount C n, tp in the reference picture when the candidate picture one ahead in the reproduction order is selected as the evaluation target picture. Therefore, the feature amount calculation process can be omitted by sequentially storing the calculated feature amounts C n and tc and reading out the feature amounts C n and tp from the stored feature amounts.
  • the evaluation target picture is selected in the decoding order, and the presence or absence of a scene change is evaluated as a candidate picture closest to the evaluation target picture in decoding order before the reference object You may Also in this case, for the picture whose feature amount has already been calculated, the process may be omitted by diverting the calculation result of the feature amount. If no candidate picture not selected as the evaluation target picture remains in the candidate pictures determined by the picture selection unit 1 (in the case of NO at step ST7 in FIG. 4), a series of processing ends.
  • the evaluation value used to determine the presence or absence of a scene change is calculated from the feature amount in units of blocks included in the two pictures calculated by the feature amount calculation unit 2
  • An evaluation value calculation unit 3 is provided, and the presence / absence determination unit 4 compares the evaluation value calculated by the evaluation value calculation unit 3 with a threshold to determine the presence or absence of a scene change between two pictures.
  • the image processing apparatus is configured such that the feature amount calculation unit 2 calculates, for each block of the picture selected by the picture selection unit 1, the feature amount of the block from the code amount of the block. Therefore, the image processing apparatus can determine the presence or absence of a scene change even for a picture that does not include a motion vector.
  • FIG. 9 is a block diagram showing another image processing apparatus according to Embodiment 1 of the present invention.
  • the media transmission stream may be, for example, a media transmission format such as MPEG-2 TS (Transport Stream of ISO / IEC 13818-1 / ITU-T H.222.0) or MMT (ISO / IEC 23008-1).
  • MPEG-2 TS Transport Stream of ISO / IEC 13818-1 / ITU-T H.222.0
  • MMT ISO / IEC 23008-1).
  • a packetized media transport stream is assumed.
  • the demultiplexer 5 can know the division between each access unit and the type and size of the NAL unit from the header information of the given media transport stream. If the demultiplexer 5 gives information indicating the division between each access unit to the picture selection unit 1, the picture selection unit 1 can encode the encoded video stream based on the information provided from the demultiplexer 5. A desired picture can be selected from In addition, if the demultiplexer 5 supplies information indicating the type and size of the NAL unit to the feature amount calculation unit 2, the feature amount calculation unit 2 does not perform the decoding process of the syntax in the evaluation target picture. The code amount of the evaluation target picture can be specified.
  • the feature amount calculation unit 2 targets the processing block of the whole picture in the calculation processing of the code amount Sn, t of the processing block.
  • FIG. 10 is an explanatory diagram of a processing block for specifying a code amount among processing blocks constituting a picture.
  • the processing block in which “1” is described is a processing block that specifies a code amount
  • the processing block in which “0” is described is a processing block that does not specify a code amount.
  • FIG. 11 is an explanatory view showing a processing block for specifying a code amount among processing blocks constituting a picture.
  • the processing block in which “1” is described is a processing block that specifies the code amount
  • the processing block in which “0” is described is a processing block that does not specify the code amount.
  • FIG. 12 is an explanatory view showing a processing block for specifying a code amount among processing blocks constituting a picture.
  • the processing block in which “1” is described is a processing block that specifies a code amount
  • the processing block in which “0” is described is a processing block that does not specify a code amount.
  • the processing block in which “1” is described and the processing block in which “0” is described may be reversed.
  • the feature quantity calculation unit 2 decodes the encoded data of the encoded block, specifies the code amount of the processing block from the decoding result of the encoded data, and processes from the code amount of the processing block The example which calculates the feature-value of a block is shown.
  • the feature quantity calculation unit 2 sets the processing block as the feature quantity C n, t of the processing block. The number of divided blocks included in may be used.
  • the number of divided blocks included in the processing block is calculated by adding the number of divided blocks included in each coding block belonging to the processing block.
  • the number of divided blocks included in the coding block is, for example, the coding method of AVC / H. H.264 corresponds to the number of blocks in a macroblock determined by the macroblock type (mb_type).
  • the number of blocks in a macroblock is obtained by performing syntax decoding processing on a picture to be evaluated.
  • the coding method is HEVC / H. If it is 265, it corresponds to the number of CUs (Coding Units) in the CTU which is a coding block.
  • the number of CUs in a CTU can be obtained by performing syntax decoding processing on a picture to be evaluated.
  • the feature amount calculating unit 2 When specifying the number of divided blocks included in the processing block as the feature amount of the processing block, the feature amount calculating unit 2 does not need to perform processing for normalizing the code amount when calculating the feature amount of the processing block As a result, the processing load of the feature amount calculation unit 2 is reduced.
  • the feature quantity calculation unit 2 decodes the encoded data of the encoded block, specifies the code amount of the processing block from the decoding result of the encoded data, and processes from the code amount of the processing block The example which calculates the feature-value of a block is shown.
  • the feature quantity calculation unit 2 sets the processing block as the feature quantity C n, t of the processing block. The highest hierarchical number of divided blocks in the above may be used.
  • the deepest hierarchy number of divided blocks in the processing block is calculated by obtaining the maximum value of the deepest hierarchy number of divided blocks in each coding block belonging to the processing block.
  • the number of layers in the deepest layer in the coding block is the coding scheme HEVC / H. If it is 265, as shown in FIG. 13, the hierarchy of division corresponds to the deepest number among the plurality of CUs included in the CTU which is a coding block.
  • FIG. 13 is an explanatory drawing showing the number of layers of divided blocks in a coding block. In the example of FIG. 13, since the maximum value of CU depth is 3, the number of deepest layers in the divided block in the coding block is three.
  • the deepest hierarchy number of the divided blocks can be obtained by performing syntax decoding processing on the evaluation target picture.
  • the feature amount calculation unit 2 does not need to perform processing for normalizing the code amount when calculating the feature amount of the processing block. As a result, the processing load of the feature amount calculation unit 2 is reduced.
  • the evaluation value calculation unit 3 calculates the feature amount C n, tp of the processing block unit in the reference picture P tp calculated by the feature amount calculation unit 2 and the processing block unit in the evaluation target picture P tc .
  • the secondary reference picture P tp ' is the reference picture of the reference picture P tp, i.e., a reference picture P tp when the reference picture P tp was evaluated picture P tc. Therefore, the reproduction time positional relationship of the three pictures is tp ' ⁇ tp ⁇ tc.
  • the number of pictures per GOP may be variable, in the example of the candidate picture of FIG.
  • the intervals (tc-tp, tp-tp ') of each candidate picture of tp', tp, tc are It may be different. Assuming that the secondary reference picture P tp ′ is the first picture in reproduction order, the reference picture P tp is the second picture in reproduction order, and the evaluation target picture P tc is the third picture in reproduction order. .
  • processing is performed according to the flowchart of FIG. 4 as in the first embodiment, but the processing content is changed to the processing described below.
  • the picture selection unit 1 obtains a coded video stream including coded data of a plurality of pictures.
  • the picture selection unit 1 determines a candidate picture from among a plurality of pictures in which the encoded data is included in the encoded video stream according to a method for determining a candidate picture defined in advance, and performs the above implementation from among the candidate pictures. Similar to mode 1, the reference picture P tp and the evaluation target picture P tc are selected. Also, the picture selection unit 1 selects a secondary reference picture Ptp ′ from the candidate pictures. That is, in step ST1 of FIG. 4, in addition to the evaluation target picture and the reference picture, the secondary reference picture is also selected.
  • the feature quantity calculation unit 2 calculates, for each of the pictures selected by the picture selection unit 1, the feature of processing block unit from the encoded data of coding block unit included in the evaluation target picture.
  • the quantities are calculated respectively (step ST2 in FIG. 4). That is, the feature amount calculation unit 2 calculates the feature amount C n of the processing blocks included in the reference picture P tp, and tp, the feature amount C n of the processing blocks included in the evaluation object picture P tc, and tc . Also, the feature quantity calculation unit 2 calculates feature quantities C n, tp ′ in units of processing blocks included in the secondary reference picture Ptp ′ .
  • the evaluation value calculation unit 3 calculates the feature amount C n, tp of the processing block unit included in the reference picture P tp calculated by the feature amount calculation unit 2 and the feature amount C of the processing block unit included in the evaluation target picture P tc
  • An evaluation value J is calculated from n, tc and the feature amount C n, tp 'in units of processing blocks included in the secondary reference picture P tp' (step ST3 in FIG. 4).
  • the evaluation value calculation unit 3 calculates the sum of absolute differences of the feature amounts in processing block units between the reference picture P tp and the evaluation target picture P tc .
  • the evaluation value calculation unit 3 calculates the sum of absolute differences of feature quantities in processing block units between the reference picture P tp and the secondary reference picture P tp ′ .
  • the evaluation value calculation unit 3 calculates, as the evaluation value J, the difference between the calculated difference absolute value sums as shown in the following equation (3).
  • MIN_NUM_BL ' is the minimum value of three values of NUM_BL tp' , NUM_BL tp , and NUM_BL tc .
  • the magnitude of the change in the pattern between the reference picture P tp and the evaluation target picture P t c is evaluated.
  • the pattern in the reference picture P tp Since the magnitude of the difference between the degree of change of the pattern and the degree of change of the pattern in the evaluation target picture P tc is evaluated, the pattern of the whole screen is large in gradual change of the pattern between the pictures that are not scene changes. It is possible to reduce the possibility of erroneous detection as a changing scene change, and to improve the scene change detection accuracy more than the first to third embodiments.
  • the definition method of the processing block to be the target of calculation of the feature amount in processing block units is the same as that of the first embodiment (all processing blocks in a picture, partial processing blocks as shown in FIGS. It can be defined arbitrarily.
  • the presence / absence determination unit 4 compares the evaluation value J calculated by the evaluation value calculation unit 3 with the threshold value Th set in advance (step ST4 in FIG. 4). As in the first embodiment, if the evaluation value J calculated by the evaluation value calculation unit 3 is equal to or larger than the threshold value Th, the presence / absence determination unit 4 sets the scene between the reference picture P tp and the evaluation target picture P tc. It is determined that there is a change (step ST5 in FIG. 4). As in the first embodiment, if the evaluation value J calculated by the evaluation value calculation unit 3 is smaller than the threshold value Th, the presence / absence determination unit 4 sets the scene between the reference picture P tp and the evaluation target picture P tc. It is determined that there is no change (step ST6 in FIG. 4). The presence determination unit 4 outputs the determination result of the presence or absence of a scene change. Further, the method of setting the threshold value Th is the same as that of the first embodiment.
  • step ST7 in FIG. 4 If there is still a picture not selected as an evaluation target picture among the candidate pictures determined by the picture selection unit 1 (step ST7 in FIG. 4: YES), the process returns to step ST1 and step ST1. The processing of ⁇ ST7 is repeated. In the process of step ST1 returned, among the three pictures selected by the picture selection unit 1, for the picture for which the feature amount has already been calculated, the process of calculating the feature amount by the feature amount calculation unit 2 is omitted. You may do so. By doing this, it is not necessary to recalculate feature amounts, and processing time can be shortened. If there is no picture which has not been selected as a target picture for evaluation yet in the candidate pictures determined by the picture selection unit 1 (in the case of NO at step ST7 in FIG. 4), a series of processing ends.
  • the evaluation value calculation unit 3 uses the feature amount C n, t of the processing block unit calculated by the feature amount calculation unit 2 using the equation (2) or the equation (3). An example of calculating the evaluation value J is shown.
  • the evaluation value calculation unit 3 calculates the evaluation value J, the feature amount C n, t in units of processing blocks and the weighting factor w n corresponding to the processing blocks are used. An example of calculating the evaluation value J will be described.
  • equation (2) is changed to equation (4) below.
  • equation (3) is changed to equation (5) below.
  • the evaluation value calculation unit 3 substitutes the feature amount C n, tc and the feature amount C n, tp , which are the feature amount C n, t of the processing block unit , and the feature amount C n, tp, and the weighting coefficient w n into equation (4)
  • An evaluation value J is calculated.
  • the evaluation value calculation unit 3 calculates a feature amount C n, tc that is a feature amount C n, t in units of processing blocks, a feature amount C n, tp and a feature amount C n, tp ', and a weighting factor w n
  • the evaluation value J is calculated by substituting the equation (5).
  • the feature amount C n, tc is a feature amount of the processing block of the block number n in the evaluation target picture P tc
  • the feature amount C n, tp is in the reference picture P tp It is a feature of the processing block of block number n
  • the feature amount C n, tp ′ is a feature amount of the processing block of the block number n in the secondary reference picture P tp ′ .
  • w n is a weight coefficient by which the difference absolute value between the feature amount C n, tc and the feature amount C n, tp is multiplied, or the difference absolute value between the feature amount C n, tp and the feature amount C n, tp ' It is a weighting factor to be multiplied.
  • Formula (4) can be transformed as Formula (6) below.
  • Formula (5) can be deform
  • the evaluation value calculation unit 3 can calculate the evaluation value J using Equation (6) or Equation (7).
  • Each of the feature amount C n, tc and the feature amount C n, tp is multiplied by the weighting factor w n .
  • the evaluation value calculating unit 3 using equation (7), when calculating the evaluation value J, the evaluation value calculation unit 3, instead of multiplying the weight coefficient w n to the difference absolute value, the feature amount calculating section 2
  • Each of the feature amount C n, tc , the feature amount C n, tp, and the feature amount C n, tp ′ is multiplied by the weighting factor w n .
  • the feature amount calculation unit 2 indicates the constant M of the equation (1) in the following equation (8) After replacing with the variable M ′ n , the feature amount C n, tc and the feature amount C n, tp are calculated using Equation (1).
  • the feature quantity calculation unit 2 outputs the calculated feature quantity C n, tc and the feature quantity C n, tp to the evaluation value calculation unit 3.
  • Amount characteristic output from the feature amount calculation unit 2 C n, tc is w n C n shown in equation (6) corresponds to tc
  • the feature quantity output from the feature amount calculation unit 2 C n, tp is It corresponds to w n C n, tp shown in the equation (6).
  • the feature amount calculation unit 2 replaces the constant M of the equation (1) with the variable M ′ n shown in the equation (8)
  • the feature quantity C n, tc , the feature quantity C n, tp and the feature quantity C n, tp ' are calculated using the equation (1).
  • the feature quantity calculation unit 2 outputs the calculated feature quantity C n, tc , the feature quantity C n, tp and the feature quantity C n, tp ' to the evaluation value calculation unit 3.
  • Feature amount C n outputted from the feature amount calculation unit 2 tc is w n C n shown in equation (7) corresponds to tc, the output from the feature amount calculation unit 2 feature quantity C n, tp is It corresponds to w n C n, tp shown in the equation (7). Further, the feature amount C n, tp ′ output from the feature amount calculation unit 2 corresponds to w n C n, tp ′ shown in the equation (7).
  • the evaluation value calculating unit 3 sets the feature amount C n, tc output from the feature amount calculating unit 2 to w n C n, tc , and the feature amount C n tp output from the feature amount calculating unit 2 to w n C n
  • the evaluation value J is calculated by substituting Eq.
  • the evaluation value calculation unit 3 sets the feature amount C n, tc output from the feature amount calculation unit 2 to w n C n, tc and the feature amount C n, tp output from the feature amount calculation unit 2 to w n C n, by substituting tp, the feature amount C n outputted from the feature amount calculation unit 2, 'a w n C n, tp' tp in equation (7) as to calculate the evaluation value J.
  • the weighting factor w n for each processing block indicates the importance of the processing block, and the processing block having the larger value of the weighting factor w n is the more important processing block in detecting a scene change.
  • the weight coefficient w n for each processing block may be designed to have a larger value as the processing block in which the change in pattern tends to be discontinuous or abrupt in the change pattern of the scene to be detected.
  • a weighting factor w n is defined by a function h (X n , Y n ) having the two-dimensional coordinates (X n , Y n ) of the processing block as variables.
  • (X n , Y n ) is a two-dimensional coordinate (X n : horizontal direction (x) of the processing block of block number n
  • Component Y n indicates the vertical direction (y) component).
  • FIG. 16 is an explanatory view showing the horizontal and vertical coordinates of the processing block. In the example of FIG.
  • the upper left processing block (0, 0) is used as a reference processing block, and the two-dimensional coordinates of the reference processing block are (X 1 , Y 1 ).
  • the two-dimensional coordinates of the processing block (5, 1) are (X 6 , Y 6 )
  • the two-dimensional coordinates of the processing block (2, 3) are (X 21 , Y 21 ).
  • w n is set to be larger as the processing block is closer to the center of the screen.
  • Equation (10) W is the number of processing blocks in the horizontal direction when the entire picture is divided by processing blocks, and H is the number of processing blocks in the vertical direction when the entire picture is divided by processing blocks, A x , A Each of y 1 , L x and L y is a positive constant. Furthermore, A x and A y have roles of scaling values of weights of the x component and y component respectively, and the larger the value, the higher the weight reduction ratio when the distance from the center of the screen is larger.
  • f i (x) is an arbitrary monotonically increasing function. As an example of fi (x), the function represented by the following Formula (11) or Formula (12) can be considered. In the formula (11) and Equation (12), a i and b i is a positive constant, respectively.
  • FIGS. 17 and 18 are explanatory diagrams showing an example of the weight w n for each processing block.
  • the weight coefficient w n of the processing block (5,0) is, 1 / ⁇ 6, weighting coefficient w n of the processing block (1,1), 1 / ⁇ 2, processing blocks (3,1
  • the weighting factor w n of 1) is 1.
  • the weight coefficient w n of the processing block (5,0) is 1 / ⁇ 3
  • the weight coefficient w n of the processing block (1,1) and the processing block (3,1) is a 1 .
  • weighting coefficient w n instead of the function shown in Equation (10) h (x, y), the following equation (14) shows function h (x, y) may be.
  • weighting factor w n is expressed by function h (x, y) shown in equation (14), there is no calculation of square and calculation of square root, so function h (x, y) showing weighting factor w n in equation (10)
  • the calculation load can be reduced compared to the case of representing.
  • Equation (16) and Equation (17) A x and A y meaning scaling values of weights of x component and y component are respectively given by Equation (16) and Equation (17) As shown, it may be a shift operation. By doing this, the scaling accuracy becomes an integer accuracy, but the scaling process can be calculated by bit shift.
  • B x and B y indicate shift amounts, and the larger the value, the higher the weight reduction ratio when the distance from the center of the screen is larger.
  • the left shift is defined. However, as shown in the equations (18) and (19), the right shift may be used respectively.
  • B x and B y indicate the shift amount, but the larger the value, the farther the distance from the screen center. This is different from the equations (16) and (17) in that the weight reduction ratio is low. Further, as described above, "A x, to the A y B x, a shift operation by B y" is also applicable to Formula (13) and (15).
  • the two-dimensional coordinates of the last processing block for which the calculation process of the code amount S n, t could be performed is (X MIN_NUM_BL , Y MIN_NUM_BL ) (or (X MIN_NUM_BL ′ , Y MIN_NUM_BL ′ )), L x is , Fix it to (W / 2) -1.
  • the value of the evaluation value J is increased, so that the scene change detection sensitivity in the presence / absence determination unit 4 can be increased.
  • a scene change is defined as "the subject moving to the central part of the screen changes discontinuously", but a scene change is defined as "the background of the screen changes discontinuously” You may do it.
  • the weight coefficient w n is as processing blocks close to background-through easy screen edge, is set so that the value increases .
  • the weight coefficient w n may instead the following equation formula function shown in (10) h (x, y ) ( It can be expressed by the function h (x, y) shown in 20).
  • the weighting coefficient w n can be expressed by Equation (14) shows function h (x, y) instead, function h (x, y) as shown in formula (21) of.
  • the method of setting the threshold value Th in the presence / absence determination unit 4 may be the same as that in the first embodiment. Further, as another example, if the MIN_NUM_BL (or MIN_NUM_BL ') is changed for each evaluation object picture P tc, it may be the threshold value Th be calculated by equation (22) obtained from the weighting coefficient w n. In this way, it becomes the threshold in consideration of the variation of the maximum possible value of the evaluation value J of changes in MIN_NUM_BL of each evaluation object picture P tc (or MIN_NUM_BL ') is set, accurate scene change detection Processing can be realized.
  • Th_Base is a constant larger than 0 which is a reference value of the threshold Th and which is set in advance.
  • MIN_NUM_BL when using MIN_NUM_BL 'for calculation of evaluation value J, MIN_NUM_BL of Formula (22) is substituted to MIN_NUM_BL'.
  • this method may be combined with the method described in Embodiment 1 above. For example, there is a method combining the method of the present invention and a method of adaptively calculating the threshold Th according to the shift of the code amount of the stream. In this case, it can be realized by replacing the threshold Th which is adaptively calculated according to the transition of the code amount of the stream by Th_Base.
  • the feature amount calculation unit 2 acquires the weighting factor w m for each coding block instead of the weighting factor w n for each processing block.
  • m is a variable indicating the block number of the coding block numbered in raster scan order
  • w m is a weighting factor for the coding block of block number m.
  • the feature quantity calculation unit 2 replaces the constant M of the equation (1) with a variable M ′ m shown in the following equation (23), and then uses the equation (1) to calculate the feature in the coding block of the block number m.
  • the amount Cm, tc and the feature amount Cm , tp are calculated, or the feature amount Cm , tc , the feature amount Cm , tp and the feature amount Cm , tp ' are calculated.
  • the feature quantity calculation unit 2 uses the variable M ′ m to calculate the feature quantity C m, t (C m, tc, C m, tp, or C m, tp ′ ). Instead of the code amount S n, t of the processing block of block number n, the code amount of the coding block of block number m is used.
  • the feature quantity calculation unit 2 outputs the calculated feature quantity Cm, tc and the feature quantity Cm , tp to the evaluation value calculation unit 3.
  • the feature quantity calculation unit 2 outputs the calculated feature quantity C m, tc , the feature quantity C m, tp and the feature quantity C m, tp ' to the evaluation value calculation unit 3.
  • the evaluation value calculation unit 3 uses the C m, tc instead of w n C n, tc in the equation (6), and uses the C m, tp instead of the w n C n , tp to obtain the evaluation value J. calculate.
  • the evaluation value calculation unit 3 uses C m, tc instead of w n C n, tc , and uses C m, tp instead of w n C n, tp , and w n C
  • the evaluation value J is calculated using C m, tp ' instead of n, tp' .
  • the evaluation value J is calculated using the weighting factor w m for each coding block, the importance of each area is adjusted in units of coding blocks finer than the processing block. And can improve the scene change detection performance.
  • the present invention allows free combination of each embodiment, or modification of any component of each embodiment, or omission of any component in each embodiment. .
  • the present invention is suitable for an image processing apparatus and an image processing method for determining the presence or absence of a scene change which is a change point of a scene.
  • Reference Signs List 1 picture selection unit, 2 feature amount calculation unit, 3 evaluation value calculation unit, 4 presence / absence determination unit, 5 demultiplexers, 11 picture selection circuit, 12 feature amount calculation circuit, 13 evaluation value calculation circuit, 14 presence / absence determination circuit, 21 memory , 22 processors.

Abstract

特徴量算出部（２）により算出された２つのピクチャに含まれるブロック単位の特徴量から、シーンチェンジの有無の判定に用いる評価値を算出する評価値算出部（３）を設け、有無判定部（４）が、評価値算出部（３）により算出された評価値と閾値を比較することで、２つのピクチャの間でのシーンチェンジの有無を判定する。そして、特徴量算出部（２）が、ピクチャ選択部（１）により選択されたピクチャのブロック毎に、当該ブロックの符号量又は当該ブロックに含まれている分割ブロックの最深の階層数から、当該ブロックの特徴量を算出するように、画像処理装置を構成した。

Description

画像処理装置及び画像処理方法
　この発明は、シーンの変化点であるシーンチェンジの有無を判定する画像処理装置及び画像処理方法に関するものである。
　以下の特許文献１には、シーンチェンジの有無を判定する画像処理装置が開示されている。
　この画像処理装置は、符号化映像ストリームから、複数のピクチャの符号化パラメータの一つである動きベクトルを取得し、複数のピクチャの間での動きベクトルの差分からシーンチェンジの有無を判定するようにしている。
国際公開第２０１０／１２５７５７号
　従来の画像処理装置は以上のように構成されているので、符号化映像ストリームの中に、ピクチャの符号化パラメータとして、動きベクトルが含まれていれば、シーンチェンジの有無を判定することができる。しかし、ピクチャの符号化モードが例えば画面内符号化モードであるために、当該ピクチャの符号化パラメータとして、動きベクトルが含まれていないことがある。符号化パラメータとして、動きベクトルが含まれていないピクチャについては、シーンチェンジの有無を判定することができないという課題があった。
　この発明は上記のような課題を解決するためになされたもので、動きベクトルが含まれていないピクチャについても、シーンチェンジの有無を判定することができる画像処理装置及び画像処理方法を得ることを目的とする。
　この発明に係る画像処理装置は、複数のピクチャの中から、シーンの変化点であるシーンチェンジの有無を評価する対象のピクチャとして、２つのピクチャを選択するピクチャ選択部と、ピクチャ選択部により選択された２つのピクチャのそれぞれについて、ピクチャに含まれるブロック単位の特徴量をそれぞれ算出する特徴量算出部と、特徴量算出部により算出された２つのピクチャに含まれるブロック単位の特徴量から、シーンチェンジの有無の判定に用いる評価値を算出する評価値算出部と、評価値算出部により算出された評価値と閾値を比較することで、２つのピクチャの間でのシーンチェンジの有無を判定する有無判定部とを備え、特徴量算出部が、ピクチャ選択部により選択されたピクチャのブロック毎に、当該ブロックの符号量又は当該ブロックに含まれている分割ブロックの最深の階層数から、当該ブロックの特徴量を算出するようにしたものである。
　この発明によれば、特徴量算出部により算出された２つのピクチャに含まれるブロック単位の特徴量から、シーンチェンジの有無の判定に用いる評価値を算出する評価値算出部を設け、有無判定部が、評価値算出部により算出された評価値と閾値を比較することで、２つのピクチャの間でのシーンチェンジの有無を判定する。そして、特徴量算出部が、ピクチャ選択部により選択されたピクチャのブロック毎に、当該ブロックの符号量又は当該ブロックに含まれている分割ブロックの最深の階層数から、当該ブロックの特徴量を算出するように、画像処理装置を構成した。したがって、この発明に係る画像処理装置は、動きベクトルが含まれていないピクチャについても、シーンチェンジの有無を判定することができる。
この発明の実施の形態１による画像処理装置を示す構成図である。 この発明の実施の形態１による画像処理装置を示すハードウェア構成図である。 画像処理装置がソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。 画像処理装置がソフトウェア又はファームウェアなどで実現される場合の処理手順である画像処理方法を示すフローチャートである。 符号化映像ストリームに含まれている複数のピクチャの中から、評価対象ピクチャを選択する例を示す説明図である。 符号化映像ストリームに含まれている複数のピクチャの中から、評価対象ピクチャを選択する例を示す説明図である。 符号化方式がＡＶＣ／Ｈ．２６４又はＨＥＶＣ／Ｈ．２６５である場合の符号化映像ストリームの構成例を示す説明図である。 処理ブロック単位の符号量の一例を示す説明図である。 この発明の実施の形態１による他の画像処理装置を示す構成図である。 評価対象ピクチャに含まれている処理ブロックのうち、符号量を特定する処理ブロックを示す説明図である。 評価対象ピクチャに含まれている処理ブロックのうち、符号量を特定する処理ブロックを示す説明図である。 評価対象ピクチャに含まれている処理ブロックのうち、符号量を特定する処理ブロックを示す説明図である。 符号化ブロックにおける分割ブロックの階層数を示す説明図である。 処理ブロックと符号化ブロックの例を示す説明図である。 処理ブロックと符号化ブロックの例を示す説明図である。 処理ブロックの水平方向と垂直方向の座標を示す説明図である。 処理ブロック毎の重み係数ｗｎの一例を示す説明図である。 処理ブロック毎の重み係数ｗｎの一例を示す説明図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、この発明の実施の形態１による画像処理装置を示す構成図である。図２は、この発明の実施の形態１による画像処理装置を示すハードウェア構成図である。
　図１において、ピクチャ選択部１は、例えば図２に示すピクチャ選択回路１１で実現される。
　ピクチャ選択部１は、複数のピクチャの符号化データが含まれている符号化映像ストリームを取得する処理を実施する。
　ピクチャ選択部１は、符号化ブロック単位（ブロック単位）に符号化されている符号化データを有する複数のピクチャの中から、シーンの変化点であるシーンチェンジの有無を評価する候補ピクチャを定め、候補ピクチャの中からシーンチェンジの有無を評価する対象ピクチャとして、２つのピクチャを選択する処理を実施する。ただし、候補ピクチャの決定方法は、予め定義されているものとする。
　ピクチャの符号化データは、例えば、マクロブロックと呼ばれる符号化ブロック単位、あるいは、ＣＴＵ（Ｃｏｄｉｎｇ　Ｔｒｅｅ　Ｕｎｉｔ）と呼ばれる符号化ブロック単位に符号化されているデータである。
　マクロブロック単位に符号化する符号化方式の規格として、例えば、ＡＶＣ／Ｈ．２６４規格が以下の非特許文献１に開示されている。
　また、ＣＴＵ単位に符号化する符号化方式の規格として、例えば、ＨＥＶＣ／Ｈ．２６５規格が以下の非特許文献２に開示されている。
［非特許文献１］ＩＳＯ／ＩＥＣ　１４４９６－１０／ＩＴＵ－Ｔ　Ｈ．２６４規格
［非特許文献２］ＩＳＯ／ＩＥＣ　２３００８－２／ＩＴＵ－Ｔ　Ｈ．２６５規格
　特徴量算出部２は、例えば図２に示す特徴量算出回路１２で実現される。
　特徴量算出部２は、ピクチャ選択部１により選択されたピクチャ毎に、当該ピクチャにおける符号化ブロック単位の符号化データから、処理ブロック単位の特徴量をそれぞれ算出する処理を実施する。処理ブロックは、１以上の符号化ブロックから構成されており、その構成は予め定義されている。処理ブロックは、１以上の符号化ブロックから構成されるため、処理ブロックの定義可能な最小単位は符号化ブロックとなる（処理ブロック＝符号化ブロック）。
　図１４は、４つの符号化ブロックから処理ブロックを構成する例を示している。また、図１５に示す例のように、処理ブロックを構成する縦方向と横方向の符号化ブロック数が異なるように構成してもよい。
　処理ブロック単位の特徴量は、処理ブロック内の各々の符号化ブロックの符号化データから算出する。この実施の形態１では、各々の符号化ブロックの符号化データを復号して、符号化データの復号結果から各々の符号化ブロックの符号量を特定し、各々の処理ブロックに属する符号化ブロックの符号量の総和を処理ブロック単位の特徴量とする。
　なお、ピクチャ選択部１により選択された２つのピクチャの処理ブロックサイズ（予め定義する処理ブロックにおける符号化ブロックの構成）は同一とする。
　評価値算出部３は、例えば図２に示す評価値算出回路１３で実現される。
　評価値算出部３は、特徴量算出部２により算出された２つのピクチャに含まれる処理ブロック単位の特徴量から、シーンチェンジの有無の判定に用いる評価値を算出する処理を実施する。
　有無判定部４は、例えば図２に示す有無判定回路１４で実現される。
　有無判定部４は、評価値算出部３により算出された評価値と閾値を比較することで、２つのピクチャの間でのシーンチェンジの有無を判定する処理を実施する。
　図１では、画像処理装置の構成要素であるピクチャ選択部１、特徴量算出部２、評価値算出部３及び有無判定部４のそれぞれが、図２に示すような専用のハードウェアで実現されるものを想定している。即ち、ピクチャ選択回路１１、特徴量算出回路１２、評価値算出回路１３及び有無判定回路１４で実現されるものを想定している。
　ここで、ピクチャ選択回路１１、特徴量算出回路１２、評価値算出回路１３及び有無判定回路１４は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、または、これらを組み合わせたものが該当する。
　画像処理装置の構成要素は、専用のハードウェアで実現されるものに限るものではなく、画像処理装置がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
　ソフトウェア又はファームウェアはプログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）などが該当する。
　コンピュータのメモリは、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒy）などの不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）などが該当する。
　図３は、画像処理装置がソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。
　画像処理装置がソフトウェア又はファームウェアなどで実現される場合、ピクチャ選択部１、特徴量算出部２、評価値算出部３及び有無判定部４の処理手順をコンピュータに実行させるためのプログラムをメモリ２１に格納し、コンピュータのプロセッサ２２がメモリ２１に格納されているプログラムを実行するようにすればよい。
　図４は、画像処理装置がソフトウェア又はファームウェアなどで実現される場合の処理手順である画像処理方法を示すフローチャートである。
　また、図２では、画像処理装置の構成要素のそれぞれが専用のハードウェアで実現される例を示し、図３では、画像処理装置がソフトウェアやファームウェアなどで実現される例を示しているが、画像処理装置における一部の構成要素が専用のハードウェアで実現され、残りの構成要素がソフトウェアやファームウェアなどで実現されるものであってもよい。
　次に動作について説明する。
　ピクチャ選択部１は、複数のピクチャの符号化データが含まれている符号化映像ストリームを取得する。
　ピクチャ選択部１は、取得した符号化映像ストリームから、予め定義された候補ピクチャの決定方法に従って候補ピクチャを決定し、候補ピクチャの中から、シーンの変化点であるシーンチェンジの有無を評価する対象のピクチャとして、２つのピクチャを選択する（図４のステップＳＴ１）。
　ここで、選択した２つのピクチャのうち、再生順で後のピクチャを「評価対象ピクチャ」、再生順で先のピクチャを「参照ピクチャ」と称する。「２つのピクチャの間のシーンチェンジの有無を評価する」とは、参照ピクチャより再生順で一つ後のピクチャから評価対象ピクチャまで（評価対象ピクチャ自身を含む）にシーンチェンジが発生しているか否かを評価することを示すものである。
　図５及び図６は、符号化データが符号化映像ストリームに含まれているピクチャの中から、評価対象ピクチャとなる候補ピクチャを決定し、候補ピクチャの中から、評価対象ピクチャと参照ピクチャを選択する例を示す説明図である。
　図５では、符号化データが符号化映像ストリームに含まれている複数のピクチャの全てを候補ピクチャとし、候補ピクチャの中から、再生順で順番に評価対象ピクチャを選択することで、最終的に、符号化映像ストリームに含まれている全てのピクチャが評価対象ピクチャとして選択される例を示している。
　図６では、符号化データが符号化映像ストリームに含まれている複数のピクチャがＧＯＰ（Ｇｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅ）構造を有しており、各々のＧＯＰにおけるランダムアクセスポイントのイントラピクチャを候補ピクチャとし、候補ピクチャの中から、再生順で順番に評価対象ピクチャとして選択される例を示している。
　ＡＶＣ／Ｈ．２６４では、ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ　Ｄｅｃｏｄｉｎｇ　Ｒｅｆｒｅｓｈ）ピクチャが、ランダムアクセスポイントのイントラピクチャである。
　ＨＥＶＣ／Ｈ．２６５では、ＩＲＡＰ（Ｉｎｔｒａ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｐｏｉｎｔ）ピクチャが、ランダムアクセスポイントのイントラピクチャである。
　参照ピクチャは、図５及び図６のいずれでも、に評価対象ピクチャより再生順で一つ前の候補ピクチャとしている。したがって、図５の例では、隣接している２つのピクチャの間でのシーンチェンジの有無、即ち、評価対象ピクチャ自身がシーンチェンジ点であるか否かが評価される。図６の例では、隣接しているＧＯＰにおけるランダムアクセスポイントのイントラピクチャの間でのシーンチェンジの有無が評価される。
　なお、上記以外にもＮ個（Ｎは０以上の整数）のピクチャ間隔で評価対象ピクチャを選択する（Ｎ＝０の場合、図５と同じとなる）など、候補ピクチャの定義を任意に設定することができる。
　図７は、符号化方式がＡＶＣ／Ｈ．２６４又はＨＥＶＣ／Ｈ．２６５である場合の符号化映像ストリームの構成例を示す説明図である。
　図７では、複数のアクセスユニットが符号化順に並んでおり、１つのアクセスユニットが１つのピクチャのデータを示している。
　各々のアクセスユニットは、複数のＮＡＬ（Ｎｅｔｗｏｒｋ　Ａｂｓｔ　ｒｕｃｔｉｏｎ　Ｌａｙｅｒ）ユニットから構成される。
　各々のＮＡＬユニットは、ヘッダ情報（ｎｏｎ－ＶＣＬ）と、ピクチャの符号化データであるピクチャデータ（ＶＣＬ）とに分類される。
　ヘッダ情報（ｎｏｎ－ＶＣＬ）は、アクセスユニットデリミタ、シーケンスレベルヘッダ及びピクチャレベルヘッダを有している。
　ＡＶＣ／Ｈ．２６４又はＨＥＶＣ／Ｈ．２６５では、１つのアクセスユニットを構成する１つ以上のＮＡＬユニットが連続しており、ストリーム上で隣接するアクセスユニット間の区切り位置が分かるように、アクセスユニットの先頭位置の識別方法が定義されている。その一つの例として、アクセスユニットの先頭を示すＮＡＬユニットであるアクセスユニットデリミタが定義されている。
　なお、図７に示すＮＡＬユニットは一例であり、ＮＡＬユニットの構成パターンは、それぞれの規格の仕様に準ずる。このとき、アクセスユニットを構成するＮＡＬユニットにアクセスユニットデリミタが存在しない場合もあり、その場合においても、規格で定義されたアクセスユニットの先頭位置の識別方法に従ってアクセスユニットの先頭位置を識別することが可能である。
　したがって、ピクチャ選択部１は、規格で定義されているアクセスユニットの先頭位置の識別方法に従ってアクセスユニットの先頭位置を識別することで、ピクチャであるアクセスユニットの区切り位置を識別することができる。
　ピクチャ選択部１は、アクセスユニットの区切り位置を識別することができるため、複数のアクセスユニットの中から、２つのピクチャを選択することができ、選択した２つのピクチャの符号化データを特徴量算出部２に出力する。
　特徴量算出部２は、ピクチャ選択部１により選択されたピクチャ毎に、符号化ブロック単位の符号化データから、処理ブロック単位の特徴量をそれぞれ算出する（図４のステップＳＴ２）。
　以下、特徴量算出部２による処理ブロック単位の特徴量の算出処理を具体的に説明する。
　ここで、ピクチャ選択部１により選択されたピクチャ番号ｔのピクチャＰｔに含まれる処理ブロックの特徴量をＣｎ，ｔとし、参照ピクチャのピクチャ番号をｔ＝ｔｐ、評価対象ピクチャのピクチャ番号をｔ＝ｔｃとする。
　ｎは、ピクチャ内の特徴量算出対象の処理ブロックを特定するブロック番号であり、左上の処理ブロックからラスタスキャン順に１，２，・・・，ＮＵＭ＿ＢＬｔと番号付けされている。ここで、ＮＵＭ＿ＢＬｔは、ピクチャ番号ｔのピクチャＰｔにおける特徴量算出対象の処理ブロックの総数を示している。処理ブロックサイズが６４×６４画素、ピクチャの解像度が３８４０×２１６０画素であった場合、１画面の全てを対象としたとすると、ＮＵＭ＿ＢＬｔ＝６０×３４＝２０４０となる。ただし、最下端の列のブロックはブロックサイズが６４×４８画素となる。ＮＵＭ＿ＢＬｔは、上記のように画面全体の処理ブロック数としても良いし、処理負荷を低減するために画面全体の処理ブロック数よりも小さい値に制限しても良い。
　よって、ｔ＝ｔｐ及びｔ＝ｔｃにおける特徴量Ｃｎ，ｔｐ、Ｃｎ，ｔｃをそれぞれ下記に従って算出する。
　特徴量算出部２は、特徴量算出対象ピクチャＰｔにおけるシンタックスの復号処理を実施し、シンタックスの復号処理結果から、処理ブロック単位の符号量Ｓｎ，ｔ（ｎ＝１，２，・・・，ＮＵＭ＿ＢＬｔ）をそれぞれ特定する。
　例えば、特徴量算出部２は、特徴量算出対象の処理ブロックに属する各々の符号化ブロックの符号化データに含まれている全ての符号化パラメータをそれぞれ復号し、復号した全ての符号化パラメータの符号量の総和を符号量Ｓｎ，ｔとして特定する。
　符号化パラメータは、符号化ブロックの復号画像の生成に必要なパラメータであり、例えば、符号化モードを示すパラメータ、イントラ予測パラメータ、インター予測パラメータ、予測差分符号化パラメータ、動きベクトルなどが該当する。
　次に、特徴量算出部２は、特徴量算出対象ピクチャＰｔの符号量ＳＡＬＬ，ｔを特定し、以下の式（１）に示すように、特徴量算出対象ピクチャＰｔの符号量ＳＡＬＬ，ｔで、処理ブロック単位の符号量Ｓｎ，ｔを除算することで正規化し、処理ブロック単位の特徴量Ｃｎ，ｔとして、正規化した処理ブロック単位の符号量Ｓｎ，ｔをＭ倍する。Ｍは、予め設定した定数であり、例えば、０より大きな実数である。
Figure JPOXMLDOC01-appb-I000001
　ここでは、特徴量算出部２が、特徴量算出対象ピクチャＰｔの符号量ＳＡＬＬ，ｔを特定する例を示しているが、特徴量算出対象ピクチャＰｔの符号量ＳＡＬＬ，ｔとして、特徴量算出対象ピクチャＰｔに含まれている全ての処理ブロックの符号量Ｓｎ，ｔの総和を算出する例が考えられる。
　ただし、これは一例に過ぎず、特徴量算出対象ピクチャＰｔの符号量ＳＡＬＬ，ｔとして、特徴量算出対象ピクチャＰｔのピクチャデータ（ＶＣＬ）のサイズを特定するようにしてもよい。ピクチャデータ（ＶＣＬ）のサイズは、特徴量算出対象ピクチャＰｔにおけるシンタックスの復号処理を実施することなく、特定することができる。他にも、特徴量算出対象ピクチャＰｔの符号量ＳＡＬＬ，ｔとして、特徴量算出対象ピクチャＰｔのアクセスユニットのサイズを特定するようにしてもよい。アクセスユニットのサイズは、上述したアクセスユニットの区切り位置を識別するのみで計算することができる。
　式（１）で算出される処理ブロック単位の特徴量Ｃｎ，ｔは、各々の処理ブロックの符号量の比を表しており、ピクチャ毎の総符号量の大きさのばらつきの影響を抑えた特徴量になっている。
　図８は、処理ブロック単位の符号量の一例を示す説明図である。
　図８は、処理ブロックが２×２個の符号化ブロックから構成され、符号化ブロックがマクロブロック又はＣＴＵである例を示しており、各々の符号化ブロックの符号量を数字で表している。さらに、各処理ブロックの中央に、当該処理ブロックに属する符号化ブロックの符号量の総和を当該処理ブロックの符号量として表している。
　図８の例では、符号化ブロックの符号量の単位をｂｙｔｅで表しているが、一例に過ぎず、ｂｉｔ単位で表されていてもよい。
　評価値算出部３は、特徴量算出部２により算出された参照ピクチャＰｔｐにおける処理ブロック単位の特徴量Ｃｎ，ｔｐと、評価対象ピクチャＰｔｃにおける処理ブロック単位の特徴量Ｃｎ，ｔｃとから、シーンチェンジの有無の判定に用いる評価値Ｊを算出する（図４のステップＳＴ３）。
　例えば、評価値算出部３は、シーンチェンジの有無の判定に用いる評価値Ｊとして、以下の式（２）に示すように、参照ピクチャＰｔｐと評価対象ピクチャＰｔｃとの間での処理ブロック単位の特徴量の差分絶対値和を算出する。
Figure JPOXMLDOC01-appb-I000002
　評価値算出部３により算出された評価値Ｊは、参照ピクチャＰｔｐと評価対象ピクチャＰｔｃとの間での絵柄の変化が大きい程、参照ピクチャＰｔｐと評価対象ピクチャＰｔｃの処理ブロック単位の符号量の分布の差異が大きくなり、値が大きくなる。
　また、ＭＩＮ＿ＮＵＭ＿ＢＬは、ＮＵＭ＿ＢＬｔｐとＮＵＭ＿ＢＬｔｃの最小値である。即ち、参照ピクチャＰｔｐと評価対象ピクチャＰｔｃの処理ブロック数が異なる場合、両ピクチャ共に特徴量を算出している処理ブロックのみが評価値Ｊの算出対象となる。
　例えば、参照ピクチャＰｔｐと評価対象ピクチャＰｔｃの符号化データのサイズが大きく異なる場合、復号処理時間も大きく異なる傾向にある。そのようなケースにて、各ピクチャの符号化データの復号処理や処理ブロック単位の特徴量の算出に割かれる時間が一律に制限されている場合、処理可能な処理ブロック数が両ピクチャで異なる結果となる。このような場合、評価値Ｊは、両ピクチャ共に特徴量を算出している処理ブロックのみを対象として求められる。なお、上記のように各々のピクチャで消費できる処理時間Ｔを決定することで、所望の処理速度（フレームレート１／Ｔ）での特徴量算出処理が可能となる。
　有無判定部４は、評価値算出部３により算出された評価値Ｊと、事前に設定された閾値Ｔｈとを比較する（図４のステップＳＴ４）。
　有無判定部４は、評価値算出部３により算出された評価値Ｊが閾値Ｔｈ以上であれば（図４のステップＳＴ４：ＹＥＳの場合）、参照ピクチャＰｔｐと評価対象ピクチャＰｔｃとの間にシーンチェンジが有ると判定する（図４のステップＳＴ５）。
　有無判定部４は、評価値算出部３により算出された評価値Ｊが閾値Ｔｈ未満であれば（図４のステップＳＴ４：ＮＯの場合）、参照ピクチャＰｔｐと評価対象ピクチャＰｔｃとの間にシーンチェンジが無いと判定する（図４のステップＳＴ６）。
　有無判定部４は、シーンチェンジの有無の判定結果を出力する。
　なお、閾値Ｔｈは、予め設定する固定値であってもよいし、特定の条件に従って切り替えたり、変化したりするものであってもよい。例えば、コンテンツの種類（ドラマ、ニュース、スポーツ等）毎に閾値Ｔｈを用意して切り替えるようにする方法、放送局毎に閾値Ｔｈを用意して切り替えるようにする方法、ストリームを生成するエンコーダ毎に閾値Ｔｈを用意して切り替えるようにする方法、ストリームを生成するエンコーダの設定に従って適応的に閾値Ｔｈを算出する（エンコーダの設定値を変数とした閾値Ｔｈの算出式を用意する）方法、ストリームの符号量推移に従って適応的に閾値Ｔｈを算出する（符号量の時間変化（時間方向の１～ｎ次微分、ｎは１以上の整数）を変数とした閾値Ｔｈの算出式を用意する）方法、対象とする処理ブロック数、即ち、ＭＩＮ＿ＮＵＭ＿ＢＬに比例した値（Ｔｈ＝ＭＩＮ＿ＮＵＭ＿ＢＬ×Ｔｈ＿Ｂａｓｅ、Ｔｈ＿Ｂａｓｅは、閾値Ｔｈの基準値となる予め設定する０より大きい定数）とする方法などが考えられる。なお、ＭＩＮ＿ＮＵＭ＿ＢＬに比例した値とする方法では、評価対象ピクチャＰｔｃ毎のＭＩＮ＿ＮＵＭ＿ＢＬ（またはＭＩＮ＿ＮＵＭ＿ＢＬ’）の変動による評価値Ｊの取りうる最大値の変動を加味した閾値が設定されることとなり、高精度なシーンチェンジ検出処理を実現できる。
　さらに、これらの方法を組み合わせた方法でもよい。例えば、ストリームの符号量推移に従って適応的に閾値Ｔｈを算出する方法と、ＭＩＮ＿ＮＵＭ＿ＢＬに比例した値とする方法とを組み合わせた方法等である。この場合、ストリームの符号量推移に従って適応的に算出する閾値ＴｈをＴｈ＿Ｂａｓｅに置き換えることで実現できる。
　ピクチャ選択部１により決定された候補ピクチャの中に、未だ評価対象ピクチャとして選択していないピクチャが残っていれば（図４のステップＳＴ７：ＹＥＳの場合）、ステップＳＴ１の処理に戻り、ステップＳＴ１～ＳＴ７の処理が繰り返される。
　なお、戻ったステップＳＴ１の処理で、ピクチャ選択部１により選択された２つのピクチャのうち、特徴量が既に算出されているピクチャについては、特徴量算出部２による特徴量の算出処理を省略するようにしてもよい。このようにすることで、特徴量の再計算を実施せずに済み、処理時間を短縮することができる。例えば、図５、図６で説明したように、候補ピクチャの中から、再生順に評価対象ピクチャを選択し、参照ピクチャを評価対象ピクチャより再生順で一つ前の候補ピクチャとする場合、評価対象ピクチャにおける特徴量Ｃｎ，ｔｃは、再生順で一つ先の候補ピクチャを評価対象ピクチャに選択した際の参照ピクチャにおける特徴量Ｃｎ，ｔｐとなる。したがって、算出した特徴量Ｃｎ，ｔｃを順次保存しておき、特徴量Ｃｎ，ｔｐは、保存された特徴量から読み出すようにすることで特徴量の算出処理を省略することができる。
　また、復号順と再生順が異なる場合、復号順に評価対象ピクチャを選択し、参照ピクチャを評価対象ピクチャより復号順で前かつ再生順で最も評価対象ピクチャに近い候補ピクチャとしてシーンチェンジの有無を評価してもよい。この場合においても、特徴量が既に算出されているピクチャは、特徴量の算出結果を流用して処理を省略するようにしてもよい。
　ピクチャ選択部１により決定された候補ピクチャの中に、未だ評価対象ピクチャとして選択していない候補ピクチャが残っていなければ（図４のステップＳＴ７：ＮＯの場合）、一連の処理が終了する。
　以上で明らかなように、この実施の形態１によれば、特徴量算出部２により算出された２つのピクチャに含まれるブロック単位の特徴量から、シーンチェンジの有無の判定に用いる評価値を算出する評価値算出部３を設け、有無判定部４が、評価値算出部３により算出された評価値と閾値を比較することで、２つのピクチャの間でのシーンチェンジの有無を判定する。そして、特徴量算出部２が、ピクチャ選択部１により選択されたピクチャのブロック毎に、当該ブロックの符号量から、当該ブロックの特徴量を算出するように、画像処理装置を構成した。したがって、画像処理装置は、動きベクトルが含まれていないピクチャについても、シーンチェンジの有無を判定することができる。
　この実施の形態１では、符号化映像ストリームが画像処理装置のピクチャ選択部１に与えられる例を示しているが、符号化映像ストリームを格納するメディア伝送ストリームが画像処理装置に与えられることがある。
　この場合、図９に示すように、メディア伝送ストリームから符号化映像ストリームを取り出して、符号化映像ストリームをピクチャ選択部１に出力するデマルチプレクサ５を備えるようにしてもよい。
　図９は、この発明の実施の形態１による他の画像処理装置を示す構成図である。
　メディア伝送ストリームとしては、例えば、ＭＰＥＧ－２　ＴＳ（ＩＳＯ／ＩＥＣ　１３８１８－１／ＩＴＵ－Ｔ　Ｈ．２２２．０のＴｒａｎｓｐｏｒｔ　Ｓｔｒｅａｍ）、あるいは、ＭＭＴ（ＩＳＯ／ＩＥＣ　２３００８－１）などのメディア伝送フォーマットでパケット化されているメディア伝送ストリームなどが想定される。
　デマルチプレクサ５は、与えられたメディア伝送ストリームのヘッダ情報から、各々のアクセスユニットの間の区切り、ＮＡＬユニットの種類及びサイズを知ることができる。
　デマルチプレクサ５が、各々のアクセスユニットの間の区切りを示す情報をピクチャ選択部１に与えるようにすれば、ピクチャ選択部１では、デマルチプレクサ５から与えられた情報に基づいて、符号化映像ストリームの中から所望のピクチャを選択することができる。
　また、デマルチプレクサ５が、ＮＡＬユニットの種類及びサイズを示す情報を特徴量算出部２に与えるようにすれば、特徴量算出部２では、評価対象ピクチャにおけるシンタックスの復号処理を実施することなく、上記評価対象ピクチャの符号量を特定することができる。
　この実施の形態１では、特徴量算出部２が、処理ブロックの符号量Ｓｎ，ｔの算出処理において、ピクチャ全体の処理ブロックを対象とする例を示している。
　これは一例に過ぎず、特徴量算出部２の処理負荷を軽減するために、処理ブロックの符号量Ｓｎ，ｔの算出処理において、ピクチャ内の一部の処理ブロックだけを対象とするようにしてもよい。
　具体的には、図１０に示すように、行方向及び列方向のそれぞれで、１つおきの処理ブロックだけを対象とするようにしてもよい。
　図１０は、ピクチャを構成する処理ブロックのうち、符号量を特定する処理ブロックを示す説明図である。
　図１０において、“１”が記述されている処理ブロックは、符号量を特定する処理ブロックであり、“０”が記述されている処理ブロックは、符号量を特定しない処理ブロックである。
　また、図１１に示すように、１行おきの処理ブロック、あるいは、１列おきの処理ブロックだけを対象とするようにしてもよい。
　図１１は、ピクチャを構成する処理ブロックのうち、符号量を特定する処理ブロックを示す説明図である。
　図１１において、“１”が記述されている処理ブロックは、符号量を特定する処理ブロックであり、“０”が記述されている処理ブロックは、符号量を特定しない処理ブロックである。
　図１２に示すように、処理ブロックの符号量Ｓｎ，ｔの算出処理において、ピクチャの左上の処理ブロックからラスタスキャン順に特定の処理ブロックまでを対象とし、残りの処理ブロックは対象としないようにしてもよい。
　図１２は、ピクチャを構成する処理ブロックのうち、符号量を特定する処理ブロックを示す説明図である。
　図１２において、“１”が記述されている処理ブロックは、符号量を特定する処理ブロックであり、“０”が記述されている処理ブロックは、符号量を特定しない処理ブロックである。
　なお、図１０から図１２において、“１”が記述されている処理ブロックと、“０”が記述されている処理ブロックとが逆であってもよい。
実施の形態２．
　上記実施の形態１では、特徴量算出部２が、符号化ブロックの符号化データを復号して、符号化データの復号結果から処理ブロックの符号量を特定し、処理ブロックの符号量から、処理ブロックの特徴量を算出する例を示している。
　この実施の形態２では、特徴量算出部２が、ピクチャ選択部１により選択されたピクチャ番号ｔのピクチャＰｔの処理ブロック毎に、当該処理ブロックの特徴量Ｃｎ，ｔとして、当該処理ブロックに含まれている分割ブロックの個数を用いるようにしてもよい。
　当該処理ブロックに含まれている分割ブロックの個数は、当該処理ブロックに属する各符号化ブロックに含まれている分割ブロックの個数を加算することで算出される。
　符号化ブロックに含まれている分割ブロックの個数は、例えば、符号化方式がＡＶＣ／Ｈ．２６４であれば、マクロブロックタイプ（ｍｂ＿ｔｙｐｅ）で決まるマクロブロック内のブロック数に相当する。マクロブロック内のブロック数は、評価対象ピクチャにおけるシンタックスの復号処理を実施することで得られる。
　符号化方式がＨＥＶＣ／Ｈ．２６５であれば、符号化ブロックであるＣＴＵ内のＣＵ（Ｃｏｄｉｎｇ　Ｕｎｉｔ）の数に相当する。ＣＴＵ内のＣＵの数は、評価対象ピクチャにおけるシンタックスの復号処理を実施することで得られる。
　処理ブロックの特徴量として、当該処理ブロックに含まれている分割ブロックの個数を特定する場合、特徴量算出部２が、処理ブロックの特徴量を算出する際に符号量を正規化する処理が不要になり、特徴量算出部２の処理負荷が軽減される。
実施の形態３．
　上記実施の形態１では、特徴量算出部２が、符号化ブロックの符号化データを復号して、符号化データの復号結果から処理ブロックの符号量を特定し、処理ブロックの符号量から、処理ブロックの特徴量を算出する例を示している。
　この実施の形態３では、特徴量算出部２が、ピクチャ選択部１により選択されたピクチャ番号ｔのピクチャＰｔの処理ブロック毎に、当該処理ブロックの特徴量Ｃｎ，ｔとして、当該処理ブロックにおける分割ブロックの最深の階層数を用いるようにしてもよい。
　当該処理ブロックにおける分割ブロックの最深の階層数は、当該処理ブロックに属する各符号化ブロックにおける分割ブロックの最深の階層数の最大値を求めることで算出される。
　符号化ブロックにおける分割ブロックの最深の階層数は、例えば、符号化方式がＨＥＶＣ／Ｈ．２６５であれば、図１３に示すように、符号化ブロックであるＣＴＵに含まれている複数のＣＵのうち、分割の階層が最も深い数に相当する。
　図１３は、符号化ブロックにおける分割ブロックの階層数を示す説明図である。
　図１３の例では、ＣＵ　ｄｅｐｔｈの最大値が３であるため、符号化ブロックにおける分割ブロックの最深の階層数は、３である。
　分割ブロックの最深の階層数は、評価対象ピクチャにおけるシンタックスの復号処理を実施することで得られる。
　処理ブロックの特徴量として、当該処理ブロックにおける分割ブロックの最深の階層数を特定する場合、特徴量算出部２が、処理ブロックの特徴量を算出する際に符号量を正規化する処理が不要になり、特徴量算出部２の処理負荷が軽減される。
実施の形態４．
　上記実施の形態１では、評価値算出部３が、特徴量算出部２により算出された参照ピクチャＰｔｐにおける処理ブロック単位の特徴量Ｃｎ，ｔｐと、評価対象ピクチャＰｔｃにおける処理ブロック単位の特徴量Ｃｎ，ｔｃとから、評価値Ｊを算出する例を示している。
　この実施の形態４では、評価値算出部３が、ピクチャ番号ｔ＝ｔｐの参照ピクチャＰｔｐにおける処理ブロック単位の特徴量Ｃｎ，ｔｐと、ピクチャ番号ｔ＝ｔｃの評価対象ピクチャＰｔｃにおける処理ブロック単位の特徴量Ｃｎ，ｔｃと、候補ピクチャの中で参照ピクチャＰｔｐよりも再生時刻的に１つ前のピクチャ番号ｔ＝ｔｐ’の二次参照ピクチャＰｔｐ’における処理ブロック単位の特徴量Ｃｎ，ｔｐ’とから、評価値Ｊを算出する例を説明する。
　なお、二次参照ピクチャＰｔｐ’は参照ピクチャＰｔｐの参照ピクチャ、即ち、参照ピクチャＰｔｐが評価対象ピクチャＰｔｃであったときの参照ピクチャＰｔｐである。したがって、３つのピクチャの再生時刻的位置関係はｔｐ’＜ｔｐ＜ｔｃである。ただし、一般に、ＧＯＰ毎のピクチャ数は、可変でも良いことから、図６の候補ピクチャの例において、ｔｐ’、ｔｐ、ｔｃの各候補ピクチャの間隔（ｔｃ－ｔｐ、ｔｐ－ｔｐ’）は、異なる可能性がある。
　二次参照ピクチャＰｔｐ’が再生順で１番目のピクチャであるとすると、参照ピクチャＰｔｐが再生順で２番目のピクチャであり、評価対象ピクチャＰｔｃが再生順で３番目のピクチャである。
　次に動作について説明する。
　この実施の形態４では、上記実施の形態１と同様に、図４のフローチャートに従って処理されるが、処理内容は、下記に説明する処理に変更となる。
　ピクチャ選択部１は、上記実施の形態１と同様に、複数のピクチャの符号化データが含まれている符号化映像ストリームを取得する。
　ピクチャ選択部１は、符号化データが符号化映像ストリームに含まれている複数のピクチャの中から、予め定義された候補ピクチャの決定方法に従って候補ピクチャを決定し、候補ピクチャの中から、上記実施の形態１と同様に、参照ピクチャＰｔｐ及び評価対象ピクチャＰｔｃを選択する。
　また、ピクチャ選択部１は、候補ピクチャの中から、二次参照ピクチャＰｔｐ’を選択する。即ち、図４のステップＳＴ１では、評価対象ピクチャと参照ピクチャに加えて、二次参照ピクチャも選択する。
　特徴量算出部２は、上記実施の形態１と同様に、ピクチャ選択部１により選択されたピクチャ毎に、当該評価対象ピクチャに含まれる符号化ブロック単位の符号化データから、処理ブロック単位の特徴量をそれぞれ算出する（図４のステップＳＴ２）。
　即ち、特徴量算出部２は、参照ピクチャＰｔｐに含まれる処理ブロック単位の特徴量Ｃｎ，ｔｐと、評価対象ピクチャＰｔｃに含まれる処理ブロック単位の特徴量Ｃｎ，ｔｃとを算出する。
　また、特徴量算出部２は、二次参照ピクチャＰｔｐ’に含まれる処理ブロック単位の特徴量Ｃｎ，ｔｐ’を算出する。
　評価値算出部３は、特徴量算出部２により算出された参照ピクチャＰｔｐに含まれる処理ブロック単位の特徴量Ｃｎ，ｔｐと、評価対象ピクチャＰｔｃに含まれる処理ブロック単位の特徴量Ｃｎ，ｔｃと、二次参照ピクチャＰｔｐ’に含まれる処理ブロック単位の特徴量Ｃｎ，ｔｐ’とから、評価値Ｊを算出する（図４のステップＳＴ３）。
　具体的には、評価値算出部３は、参照ピクチャＰｔｐと評価対象ピクチャＰｔｃとの間での処理ブロック単位の特徴量の差分絶対値和を算出する。
　また、評価値算出部３は、参照ピクチャＰｔｐと二次参照ピクチャＰｔｐ’との間での処理ブロック単位の特徴量の差分絶対値和を算出する。
　評価値算出部３は、評価値Ｊとして、以下の式（３）に示すように、算出した双方の差分絶対値和の差分を算出する。
Figure JPOXMLDOC01-appb-I000003
　ここで、ＭＩＮ＿ＮＵＭ＿ＢＬ’は、ＮＵＭ＿ＢＬｔｐ’、ＮＵＭ＿ＢＬｔｐ、ＮＵＭ＿ＢＬｔｃの３つの値の最小値である。即ち、二次参照ピクチャＰｔｐ’と参照ピクチャＰｔｐと評価対象ピクチャＰｔｃの処理ブロック数が全て同じでない場合、３つのピクチャ共通で特徴量を算出している処理ブロックのみが評価値Ｊの算出対象となる。
　評価値算出部３により算出された評価値Ｊは、二次参照ピクチャＰｔｐ’と参照ピクチャＰｔｐの間で絵柄があまり変化せずに処理ブロック単位の特徴量の変化が小さくなり、さらに、参照ピクチャＰｔｐと評価対象ピクチャＰｔｃの間で絵柄が大きく変化して処理ブロック単位の特徴量の変化が大きくなる場合、値が大きくなる。
　したがって、上記実施の形態１～３では、参照ピクチャＰｔｐと評価対象ピクチャＰｔｃの間の絵柄の変化の大きさを評価していたが、この実施の形態４では、参照ピクチャＰｔｐにおける絵柄の変化の程度と評価対象ピクチャＰｔｃにおける絵柄の変化の程度の差異の大きさを評価するようにしたので、シーンチェンジではないピクチャ間での緩やかな絵柄の変化を、画面全体の絵柄が大きく変化するシーンチェンジと誤検出する可能性を低減し、上記実施の形態１～３よりも、シーンチェンジの検出精度を高めることができる。
　また、処理ブロック単位の特徴量の算出対象となる処理ブロックの定義方法は、上記実施の形態１と同様（ピクチャ内全ての処理ブロック、図１０～１２のような一部の処理ブロック等）に任意に定義できる。
　有無判定部４は、上記実施の形態１と同様に、評価値算出部３により算出された評価値Ｊと、事前に設定された閾値Ｔｈとを比較する（図４のステップＳＴ４）。
　有無判定部４は、上記実施の形態１と同様に、評価値算出部３により算出された評価値Ｊが閾値Ｔｈ以上であれば、参照ピクチャＰｔｐと評価対象ピクチャＰｔｃとの間にシーンチェンジが有ると判定する（図４のステップＳＴ５）。
　有無判定部４は、上記実施の形態１と同様に、評価値算出部３により算出された評価値Ｊが閾値Ｔｈ未満であれば、参照ピクチャＰｔｐと評価対象ピクチャＰｔｃとの間にシーンチェンジが無いと判定する（図４のステップＳＴ６）。
　有無判定部４は、シーンチェンジの有無の判定結果を出力する。
　また、閾値Ｔｈの設定方法は、上記実施の形態１と同様である。
　ピクチャ選択部１により決定された候補ピクチャの中に、未だ評価対象ピクチャとして選択していないピクチャが残っていれば（図４のステップＳＴ７：ＹＥＳの場合）、ステップＳＴ１の処理に戻り、ステップＳＴ１～ＳＴ７の処理が繰り返される。
　なお、戻ったステップＳＴ１の処理で、ピクチャ選択部１により選択された３つのピクチャのうち、特徴量が既に算出されているピクチャについては、特徴量算出部２による特徴量の算出処理を省略するようにしてもよい。このようにすることで、特徴量の再計算を実施せずに済み、処理時間を短縮することができる。
　ピクチャ選択部１により決定された候補ピクチャの中に、未だ評価対象ピクチャとして選択していないピクチャが残っていなければ（図４のステップＳＴ７：ＮＯの場合）、一連の処理が終了する。
実施の形態５．
　上記実施の形態１～４では、評価値算出部３が、式（２）又は式（３）を用いて、特徴量算出部２により算出された処理ブロック単位の特徴量Ｃｎ，ｔから、評価値Ｊを算出する例を示している。
　この実施の形態５では、評価値算出部３が、評価値Ｊを算出する際に、処理ブロック単位の特徴量Ｃｎ，ｔと、当該処理ブロックに対応する重み係数ｗｎとを用いて、評価値Ｊを算出する例を説明する。
　この実施の形態５では、式（２）を以下の式（４）に変更する。あるいは、式（３）を以下の式（５）に変更する。
　評価値算出部３は、処理ブロック単位の特徴量Ｃｎ，ｔである特徴量Ｃｎ，ｔｃ及び特徴量Ｃｎ，ｔｐと、重み係数ｗｎとを式（４）に代入することで、評価値Ｊを算出する。
　あるいは、評価値算出部３は、処理ブロック単位の特徴量Ｃｎ，ｔである特徴量Ｃｎ，ｔｃ、特徴量Ｃｎ，ｔｐ及び特徴量Ｃｎ，ｔｐ’と、重み係数ｗｎとを式（５）に代入することで、評価値Ｊを算出する。

Figure JPOXMLDOC01-appb-I000004
　式（４）及び式（５）において、特徴量Ｃｎ，ｔｃは、評価対象ピクチャＰｔｃにおけるブロック番号ｎの処理ブロックの特徴量であり、特徴量Ｃｎ，ｔｐは、参照ピクチャＰｔｐにおけるブロック番号ｎの処理ブロックの特徴量である。
　また、特徴量Ｃｎ，ｔｐ’は、二次参照ピクチャＰｔｐ’におけるブロック番号ｎの処理ブロックの特徴量である。
　ｗｎは、特徴量Ｃｎ，ｔｃと特徴量Ｃｎ，ｔｐとの差分絶対値に乗算する重み係数、あるいは、特徴量Ｃｎ，ｔｐと特徴量Ｃｎ，ｔｐ’との差分絶対値に乗算する重み係数である。
　式（４）は、以下の式（６）のように変形することができる。また、式（５）は、以下の式（７）のように変形することができる。

Figure JPOXMLDOC01-appb-I000005
　したがって、評価値算出部３は、式（６）又は式（７）を用いて、評価値Ｊを算出することができる。
　評価値算出部３が、式（６）を用いて、評価値Ｊを算出する場合、評価値算出部３が、差分絶対値に重み係数ｗｎを乗算する代わりに、特徴量算出部２が、特徴量Ｃｎ，ｔｃ及び特徴量Ｃｎ，ｔｐのそれぞれに重み係数ｗｎを乗算する。
　評価値算出部３が、式（７）を用いて、評価値Ｊを算出する場合、評価値算出部３が、差分絶対値に重み係数ｗｎを乗算する代わりに、特徴量算出部２が、特徴量Ｃｎ，ｔｃ、特徴量Ｃｎ，ｔｐ及び特徴量Ｃｎ，ｔｐ’のそれぞれに重み係数ｗｎを乗算する。
　具体的には、評価値算出部３が式（６）を用いて、評価値Ｊを算出する場合、特徴量算出部２は、式（１）の定数Ｍを以下の式（８）に示す変数Ｍ’ｎに置き換えた上で、式（１）を用いて、特徴量Ｃｎ，ｔｃ及び特徴量Ｃｎ，ｔｐのそれぞれを算出する。
　特徴量算出部２は、算出した特徴量Ｃｎ，ｔｃ及び特徴量Ｃｎ，ｔｐを評価値算出部３に出力する。
　特徴量算出部２から出力された特徴量Ｃｎ，ｔｃは、式（６）に示すｗｎＣｎ，ｔｃに相当し、特徴量算出部２から出力された特徴量Ｃｎ，ｔｐは、式（６）に示すｗｎＣｎ，ｔｐに相当する。

Figure JPOXMLDOC01-appb-I000006
　評価値算出部３が式（７）を用いて、評価値Ｊを算出する場合、特徴量算出部２は、式（１）の定数Ｍを式（８）に示す変数Ｍ’ｎに置き換えた上で、式（１）を用いて、特徴量Ｃｎ，ｔｃ、特徴量Ｃｎ，ｔｐ及び特徴量Ｃｎ，ｔｐ’のそれぞれを算出する。
　特徴量算出部２は、算出した特徴量Ｃｎ，ｔｃ、特徴量Ｃｎ，ｔｐ及び特徴量Ｃｎ，ｔｐ’を評価値算出部３に出力する。
　特徴量算出部２から出力された特徴量Ｃｎ，ｔｃは、式（７）に示すｗｎＣｎ，ｔｃに相当し、特徴量算出部２から出力された特徴量Ｃｎ，ｔｐは、式（７）に示すｗｎＣｎ，ｔｐに相当する。また、特徴量算出部２から出力された特徴量Ｃｎ，ｔｐ’は、式（７）に示すｗｎＣｎ，ｔｐ’に相当する。
　評価値算出部３は、特徴量算出部２から出力された特徴量Ｃｎ，ｔｃをｗｎＣｎ，ｔｃ、特徴量算出部２から出力された特徴量Ｃｎ，ｔｐをｗｎＣｎ，ｔｐとして式（６）に代入することで、評価値Ｊを算出する。
　あるいは、評価値算出部３は、特徴量算出部２から出力された特徴量Ｃｎ，ｔｃをｗｎＣｎ，ｔｃ、特徴量算出部２から出力された特徴量Ｃｎ，ｔｐをｗｎＣｎ，ｔｐ、特徴量算出部２から出力された特徴量Ｃｎ，ｔｐ’をｗｎＣｎ，ｔｐ’として式（７）に代入することで、評価値Ｊを算出する。
　ここで、処理ブロック毎の重み係数ｗｎは、処理ブロックの重要度を示すものであり、重み係数ｗｎの値が大きい処理ブロックほど、シーンチェンジを検出するに際して、重要な処理ブロックであることを意味している。
　したがって、処理ブロック毎の重み係数ｗｎは、検出したいシーンの変化パターンにおいて、絵柄の変化が不連続または変化が急峻となりやすい処理ブロック程、大きな値になるように設計されていればよい。
　以下、重み係数ｗｎの具体例を挙げる。
　以下の式（９）に示すように、処理ブロックの２次元座標（Ｘｎ，Ｙｎ）を変数とする関数ｈ（Ｘｎ，Ｙｎ）で、重み係数ｗｎを定義する。

Figure JPOXMLDOC01-appb-I000007

　例えば、ピクチャに含まれる複数の処理ブロックが、図１６のように表される場合、（Ｘｎ，Ｙｎ）は、ブロック番号ｎの処理ブロックの２次元座標（Ｘｎ：水平方向（ｘ）成分、Ｙｎ：垂直方向（ｙ）成分）を示している。
　図１６は、処理ブロックの水平方向と垂直方向の座標を示す説明図である。
　図１６の例では、左上の処理ブロック（０，０）を基準の処理ブロックとしており、基準の処理ブロックの２次元座標は、（Ｘ１，Ｙ１）である。
　例えば、処理ブロック（５，１）の２次元座標は、（Ｘ６，Ｙ６）であり、処理ブロック（２，３）の２次元座標は、（Ｘ２１，Ｙ２１）である。
　例えば、シーンチェンジを、「画面の中央部分に移る被写体が不連続に変化することである」と定義する場合、以下の式（１０）に示す関数ｈ（ｘ，ｙ）で表される重み係数ｗｎは、画面中央に近い処理ブロック程、値が大きくなるように設定される。

Figure JPOXMLDOC01-appb-I000008
　式（１０）において、Ｗは、ピクチャ全体を処理ブロックで分割したときの水平方向の処理ブロック数、Ｈは、ピクチャ全体を処理ブロックで分割したときの垂直方向の処理ブロック数、Ａｘ、Ａｙ、Ｌｘ、Ｌｙは、それぞれ正の定数である。さらに、Ａｘ、Ａｙは、それぞれｘ成分、ｙ成分の重みのスケーリング値の役割を持っており、値が大きいほど、画面中央からの距離が離れたときの重みの低減比率が高くなる。
　ｆｉ（ｘ）は、任意の単調増加関数である。ｆｉ（ｘ）の例として、以下の式（１１）又は式（１２）で表される関数が考えられる。
Figure JPOXMLDOC01-appb-I000009
　式（１１）及び式（１２）において、ａｉ及びｂｉは、それぞれ正の定数である。
　例えば、Ｗ＝６、Ｈ＝４として、ピクチャに含まれる複数の処理ブロックが、図１６のように表され、単調増加関数ｆｉ（ｘ）が、式（１１）で表される関数であるとする。
　このとき、例えば、ａ1＝ａ2＝１、Ａｘ＝１、Ａｙ＝１、Ｌｘ＝（Ｗ／２）－１＝２、Ｌｙ＝（Ｈ／２）－１＝１であれば、図１７のように、画面中心の処理ブロックの重み係数が、最も大きいｗｎ＝１となり、画面中心から離れている処理ブロックの重み係数ほど、小さい重み係数となる。一方、Ｌｘ、Ｌｙの値を小さい値とする。例えばａ1＝ａ2＝１、Ａｘ＝１、Ａｙ＝１、Ｌｘ＝１、Ｌｙ＝１とすれば、各々の処理ブロックの重み係数ｗｎは、図１８のように、画面中央部分で重み係数がｗｎ＝１となり、重み係数が大きい処理ブロックの数が、図１７の場合よりも増加する。
　図１７及び図１８は、処理ブロック毎の重みｗｎの一例を示す説明図である。
　図１７では、例えば、処理ブロック（５，０）の重み係数ｗｎは、１／√６、処理ブロック（１，１）の重み係数ｗｎは、１／√２、処理ブロック（３，１）の重み係数ｗｎは、１である。
　図１８では、例えば、処理ブロック（５，０）の重み係数ｗｎは、１／√３、処理ブロック（１，１）及び処理ブロック（３，１）の重み係数ｗｎは、１である。
　また、式（１０）について、ｆｉ（ｘ）が、式（１１）で表される関数であり、ａ1＝ａ2＝１、Ｌｘ＝（Ｗ／２）－１、Ｌｙ＝（Ｈ／２）－１の場合、式（１０）は、式（１３）のように変形できる。これによって、ｘ、ｙの値に応じた場合分けが不要となる。
Figure JPOXMLDOC01-appb-I000010
　また、重み係数ｗｎは、式（１０）に示す関数ｈ（ｘ，ｙ）の代わりに、以下の式（１４）に示す関数ｈ（ｘ，ｙ）としてもよい。
Figure JPOXMLDOC01-appb-I000011
　重み係数ｗｎを式（１４）に示す関数ｈ（ｘ，ｙ）で表す場合、二乗の計算及び平方根の計算がないため、重み係数ｗｎを式（１０）に示す関数ｈ（ｘ，ｙ）で表す場合よりも、計算負荷を下げることができる。
式（１０）の例と同様に、例えば、ａ１＝ａ２＝１、Ｌｘ＝（Ｗ／２）－１、Ｌｙ＝（Ｈ／２）－１であれば、画面中心の処理ブロックの重み係数が、最も大きいｗｎ＝１となり、画面中心から離れている処理ブロックの重み係数ほど、小さい重み係数となる。一方、Ｌｘ、Ｌｙの値を小さい値とする。例えばａ１＝ａ２＝１、Ｌｘ＝１、Ｌｙ＝１とすれば、各々の処理ブロックの重み係数ｗｎは、画面中央部分で重み係数がｗｎ＝１となり、重み係数が大きい処理ブロックの数が増加する。
　また、式（１４）について、ｆｉ（ｘ）が、式（１１）で表される関数であり、ａ1＝ａ2＝１、Ｌｘ＝（Ｗ／２）－１、Ｌｙ＝（Ｈ／２）－１の場合、式（１４）は、式（１５）のように変形できる。これによって、ｘ、ｙの値に応じた場合分けが不要となる。
Figure JPOXMLDOC01-appb-I000012
　さらに、式（１０）及び式（１４）の計算負荷を削減するため、ｘ成分、ｙ成分の重みのスケーリング値を意味するＡｘ、Ａｙは、それぞれ式（１６）及び式（１７）に示すように、シフト演算としてもよい。このようにすることで、スケーリングの精度は、整数精度となるが、スケーリング処理は、ビットシフトで演算可能となる。
Figure JPOXMLDOC01-appb-I000013

Figure JPOXMLDOC01-appb-I000014
　ここで、Ｂｘ、Ｂｙは、シフト量を示し、値が大きいほど、画面中央からの距離が離れたときの重みの低減比率が高くなる。さらに、式（１６）及び式（１７）では、左シフトするように定義したが、式（１８）及び式（１９）に示すように、それぞれ右シフトを用いるようにしてもよい。
Figure JPOXMLDOC01-appb-I000015

Figure JPOXMLDOC01-appb-I000016
　式（１８）及び式（１９）は、式（１６）及び式（１７）と同様に、Ｂｘ、Ｂｙは、シフト量を示すが、値が大きいほど、画面中央からの距離が離れたときの重みの低減比率が低くなる点で、式（１６）及び式（１７）と異なる。
　また、上記で説明した「Ａｘ、ＡｙをＢｘ、Ｂｙによるシフト演算とすること」は、式（１３）及び式（１５）にも適用できる。
　また、図１２に示すように、処理ブロックの符号量Ｓｎ，ｔの算出処理において、ピクチャを構成する処理ブロックのうち、ピクチャの左上の処理ブロックからラスタスキャン順に特定の処理ブロックまでを算出対象とする。そして、残りの処理ブロックについては、算出対象としないようにする場合、あるいは、復号処理時間等の制約で符号量Ｓｎ，ｔの算出処理を行える処理ブロックの数がピクチャ毎に変化する場合、ＬｘとＬｙは、評価値Ｊの算出単位に可変としてもよい。
　例えば、符号量Ｓｎ，ｔの算出処理を実施できた最後の処理ブロックの２次元座標を（ＸＭＩＮ＿ＮＵＭ＿ＢＬ，ＹＭＩＮ＿ＮＵＭ＿ＢＬ）（あるいは（ＸＭＩＮ＿ＮＵＭ＿ＢＬ’，ＹＭＩＮ＿ＮＵＭ＿ＢＬ’））とした場合、Ｌｘは、（Ｗ／２）－１に固定する。一方、Ｌｙは、ＹＭＩＮ＿ＮＵＭ＿ＢＬ（あるいはＹＭＩＮ＿ＮＵＭ＿ＢＬ’）が（Ｈ／２）－１より小さい場合、Ｌｙ＝ＹＭＩＮ＿ＮＵＭ＿ＢＬ（あるいはＹＭＩＮ＿ＮＵＭ＿ＢＬ’）とし、それ以外は、Ｌｙ＝（Ｈ／２）－１とする。これによって、評価値Ｊを算出する際のＭＩＮ＿ＮＵＭ＿ＢＬ（あるいはＭＩＮ＿ＮＵＭ＿ＢＬ’）が小さい場合において、Ｌｙ＝（Ｈ／２）－１で固定した場合よりも、それぞれの処理ブロックの重み係数ｗｎが大きくなって評価値Ｊの値が大きくなるため、有無判定部４でのシーンチェンジ検出感度を高くすることができる。
　上記では、シーンチェンジを、「画面の中央部分に移る被写体が不連続に変化することである」と定義したが、シーンチェンジを、「画面の背景が不連続に変化することである」と定義するようにしてもよい。
　シーンチェンジを、「画面の背景が不連続に変化することである」と定義する場合、重み係数ｗｎは、背景が写りやすい画面端に近い処理ブロック程、値が大きくなるように設定される。
　シーンチェンジを、「画面の背景が不連続に変化することである」と定義する場合、重み係数ｗｎは、式（１０）に示す関数ｈ（ｘ，ｙ）の代わりに、以下の式（２０）に示す関数ｈ（ｘ，ｙ）で表すことができる。
Figure JPOXMLDOC01-appb-I000017
　あるいは、重み係数ｗｎは、式（１４）に示す関数ｈ（ｘ，ｙ）の代わりに、以下の式（２１）に示す関数ｈ（ｘ，ｙ）で表すことができる。
Figure JPOXMLDOC01-appb-I000018
　有無判定部４での閾値Ｔｈの設定方法は、上記実施の形態１と同様として良い。さらに、他の例として、ＭＩＮ＿ＮＵＭ＿ＢＬ（またはＭＩＮ＿ＮＵＭ＿ＢＬ’）が評価対象ピクチャＰｔｃ毎に変わる場合、閾値Ｔｈを重み係数ｗｎから求まる式（２２）で算出するようにしても良い。このようにすることで、評価対象ピクチャＰｔｃ毎のＭＩＮ＿ＮＵＭ＿ＢＬ（またはＭＩＮ＿ＮＵＭ＿ＢＬ’）の変動による評価値Ｊの取りうる最大値の変動を加味した閾値が設定されることとなり、高精度なシーンチェンジ検出処理を実現できる。
Figure JPOXMLDOC01-appb-I000019
ただし、Ｔｈ＿Ｂａｓｅは、閾値Ｔｈの基準値となる予め設定する０より大きい定数である。また、評価値Ｊの算出にＭＩＮ＿ＮＵＭ＿ＢＬ’を用いる場合は、式（２２）のＭＩＮ＿ＮＵＭ＿ＢＬをＭＩＮ＿ＮＵＭ＿ＢＬ’に置き換える。
　さらに、本方法を上記実施の形態１に記載の方法と組み合わせた方法でもよい。例えば、本方法とストリームの符号量推移に従って適応的に閾値Ｔｈを算出する方法とを組み合わせた方法等である。この場合、ストリームの符号量推移に従って適応的に算出する閾値ＴｈをＴｈ＿Ｂａｓｅに置き換えることで実現できる。
実施の形態６．
　上記実施の形態５では、処理ブロック毎の重み係数ｗｎを用いて、評価値Ｊを算出する例を示している。
　この実施の形態６では、符号化ブロック毎の重み係数ｗｍを用いて、評価値Ｊを算出する例を説明する。
　まず、特徴量算出部２は、処理ブロック毎の重み係数ｗｎの代わりに、符号化ブロック毎の重み係数ｗｍを取得する。ｍは、ラスタスキャン順に番号付けされた符号化ブロックのブロック番号を示す変数であり、ｗｍは、ブロック番号ｍの符号化ブロックについての重み係数である。
　特徴量算出部２は、式（１）の定数Ｍを以下の式（２３）に示す変数Ｍ’ｍに置き換えた上で、式（１）を用いて、ブロック番号ｍの符号化ブロックにおける特徴量Ｃｍ，ｔｃ及び特徴量Ｃｍ，ｔｐのそれぞれを算出、あるいは、特徴量Ｃｍ，ｔｃ、特徴量Ｃｍ，ｔｐ及び特徴量Ｃｍ，ｔｐ’のそれぞれを算出する。
Figure JPOXMLDOC01-appb-I000020
　特徴量算出部２は、変数Ｍ’ｍを用いて、特徴量Ｃｍ，ｔ（Ｃｍ，ｔｃ、Ｃｍ，ｔｐ、あるいは、Ｃｍ，ｔｐ’）を算出する場合、式（１）におけるブロック番号ｎの処理ブロックの符号量Ｓｎ，ｔの代わりに、ブロック番号ｍの符号化ブロックの符号量を用いる。
　特徴量算出部２は、算出した特徴量Ｃｍ，ｔｃ及び特徴量Ｃｍ，ｔｐを評価値算出部３に出力する。
　あるいは、特徴量算出部２は、算出した特徴量Ｃｍ，ｔｃ、特徴量Ｃｍ，ｔｐ及び特徴量Ｃｍ，ｔｐ’を評価値算出部３に出力する。
　評価値算出部３は、式（６）において、ｗｎＣｎ，ｔｃの代わりにＣｍ，ｔｃを用い、ｗｎＣｎ，ｔｐの代わりにＣｍ，ｔｐを用いて、評価値Ｊを算出する。
　あるいは、評価値算出部３は、式（７）において、ｗｎＣｎ，ｔｃの代わりにＣｍ，ｔｃを用い、ｗｎＣｎ，ｔｐの代わりにＣｍ，ｔｐを用い、ｗｎＣｎ，ｔｐ’の代わりにＣｍ，ｔｐ’を用いて、評価値Ｊを算出する。
　この実施の形態６では、符号化ブロック毎の重み係数ｗｍを用いて、評価値Ｊを算出するようにしているので、処理ブロックよりも細かい符号化ブロック単位で、各領域の重要度を調節することができ、シーンチェンジの検出性能を高めることができる。
　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　この発明は、シーンの変化点であるシーンチェンジの有無を判定する画像処理装置及び画像処理方法に適している。
　１　ピクチャ選択部、２　特徴量算出部、３　評価値算出部、４　有無判定部、５　デマルチプレクサ、１１　ピクチャ選択回路、１２　特徴量算出回路、１３　評価値算出回路、１４　有無判定回路、２１　メモリ、２２　プロセッサ。

Claims (11)

  1. 　複数のピクチャの中から、シーンの変化点であるシーンチェンジの有無を評価する対象のピクチャとして、２つのピクチャを選択するピクチャ選択部と、
    　前記ピクチャ選択部により選択された２つのピクチャのそれぞれについて、ピクチャに含まれるブロック単位の特徴量をそれぞれ算出する特徴量算出部と、
    　前記特徴量算出部により算出された２つのピクチャに含まれるブロック単位の特徴量から、シーンチェンジの有無の判定に用いる評価値を算出する評価値算出部と、
    　前記評価値算出部により算出された評価値と閾値を比較することで、前記２つのピクチャの間でのシーンチェンジの有無を判定する有無判定部とを備え、
    　前記特徴量算出部は、前記ピクチャ選択部により選択されたピクチャのブロック毎に、当該ブロックの符号量又は当該ブロックに含まれている分割ブロックの最深の階層数から、当該ブロックの特徴量を算出することを特徴とする画像処理装置。
  2. 　前記特徴量算出部は、前記ピクチャ選択部により選択されたピクチャのブロック毎に、当該ブロックの符号量を特定し、当該ブロックの符号量を当該ピクチャ全体の符号量で除算することで、当該ブロックの特徴量を算出することを特徴とする請求項１記載の画像処理装置。
  3. 　前記特徴量算出部は、前記ピクチャ選択部により選択されたピクチャのブロック毎に、当該ブロックに含まれている分割ブロックの最深の階層数を特定し、前記階層数を当該ブロックの特徴量とすることを特徴とする請求項１記載の画像処理装置。
  4. 　前記評価値算出部は、シーンチェンジの有無の判定に用いる評価値として、前記特徴量算出部により算出された２つのピクチャの間でのブロック単位の特徴量の差分絶対値和を算出することを特徴とする請求項１記載の画像処理装置。
  5. 　前記ピクチャ選択部は、シーンチェンジの有無を評価する対象のピクチャとして、３つのピクチャを選択し、
    　前記特徴量算出部は、前記ピクチャ選択部により選択された３つのピクチャのそれぞれについて、ピクチャに含まれるブロック単位の特徴量をそれぞれ算出し、
    　前記評価値算出部は、前記特徴量算出部によりブロック単位の特徴量が算出された３つのピクチャのうち、再生順で、２番目のピクチャと３番目のピクチャとの間でのブロック単位の特徴量の差分絶対値和を算出するとともに、再生順で、１番目のピクチャと２番目のピクチャとの間でのブロック単位の特徴量の差分絶対値和を算出し、シーンチェンジの有無の判定に用いる評価値として、算出した双方の差分絶対値和の差分を算出し、
    　前記有無判定部は、前記評価値算出部により算出された評価値と閾値を比較することで、再生順で、２番目のピクチャと３番目のピクチャとの間でのシーンチェンジの有無を判定することを特徴とする請求項１記載の画像処理装置。
  6. 　前記評価値算出部は、シーンチェンジの有無の判定に用いる評価値として、
    　前記特徴量算出部により算出された２つのピクチャの間でのブロック単位の特徴量の差分絶対値に対して、当該ブロックに対応する重み係数をそれぞれ乗算して、それぞれ重み係数を乗算したブロック単位の差分絶対値の総和を算出することを特徴とする請求項１記載の画像処理装置。
  7. 　前記特徴量算出部は、前記ピクチャ選択部により選択された２つのピクチャの間でのブロック単位の特徴量に対して、当該ブロックに対応する重み係数をそれぞれ乗算し、前記２つのピクチャの間でのブロック単位の特徴量として、それぞれ重み係数を乗算した特徴量を出力し、
    　前記評価値算出部は、シーンチェンジの有無の判定に用いる評価値として、前記特徴量算出部から出力された２つのピクチャの間でのブロック単位の特徴量の差分絶対値和を算出することを特徴とする請求項１記載の画像処理装置。
  8. 　前記ピクチャ選択部は、シーンチェンジの有無を評価する対象のピクチャとして、３つのピクチャを選択し、
    　前記特徴量算出部は、前記ピクチャ選択部により選択された３つのピクチャのそれぞれについて、ピクチャに含まれるブロック単位の特徴量をそれぞれ算出し、
    　前記評価値算出部は、前記特徴量算出部によりブロック単位の特徴量が算出された３つのピクチャのうち、再生順で、２番目のピクチャと３番目のピクチャとの間でのブロック単位の特徴量の差分絶対値に対して、当該ブロックに対応する重み係数をそれぞれ乗算して、それぞれ重み係数を乗算したブロック単位の差分絶対値の総和を算出するとともに、再生順で、１番目のピクチャと２番目のピクチャとの間でのブロック単位の特徴量の差分絶対値に対して、当該ブロックに対応する重み係数をそれぞれ乗算して、それぞれ重み係数を乗算したブロック単位の差分絶対値の総和を算出し、シーンチェンジの有無の判定に用いる評価値として、算出した双方の差分絶対値の総和の差分を算出し、
    　前記有無判定部は、前記評価値算出部により算出された評価値と閾値を比較することで、再生順で、２番目のピクチャと３番目のピクチャとの間でのシーンチェンジの有無を判定することを特徴とする請求項１記載の画像処理装置。
  9. 　前記ピクチャ選択部は、シーンチェンジの有無を評価する対象のピクチャとして、３つのピクチャを選択し、
    　前記特徴量算出部は、前記ピクチャ選択部により選択された３つのピクチャのそれぞれについて、ピクチャに含まれるブロック単位の特徴量をそれぞれ算出して、それぞれ算出したブロック単位の特徴量に対して、当該ブロックに対応する重み係数をそれぞれ乗算し、前記ピクチャに含まれるブロック単位の特徴量として、それぞれ重み係数を乗算した特徴量を出力し、
    　前記評価値算出部は、前記特徴量算出部からブロック単位の特徴量が出力された３つのピクチャのうち、再生順で、２番目のピクチャと３番目のピクチャとの間でのブロック単位の特徴量の差分絶対値和を算出するとともに、再生順で、１番目のピクチャと２番目のピクチャとの間でのブロック単位の特徴量の差分絶対値和を算出し、シーンチェンジの有無の判定に用いる評価値として、算出した双方の差分絶対値和の差分を算出し、
    　前記有無判定部は、前記評価値算出部により算出された評価値と閾値を比較することで、再生順で、２番目のピクチャと３番目のピクチャとの間でのシーンチェンジの有無を判定することを特徴とする請求項１記載の画像処理装置。
  10. 　ピクチャ選択部が、複数のピクチャの中から、シーンチェンジの有無を評価する対象のピクチャとして、２つのピクチャを選択し、
    　特徴量算出部が、前記ピクチャ選択部により選択された２つのピクチャのそれぞれについて、ピクチャに含まれるブロック単位の特徴量をそれぞれ算出し、
    　評価値算出部が、前記特徴量算出部により算出された２つのピクチャに含まれるブロック単位の特徴量から、シーンチェンジの有無の判定に用いる評価値を算出し、
    　有無判定部が、前記評価値算出部により算出された評価値と閾値を比較することで、前記２つのピクチャの間でのシーンチェンジの有無を判定するものであり、
    　前記特徴量算出部が、前記ピクチャ選択部により選択されたピクチャのブロック毎に、当該ブロックの符号量又は当該ブロックに含まれている分割ブロックの最深の階層数から、当該ブロックの特徴量を算出することを特徴とする画像処理方法。
  11. 　前記ピクチャ選択部は、シーンチェンジの有無を評価する対象のピクチャとして、３つのピクチャを選択し、
    　前記特徴量算出部は、前記ピクチャ選択部により選択された３つのピクチャのそれぞれについて、ピクチャに含まれるブロック単位の特徴量をそれぞれ算出し、
    　前記評価値算出部は、前記特徴量算出部によりブロック単位の特徴量が算出された３つのピクチャのうち、再生順で、２番目のピクチャと３番目のピクチャとの間でのブロック単位の特徴量の差分絶対値和を算出するとともに、再生順で、１番目のピクチャと２番目のピクチャとの間でのブロック単位の特徴量の差分絶対値和を算出し、シーンチェンジの有無の判定に用いる評価値として、算出した双方の差分絶対値和の差分を算出し、
    　前記有無判定部は、前記評価値算出部により算出された評価値と閾値を比較することで、再生順で、２番目のピクチャと３番目のピクチャとの間でのシーンチェンジの有無を判定することを特徴とする請求項１０記載の画像処理方法。
PCT/JP2018/013789 2017-10-24 2018-03-30 画像処理装置及び画像処理方法 WO2019082413A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018550470A JP6782789B2 (ja) 2017-10-24 2018-03-30 画像処理装置及び画像処理方法
TW107127425A TWI673652B (zh) 2017-10-24 2018-08-07 影像處理裝置及影像處理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPPCT/JP2017/038339 2017-10-24
PCT/JP2017/038339 WO2019082268A1 (ja) 2017-10-24 2017-10-24 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
WO2019082413A1 true WO2019082413A1 (ja) 2019-05-02

Family

ID=66247342

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2017/038339 WO2019082268A1 (ja) 2017-10-24 2017-10-24 画像処理装置及び画像処理方法
PCT/JP2018/013789 WO2019082413A1 (ja) 2017-10-24 2018-03-30 画像処理装置及び画像処理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/038339 WO2019082268A1 (ja) 2017-10-24 2017-10-24 画像処理装置及び画像処理方法

Country Status (3)

Country Link
JP (1) JP6782789B2 (ja)
TW (1) TWI673652B (ja)
WO (2) WO2019082268A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06133305A (ja) * 1992-09-07 1994-05-13 Fujitsu Ltd 画像データ符号化方法、その方法を用いた画像データ符号化装置、画像データ復元方法、その方法を用いた画像データ復元装置、シーン変化検出方法、その方法を用いたシーン変化検出装置、シーン変化記録装置、及び画像データのシーン変化記録・再生装置
JPH07152779A (ja) * 1993-11-29 1995-06-16 Toshiba Corp 動画インデックス検出処理方法及び動画インデックス検出処理機能を持つ動画処理装置
JPH10294923A (ja) * 1997-04-18 1998-11-04 Matsushita Electric Ind Co Ltd シーンチェンジ検出方法およびシーンチェンジ検出装置
JP2016032285A (ja) * 2014-07-30 2016-03-07 Kddi株式会社 客観画質評価装置、客観画質評価方法、およびプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0636026A (ja) * 1992-07-13 1994-02-10 Toshiba Corp 動画像処理装置
JP2001251630A (ja) * 2000-03-06 2001-09-14 Nec Corp 画像信号符号化装置およびその方法
US7382417B2 (en) * 2004-12-23 2008-06-03 Intel Corporation Method and algorithm for detection of scene cuts or similar images in video images
JP4618166B2 (ja) * 2006-03-07 2011-01-26 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
TW200822739A (en) * 2006-11-10 2008-05-16 Benq Corp Method for chaptering an image datum according to scene change
JP4420056B2 (ja) * 2007-04-20 2010-02-24 ソニー株式会社 画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラム
CN101681518B (zh) * 2007-05-21 2012-11-14 三菱电机株式会社 图像差检测方法和装置、场景转换检测方法和装置、以及图像差分检测方法和装置
US7859547B2 (en) * 2007-09-25 2010-12-28 Himax Technologies Limited Display parameter adjusting method and apparatus for scene change compensation
JP5191240B2 (ja) * 2008-01-09 2013-05-08 オリンパス株式会社 シーン変化検出装置およびシーン変化検出プログラム
JP5178616B2 (ja) * 2009-04-22 2013-04-10 三菱電機株式会社 シーンチェンジ検出装置および映像記録装置
JP2012142645A (ja) * 2009-04-28 2012-07-26 Mitsubishi Electric Corp 映像音声再生装置、映像音声記録再生装置、映像音声編集装置、映像音声再生方法、映像音声記録再生方法、および映像音声編集方法
JP2015216632A (ja) * 2014-04-22 2015-12-03 ソニー株式会社 符号化装置および符号化方法
JP6588745B2 (ja) * 2015-06-24 2019-10-09 日本放送協会 シーンチェンジ検出装置、及びそのプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06133305A (ja) * 1992-09-07 1994-05-13 Fujitsu Ltd 画像データ符号化方法、その方法を用いた画像データ符号化装置、画像データ復元方法、その方法を用いた画像データ復元装置、シーン変化検出方法、その方法を用いたシーン変化検出装置、シーン変化記録装置、及び画像データのシーン変化記録・再生装置
JPH07152779A (ja) * 1993-11-29 1995-06-16 Toshiba Corp 動画インデックス検出処理方法及び動画インデックス検出処理機能を持つ動画処理装置
JPH10294923A (ja) * 1997-04-18 1998-11-04 Matsushita Electric Ind Co Ltd シーンチェンジ検出方法およびシーンチェンジ検出装置
JP2016032285A (ja) * 2014-07-30 2016-03-07 Kddi株式会社 客観画質評価装置、客観画質評価方法、およびプログラム

Also Published As

Publication number Publication date
TWI673652B (zh) 2019-10-01
TW201917631A (zh) 2019-05-01
JP6782789B2 (ja) 2020-11-11
WO2019082268A1 (ja) 2019-05-02
JPWO2019082413A1 (ja) 2019-11-21

Similar Documents

Publication Publication Date Title
EP3389276B1 (en) Hash-based encoder decisions for video coding
JP6005157B2 (ja) 深度マップ符号化および復号化
JP6072678B2 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
US9367616B2 (en) Video descriptor generation device
WO2015139615A1 (en) Method for depth lookup table signaling in 3d video coding based on high efficiency video coding standard
TW201338559A (zh) 動態影像編碼裝置、動態影像編碼方法及動態影像編碼程式、以及動態影像解碼裝置、動態影像解碼方法及動態影像解碼程式
US20150146103A1 (en) Method and apparatus for processing video signal
JP2007124408A (ja) 動きベクトル検出装置および動きベクトル検出方法
EP2960854A1 (en) Method and device for determining a set of modifiable elements in a group of pictures
US20080112631A1 (en) Method of obtaining a motion vector in block-based motion estimation
JP2006148419A (ja) 画像符号化装置，画像符号化方法，画像符号化プログラムおよびコンピュータ読み取り可能な記録媒体
JP5178616B2 (ja) シーンチェンジ検出装置および映像記録装置
CA2871668A1 (en) Macroblock partitioning and motion estimation using object analysis for video compression
WO2019082413A1 (ja) 画像処理装置及び画像処理方法
JP2007158855A (ja) 動きベクトル検出装置および動きベクトル検出方法
JP2010278519A (ja) 動きベクトル検出装置
JP4759537B2 (ja) 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびコンピュータ読み取り可能な記録媒体
JP2009267726A (ja) 動画像符号化装置、録画装置、動画像符号化方法、動画像符号化プログラム
JP2008182408A (ja) 動画像符号化装置及び方法
JP2008028707A (ja) 画質評価装置、符号化装置及び画質評価方法
KR101492060B1 (ko) 동영상의 일괄 컬러 변환 방법 및 그 기록매체
JP2005302059A (ja) デジタル映像処理方法及びその装置
US10075691B2 (en) Multiview video coding method using non-referenced view video group
US10063880B2 (en) Motion detecting apparatus, motion detecting method and program
KR102224321B1 (ko) 평면 모델링을 통한 깊이 영상 부호화 방법 및 장치

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018550470

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18870944

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18870944

Country of ref document: EP

Kind code of ref document: A1