JP7314683B2 - 動画像符号化装置、動画像符号化方法、動画像改ざん判定方法、及び動画像改ざん判定プログラム - Google Patents

動画像符号化装置、動画像符号化方法、動画像改ざん判定方法、及び動画像改ざん判定プログラム Download PDF

Info

Publication number
JP7314683B2
JP7314683B2 JP2019135396A JP2019135396A JP7314683B2 JP 7314683 B2 JP7314683 B2 JP 7314683B2 JP 2019135396 A JP2019135396 A JP 2019135396A JP 2019135396 A JP2019135396 A JP 2019135396A JP 7314683 B2 JP7314683 B2 JP 7314683B2
Authority
JP
Japan
Prior art keywords
information
moving image
inspection
encoded
coded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019135396A
Other languages
English (en)
Other versions
JP2021019326A (ja
Inventor
正樹 後藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2019135396A priority Critical patent/JP7314683B2/ja
Priority to EP20845073.4A priority patent/EP4007281B1/en
Priority to CN202080051628.8A priority patent/CN114128297B/zh
Priority to PCT/JP2020/028102 priority patent/WO2021015169A1/ja
Publication of JP2021019326A publication Critical patent/JP2021019326A/ja
Priority to US17/580,492 priority patent/US20220150526A1/en
Application granted granted Critical
Publication of JP7314683B2 publication Critical patent/JP7314683B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/64Protecting data integrity, e.g. using checksums, certificates or signatures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/913Television signal processing therefor for scrambling ; for copy protection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/913Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91307Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画像の改ざんを検出するための動画像符号化技術及び動画像改ざん判定技術に関する。
動画像符号化技術によって動画像を圧縮符号化して保存したり、ネットワークを介してストリーム配信することが容易になっている。悪意のある第三者によって動画像が改ざんされないようにセキュリティを高めることや、改ざんがあった場合に改ざんを検出することが要求されている。特にドライブレコーダに記録される動画像は、自動車事故や犯罪などがあった場合に警察の捜査情報や裁判の証拠などに使われることもあり、改ざんがなされていないことを保証することが必要である。
特許文献1には、現在フレームだけを入れ替えた改ざんを検出するために、現在フレームの直前フレームのコード信号を現在フレームの中に埋め込む動画像圧縮装技術が開示されている。
特開2010-68318号公報
ドライブレコーダ等の動画像記録装置は、一定間隔でファイルを分割して動画像を記録する。特許文献1に記載の動画像圧縮技術では、現在フレームの直前フレームのコード信号を利用して改ざんを検出するため、ファイル分割された動画像圧縮符号化ストリームには対応することができない。
本発明はこうした状況に鑑みてなされたものであり、その目的は、動画像の改ざんを確実に検出するための画像符号化技術及び動画像改ざん判定技術を提供することにある。
上記課題を解決するために、本発明のある態様の動画像符号化装置(100)は、時間的に連続するフレームを含む動画像を符号化する動画像符号化装置(100)であって、前記動画像を符号化したビットストリームを出力する動画像符号化部(20)と、前記フレームの時間連続性を示す時間連続性情報にもとづいてフレーム内の位置情報を生成する位置情報生成部(14)と、前記位置情報にもとづいて前記動画像の符号化情報を取得する符号化情報取得部(22)と、前記符号化情報から検査情報を生成する検査情報生成部(30)と、前記ビットストリームと前記検査情報とを多重化する多重化部(40)とを含む。
本発明の別の態様は、動画像符号化方法である。この方法は、時間的に連続するフレームを含む動画像を符号化する動画像符号化方法であって、前記動画像を符号化したビットストリームを出力する動画像符号化ステップと、前記フレームの時間連続性を示す時間連続性情報にもとづいてフレーム内の位置情報を生成する位置情報生成ステップと、前記位置情報にもとづいて前記動画像の符号化情報を取得する符号化情報取得ステップと、前記符号化情報から検査情報を生成する検査情報生成ステップと、前記ビットストリームと前記検査情報とを多重化する多重化ステップとを含む。
本発明のさらに別の態様は、動画像改ざん判定方法である。この方法は、時間的に連続するフレームを含む動画像が符号化された符号化ストリームの改ざんの有無を判定する動画像改ざん判定方法であって、前記符号化ストリームから検査情報を抽出する検査情報抽出ステップと、前記フレームの時間連続性を示す時間連続性情報にもとづいてフレーム内の位置情報を生成する位置情報生成ステップと、前記位置情報にもとづいて前記動画像の符号化情報を前記符号化ストリームから取得する符号化情報取得ステップと、前記符号化情報から検査情報を生成する検査情報生成ステップと、前記検査情報抽出ステップにより抽出された検査情報と、前記検査情報生成ステップにより生成された検査情報とを比較して改ざんの有無を判定する改ざん判定ステップとを含む。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、動画像の改ざんを確実に検出することができる。
実施の形態に係る動画像符号化装置の構成図である。 実施の形態に係る動画像改ざん判定装置の構成図である。 実施の形態に係る動画像改ざん判定方法を説明するフローチャートである。
図1は、本発明の実施の形態に係る動画像符号化装置100の構成図である。動画像符号化装置100は、一例として車載型記録装置(ドライブレコーダ)に搭載もしくは接続されるが、これに限定されるものではない。ここでは動画像符号化装置100に入力される映像は、車載型記録装置のカメラによって撮像された外界の映像であるとして説明する。
動画像符号化装置100は、カメラ10、時間連続性情報生成部12、位置情報生成部14、付加情報入力部16、個体識別情報入力部18、動画像符号化部20、符号化情報取得部22、検査情報生成部30、および多重化部40を含む。
カメラ10は車両に設置され、車両から道路上のさまざまな交通状態を撮像し、撮像した映像のフレームを動画像符号化部20に供給する。
動画像符号化部20は、映像の符号化対象のフレームをたとえばMPEGやAVC、HEVCなどの規格にしたがって各種の符号化パラメータを用いて符号化し、ビットストリームを生成し、多重化部40に供給する。
また、カメラ10は、映像を構成する連続するフレームの連続性を示す情報、たとえば撮像した映像に同期したタイムスタンプなどの情報を時間連続性情報生成部12に供給する。
時間連続性情報生成部12は、映像に同期したタイムスタンプなどの情報をもとに時間連続性情報を生成する。例えば、はじめのフレームについてフレーム番号などの数字を0x00000000とした場合、次のフレームは0x00000001とするなど、フレーム周波数に関係なく、符号化するピクチャのコマ数によって連続的に数字をインクリメントカウントする。時間連続性情報生成部12は、インクリメントカウントした数字を時間連続性情報として位置情報生成部14、検査情報生成部30、および多重化部40に供給する。時間連続性情報は、時間に応じて変化する情報であればよく、必ずしも単調に増加または減少する値でなくてもよく、所定の規則にしたがって常に値が変化している何らかの数値であればよい。時間連続性情報を用いることによって、映像中のフレームを差し替える改ざんを行った場合でも時間連続性が失われたことを通して、改ざんを検出することができる。
位置情報生成部14は、時間連続性情報生成部12から与えられた時間連続性情報から符号化対象のフレームを符号化して得られるビットストリームの所定の位置を示す情報、たとえばフレーム内のx座標、y座標を示す位置情報を生成する。
より具体的には、位置情報生成部14は、入力された時間連続性情報をハッシュ関数の入力値として、ハッシュ関数を用いて、ここでは32ビットのハッシュ値に変換する。ここで、ハッシュ関数は暗号学的に安全な一方向性関数であることが望ましく、SHA-2など衝突が発見されていないものが望ましい。
さらに位置情報生成部14は、ハッシュ値の一部を用いて、たとえばフレーム内の所定の位置を示す位置情報へ変換する。たとえば、1920画素×1080画素のHDTV画像の場合を例として位置情報への変換方法を説明する。SHA-2の256ビット出力の規格であるSHA-256を用いて、出力値の256ビット(32バイト)を上位/下位の16バイトに分ける。上位16ビットの中の下位2バイトをx座標として、1920をモジュロとする剰余演算を行ってx座標値を求める。下位16ビットの中の下位2バイトをy座標として、1080をモジュロとする剰余演算を行ってy座標値を求める。
このようにして得られたx座標値、y座標値によって、1920画素×1080画素のHDTV画像における位置情報を得る。位置情報とは、x座標値、y座標値が示す画素の位置を指す情報であってもよく、このx座標値、y座標値が示す画素を含む符号化ブロック(たとえば16画素×16画素のブロック)を特定する情報であってもよい。あるいは、この位置情報は、符号化ストリーム上の各フレーム内における基準位置からのバイト数を指定するものであってもよい。
このように時間連続性情報を一方向性関数に入力することで、フレームの位置情報がランダムに変化することから、位置情報をもとに生成される検査情報の安全性を高めることができる。
上記の説明では、位置情報生成部14は、ハッシュ関数などの一方向性関数を用いて時間連続性情報を位置情報に変換したが、より簡易な所定の処理を時間連続性情報に施して位置情報を生成してもよい。または、時間連続性情報をそのまま位置情報として用いてもよい。この所定の処理をドライブレコーダのメーカ毎に独自の変換方式とすることで秘匿性を高めてもよい。所定の処理として、たとえば時間連続性情報に誤り検出符号を追加したり、時間連続性情報の指定ビットの加減乗除結果を時間連続性情報に追加するなどの処理を用いてもよい。
符号化情報取得部22は、位置情報生成部14により生成された位置情報をもとに、符号化対象のフレーム内の指定されたx座標、y座標の画素または当該画素を含む符号化ブロックの符号化情報を動画像符号化部20から受け取る。符号化情報は、符号化された映像ビットストリームにおける位置情報が示す位置のデータを抽出したものであってもよく、位置情報によって指定された符号化ブロックにおける量子化パラメータ、予測モード情報、動きベクトルなどの符号化に関する情報であってもよい。
量子化パラメータの一例として量子化スケールがある。量子化スケールは、マクロブロック毎に直交変換したデータを2次元の周波数軸で割り算をして量子化するときに使うスカラー倍する値である。
予測モード情報については、たとえばH.264/AVCのMAINプロファイルではイントラ予測符号化として2種類の予測サイズが存在し、4×4ブロックでは9種類の予測モード(予測モード0~予測モード8)、16×16ブロックでは4種類の予測モード(予測モード0~予測モード3)が用意されている。これらの予測モードを識別する情報を予測モード情報として用いる。
符号化情報取得部22は、符号化対象のフレームから抽出された符号化情報を検査情報生成部30に供給する。
付加情報入力部16は、車両の位置、速度、加速度、アクセル開度、ハンドル舵角などの車両の走行状態に関する付加情報を取得し、検査情報生成部30と多重化部40に供給する。
個体識別情報入力部18は、ドライブレコーダの機器のシリアル番号に紐づけて管理されたユニークな番号である個体識別情報を取得し、検査情報生成部30に供給する。
検査情報生成部30は、符号化情報取得部22から与えられた符号化情報から検査情報を生成する。検査情報生成部30は、時間連続性情報生成部12から与えられた時間連続性情報、位置情報生成部14から与えられた付加情報、および個体識別情報入力部18から与えられた個体識別情報の少なくとも一つを符号化情報に組み合わせて検査情報を生成してもよい。また、複数の組み合わせにより複数の検査情報を生成してもよい。
検査情報生成部30は、具体的にはハッシュ関数などの一方向性関数を用いて、符号化情報、もしくは時間連続性情報、付加情報、および個体識別情報の少なくとも一つを符号化情報に組み合わせたデータを検査情報に変換する。検査情報生成部30は、生成された検査情報を多重化部40に供給する。検査情報生成部30は、より簡易な所定の処理を符号化情報、もしくは時間連続性情報、付加情報、および個体識別情報の少なくとも一つを符号化情報に組み合わせたデータに施して検査情報に変換してもよい。検査情報生成部30および位置情報生成部14のいずれかにおいて、ハッシュ関数などの一方向性関数が用いられることが望ましい。
多重化部40は、動画像符号化部20から与えられたビットストリームと、検査情報生成部30から与えられた検査情報とを多重化して符号化ストリームを出力する。たとえばH.264/AVC規格であれば、SEI(Supplemental Enhancement Information)に検査情報を格納することができる。
さらに多重化部40は、時間連続性情報生成部12から与えられた時間連続性情報をビットストリームに多重化する。時間連続性情報は前のフレームとの連続性を示す情報であり、所定の規則にしたがって生成されるため、フレーム毎に多重化する必要はないが、動画像を複数のファイルに分割して記録する場合、各ファイルの先頭となるフレームに時間連続性情報を挿入して多重化する。これにより、動画像が複数のファイルに分割される場合でも時間連続性情報を用いてフレームの差し替えによる改ざんを検出することが可能になる。
検査情報生成部30が付加情報を符号化情報に組み合わせて検査情報を生成した場合、多重化部40は、付加情報入力部16から与えられた付加情報をさらにビットストリームに多重化する。付加情報を検査情報の生成に利用しない場合は、付加情報をビットストリームに多重化する必要はない。
図2は、本発明の実施の形態に係る動画像改ざん判定装置200の構成図である。
動画像改ざん判定装置200は、符号化ストリーム分離部50、時間連続性情報取得部52、位置情報生成部54、付加情報取得部56、個体識別情報入力部58、検査情報取得部60、符号化情報取得部62、検査情報生成部70、および改ざん判定部80を含む。
図1の動画像符号化装置100から出力された符号化ストリームが動画像改ざん判定装置200の符号化ストリーム分離部50に入力される。動画像符号化装置100で利用された車両またはドライブレコーダの個体識別情報は動画像改ざん判定装置200の個体識別情報入力部58に入力される。
符号化ストリーム分離部50は符号化ストリームに多重化されたビットストリーム、符号化情報、検査情報、時間連続性情報、および付加情報を分離して出力する。
検査情報取得部60は、符号化ストリームに多重化された検査情報を抽出し、改ざん判定部80に供給する。
時間連続性情報取得部52は、符号化ストリームに多重化された時間連続性情報を抽出するとともに、動画像符号化装置100の時間連続性情報生成部12で用いられた所定の規則にしたがって時間連続性情報を生成する。時間連続性情報はすべてのフレームに挿入されているのではないため、時間連続性情報が挿入されていないフレームについては所定の規則にしたがって時間連続性情報を生成することが必要である。時間連続性情報取得部52は、時間連続性情報を位置情報生成部54および検査情報生成部70に供給する。
位置情報生成部54は、動画像符号化装置100で用いられた一方向性関数を用いて時間連続性情報をフレーム内の位置情報に変換し、位置情報を符号化情報取得部22に供給する。
符号化情報取得部62は、位置情報生成部54から与えられた位置情報にもとづいて符号化ストリームから符号化情報を抽出する。位置情報が符号化ストリーム内の基準位置からのバイト数を指定するものである場合、符号化情報取得部62は、符号化ストリームから指定された場所のデータを符号化情報として抽出する。位置情報がフレームのx座標値、y座標値である場合、符号化情報取得部62は、ビットストリームを復号し、復号されたフレームの指定された座標の画素もしくは当該画素を含む符号化ブロックから量子化パラメータ、予測モード情報、動きベクトルなどの符号化に関する情報を取り出す。
符号化情報取得部62は、符号化ストリームから抽出した符号化情報を検査情報生成部70に供給する。
付加情報取得部56は、符号化ストリームに付加情報が多重化されている場合、符号化ストリームから付加情報を抽出し、検査情報生成部70に供給する。
個体識別情報入力部58は、入力された個体識別情報を検査情報生成部70に供給する。
検査情報生成部70は、符号化情報取得部62から与えられた符号化情報から検査情報を生成する。具体的には、動画像符号化装置100の検査情報生成部30で用いられた一方向性関数によって符号化情報を検査情報に変換する。
動画像符号化装置100が検査情報を生成する際に時間連続性情報、付加情報、および個体識別情報の少なくとも一方が符号化情報に組み合わせて用いられている場合、検査情報生成部70は、時間連続性情報取得部52から与えられた時間連続性情報、付加情報取得部56から与えられた付加情報、および個体識別情報入力部58から与えられた個体識別情報の少なくとも一方を符号化情報に組み合わせて検査情報を生成する。
検査情報生成部70は、生成された検査情報を改ざん判定部80に供給する。
改ざん判定部80は、符号化情報取得部62により符号化ストリームから抽出された検査情報と、検査情報生成部70により生成された検査情報とを比較し、一致している場合は改ざんがないと判定し、一致しない場合は改ざんがあると判定し、判定結果を出力する。
図3は、動画像改ざん判定装置200による動画像改ざん判定方法を説明するフローチャートである。
動画像改ざん判定装置200に入力される符号化ストリームの各フレームの改ざん判定処理を説明する。
個体識別情報入力部58は、車両またはドライブレコーダの個体識別情報を入力する(S10)。個体識別情報の入力処理は、各フレームについて行う必要はなく、符号化ストリームの最初のフレームについてのみ行う。
付加情報取得部56は、符号化ストリームに多重化された付加情報を抽出する(S12)。付加情報の抽出処理は、符号化ストリームに付加情報が多重化されている場合にのみ行われる。
時間連続性情報取得部52は、前のフレームの時間連続性情報から所定の規則にしたがって時間連続性情報を生成する(S14)。
時間連続性情報取得部52は、符号化ストリームの復号対象のフレームに時間連続性情報が挿入されているかどうかを判定し(S16)、時間連続性情報が存在する場合(S16のY)、時間連続性情報を符号化ストリームから抽出する(S18)。時間連続性情報が存在しない場合(S16のN)、ステップS18、S20をスキップし、ステップS22に進む。
時間連続性情報取得部52は、符号化ストリームから抽出された時間連続性情報と、前のフレームの時間連続性情報から所定の規則にしたがって生成された時間連続性情報とを比較し、両者の時間連続性情報が一致するかどうかを判定する(S20)。両者の時間連続性情報が一致する場合(S20のY)、ステップS22に進み、両者の時間連続性情報が一致しない場合(S20のN)、ステップS34に進む。
位置情報生成部54は、ステップS14で生成された時間連続性情報から位置情報を生成する(S22)。
符号化情報取得部62は、ステップS22で生成された位置情報にもとづいて符号化ストリームから符号化情報を抽出する(S24)。
検査情報取得部60は、符号化ストリームに多重化された検査情報を抽出する(S26)。
検査情報生成部70は、ステップS24で抽出された符号化情報から検査情報を生成する(S28)。動画像符号化装置100の検査情報生成部30によって時間連続性情報、付加情報、および個体識別情報の少なくとも一つを符号化情報に組み合わせて検査情報が生成されていた場合、検査情報生成部70は、ステップS14で生成された時間連続性情報、ステップS12で抽出された付加情報、およびステップS10で入力された個体識別情報の少なくとも一つを符号化情報に組み合わせて検査情報を生成する。
改ざん判定部80は、ステップS26で抽出された検査情報と、ステップS28で生成された検査情報とを比較し(S30)、両者の検査情報が一致する場合(S30のY)、ステップS32に進み、両者の検査情報が一致しない場合(S30のN)、ステップS34に進む。
改ざん判定部80は、検査情報の一致処理として、当該フレームには改ざんがないことを通知もしくは記録する(S32)。
改ざん判定部80は、検査情報の不一致処理として、当該フレームに改ざんがあることを通知もしくは記録する(S34)。
当該フレームの検査情報の一致処理(S32)または不一致処理(S34)が終了すると、当該フレームの改ざん判定処理を終了し、符号化ストリームの次のフレームの改ざん判定処理に移る。
以上説明した各種の処理は、CPUやメモリ等のハードウェアを用いた装置として実現することができるのは勿論のこと、ROM(リード・オンリ・メモリ)やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバと送受信することも、地上波あるいは衛星ディジタル放送のデータ放送として送受信することも可能である。
以上述べたように、本発明の実施の形態によれば、時間連続性情報を用いるため、特定のフレームを他のフレームで置き換えるような改ざんをした場合でも、フレームの時間連続性情報を抽出し、所定の規則にしたがって生成される時間連続性情報と比較することで改ざんの有無を判定することができる。また、時間連続性情報を調べることで時間方向の連続性も証明することができる。すなわち、フレームが改ざんされているかどうかと、フレームに時間方向の連続性があるかどうかの、双方の判定を確実に行うことができる。
また、特にドライブレコーダのように動画像を複数のファイルに分割して記録する形態でも、各ファイルの先頭となるフレームに時間連続性情報を挿入して多重化することにより、ファイル分割された動画像に対しても時間連続性情報を用いてフレームの差し替えによる改ざんを検出することが可能になる。
また、本発明の実施の形態によれば、時間連続性データにもとづいて動画像のフレーム毎に異なる位置から抽出した符号化情報を検査情報に用いることにより、検査情報の取得位置がランダムに変化するため、改ざんすることが極めて難しく、また改ざんした後の偽装の困難性を高めることができる。特に時間連続性情報を一方向性関数により位置情報に変換する場合、位置情報はフレーム毎に大きく変化し、位置情報自体の規則を予想することもできないため、セキュリティが向上する。
また、本発明の実施の形態によれば、符号化情報を利用した検査情報を符号化ストリームに多重化することから、動画像のエンコーダに特有の処理を必要としないため、汎用性のあるエンコーダを活用することができ、特定のハードウェアに依存せず、処理の煩雑さを抑制することができる。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
10 カメラ、 12 時間連続性情報生成部、 14 位置情報生成部、 16 付加情報入力部、 18 個体識別情報入力部、 20 動画像符号化部、 22 符号化情報取得部、 30 検査情報生成部、 40 多重化部、 50 符号化ストリーム分離部、 52 時間連続性情報取得部、 54 位置情報生成部、 56 付加情報取得部、 58 個体識別情報入力部、 60 検査情報取得部、 62 符号化情報取得部、 70 検査情報生成部、 80 改ざん判定部、 100 動画像符号化装置、 200 動画像改ざん判定装置。

Claims (9)

  1. 時間的に連続するフレームを含む動画像を符号化する動画像符号化装置であって、
    前記動画像を符号化したビットストリームを出力する動画像符号化部と、
    前記フレームの時間連続性を示す時間連続性情報にもとづいてフレーム内の位置情報を生成する位置情報生成部と、
    前記位置情報にもとづいて前記動画像の符号化情報を取得する符号化情報取得部と、
    前記符号化情報から検査情報を生成する検査情報生成部と、
    前記ビットストリームと前記検査情報とを多重化する多重化部とを含むことを特徴とする動画像符号化装置。
  2. 前記検査情報生成部は、前記符号化情報を一方向性関数により変換することにより前記検査情報を生成することを特徴とする請求項1に記載の動画像符号化装置。
  3. 前記符号化情報は、符号化されたビットストリーム内の前記位置情報によって指定されるデータ、または、前記位置情報によって指定される符号化ブロックの量子化パラメータ、予測モード情報、および動きベクトルの少なくとも一つであることを特徴とする請求項1または2に記載の動画像符号化装置。
  4. 前記検査情報生成部は、前記時間連続性情報、車両の走行に関する付加情報、および動画像記録装置の個体識別情報の少なくとも一つを前記符号化情報に組み合わせて前記検査情報を生成する請求項1から3のいずれかに記載の動画像符号化装置。
  5. 前記多重化部は、前記動画像が複数のファイルに分割される場合、各ファイルの先頭となるフレームに前記時間連続性情報を多重化することを特徴とする請求項1から4のいずれかに記載の動画像符号化装置。
  6. 前記位置情報生成部は、前記時間連続性情報を一方向性関数により変換することにより前記位置情報を生成することを特徴とする請求項1から5のいずれかに記載の動画像符号化装置。
  7. 時間的に連続するフレームを含む動画像を符号化する動画像符号化方法であって、
    前記動画像を符号化したビットストリームを出力する動画像符号化ステップと、
    前記フレームの時間連続性を示す時間連続性情報にもとづいてフレーム内の位置情報を生成する位置情報生成ステップと、
    前記位置情報にもとづいて前記動画像の符号化情報を取得する符号化情報取得ステップと、
    前記符号化情報から検査情報を生成する検査情報生成ステップと、
    前記ビットストリームと前記検査情報とを多重化する多重化ステップとを含むことを特徴とする動画像符号化方法。
  8. 時間的に連続するフレームを含む動画像が符号化された符号化ストリームの改ざんの有無を判定する動画像改ざん判定方法であって、
    前記符号化ストリームから検査情報を抽出する検査情報抽出ステップと、
    前記フレームの時間連続性を示す時間連続性情報にもとづいてフレーム内の位置情報を生成する位置情報生成ステップと、
    前記位置情報にもとづいて前記動画像の符号化情報を前記符号化ストリームから取得する符号化情報取得ステップと、
    前記符号化情報から検査情報を生成する検査情報生成ステップと、
    前記検査情報抽出ステップにより抽出された検査情報と、前記検査情報生成ステップにより生成された検査情報とを比較して改ざんの有無を判定する改ざん判定ステップとを含むことを特徴とする動画像改ざん判定方法。
  9. 時間的に連続するフレームを含む動画像が符号化された符号化ストリームの改ざんの有無を判定する動画像改ざん判定プログラムであって、
    前記符号化ストリームから検査情報を抽出する検査情報抽出ステップと、
    前記フレームの時間連続性を示す時間連続性情報にもとづいてフレーム内の位置情報を生成する位置情報生成ステップと、
    前記位置情報にもとづいて前記動画像の符号化情報を前記符号化ストリームから取得する符号化情報取得ステップと、
    前記符号化情報から検査情報を生成する検査情報生成ステップと、
    前記検査情報抽出ステップにより抽出された検査情報と、前記検査情報生成ステップにより生成された検査情報とを比較して改ざんの有無を判定する改ざん判定ステップとをコンピュータに実行させることを特徴とする動画像改ざん判定プログラム。
JP2019135396A 2019-07-23 2019-07-23 動画像符号化装置、動画像符号化方法、動画像改ざん判定方法、及び動画像改ざん判定プログラム Active JP7314683B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019135396A JP7314683B2 (ja) 2019-07-23 2019-07-23 動画像符号化装置、動画像符号化方法、動画像改ざん判定方法、及び動画像改ざん判定プログラム
EP20845073.4A EP4007281B1 (en) 2019-07-23 2020-07-20 Moving image encoding device, moving image encoding method, moving image falsification determination method, and moving image falsification determination program
CN202080051628.8A CN114128297B (zh) 2019-07-23 2020-07-20 运动图像编码装置和方法、运动图像篡改判定方法及存储介质
PCT/JP2020/028102 WO2021015169A1 (ja) 2019-07-23 2020-07-20 動画像符号化装置、動画像符号化方法、動画像改ざん判定方法、及び動画像改ざん判定プログラム
US17/580,492 US20220150526A1 (en) 2019-07-23 2022-01-20 Moving image coding apparatus and moving image coding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019135396A JP7314683B2 (ja) 2019-07-23 2019-07-23 動画像符号化装置、動画像符号化方法、動画像改ざん判定方法、及び動画像改ざん判定プログラム

Publications (2)

Publication Number Publication Date
JP2021019326A JP2021019326A (ja) 2021-02-15
JP7314683B2 true JP7314683B2 (ja) 2023-07-26

Family

ID=74192477

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019135396A Active JP7314683B2 (ja) 2019-07-23 2019-07-23 動画像符号化装置、動画像符号化方法、動画像改ざん判定方法、及び動画像改ざん判定プログラム

Country Status (5)

Country Link
US (1) US20220150526A1 (ja)
EP (1) EP4007281B1 (ja)
JP (1) JP7314683B2 (ja)
CN (1) CN114128297B (ja)
WO (1) WO2021015169A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022249553A1 (ja) * 2021-05-25 2022-12-01 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012138095A (ja) 2012-02-02 2012-07-19 Hitachi Government & Public Corporation System Engineering Ltd 動画コンテンツの改ざん検出装置及びシステム
US20180089789A1 (en) 2015-09-28 2018-03-29 EyeVerify Inc. Secure image pipeline
JP6497468B1 (ja) 2018-06-06 2019-04-10 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法、及び画像改ざん判定プログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1384376A4 (en) * 2001-04-11 2010-08-25 Nice Systems Ltd DIGITAL VIDEO PROTECTION FOR AUTHENTICITY VERIFICATION
US6975743B2 (en) * 2001-04-24 2005-12-13 Microsoft Corporation Robust and stealthy video watermarking into regions of successive frames
JP2004364263A (ja) * 2003-05-14 2004-12-24 Matsushita Electric Ind Co Ltd 情報埋め込み装置、改ざん検出装置及びそれらの方法並びに記録媒体
JP4155956B2 (ja) * 2004-09-16 2008-09-24 三洋電機株式会社 電子透かし埋め込み装置と方法ならびに電子透かし抽出装置と方法
JP2010068318A (ja) 2008-09-11 2010-03-25 Hitachi Kokusai Electric Inc 動画像圧縮装置及び動画像伸張装置
JP5261737B2 (ja) * 2008-09-17 2013-08-14 セイコーインスツル株式会社 画像記憶装置
JP4835728B2 (ja) * 2009-07-14 2011-12-14 大日本印刷株式会社 改竄可能性検出システム及びプログラム
JP5621675B2 (ja) * 2011-03-18 2014-11-12 富士通株式会社 署名装置、署名方法、および署名プログラム
JP5791451B2 (ja) * 2011-09-29 2015-10-07 キヤノン株式会社 符号化装置およびプログラム
CN103561274B (zh) * 2013-11-19 2017-02-15 福建师范大学 静止摄像头拍摄的运动目标被移除视频时域篡改检测方法
CN103945228B (zh) * 2014-03-28 2017-03-15 上海交通大学 基于时空关联性的视频帧内copy‑move篡改检测方法
US11158344B1 (en) * 2015-09-30 2021-10-26 Amazon Technologies, Inc. Video ingestion and clip creation
US10764590B2 (en) * 2017-11-15 2020-09-01 Google Llc Entropy coding primary and secondary coefficients of video data
CN107995384A (zh) * 2017-11-23 2018-05-04 晨星半导体股份有限公司 视频防篡改方法、视频拍摄设备及视频验证方法
CN108551582A (zh) * 2018-03-19 2018-09-18 上海交通大学 一种图像、视频数据的身份标识方法与系统
WO2020138353A1 (ja) * 2018-12-26 2020-07-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012138095A (ja) 2012-02-02 2012-07-19 Hitachi Government & Public Corporation System Engineering Ltd 動画コンテンツの改ざん検出装置及びシステム
US20180089789A1 (en) 2015-09-28 2018-03-29 EyeVerify Inc. Secure image pipeline
JP6497468B1 (ja) 2018-06-06 2019-04-10 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法、及び画像改ざん判定プログラム

Also Published As

Publication number Publication date
EP4007281B1 (en) 2023-12-27
EP4007281A4 (en) 2022-09-21
JP2021019326A (ja) 2021-02-15
WO2021015169A1 (ja) 2021-01-28
EP4007281A1 (en) 2022-06-01
CN114128297B (zh) 2024-04-19
CN114128297A (zh) 2022-03-01
US20220150526A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
Fallahpour et al. Tampering detection in compressed digital video using watermarking
EP2204044B1 (en) Multimedia coding and decoding with additional information capability
Lin et al. Issues and solutions for authenticating MPEG video
US11082711B2 (en) Image coding device, image coding method, and image falsification identification program
JPWO2009078150A1 (ja) 動画像符号化装置、方法、プログラム及び集積回路
JP7314683B2 (ja) 動画像符号化装置、動画像符号化方法、動画像改ざん判定方法、及び動画像改ざん判定プログラム
Tew et al. Multi-layer authentication scheme for HEVC video based on embedded statistics
WO2015028098A1 (en) Method and system for embedding information and authenticating a h.264 video using a digital watermark
WO2008018324A1 (en) Image encoding device, its method, and its integrated circuit
WO2007085632A1 (en) Method of watermarking digital data
Saleh et al. Moving objects encryption of high efficiency video coding (HEVC) using AES algorithm
Zhu et al. Information Hiding Algorithm for H. 264 Based on the predition difference of Intra_4× 4
CN113596575B (zh) 一种视频指纹数据的生成方法、比对方法及设备
Saadi et al. Combined fragile watermark and digital signature for H. 264/AVC video authentication
Galiano et al. Securing high-resolution train videos encoded with HEVC and inter prediction mode
CN112839244B (zh) 一种基于码流级别的监控视频分级加解密方法及系统
US20240048394A1 (en) Validation of signatures of a video stream encoded in layers
JP2007208543A (ja) 動画像符号化装置
Esmaeilbeig et al. Compressed video watermarking for authentication and reconstruction of the audio part
Hsieh et al. Video forensics for detecting shot manipulation using the information of deblocking filtering
Chen et al. An efficient video encryption algorithm based on the pseudorandom number generator of zipf distribution
JP2024071356A (ja) 低減されたビットレートのためのビデオの署名
JP2010068318A (ja) 動画像圧縮装置及び動画像伸張装置
JP2023073129A (ja) 撮像装置、情報処理方法、およびプログラム
Yiqi Video Authentication in HEVC Compressed Domain

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230626

R150 Certificate of patent or registration of utility model

Ref document number: 7314683

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150