JP5341615B2 - 情報処理装置及びその制御方法 - Google Patents

情報処理装置及びその制御方法 Download PDF

Info

Publication number
JP5341615B2
JP5341615B2 JP2009122218A JP2009122218A JP5341615B2 JP 5341615 B2 JP5341615 B2 JP 5341615B2 JP 2009122218 A JP2009122218 A JP 2009122218A JP 2009122218 A JP2009122218 A JP 2009122218A JP 5341615 B2 JP5341615 B2 JP 5341615B2
Authority
JP
Japan
Prior art keywords
pixel
pixel group
verification
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009122218A
Other languages
English (en)
Other versions
JP2010035143A5 (ja
JP2010035143A (ja
Inventor
淳一 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009122218A priority Critical patent/JP5341615B2/ja
Priority to US12/487,517 priority patent/US8270728B2/en
Priority to KR1020090056808A priority patent/KR101034256B1/ko
Priority to EP09163944A priority patent/EP2139221A1/en
Priority to CN2009101422476A priority patent/CN101616233B/zh
Priority to RU2009124522/08A priority patent/RU2422901C2/ru
Publication of JP2010035143A publication Critical patent/JP2010035143A/ja
Publication of JP2010035143A5 publication Critical patent/JP2010035143A5/ja
Application granted granted Critical
Publication of JP5341615B2 publication Critical patent/JP5341615B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/0028Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/005Robust watermarking, e.g. average attack or collusion attack resistant
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0051Embedding of the watermark in the spatial domain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0065Extraction of an embedded watermark; Reliable detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3226Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of identification information or the like, e.g. ID code, index, title, part of an image, reduced-size image
    • H04N2201/323Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of identification information or the like, e.g. ID code, index, title, part of an image, reduced-size image for tracing or tracking, e.g. forensic tracing of unauthorized copies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3233Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of authentication information, e.g. digital signature, watermark
    • H04N2201/3235Checking or certification of the authentication information, e.g. by comparison with data stored independently
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3233Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of authentication information, e.g. digital signature, watermark
    • H04N2201/3236Details of authentication information generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3233Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of authentication information, e.g. digital signature, watermark
    • H04N2201/3236Details of authentication information generation
    • H04N2201/3238Details of authentication information generation using a coded or compressed version of the image data itself
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3252Image capture parameters, e.g. resolution, illumination conditions, orientation of the image capture device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3256Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document colour related metadata, e.g. colour, ICC profiles
    • H04N2201/3257Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document colour related metadata, e.g. colour, ICC profiles relating to the original, the input device or the input process, e.g. scanner profile

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、デジタルデータの原本性を保証する技術に関するものである。
近年、従来の銀塩写真や8mmフィルムに代わって、撮影した情報をデジタル化し、デジタルデータとして記録媒体等に記録するデジタルカメラといった映像入力装置が普及している。これにより、撮影した情報そのものを、パーソナルコンピュータを始めとする情報処理装置に移し、表示させることが可能になった。このような画像データを、通信回線を用いて通信することで世界中どこでも瞬時に画像データを送信することも可能になった。そのため、事故処理で証拠写真を扱う保険会社や建築現場の進捗状況の記録を扱う建設会社においてデジタルデータの利用が考えられている。
こうしたデジタル画像データは市販のフォトレタッチツール等を用いて容易に改竄することができてしまうため、デジタルデータの信頼性は従来の銀円写真と比較して低く、証拠としての能力に乏しいという課題があった。このような課題を解決する方法として、特許文献1に開示されているような方法が提案されている。この文献によれば、予めデジタルカメラ内部に秘密情報を組み込んでおき、デジタルカメラで画像データを撮影した際に、デジタルカメラの内部で前記秘密情報を用いて撮影画像データに対して署名処理を施すようにしている。撮影後、生成された署名情報を用いて検証処理を行うことにより、撮影画像データの原本性保証が可能となる。
一方、デジタルカメラなどの映像入力装置では、CMOS、CCD等の撮像素子により被写体光学像を光電変換して得られた撮像画像の電気信号をAD変換することにより、デジタルデータに変換した画像データ(以降ではRAW画像データと呼ぶ)を(画像処理することなく)直接出力するような動作モードを備える装置もある。前述した撮像素子は、基本的には光の強弱しか感知できないため、通常は撮像素子の前面にカラーフィルターを取り付けることによって色情報を取得するようにしている。この結果、RAW画像データは1画素につき前記カラーフィルターによって決められた1色の色成分だけを有する画像フォーマットとなっている。通常、このようなRAW画像データをデジタルカメラから出力した場合、RAW画像データをPC等に転送し、転送したPC内のアプリケーションソフトウェアを用いて、残りの色成分を画素補間するようにしている。
米国特許5499294号
しかしながら、特許文献1に記載の方式は前述したようなRAW画像データの画素補間処理を考慮していなかった。よって、たとえデジタルカメラ内部においてRAW画像データ(撮像された画素)に対して署名を施したとしても、画素補間処理において撮像画素から新たに生成された画素補間画素については検証の対象とすることができなかった。このため、補間画素に対して改竄が施された場合でも、その改竄を検知することが困難であった。
例えば、1画素につき3色の色成分を有するように画素補間処理をした場合、画素補間後の画像データを構成する画素の1/3が撮像画素であり、残りの2/3が補間画素であることになる。この場合、たとえ撮像画素に署名を施していたとしても、撮像画素を改竄せず補間画素を改竄することによって、署名の検証は成功してしまうことになる。
本発明は、かかる問題点に鑑みなされたものであり、RAW画像データに対して補間処理が施された画像データの原本性をより確実に保証することが可能な方式を提供することを目的とする。
上記課題を解決するため、本発明の情報処理装置は、第1の画素群と前記第1の画素群から補間された第2の画素群とから構成される画像データと、前記第1の画素群の検証データとを入力する入力手段と、前記第1の画素群と前記検証データを用いて、前記第1の画素群が改竄されているか否かを検証をする第1の検証手段と、前記第2の画素群と、前記第1の画素群とが所定の関係にあるか否かを判定することにより、前記第2の画素群が改竄されているか否かを検証する第2の検証手段と、前記第1の検証手段による結果と第2の検証手段による結果に基づいて、前記画像データの改竄を判定する判定手段とを有することを特徴とする。
以上説明したように本発明によれば、RAW画像データに対して補間処理が施された画像データの原本性をより確実に保証することが可能となる。
実施形態1におけるシステムの全体構成、及びホストコンピュータの構成を説明する図。 実施形態1における画像入力装置の構成を示す図。 実施形態2における画像入力装置の構成を示すブロック図。 画素対、及び順序情報の算出例を説明する図。 実施形態3における課題を説明する図。 実施形態1における順序情報算出部の構成を示すブロック図。 実施形態1における画像再現装置の構成を示すブロック図。 画像補正処理を説明する図。 画像フォーマット、及び画素配列情報を説明する図。 画素補間処理、及び撮像画素抽出処理を説明する図。 画像検証装置の構成を示すブロック図。 実施形態3における矩形ブロック対選択処理部のフロー示すフローチャート。 検証部の構成を示すブロック図。 実施形態1における画像入力処理のフロー示すフローチャート。 実施形態1における第2の検証処理のフロー示すフローチャート。 実施形態1における画像検証処理のフローを示すフローチャート。 実施形態1における検証処理のフローを示すフローチャート。 実施形態1の変形例における画像入力装置の構成を示すブロック図。 実施形態1の変形例における画像検証装置の構成を示すブロック図。
(第1の実施形態)
<システム全体構成の説明>
まずはじめに、本実施形態におけるシステムの全体構成例を図1(A)に示す。本実施形態におけるシステムは、画像入力装置11、画像再現装置12、及び画像検証装置13から構成される。
図中、画像入力装置11は、画像データを発生し、発生した画像データを出力する。特に、本実施形態においては画像データに加え、当該画像データが改竄されているか否かを検証可能な検証データを生成し、画像データと共に出力する。また、本実施形態においては、画像入力装置11内部のCMOS、CCD等の撮像素子により被写体光学像を光電変換して得られた撮像画像の電気信号をAD変換した画像データ(以降では、RAW画像データと呼ぶ)を画像処理することなく出力するものとする。RAW画像データの詳細は後述する。
画像再現装置12は、前段の画像入力装置11から入力されたRAW画像データに対して種々の画像処理を施し、画像処理された画像データを出力する。以降では、このような画像処理を総じて画像再現処理と呼ぶ。画像再現処理は、画像補間処理、ガンマ補正処理、コントラスト補正、ホワイトバランス補正等を含む。
画像検証装置13は、前段の画像再現装置12から入力された画像データが改竄されているか否かを検証し、検証結果を出力する。
画像入力装置11、画像再現装置12、及び画像検証装置13はインターネットなどのネットワークによって接続しておき、各種データを互いに交換可能にしておいても良い。或いは、出力時に各種データをリムーバブルメディアなどの記憶媒体に記録し、各種データを交換するようにしても良い。
<画像入力装置の基本構成>
次に、図2を用いて、本実施形態に適応可能な画像入力装置について説明する。図2は本実施形態に適応可能な画像入力装置の基本構成を示す図である。図2に示すように本実施形態における画像入力装置21は、ROM22、保管用メモリ23、作業用メモリ24、CPU25、操作部26、光学系27、駆動部28、及びI/F29から構成され、夫々はバス210で接続されている。尚、画像入力装置21は、図1(A)の画像入力装置11に相当する。
画像入力装置21は、例えば一般に普及しているデジタルカメラであり、操作部26を用いて撮影指示がなされた際、光学系27により生成されたデジタル画像データを保管用メモリ23などへ蓄積することが可能である。図中、ROM22は読み出し専用メモリであり、あらかじめ動作プログラムや検証データ生成に必要な共有情報が格納される。保管用メモリ23は処理済の画像データを格納する。作業用メモリ24では画像データが一時的に保管され、ここで該画像データの圧縮及び各種演算処理が行われる。CPU25は撮影指示がなされると、ROM22にあらかじめ格納されているプログラムに従い、画像データの圧縮処理、検証データ生成等の各種演算処理を行う。操作部26は撮影者の撮影指示、及び種々のパラメータの設定をはじめとする各種の指示を受け付けるためのユーザインターフェイスである。光学系27は電荷結合素子CCD、或いは相補型金属酸化物半導体CMOS等の光学センサーを含み、撮影指示がなされると被写体の撮影、電気信号処理、デジタル信号処理等を行う。駆動部28は撮影に必要な機械的な動作をCPU25の制御のもとで行う。I/F29はメモリカード、携帯端末、通信装置といった外部装置とのインタフェースであり、画像データや検証データをこれらの機器へ送信する時に使用される。
<ホストコンピュータの基本構成>
次に、図1(B)を用いて、本実施の形態に適応可能なホストコンピュータについて説明する。図1(B)は本実施形態に係る画像再現装置12、及び画像検証装置13として機能するホストコンピュータの基本構成を示すと共に、その周辺機器との関係を示す図である。
同図において、ホストコンピュータ41は、例えば一般に普及しているパーソナルコンピュータであり、HD46、CD47、FD48、及びDVD49などに蓄積したり、或いは蓄積されている画像データ等をモニタ42に表示したりすることが可能である。更に、NIC410などを用いて、これらの画像データをインターネットなどを介して配布させることが可能である。また、ユーザからの各種指示等は、ポインティングデバイス412、及びキーボード413からの入力により行われる。ホストコンピュータ41の内部では、バス415により後述する各ブロックが接続され、種々のデータの受け渡しが可能である。
図中、42はホストコンピュータ41からの種々の情報を表示することの出来るモニタである。43はホストコンピュータ41内の各部の動作を制御、或いはRAM45にロードされたプログラムを実行することのできるCPUである。44はBIOSやブートプログラムを記憶しているROMである。45はCPU43にて処理を行うために一時的にプログラムや処理対象の画像データを格納しておくRAMであり、ここにOSやCPU43が後述の各種処理を行うためのプログラムがロードされることになる。46はRAM等に転送されるOSやプログラムを格納したり、装置が動作中に画像データを格納したり、読出すために使用されるハードディスク(HD)である。47は、外部記憶媒体の一つであるCD−ROM(CD−R、CD−R/Wなど)に記憶されたデータを読み込み或いは書き出すことのできるCD−ROMドライブである。48は、CD−ROMドライブ47と同様にFD(フロッピー(登録商標)ディスク)からの読み込み、FDへの書き出しができるFDドライブである。49も、CD−ROMドライブ47と同様にDVD−ROMからの読み込み、DVD−RAMへの書き出しができるDVD−ROM(DVD−RAM)ドライブである。尚、CD−ROM、FD、DVD−ROM等に画像処理用のプログラムが記憶されている場合には、これらプログラムをHD46にインストールし、必要に応じてRAM45に転送されるようになっている。
411は、RAM45、HD46、CD−ROM47、FD48、DVD49などに記憶されている画像データを、インターネットなどのネットワークに接続するNIC410にホストコンピュータ41を接続するためのI/Fである。I/F411を介してホストコンピュータ41は、インターネットへデータを送信したり、インターネットからデータを受信したりする。414は、ホストコンピュータ41にポインティングデバイス412やキーボード413を接続するためのI/Fで、I/F414を介してポインティングデバイス412やキーボード413から入力された各種の指示がCPU43に入力される。
<画像入力装置の構成>
以下、図2(B)を用いて本実施の形態に適用される画像入力装置11の機能構成を説明する。尚、以下の説明では、前述した画像入力装置21に電源が投入され、OSが作業用メモリ24にロードされている場合である。尚、本発明はこれに限定されることなく、前述したホストコンピュータ41によって実行するようにしても良い。この場合、各処理部は、該当するプログラム及びそれを実行するCPU43、場合によっては周辺のハードウェアでもって実現することになる。
図2(B)に示すように、本実施形態における画像入力装置11は、画像発生部51、順序情報算出部52、検証データ生成部53、及び画像出力部54から構成される。尚、ここで説明する画像入力処理はソフトウェア処理により実現されても良い。その場合には、上記各部は上記処理に必要な機能を概念的なものとして捉えたものと考慮されるべきものである。
図中、画像発生部51は、光学系27により、CMOS(相補型金属酸化物半導体)、或いはCCD(電荷結合素子)などの光学センサー、及び光学系を制御するマイクロプロセッサなどを有する。画像発生部51は、光学系、及び光学センサーによって生成されたビデオ信号をイメージ情報として取得し、画像データIを形成する。
ここで本実施形態における画像データIについて説明する。図9(A)は本実施形態における画像データの構成を示している。図9(A)に示すように、本実施形態における画像データはベイヤ配列を構成しており、奇数行にはR(赤色)成分とG(緑色)成分、偶数行にはG(緑色)成分とB(青色)成分のデータが並んでいる。ここでベイヤ配列とは前述したCMOS、或いはCCDなどの光学センサーが感知する色情報の配列である。光学センサーを構成する各画素は基本的には光の強弱しか感知できないため、通常は光学センサーの前面にカラーフィルターを取り付けることによって色情報を取得するようにしており、このカラーフィルターにおける色情報の配列の一つをベイヤ配列と呼ぶ。
ところで、図9(A)に示したベイヤ配列は各画素に対して夫々どの色成分を割り当てるかに応じて4通りのパターンが考えられる。この4通りのパターンに関して、図9(E)〜(H)を用いて説明する。図9(E)〜(H)はベイヤ配列を用いて撮像された画像データIを構成する各画素がどの色成分に対応するかを説明する図であり、画像データIの左上に位置する2×2の4画素が夫々どの色成分に対応するかを示している。例えば、図9(E)は画像データIの左上の画素がR(赤色)成分、その右及び下の画素がG(緑色)成分、そしてその右下の画素がB(青色)成分に対応していることを示している。ベイヤ配列の場合は、その色成分の組み合わせにより、図9(E)〜(H)に示した4通りのパターンが想定されうることが理解されよう。
本実施形態では画像データIが図9(E)〜(H)に示した4つのパターンのうち、何れのパターンを用いて形成されているかを示す情報を画素配列情報Aとして発生する。そして、発生した画素配列情報Aは、一旦作業用メモリ24等に保持し、後段の画像出力部54において画像データIに付加するようにする。このように付加された画素配列情報Aを用いることにより、後述する画像検証装置内で、画像データIを構成する各画素が夫々何れの色成分に対応するかを特定することが可能となる。
尚、本実施形態は図9(A)に示すような3色の色成分から構成されるような配列を適用するものとして説明するが、本発明はこれに限定されることなく、4色以上の色成分から構成されるような配列にも適用可能である。図9(B)は4色の色情報を取得するためのカラーフィルターを用いて得られた画像データの一例であり、奇数行にはR(赤色)成分とE(エメラルド色)成分、偶数行にはG(緑色)成分とB(青色)成分のデータが並んでいる。
また、本実施形態は図9(A)に示すように格子構造で配置された画素配列を有する光学センサー、及びカラーフィルターを用いて画像データIが取得されるものとして説明する。しかしながら、本発明はこれに限定されることなく、種々の構造で画素が配置された光学センサー、及びカラーフィルターにも適用可能である。図9(C)は各画素がハニカム構造で配置された光学センサー、及びカラーフィルターの一例を示す。図9(C)に示すような光学センサー、及びカラーフィルターが適用された場合、例えば図9(D)に示すように、1行目にB(青色)成分とR(赤色)成分、2行目にG(緑色)成分、3行目にR(赤色)成分とB(青色)成分を記録するようにすれば良い。
以上説明したように、本発明は特定の画素配列を有する光学センサー、カラーフィルター、或いは画像フォーマットに限定されることなく、種々の画素配列を有する光学センサー、カラーフィルター、或いは画像フォーマットにも適用可能である。
画像発生部51で発生した画像データIは後段の順序情報算出部52、及び画像出力部54へ出力する。
順序情報算出部52は、前段の画像発生部51で発生した画像データI、及び乱数初期値KRが入力され、入力された乱数初期値を用いて画像データIから順序情報Rが生成され、生成された順序情報Rが出力される。
ここで本実施形態における順序情報算出部52の詳細について図6を用いて説明する。図6(A)に示すように本実施形態における順序情報算出部52は、擬似乱数生成部61、画素対選択部62、画素値比較部63から構成される。
図中、擬似乱数生成部61は、入力された初期値KRをシードとして擬似乱数RNDを生成し、生成した擬似乱数RNDを後段の画素対選択部62へ出力する。初期値KRは、画像入力装置11と後述する画像検証装置13とで共有しておく必要がある。このため、予め画像入力装置11内部のROM22、及び画像検証装置13内部のROM44に共通の秘密情報を保持しておき、検証データ生成部42が必要に応じて当該秘密情報を利用するようにする。或いは、ICカード等の耐タンパーな装置内部に署名鍵KSを保持しておき、当該ICカードを画像入力装置11及び画像検証装置13に接続するようにし、検証データ生成部53がICカード内部から署名鍵KSを取得して利用するようにしても良い。
画素対選択部62は、前段の擬似乱数生成部61で生成された擬似乱数RNDを用いて、画像データIを構成する画素の中から2つの画素の位置を選択する。そして、選択した2つの画素を1つの画素対とすることを繰り返すことにより、複数個の画素対から構成される画素対IPを生成して出力する。
ここで図4(A)を用いて本実施形態における画素対の例について説明する。図中、227は画像データを示し、221、222、224、及び225は夫々画像データ227中の画素を示す。図中の点線で結び付けられた画素が画素対であり、画素221と画素222が画素対223、及び画素224と画素225が画素対226を構成している。この場合、画素対223と画素対226が画素対IPとして出力される。
本実施形態では、選択する画素対は図9(A)で示したような画像データ中で同じ色成分を有する画素同士から選択するようにする。例えば、画素対の一方の画素としてR(赤色)成分を選択した場合、もう一方の画素もR(赤色)成分を選択するようにする。画像データIに付加されている画像配列情報Aを用いて選択する。後述する画像再現処理において実行されるガンマ補正処理、コントラスト補正処理、或いはホワイトバランス補正処理などにおいては、同じ色成分同士の大小関係は変化し難いが、異なる色成分同士の大小関係は変化する場合がある。このため、本実施形態では同じ色成分を有する画素同士から画素対IPを選択することにより、画像再現処理の前後で画素対IPにおける画素値の大小関係が変化しないようにしている。
画素値比較部63は、画素対IPが入力され、入力された画素対を構成する画素値同士を比較し、比較結果を順序情報Rとして出力する。
本実施形態では、画素値比較部63内部で以下の式を用いて順序情報Rを生成するものとする。
if c(i)<c(j) then Rk=0 else Rk=1 (式1)
式1において、c(x)は画素位置xにおける画素値、i及びjは前段の画素対選択部62で選択された画素対における画素の位置である。入力された全ての画素対IPについて式1を用いて相対的大小関係Rkを算出し、算出された大小関係Rkを連結した結果を順序情報Rとして出力する。
以上説明したRk、及び順序情報Rの算出の具体例を図4(B)を用いて説明する。図4(B)において、231は順序情報Rの算出対象である画像データであり、夫々の格子は画素を示す。ここでは、画素配列232を有する光学センサーあるいはカラーフィルターを用いて撮影されたものとする。また、R(赤色)成分、G(緑色)成分、B(青色)成分ごとに、左上の画素からラスタスキャン順に、233のように割り当てる。R(赤色)成分の画素の場合は、CR(0)=128、CR(1)=121、CR(2)=118、CR(3)=190となる。まず、R(赤色)成分に対して、大小関係Rkを求める。234は、R(赤色)成分に対して、擬似乱数、画素対IP、大小関係Rkを説明するためのものである。画像データ231のR(赤色)成分に対し、擬似乱数生成部61で生成された擬似乱数RNDが、表232におけるi、及びjであり、画素対選択部62において選択された画素対IPがCR(i)及びCR(j)である。234においては、合計2個の画素対が選択されていることになる。
次に、夫々の画素対に対して式1を用いてRkを算出する。例えば、234における最初の画素対は、CR(i)=190、C(j)=118でありC(i)>C(j)であるためRk=1となる。一方、2番目の画素対は、C(i)=121、C(j)=121でありC(i)>C(j)でないためRk=0となる。
以上の方法を用い、G(緑色)成分及びB(青色)成分の画素に対しても、Rkを算出する。そして、R(赤色)成分、G(緑色)成分、B(青色)成分、それぞれの成分ごとに算出した大小関係Rkを順に連結することにより順序情報Rを生成する。順序情報Rは、例えば、図4(B)にの235に示した「10001110」となる。
尚、図4(A)の例では画像データIに含まれる全ての画素対IPに対して大小関係Rkを算出し、順序情報Rとして出力するようとして説明したが、擬似乱数RNDを用いて画像データIの一部の画素対IPをランダムに選択するものであっても構わない。
また、全ての画素対IPに対して大小関係Rkを算出し、順序情報Rとして出力する場合、擬似乱数生成部61は必ずしも必要ではなく、擬似乱数RNDを用いて画素対を選択する代わりに、予め決めたらた順に従って、全ての画素対を選択するようにすれば良い。
また、本実施形態では、画素対IPとして2つの画素を選択するものとして説明するが、本発明はこれに限定されることなくN(>2)個の画素を選択し画素対IPとしても良い。この場合、画素対選択部62でN個の画素から構成される画素対IPを選択し、画素値比較部63ではN個の画素値の大小関係を算出し、順序情報Rとして出力するようにする。一般的に、N個の画素値の大小関係はN!通りあり得るため、一つの画素対IPの大小関係RkとしてはN!を表現し得るビット長で順序情報を構成するようにする。例えば、N=3の場合は画素値の大小関係として3!=6通りの場合があり得るため、3ビットで大小関係Rkを表現するようにすれば良い。
以上、本実施形態における順序情報算出部52の詳細について説明した。
引き続き、図2(B)に戻って説明を続ける。検証データ生成部53は、順序情報算出部52で生成された順序情報Rが入力され、入力された順序情報Rに対して検証データS(R)が生成され、生成された検証データS(R)が後段の画像出力部54に出力される。
本実施形態における検証データとしては、MAC(Message Authentication Code)や電子署名などが適用可能である。尚、MAC及び電子署名の生成方法については当業者にとって公知の技術であるので詳細な説明は省略する。
検証データとしてMACを適用する場合には、MACを生成するための秘密情報を、署名鍵KSとして入力するようにし、MACを生成する際に利用する。署名鍵KSは画像入力装置11と後述する画像検証装置13とで共有しておく必要がある。このため、予め画像入力装置11内部のROM22、及び画像検証装置13内部のROM44に共通の秘密情報を保持しておき、検証データ生成部42が必要に応じて当該秘密情報を利用するようにする。或いは、ICカード等の耐タンパーな装置内部に署名鍵KSを保持しておき、当該ICカードを画像入力装置11及び画像検証装置13に接続するようにし、検証データ生成部53がICカード内部から署名鍵KSを取得して利用するようにしても良い。或いは、画像入力装置11の内部で新たに秘密情報を発生させ、発生した秘密情報を署名鍵KSとして利用するようにしても良い。この場合、発生した秘密秘密情報はICカード等の耐タンパーな装置内部に保持したり、或いは暗号化を施した後画像検証装置13へ送信するようにすれば良い。
一方、検証データとして電子署名を適用する場合には、電子署名を生成するための秘密鍵を、署名鍵KSとして入力するようにする。このため、予め画像入力装置11内部のROM22に署名鍵KSを保持しておき、検証データ生成部53が必要に応じて当該署名鍵KSを利用するようにする。或いは、ICカード等の耐タンパーな装置内部に署名鍵KSを保持しておき、当該ICカードを画像入力装置11に接続するようにし、検証データ生成部53がICカード内部から署名鍵KSを取得して利用するようにしても良い。或いは、画像入力装置11の内部で新たに署名鍵KSを発生させ、発生した署名鍵KSを利用するようにしても良い。また、何れの場合においても、検証データ生成部53が利用した署名鍵KSに対応する公開鍵が、後述する画像検証装置13の内部で必要となる。このため、後段の画像出力部54において、署名鍵KSに対応する公開鍵を画像データに付加して、画像検証装置13へ送信するようにする。或いは、不図示のサーバ上に公開鍵を保持しておき、当該サーバ上の公開鍵の保持位置を示す情報(URLなど)を画像データに記録するようにしておく。そして、画像検証装置13は当該保持位置を示す情報を用いることにより、必要に応じて公開鍵をサーバから取得するようにしても良い。
画像出力部54は、前段の画像発生部51から出力された画像データI、及び検証データ生成部53から出力された検証データS(R)が入力され、検証データS(R)を画像データIに付加して出力する。
本実施形態では付加方法として、Exifなどでフォーマット化されている画像データIのヘッダ中に検証データS(R)を記録する。しかしながら本発明はこれに限定されることなく、画像データIに検証データS(R)を連結するようにしても良い。
また、本実施形態では、画像発生部51において発生し、作業メモリ24に保持されている画素配列情報Aも画像データIに付加して出力するようにする。
画像出力部54は、画像データIをリムーバブルメディア等の記憶媒体に記録したり、或いは、有線/無線のネットワークを介して所定のホストへ送信したりする。
以上、本実施形態における画像入力装置11の構成について説明した。
<撮影処理のフロー>
以下、図14を用いて本実施形態における画像入力装置11で実行される撮影処理のフローを説明する。図14は本実施形態に適用可能な撮影処理の流れを示すフローチャートである。
まず、画像発生部51を用いて画像データIを撮影する(S141)。次に、擬似乱数生成部61で生成された擬似乱数RNDを用いて画素対選択部62において画素対IPを選択し(S142)、画素対比較部63を用いて画素対IPの順序情報Rを算出する(S143)。そして、検証データ生成部53を用いて、順序情報Rに対する検証データS(R)を生成し(S144)、最終的に画像出力部54から、検証データS(R)が付加された画像データを出力する(S145)。
以上、本実施形態における撮影処理のフローについて説明した。
<画像再現装置の構成>
以下、図7を用いて本実施形態に適用される画像再現装置の機能構成を説明する。
図7に示すように、本実施形態における画像再現装置12は、画像補間処理部71、及び画像補正処理部72から構成される。
図中、画像補間処理部71は、前述した画像入力装置11から画像データIが入力され、入力された画像データIに対して画素補間処理を実行し、画素補間処理が施された画像データI2が出力される。
本実施形態における画素補間処理について図10(A)を用いて説明する。図10(A)は図9(A)に示した画像フォーマットで構成された画像データに対する画素補間処理の一例を説明する図である。図中、101は画素補間処理前の画像データであり、102、103、及び104は夫々R(赤色)成分、G(緑色)成分、B(青色)成分に対して画素補間処理された画像データである。102、103、及び104の中で網がけされている画素は撮像された画素、即ち画像データ101に含まれる画素群(第1の画素群)であり、一方網がけされていない画素は新たに補間された画素群(第2の画素群)である。図10(A)に示すように、撮像された画像データのうち色成分がない画素の値を隣接する撮像画素値から補間するのが画素補間処理である。本実施形態における、画素補間処理の例としてR(赤色)成分に対する例を以下に示す。
R2=(R1+R3)/2
R4=(R1+R7)/2
R6=(R3+R9)/2 (式2)
R8=(R7+R9)/2
R5=(R1+R3+R7+R9)/4
式2に示すように、本実施形態では隣接する撮像画素の画素値の平均値を補間画素の画素値としている。特に、隣接する撮像画素が2つの場合は2つの画素値の平均、撮像画素が4つの場合は4つの画素値の平均を算出するようにしている。G(緑色)成分、及びB(青色)成分に対する画素値補間処理も式2のように処理すればよいので、説明は省略する。
尚、本実施形態は式2に示すように各色独立に画素補間処理を実行するものとして説明するが、本発明はこれに限定されることなく種々の画素補間処理を適用可能であることは明らかである。例えば、各色成分の比(例えば、G(緑色)成分に対するR(赤色)成分またはB(青色)成分の比)を利用するような方式や、エッジの方向を検出し、検出したエッジ方向に応じて撮像画素値に重み付けをして補間するような方式を適用可能である。
また、画素補間部71で適応可能な画素補間処理を複数用意しておき、適当な画像補間処理を適時選択するようにしても良い。この場合は、選択した画像補間処理を特定する情報を画像データI3と共に出力するようにする。或いは、画像入力装置11の種類に応じて適切な画像補間処理を実行するようにしても良い。この場合は、前記画像出力部54(図2(B))から出力される画像データIに画像入力装置11を特定する情報などを付加しておき、画像補間部71で前記画像入力装置11を特定する情報に応じて、適当な画像補間処理を選択するようにする。
画像補正処理部72は、前段の画素補間処理部71で画素補間処理が施された画像データI2が入力され、画像データI2に対して画像補正処理を施し、画像補正処理が施された画像データI3を出力する。
本実施形態における画像補正処理としては、ガンマ補正処理、コントラスト補正処理、ホワイトバランス補正処理等を含む。
ホワイトバランス補正処理は、画像データI2を構成する各画素の色成分の値を以下の式を用いて変更する。
R’=WRxR
G’=WGxG (式3)
B’=WBxB
ここで、R、G、及びBはホワイトバランス補正処理前の各画素の色成分の値、R’、G’、及びB’はホワイトバランス補正処理後の各画素の色成分の値、WR、WG、及びWBは各色成分毎のホワイトバランス補正値である。
ガンマ補正処理は、画像データI2を構成する各画素の色成分の値を以下の式を用いて変更する。
R’=R’mx(R/Rm)^(1/γR)
G’=G’mx(G/Gm)^(1/γG) (式4)
B’=B’mx(B/Bm)^(1/γB)
ここで、R、G、及びBはガンマ補正処理前の各画素の色成分の値であり、R’、G’、及びB’はガンマ補正処理後の各画素の色成分の値である。Rm、Gm、及びBmはガンマ補正処理前の各色成分の最大値であり、R’m、G’m、及びB’mはガンマ補正処理後の各色成分の最大値である。γR、γG、及びγBは各色成分毎のガンマ補正値である。また、「x^y」はxのy乗を意味する。
式4に示したガンマ補正処理を図で説明したものが図8(A)である。図8(A)において、横軸はガンマ補正前の色成分の値、縦軸はガンマ補正後の色成分の値であり、式4に示すγR、γG、或いはγBの値によって決定されるガンマカーブ(図中、太い幅の曲線)に応じて各色成分の値が補正される。γR、γG、或いはγBの値が1より大きな場合は色成分は暗く、一方、1より小さな場合は色成分は明るく補正される。図に示すように、例えばガンマ補正処理前に値I1だった色成分はガンマ補正後に値I’1に補正されることが理解されよう。
コントラスト補正は、画像データI2を構成する各画素の色成分の値を、図8(B)に示すような補正カーブを用いて変更する。即ち、暗い色成分はより暗く、明るい色成分はより明るく変更するような補正である。図に示すように、例えばコントラスト補正前にI1だった色成分はガンマ補正後にI’1に補正される。
本実施形態では、以上説明したガンマ補正処理、コントラスト補正処理、ホワイトバランス補正処理、及びこれらを組み合わせた処理を画像補正処理として実行する。例えば、ガンマ補正処理だけを実行したり、ホワイトバランス補正処理した後にガンマ補正処理したり、更にコントラスト補正処理したりすることが可能である。
尚、本実施形態では画像補正処理としてガンマ補正処理、コントラスト補正処理、ホワイトバランス補正処理、及びこれらを組み合わせた処理を適用するものとするが、本発明はこれに限定されることなく種々の画像処理を含むことが可能である。
以上、本実施形態における画像再現装置12の構成について説明した。
<画像検証装置の構成>
以下、図11を用いて本実施形態に適用される画像検証装置の機能構成を説明する。尚、以下の説明では、前述したホストコンピュータ41に電源が投入され、OSが作業メモリ45にロードされている場合である。
図11に示すように、本実施形態における画像検証装置は、画像入力部111、撮像画素抽出部112、順序情報算出部113、及び検証部114から構成される。
尚、ここで説明する画像検証処理はソフトウェア処理により実現されても良い。その場合には、上記各部は上記処理に必要な機能を概念的なものとして捉えたものと考慮されるべきものである。
図中、画像入力部111は、前述した画像再現装置12で再現された画像データI3が入力される。画像再現装置12から出力された画像データI3がリムーバブルメディア、及び/或いはネットワーク等を介して入力されると考えると理解し易い。また、入力された画像データI3のヘッダを解析し、付加されている検証データS(R)、及び画素配列情報Aを抽出し、抽出した検証データS(R)及び画素配列情報Aを出力する。
撮像画素抽出部112は、前段の画像入力部111から画像データI3及び画素配列情報Aが入力され、画素配列情報Aを用いて画像データI3から撮像画素が抽出され、撮像画素から構成される画像データI4が出力される。
撮像画素抽出部112に入力された画像データI3は、前述した画素補間処理部71における補間処理により、1画素が3つの色成分から構成されるデータとなっている。撮像画素抽出部112では、このような画像データI3から画素配列情報Aを用いて各画素に割り当てられている色成分を特定し、特定した色成分だけを抽出する。こうして抽出された色成分を集めることにより、1画素が1つの色成分から構成される画像データI4を形成して出力する。
ここで図10(B)を用いて、撮像画素抽出部112における撮像画素抽出処理の詳細を説明する。図中、121、122、及び123は、画素補間処理部71で補間処理された画像データの左上の3x3の9画素を表しており、夫々R(赤色)成分、G(緑色)成分、及びB(青色)成分である。また、124は画素配置情報Aの一例であり、この場合画像データの左上の画素がR(赤色)成分、その右及び下の画素がG(緑色)成分、その右下の画素がB(青色)成分であることを示している。更に、125、126、及び127は、夫々121、122、及び123を構成する画素のうちどの画素が撮像画素であるかを示しており、画素配列情報Aである124を考慮することにより、網かけされている画素が撮像画素であることが判定できる。
順序情報算出部113は、前段の撮像画素抽出部112から画像データI4が入力され、入力された画像データI4から順序情報R’が生成され、生成された順序情報R’が出力される。
尚、本実施形態においては順序情報算出部113の内部で実行される順序情報算出処理は、前述した図2(B)における順序情報算出部52の内部で実行される順序情報算出処理と同様の処理であるため、説明は省略する。
検証部114は、前段の順序情報算出部113で生成された順序情報R’、画像入力部111で抽出された検証データS(R)、画素配列情報A、画像データI3及び検証鍵KSが入力される。そして、入力されたデータを用いて画像データI3が改竄されているか否かを検証し、検証結果(OK/NG)を出力する。
ここで本実施形態における検証部114の詳細について図13(A)を用いて説明する。図13(A)に示すように本実施形態における検証部113は、第1の検証部131及び第2の検証部132から構成される。
第1の検証部131では、撮影画素からなる画像データI4の検証を行い、第2の検証部132では、撮影画素から補間された画素からなる画像データ(画像データI3と画像データI4との差分)の検証を行う。その結果、検証部114では、画像データI3の検証が行われる。
図中、第1の検証部131は、順序情報R’、検証データS(R)、及び検証鍵KSを用いて、署名検証あるいはMAC検証を行い、検証結果(OK/NG)を出力する。具体的には、順序情報R’、検証データS(R)、及び検証鍵KSが入力され、まず、順序情報R’と検証鍵KSとから、電子署名あるいはMACが生成される。生成処理は、検証データ生成部53における処理と同様の処理であるので、説明は省略する。そして、生成された電子署名あるいはMACと、検証データS(R)を比較し、一致していれば、検証結果(OK)を出力し、一致しなければ、検証結果(NG)を出力する。
尚、第1の検証部131で実行される第1の検証処理は、前述した検証データ生成部53に対応するものでなければならない。即ち、検証データ生成部53においてMACが生成された場合、第1の検証部131ではMACを用いて検証処理が実行される。一方、検証データ生成部53において電子署名が生成された場合、第1の検証部113では電子署名を用いて検証処理が実行される。また、検証鍵KSは、MACの場合は検証データ生成部53で適用された署名鍵KSと同一の秘密情報を適用し、電子署名の場合は検証データ生成部53で適用された署名鍵KSに対応する公開鍵であると考慮されるべきものである。
第2の検証部132は、第1の検証部131による第1の検証結果、及び検証対象となる画像データI3が入力され、入力された画像データI3が改竄されているか否かを検証し、検証結果(OK/NG)を出力する。
ここで本実施形態において第2の検証部132内部で実行される第2の検証処理について図15を用いて説明する。図15は本実施形態における第2の検証処理の流れを説明するフローチャートである。
まず、S151において、画素配列情報Aを用いることにより、画像データI3中の各画素の各色成分が撮像画素か補間画素かを特定する。S151における特定処理は、前述した撮像画素抽出部112における処理と同様であり、更に撮像画素として抽出されなかった画素を補間画素として特定するものである。即ち、図10(B)を用いて説明するならば、125、126、及び127において網かけされた画素が撮像画素であり、網がけされていない画素が参照画素となる。
次に、S152において、補間画素が画素補間部71(図7)においてどのような方式で補間されたかを特定する。本実施形態では、例えば画素補間部71における補間処理の種類(方法)を示す情報を画像データI3に付加して出力するようにし、画素補間部71では前記補間処理の種類(方法)を示す情報を用いて、補間方法を特定するようにしても良い。或いは、画素補間部71では画像入力装置11の種類に応じた画像補間処理を実行するような場合、画像入力装置11の種類(機種名など)を画像データIに付加して、画像出力部54から出力するように。そして画素補間部71では前記画像入力装置11の種類を示す情報を用いて、補間方法を特定するようにしても良い。
次に、S153では前段のS152において補間方法を特定できたか否かを判定する。特定できた場合は処理をS154へ進め、さもなければ処理をS158へ進める。
次に、S154では、前段のS152において特定した補間方法を用いて、S151で特定された撮像画素から改めて補間画素を算出する。ここで算出された補間画素を以降では再補間画素と呼ぶ。例えば、前記S152で特定した補間方法が、前述した式2に示すような方式の場合、式2と同じ方法を以下の様に適応する。
R2’=(R1+R3)/2
R4’=(R1+R7)/2
R6’=(R3+R9)/2 (式5)
R8’=(R7+R9)/2
R5’=(R1+R3+R7+R9)/4
ここで、R2’、R4’、R6’、R8’、及びR5’は再補間画素である。
次に、S155では特定された撮像画素と再補間画素が所定の関係であるか否か確認し、所定の関係にある場合にはS153で検証成功(OK)と判定し、さもなければS154で検証失敗(NG)と判定する。本実施形態では、S154で算出された再補間画素の値と、S151で特定された補間画素の値の差を算出する。そして、算出した差の値が所定の閾値よりも小さい場合、或いは差が0である場合に検証成功と判定する。例えば、前述した式5で算出された再補間画素の値R2’とS151で特定された補間画素の値R2の差が所定の閾値以下か否かを確認するようにする。
一方、S158では特定された撮像画素と補間画素が所定の関係であるか否かを確認し、所定の関係にある場合にはS1510で検証成功(OK)と判定し、さもなければS159で検証失敗(NG)と判定する。
ここで、本実施の形態では、補間画素の値が水平方向、及び垂直方向に隣接する撮像画素の値に含まれる場合、検証成功と判定するようにする。例えば、図10(B)中の124に示すG(緑色)成分を例にすると、撮像画素であるG2、G4、G6、及びG8が補間画素であるG5と以下の関係にあるか否かを確認するようにする。
G2<G5<G8 ∧ G4<G5<G6 (式6)
或いは、補間画素の値が、隣接する撮像画素の値の最小値と最大値に含まれる場合、検証成功と判定するようにする。例えば、図10(B)中の124に示すG(緑色)成分の場合、以下の関係にあるか否かを確認する。
Min(G2、G4、G6、G8)<G5<Max(G2、G4、G6、G8) (式7)
ここで、Min()、Max()は引数に含まれる値の夫々最小値、最大値を示す。
或いは、補間画素の値と隣接する撮像画素の値の中間値(撮像画素の値が偶数の場合は、中央に近い2つの値の平均)の差の絶対値が所定の閾値以下の場合、検証成功と判定するようにする。例えば、図10(B)中の124に示すG(緑色)成分の場合、以下の関係にあるか否かを確認する。
|G5−Med(G2、G4、G6、G8)|<T (式8)
ここで、Med()は引数に含まれる値の中間値、|x|はxの絶対値、Tは所定の閾値を示す。
或いは、撮像画素だけから構成される撮像画像データ、及び補間画素だけから構成される補間画像データを生成し、生成した画像データ間の類似度(相互相関値など)を算出し、類似度が閾値以上の場合、検証成功と判定するようにしても良い。
尚、本発明は所定の関係として特に限定するものではなく、補間画素と撮像画素の間の種々の関係を適用可能であることは明らかである。何れにしても、S152では、撮像画素と補間画素が所定の関係であるか否かにより、補間画素の改竄を判定するようにしている。
以上、本実施形態における第2の検証処理の詳細を説明した。
<画像検証処理のフロー>
以下、図16を用いて本実施形態における画像検証装置13で実行される画像検証処理のフローを説明する。図16は本実施形態に適用可能な画像検証処理の流れを示すフローチャートである。
まず、画像入力部111を用いて画像データI3を入力し(S161)、撮像画素抽出部112を用いて画像データI3から撮像画素データI4を抽出する(S162)。次に、擬似乱数生成部61で生成された擬似乱数RNDを用いて画素対選択部62において画素対IPを選択し(S163)、画素対比較部63を用いて選択した画素対IPの順序情報R’を算出する(S164)。そして、第1の検証部113において第1の検証処理を実行し(S165)、第1の検証結果が検証成功である場合には処理をS167に進め、さもなければ処理をS1610に進める。また、第2の検証部132において第2の検証処理を実行し(S167)、第2の検証結果が検証成功である場合には処理をS169に進め、さもなければ処理をS1610に進める。最終的に、S169では画像の検証は成功(改竄されていない)と判定し、S1610では画像の検証は失敗(改竄されている)と判定して処理を終了する。
以上、本実施形態における画像検証処理のフローについて説明した。
以上説明したように、本実施形態によれば、画像発生部51において発生した画像データIに対して直接検証データを生成するのではなく、順序情報算出部52において画像データIを構成する画素データの順序情報(大小関係)に対して検証データを生成している。これにより、たとえ画像データIが画像補正処理部72において画像補正処理された場合でも、検証処理を成功させることが可能となっている。これは、図8に示すように、画素値I1、及びI2が画像補正処理により夫々I’1、及びI’2に値が変更したとしても、それらの順序情報(大小関係)は変化しないという性質を利用しているものである。
また、画像検証装置13において検証する際に、第1の検証部131によって、検証データS(R)の生成対象となった撮像画素の検証に加え、第2の検証部132によって、画像補間処理部71で補間された補間画素をも検証するようにしている。これにより、検証データによる撮像画素の改竄に加え、補間画素改竄も検証することが可能となる。
(変形例1)
尚、本実施形態では、画像入力装置11の内部において、順序情報算出部52で算出した順序情報Rに対して検証データ生成部53で検証データS(R)を生成するようにしていた。しかしながら、本発明は順序情報Rに限定されることなく、画像データIから算出した種々の特徴量Fに対して、検証データ生成部53で検証データS(R)を生成するようにしても良い。この場合、図18(A)に示すように、画像入力装置11は順序情報算出部52の代わりに特徴量抽出部242を配置するようにし、特徴量抽出部242において画像データIから抽出した特徴量Fに対して検証データS(F)を生成するようにすれば良い。特徴量としては特に限定することなく、画像データIの低周波成分、エッジ情報、量子化係数、或いはそれらの組み合わせなど種々の特徴量を適用可能である。また、順序情報Rの代わりに特徴量Fに対する検証データを生成した場合の画像検証装置13を、図19(A)に示す。順序情報抽出部113の代わりに特徴量抽出部253を抽出するようにし、特徴量抽出部113において画像データIから抽出した特徴量Fを用いて検証部114で検証するようにすれば良い。
(変形例2)
更に、本発明は必ずしも順序情報Rをはじめとする特徴量Fに対して検証データを生成する必要はなく、撮像した画像データI、或いはその一部に対する検証データを生成するようにしても良い。この場合、図18(B)に示すように、画像入力装置11は画像発生部51で発生した画像データIを直接検証データ生成部53に入力するようにし、検証データ生成部53では画像データIに対して検証データS(I)を生成するようにすれば良い。また、画像データIに対して検証データS(I)を生成した場合の画像検証装置13を図19(B)に示す。撮像画素抽出部112で抽出した画像データI4を検証部114に入力するようにし、検証部114において画像データI4及び検証データS(I)を用いて検証するようにすれば良い。
(第2の実施形態)
上記実施形態(第1の実施形態)では、画像入力装置11内において、順序情報算出部52で算出した順序情報Rに対して検証データ生成部53で検証データS(R)を生成し、画像データIに付加して出力するようにしていた。この場合、画像検証装置13内では、前記検証データS(R)を用いることにより第1の検証部131で検証処理を実行するようにしていた。
しかしながら、本発明はこれに限定されることなく、画像入力装置11内では、順序情報算出部52で算出した順序情報Rそのものを、画像データIに付加して出力するようにしてもよい。そして、その場合は、画像検証装置13内では順序情報Rを用いて検証処理を実行するようにする。そこで、第2の実施形態では、検証データS(R)ではなく順序情報Rを用いた場合の方式について説明する。
以下、図3を用いて本実施形態に適用される画像入力装置の機能を説明する。図3(A)に示すように、本実施形態における画像入力装置は画像発生部191、順序情報算出部192、及び画像出力部193から構成される。
尚、本実施形態における画像発生部191、順序情報算出部192、及び画像出力部193の各機能は、夫々図2(B)における画像発生部51、順序情報算出部52、及び画像出力部54と同様の機能であるので説明を省略する。即ち、図3(A)に示すように、本実施形態では、第1の実施形態(図2(B))と異なり、順序情報算出部192で生成した順序情報Rを画像出力部193に出力し、画像データに付加して出力するようにしている。
次に、図11(B)を用いて本実施形態に適用される画像検証装置機能を説明する。図11(B)に示すように、本実施形態における画像検証装置は画像入力部201、順序情報算出部202、及び検証部203から構成される。
尚、本実施形態における画像入力部201、及び順序情報算出部202の各機能は、夫々図11(A)における画像入力部111、及び順序情報算出部112と同様の機能であるので説明を省略する。以降では、第1の実施形態とは異なる検証部203の機能について説明する。
以下、図13(B)を用いて本実施形態に適用される検証部の機能を説明する。図13(B)に示すように、本実施形態における検証部203は類似度判定部211、及び第2の検証部212から構成される。
尚、本実施形態における第2の検証部212は、図13(A)における第2の検証部132と同様の処理であるので説明を省略する。以降では、第1の実施形態とは異なる類似度判定部211の機能について説明する。
図中、類似度判定部211は、前段の順序情報算出部202で算出した順序情報R’、及び画像データI3に付加されていた順序情報Rが入力され、入力された順序情報R’、及び順序情報Rの類似度を算出する。そして、算出した類似度に基づいて画像データI3が改竄されているか否かを検証し、検証結果(OK/NG)を出力する。
本実施形態では、順序情報R、及び順序情報R’が前述した式1を用いて生成されていることを考慮し、類似度として順序情報Rと順序情報R’のハミング距離を用いるものとする。そして、算出したハミング距離が閾値以下の場合は、順序情報Rと順序情報R’が類似していると判断し検証成功(OK)と判定し、さもなければ検証失敗(NG)と判定するものとする。ここで、ハミング距離とは異なる2つのビット列間において、対応する位置にある異なるビットの数である。このことから、類似度が高いほどハミング距離は小さくなることに注意されたい。即ち、「ハミング距離が閾値以下」であることは「類似度が閾値以上」であることと等価である。
尚、類似度判定部211で用いる閾値は、予め所定の値を画像検証装置(ホストコンピュータ)41内のROM44、RAM45、或いはHD46などに設定しておき、設定してある値を適用すれば良い。或いは、画像検証装置の利用者がポインティングデバイス412、或いはキーボード413等を用いることにより所望の値を入力するようにし、入力された値を適用するようにしても良い。
また、本実施形態においては類似度判定方法としてハミング距離を適用するものとするが、本発明はこれに限定されることなく、順序情報Rと順序情報R’の相互相関関数を用いた方式やDPマッチングなど種々の方式を適用可能であることは明らかである。
次に、図17を用いて本実施形態における検証部のフローを説明する。図17は本実施形態に適用可能な検証部の流れを示すフローチャートである。
まず、類似度判定部211において、入力された順序情報R、及び順序情報R’の類似度を算出し(S171)、算出した類似度が閾値以上かどうか判定される(S172)。類似度が閾値以上である場合には処理をS173に進め、さもなければ処理をS176に進める。続いて、第2の検証部212において、(補間画素に対する)第2の検証処理を実行し(S173)、第2の検証処理が成功したかどうかが判定される(S174)。第2の検証処理が成功した場合には処理をS175に進め、さもなければ処理をS176に進める。最終的に、第2の検証処理が成功した場合には検証成功(OK)と出力し(S175)、さもなければ検証失敗(NG)と出力し(S176)て処理を終了する。
以上、本実施形態における検証処理部のフローを説明した。
ここで、本実施形態の安全性について説明する。本実施形態では、順序情報Rの類似度に基づいて改竄か否かを判定するようにしている。このため、画像データIを改竄した攻撃者が、改竄画像データから新たに順序情報Rを生成した場合、画像検証装置13は改竄画像であるにも関わらず「改竄でない」と判定してしまう。よって、本実施形態では、画像入力装置11だけが順序情報Rを生成可能であるようにする必要がある。このため、本実施形態では、予め乱数初期値KRを画像生成装置11と画像検証装置13とで安全に共有しておくようにする。こうすることにより、攻撃者は本来の正しい画素対を選択することができない。即ち、攻撃者は正しい順序情報Rを生成することができないため、改竄画像から正しい順序情報を生成することができない。
或いは、順序情報Rそのものを、画像データIに付加して出力するようにしたが、順序情報Rを暗号化して出力するようにしても良い。この場合、図3(B)に示すように、順序情報暗号化部194を追加し、順序情報算出部192から出力された順序情報を、順序情報鍵暗号化部194において鍵KEを用いて暗号化し、暗号化順序情報ERを画像出力部193から出力する。また、図11(C)に示すように、順序情報復号部204を追加し、画像入力部201では暗号化順序情報ERを画像データI3から抽出する。そして抽出された暗号化順序情報ERを順序情報復号部204において鍵KDを用いて復号し、復号した順序情報Rを検証部203に入力する。本発明において、順序情報暗号化部194、及び順序情報復号部204に適応される暗号化及び復号処理は特に限定することなく、種々の暗号化アルゴリズムを適用可能である。例えば共有鍵方式であるAESやDES、或いは公開鍵方式であるRSAなど種々の方法を適用可能である。特に、共有鍵方式を適用する場合、鍵KEと鍵KDは同一であり、予め画像入力装置11と画像検証装置13が秘密に共有しておく。一方、公開鍵方式を適用する場合、鍵KEは公開鍵であり、鍵KDは公開鍵KEに対応する秘密鍵であり、予め対応する鍵KE、及び鍵KDを画像入力装置11と画像検証装置13が夫々保持しておくようにする。
このような構成にすることにより、たとえ攻撃者が画像入力装置11から出力された画像データIを改竄し、改竄した画像から暗号化順序情報を生成しようとした場合でも、鍵KEを保有していないため、正しい暗号化順序情報を生成することができない。
第1の実施形態では、順序情報算出部52で算出した順序情報Rに対して検証データ生成部53において検証データS(R)を生成し、生成した検証データS(R)を用いて第1の検証部131において改竄検出を実行するようにしていた。よって、順序情報Rが1ビットでも異なる場合に改竄と判定することが可能であった。
一方、本実施形態においては、検証データS(R)ではなく順序情報Rそのものを用い、且つ、順序情報Rと順序情報R’の1ビット毎の比較ではなく類似度を用いて検証するようにしている。よって、類似度を判定する際の閾値を適切に設定することによって、順序情報Rと順序情報R’が所定ビット数以下異なっている場合には検証成功と判定し、所定ビット数以上異なる場合に検証失敗であると判定することが可能となる。
(変形例)
本実施の形態においては、画像検証装置13内において、画素対選択部62で選択された画素対IPに対する順序情報の全てを用いて検証処理するようにしていた。しかしながら、本発明はこれに限定されることなく、画像検証装置13内において、画素対選択部62で選択された画素対IPのうち、画素値が同値となっている画素対を除き、画素値が異なる値となっている画素対IPだけを用いて検証処理するようにしても良い。
これにより、値が異なる画素対IPだけに対する順序情報R及び順序情報R’の類似度を算出することが可能となり、より確実に検証処理を実行することが可能となる。
(第3の実施形態)
以上説明した実施形態(第1の実施形態、及び第2の実施形態)においては、画像発生部51において発生した画像データIを構成する画素に対して、画素対選択部62において画素対IPを選択し、画素値比較部63でその順序情報Rを算出するようにしていた。しかしながら、本発明は画素に限定されることなく、複数の画素値から構成される矩形、或いは任意形状の領域内に含まれる画素値の特徴量に対する順序情報を算出するようにしても良い。特徴量としては、画素値の平均値、分散など種々の特徴量を適用可能である。以降では、1つの画素ではなく、少なくとも2つ以上の画素から構成される画素値から構成される場合の実施形態について説明する。
第1の実施形態、及び第2の実施形態では、乱数を用いて任意の画素対を選択するようにしていたが、本実施の形態では、所定の条件を満たす矩形ブロック対だけを選択するようにする。ここで、本実施形態に適応可能な順序情報算出部52の詳細について図6を用いて説明する。図6(B)に示すように本実施形態における順序情報算出部52は、擬似乱数生成部61、矩形ブロック対選択部64、矩形ブロック特徴量比較部65から構成される。ここで擬似乱数生成部61は図6(A)に示した擬似乱数生成部61と同様の処理であるので説明を省略する。
図中、矩形ブロック対選択部64は、入力された画像データIを矩形ブロック、或いは任意形状の領域に分割し、分割した矩形ブロックから擬似乱数RNDを用いて矩形ブロック対を選択する。また、矩形ブロック特徴量比較部65は、選択された矩形ブロック対の特徴量を算出し、算出した特徴量を比較対象として、順序情報(大小関係)を算出するようにする。尚、本実施形では、矩形ブロック対の特徴量として画素値の平均値を用いるものとして説明するが、本発明はこれに限定されることなく、画素値の分散、標準偏差等種々の特徴量を適用可能である。
ここで、本実施形態における矩形ブロック対選択部64の内部で実行される矩形ブロック対選択処理フローについて説明する。図12(A)は、本実施形態における矩形ブロック対選択処理部64の内部で実行される矩形ブロック対選択処理のフローを説明する図である。まず、擬似乱数生成部61で生成された擬似乱数RNDを用いて基準矩形ブロックを選択する(S291)。同様に、擬似乱数RNDを用いて参照矩形ブロック候補を選択する(S292)。本実施形態では、画像データIの幅及び高さよりも小さな擬似乱数RND(>0)を逐次生成し、生成した擬似乱数RNDにより矩形ブロックの左上の座標値を特定することにより、基準矩形ブロック、及び参照矩形ブロックを選択するものとする。或いは、予め各矩形ブロックに矩形ブロック番号を付与しておき、生成した擬似乱数により矩形ブロック番号を特定することにより、基準矩形ブロック、及び参照矩形ブロックを選択するようにしてもよい。何れにしても、擬似乱数RNDを用いてランダムに基準矩形ブロック、及び参照矩形ブロックを選択する。
そして、選択された参照ブロック候補の画素値の平均値を算出し(S293)、算出された平均値が所定の範囲に含まれるか否かを判定する(S294)。所定の範囲に含まれる場合は処理をS292に進め、さもなければ処理をS295に進める。
ここで所定の範囲としては、図5(B)で説明した様に、変換後の基準矩形ブロックの平均値を逆変換した値Vよりも大きく、変換前の基準矩形ブロックの平均値Mよりも小さい範囲(図5の288の網掛け部分)とする。或いは変換前の基準矩形ブロックの平均値Mよりも大きく、変換後の基準矩形ブロックの平均値を逆変換した値Vよりも小さい範囲(図5の289の網掛け部分)とする(図5については後述する)。
最終的に、画素値の平均値が所定の範囲に含まれないようなブロックが参照矩形ブロックとして決定される(S255)。以上、説明した処理を矩形ブロック対の数だけ繰り返す。
以上、本実施形態における矩形ブロック対選択処理フローについて説明した。以上説明したように、本実施形態ではS252で選択した参照矩形ブロックを単純に選択せず、S253において参照矩形ブロックの平均値を算出し、S254において算出した平均値に応じて参照矩形ブロックを選択しなおすか否かを判断するようにしている。こうした処理は、画素の場合には必要ないが、矩形ブロックの場合には必要となる。以降では、矩形ブロックの場合に、図12に示した処理が必要な理由について説明する。
まず、複数の画素から構成される場合の課題について、図5を用いて説明する。図5(A)は複数の画素から構成される矩形ブロックを適用した場合の問題点を具体的に説明する図である。
図5(A)において、241、242、243、244は矩形ブロックを示しており、各要素は画素を表す。即ち、各矩形ブロックは4x4の16個の画素から構成されている。また、各要素中に記載した値は各画素の画素値を表している。また、矩形ブロック241、242は変換前の矩形ブロックを示し、矩形ブロック243、244は変換後の矩形ブロックを示す。また、比較の基準となる矩形ブロック241、及び243を基準矩形ブロックと呼び、比較される矩形ブロック242、及び244を参照矩形ブロックと呼ぶものとする。
図5(A)に示す例では、矩形ブロック241内の各画素値は「20」、或いは「140」であるので、矩形ブロック241の画素値の平均は「80」となる。一方、変換前の矩形ブロック242の各画素値は「70」であり、矩形ブロック242の画素値の平均も「70」となる。ここで、変換前は基準矩形ブロック241の平均値「80」が参照矩形ブロック242の平均値「70」よりも大きいことに留意されたい。
これらの画素値を245に示すような対応関係を用いて変換することを想定する。245では、x軸が入力、y軸が出力を表しており、太線が変換を表している。(例えば、入力値「20」は出力値「71」に変換される。)245に示した対応関係により矩形ブロック241、及び242を変換した場合、矩形ブロック241内の各画素値「20」、「140」は、夫々「71」、「189」に変換され、一方、矩形ブロック242内の画素値「70」は「134」に変換される。矩形ブロック243、及び244は夫々変換後の矩形ブロックを示す。そして変換後の夫々の矩形ブロックの画素値の平均を算出すると、矩形ブロック243の平均値は「130」であり、矩形ブロック244の平均値は「134」となる。すると、変換後は基準矩形ブロック243の平均値「130」は参照矩形ブロック244の平均値「134」よりも小さくなる。即ち、矩形ブロックの平均値の大小関係は変換の前後で逆転している。
この逆転現象は、変換前の参照矩形ブロックの平均値が、変換前の基準矩形ブロックの平均値「80」よりも小さく、且つ、変換後の基準矩形ブロックの平均値「130」を逆変換した値「66」よりも大きい場合に発生する。
以上の現象を図5(B)を用いて、より一般的に説明する。246は画素値をより大きく(明るく)するような変換であり、247は画素値をより小さく(暗く)するような変換である。I11、I12、M1、V1は、夫々変換前の基準矩形ブロックを構成する画素値の最小値、変換前の基準矩形ブロック242を構成する画素値の最大値、変換前の基準矩形ブロックの平均値、変換後の基準矩形ブロックの平均値を逆変換した値である。I’11、I’12、M’1、V’1は、夫々変換後の基準矩形ブロックを構成する画素値の最小値、変換後の基準矩形ブロックを構成する画素値の最大値、変換後の基準矩形ブロックの平均値、変換前の参照矩形ブロックの平均値を変換した値である。
246に示す変換の場合、基準矩形ブロックの平均値と、比較対象となる参照矩形ブロックの平均値がV1より大きく、且つM1よりも小さい場合に、変換の前後で基準矩形ブロックの平均値と参照矩形ブロックの平均値の逆転が発生する。一方、247に示す変換の場合、参照矩形ブロックの平均値がM1よりも大きく、且つV1よりも小さい場合に、変換の前後で基準矩形ブロックの平均値と参照矩形ブロックの平均値の逆転が発生する。
よって、本実施形態では、逆転が発生する可能性のあるブロック対を選択しないことで、画像再現処理が施された画像データの原本性を保証することが可能である。
尚、こうした逆転現象は、矩形ブロックに含まれる複数の画素値の分散が大きい場合に発生する。従って、全ての矩形ブロックに対してS252、S253、及びS254のような処理を実行する必要はなく、矩形ブロックに含まれる複数の画素値の分散が大きい場合に、S252、S253、及びS254のような処理を実行するようにしても良い。この場合の変形例を図12(B)に示す。
図12(B)は本実施形態にける変形例の矩形ブロック対選択処理の流れ示すフローチャートである。図12(A)と図12(B)とで同じ処理は同じ符号を付与している。図12(B)において図12(A)と異なるのは、S256、及びS257である。図12(B)に示すように、S251で選択された基準ブロックの画素値の分散を算出する(S256)。そして、分散が閾値以上か否かを判定し(S257)、閾値以上の場合は処理をS252に進める。さもなければ、処理をS255に進める。図12(B)に示すようなフローに従って処理することにより、画素値の分散が高い矩形ブロックに対してだけ、S252、S253、及びS254の処理を実行するため、図12(A)に示すフローよりも効率的に矩形ブロック対を選択することが可能となる。
尚、図12に示したフローに従って選択された矩形ブロック対の情報(座標情報など)は、画像出力部54から画像データIと共に出力するようにすれば良い。
また、図12に示したフローでは、S251において基準ブロックは決定し、S254において参照ブロック候補の平均値が所定の範囲に含まれるか否かを判断するようにした。しかしながら、本発明はこれに限定されることなくS251で参照ブロックを決定し、S254で基準ブロックの平均値が所定の範囲に含まれるか否かを判断するようにしても良い。何れにしても、矩形ブロック対に含まれる矩形ブロックのうち何れか一方をS251で決定し、もう一方の平均値をS254で判断するようにする。
尚、S254において、248や249に示したような変換が予め決まっている場合は、変換後の基準矩形ブロックの平均値を逆変換した値Vを算出可能である。しかしながら、どのように変換されるか決まっていない場合には、S254において、変換後の基準矩形ブロックの平均値を逆変換した値Vを算出することができない。本実施の形態では、少なくとも前述したような範囲を少なくとも含むような範囲であれば良いので、どのように変換されるか決まっていない場合には、少なくとも前述したような範囲を含むような範囲を適用すれば良い。
例えば、図5(B)に示したように、基準矩形ブロック中の画素値の最小値は、少なくとも変換後の基準矩形ブロックの平均値を逆変換した値V、及び変換前の基準矩形ブロックの平均値Mよりも小さいことは明らかである。同様に、基準矩形ブロック中の画素値の最大値は、少なくとも変換後の基準矩形ブロックの平均値を逆変換した値V、及び変換前の基準矩形ブロックの平均値Mよりも大きいことは明らかである。従ってこの場合、S254における範囲としては、参照矩形ブロック候補の平均値が、基準矩形ブロックの画素値の最小値よりも大きく、且つ、基準矩形ブロックの画素値の最大値よりも小さいような範囲を適用可能である。
<その他の変形例>
以上本発明にかかる実施形態を説明したが、先に説明したように、画像入力装置、及び画像検証装置は、通常のパーソナルコンピュータ等の汎用情報処理装置であって、それ上で動作するコンピュータプログラムで実現できるものである。よって、本発明はコンピュータプログラムをその範疇とすることは明らかである。また、通常、コンピュータプログラムは、CDROM等のコンピュータ可読記憶媒体に記憶されており、それをコンピュータの対応するドライブにセットしてシステムにコピーやインストール処理することで実行可能となるわけである。よって、本発明は当然にそのようなコンピュータ可読記憶媒体をもその範疇とすることも明らかである。

Claims (12)

  1. 第1の画素群と前記第1の画素群から補間された第2の画素群とから構成される画像データと、前記第1の画素群の検証データとを入力する入力手段と、
    前記第1の画素群と前記検証データを用いて、前記第1の画素群が改竄されているか否かを検証をする第1の検証手段と、
    前記第2の画素群と、前記第1の画素群とが所定の関係にあるか否かを判定することにより、前記第2の画素群が改竄されているか否かを検証する第2の検証手段と、
    前記第1の検証手段による結果と第2の検証手段による結果に基づいて、前記画像データの改竄を判定する判定手段とを有することを特徴とする情報処理装置。
  2. 前記第1の画素群は、撮像素子により撮像された画素群であることを特徴とする請求項1に記載の情報処理装置。
  3. 撮像された際に用いられた画素配列情報を用いて前記第1の画素群の位置を特定する特定手段をさらに有し、
    前記第1の検証手段は、前記特定手段によって特定された画素群の改竄を検知することを特徴とする請求項2に記載の情報処理装置。
  4. 前記所定の関係とは、前記第2の画素群にある画素の値が、前記画素と水平方向、及び垂直方向に隣接する第1の画素群の複数の画素の値の間にある、あるいは、前記第2の画素群にある画素の値が、前記画素と水平方向、及び垂直方向に隣接する第1の画素群の複数の画素の値の最小値と最大値との間にある、あるいは、前記第2の画素群にある画素の値と、前記画素と水平方向、及び垂直方向に隣接する第1の画素群の複数の画素の値の中間値の差の絶対値とが所定の閾値以下であるのいずれかであることを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
  5. 前記第2の検証手段は、前記第1の検証手段によって第1の画素群が改竄されていないと判定された場合に、前記第2の画素群の改竄を検知することを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。
  6. 情報処理装置の制御方法であって、
    前記情報処理装置の入力手段が、第1の画素群と前記第1の画素群から補間された第2の画素群とから構成される画像データと、前記第1の画素群の検証データとを入力する入力工程と、
    前記情報処理装置の第1の検証手段が、前記第1の画素群と前記検証データを用いて、前記第1の画素群が改竄されているか否かを検証をする第1の検証工程と、
    前記情報処理装置の第2の検証手段が、前記第2の画素群と、前記第1の画素群とが所定の関係にあるか否かを判定することにより、前記第2の画素群が改竄されているか否かを検証する第2の検証工程と、
    前記情報処理装置の判定手段が、前記第1の検証工程による結果と第2の検証工程による結果に基づいて、前記画像データの改竄を判定する判定工程とを有することを特徴とする情報処理装置の制御方法。
  7. 前記第1の画素群は、撮像素子により撮像された画素群であることを特徴とする請求項6に記載の情報処理装置の制御方法。
  8. 前記情報処理装置の特定手段が、撮像された際に用いられた画素配列情報を用いて前記第1の画素群の位置を特定する特定工程をさらに有し、
    前記第1の検証工程は、前記特定工程によって特定された画素群の改竄を検知することを特徴とする請求項7に記載の情報処理装置の制御方法。
  9. 前記所定の関係とは、前記第2の画素群にある画素の値が、前記画素と水平方向、及び垂直方向に隣接する第1の画素群の複数の画素の値の間にある、あるいは、前記第2の画素群にある画素の値が、前記画素と水平方向、及び垂直方向に隣接する第1の画素群の複数の画素の値の最小値と最大値との間にある、あるいは、前記第2の画素群にある画素の値と、前記画素と水平方向、及び垂直方向に隣接する第1の画素群の複数の画素の値の中間値の差の絶対値とが所定の閾値以下であるのいずれかであることを特徴とする請求項6乃至8の何れか1項に記載の情報処理装置の制御方法。
  10. 前記第2の検証工程は、前記第1の検証工程によって第1の画素群が改竄されていないと判定された場合に、前記第2の画素群の改竄を検知することを特徴とする請求項6乃至9の何れか1項に記載の情報処理装置の制御方法。
  11. コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項1及至4のいずれか1項に記載の情報処理装置の各手段として機能させることを特徴とするプログラム。
  12. 請求項11に記載のコンピュータプログラムを格納することを特徴とするコンピュータ可読記憶媒体。
JP2009122218A 2008-06-27 2009-05-20 情報処理装置及びその制御方法 Expired - Fee Related JP5341615B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2009122218A JP5341615B2 (ja) 2008-06-27 2009-05-20 情報処理装置及びその制御方法
US12/487,517 US8270728B2 (en) 2008-06-27 2009-06-18 Information processing apparatus and information processing method
KR1020090056808A KR101034256B1 (ko) 2008-06-27 2009-06-25 정보처리장치 및 정보처리방법
CN2009101422476A CN101616233B (zh) 2008-06-27 2009-06-26 信息处理装置及信息处理方法
EP09163944A EP2139221A1 (en) 2008-06-27 2009-06-26 Verification / authentification of images with pixels derived from capturing and later interpolation processes
RU2009124522/08A RU2422901C2 (ru) 2008-06-27 2009-06-26 Устройство обработки информации и способ обработки информации

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008169334 2008-06-27
JP2008169334 2008-06-27
JP2009122218A JP5341615B2 (ja) 2008-06-27 2009-05-20 情報処理装置及びその制御方法

Publications (3)

Publication Number Publication Date
JP2010035143A JP2010035143A (ja) 2010-02-12
JP2010035143A5 JP2010035143A5 (ja) 2012-06-21
JP5341615B2 true JP5341615B2 (ja) 2013-11-13

Family

ID=41123592

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009122218A Expired - Fee Related JP5341615B2 (ja) 2008-06-27 2009-05-20 情報処理装置及びその制御方法

Country Status (6)

Country Link
US (1) US8270728B2 (ja)
EP (1) EP2139221A1 (ja)
JP (1) JP5341615B2 (ja)
KR (1) KR101034256B1 (ja)
CN (1) CN101616233B (ja)
RU (1) RU2422901C2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011151776A (ja) * 2009-12-25 2011-08-04 Canon Inc 情報処理装置及び検証装置、並びにそれらの制御方法
JP6105950B2 (ja) * 2012-02-27 2017-03-29 キヤノン株式会社 画像処理装置およびその方法
JP5680799B2 (ja) * 2012-06-13 2015-03-04 富士フイルム株式会社 画像処理システム、送信側装置および受信側装置
JP6259188B2 (ja) * 2013-01-31 2018-01-10 キヤノン株式会社 画像処理装置およびその方法
JP6163029B2 (ja) * 2013-06-25 2017-07-12 キヤノン株式会社 画像処理装置およびその方法
US20150178951A1 (en) * 2013-12-23 2015-06-25 Panamorph, Inc. Image processing system and method
FR3055446A1 (fr) 2016-09-01 2018-03-02 Arjo Solutions Procede et syteme de generation de la signature d'une surface
US11164279B2 (en) * 2019-09-19 2021-11-02 Semiconductor Components Industries, Llc Systems and methods for authenticating image data

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5499294A (en) * 1993-11-24 1996-03-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Digital camera with apparatus for authentication of images produced from an image file
US7453498B2 (en) 1998-03-26 2008-11-18 Eastman Kodak Company Electronic image capture device and image file format providing raw and processed image data
US6577336B2 (en) 1998-05-29 2003-06-10 Agilent Technologies, Inc. Authentication stamping in a digital camera
US6665417B1 (en) * 1998-12-02 2003-12-16 Hitachi, Ltd. Method of judging digital watermark information
JP2005020775A (ja) 1998-12-02 2005-01-20 Hitachi Ltd 電子透かし情報の判定方法
JP4280439B2 (ja) * 2000-11-17 2009-06-17 キヤノン株式会社 画像検証システム、検証データ変換装置、プログラム及び記録媒体
JP2003046758A (ja) 2001-07-31 2003-02-14 Canon Inc 撮像装置、情報処理装置、画像処理装置およびその方法、並びに、画像処理システム
JP3884955B2 (ja) * 2001-12-28 2007-02-21 キヤノン株式会社 画像検証システムおよび画像検証装置
JP2004289450A (ja) 2003-03-20 2004-10-14 Canon Inc 情報処理方法及び装置及びプログラム、及びプログラムを格納する記憶媒体
JP4298365B2 (ja) 2003-04-25 2009-07-15 キヤノン株式会社 画像処理装置、コンピュータプログラムおよびコンピュータ読み取り可能な記録媒体
JP2005151345A (ja) 2003-11-18 2005-06-09 Sony Corp データ処理装置、その方法および撮像装置
JP4407342B2 (ja) 2004-03-26 2010-02-03 株式会社ニコン 撮像装置、電子透かし検出プログラム、及び電子透かしの埋め込み方法
US8040395B2 (en) 2004-12-13 2011-10-18 Nokia Cororation System and method for automatic format selection for digital photographs
JP2007013882A (ja) * 2005-07-04 2007-01-18 Canon Inc 記憶媒体、デジタルデータ処理装置、及びデジタルデータ処理方法

Also Published As

Publication number Publication date
CN101616233B (zh) 2011-11-16
RU2422901C2 (ru) 2011-06-27
EP2139221A1 (en) 2009-12-30
KR20100002183A (ko) 2010-01-06
RU2009124522A (ru) 2011-01-10
CN101616233A (zh) 2009-12-30
US20090324099A1 (en) 2009-12-31
US8270728B2 (en) 2012-09-18
KR101034256B1 (ko) 2011-05-12
JP2010035143A (ja) 2010-02-12

Similar Documents

Publication Publication Date Title
JP5341615B2 (ja) 情報処理装置及びその制御方法
JP5340029B2 (ja) 情報処理装置及びその制御方法、検証装置及びその制御方法
US7308577B2 (en) Image verification system, image verification apparatus, and image verification method
US7162637B2 (en) Image verification system
JP2003204429A (ja) 電子透かしの符号生成装置と符号生成方法、および電子透かしの復号装置と復号方法、並びに電子透かしの符号生成復号プログラムと、これを記録した記録媒体
CN102142962B (zh) 信息处理装置、验证装置及其控制方法
JP5693134B2 (ja) 情報処理装置及びその制御方法
CN109657487B (zh) 图像处理方法、图像验证方法及其装置
JP5635896B2 (ja) 画像入力装置及び画像検証装置並びにそれらの制御方法
JP2007080071A (ja) 改変検知機能を有するシステム
WO2021084812A1 (ja) 電子機器
JP3521723B2 (ja) デジタルカメラおよびそれを用いた画像認証システム
JP2001078141A (ja) デジタルカメラおよび画像改竄検出システム
JP5350148B2 (ja) 情報処理装置、情報処理方法
JP2011130213A (ja) 情報処理装置及び画像検証装置、並びにそれらの制御方法
WO2022102508A1 (ja) 撮像素子、撮像方法、撮像装置および画像処理システム
JP2011250138A (ja) 画像検証方法及び画像検証装置
JP2005123876A (ja) 画像処理装置、画像検証方法、プログラムおよび記憶媒体
JP2001078014A (ja) デジタルカメラの機能付加方法および記録媒体
JP2003224709A (ja) データ処理方法及び装置
JP2006302299A (ja) 画像検証装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100201

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120509

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130808

LAPS Cancellation because of no payment of annual fees