JP7382767B2 - デジタル撮像機器、デジタル撮像方法、プログラム - Google Patents

デジタル撮像機器、デジタル撮像方法、プログラム Download PDF

Info

Publication number
JP7382767B2
JP7382767B2 JP2019162737A JP2019162737A JP7382767B2 JP 7382767 B2 JP7382767 B2 JP 7382767B2 JP 2019162737 A JP2019162737 A JP 2019162737A JP 2019162737 A JP2019162737 A JP 2019162737A JP 7382767 B2 JP7382767 B2 JP 7382767B2
Authority
JP
Japan
Prior art keywords
subject
background
pixels
image
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019162737A
Other languages
English (en)
Other versions
JP2021043496A (ja
Inventor
宥志 望月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2019162737A priority Critical patent/JP7382767B2/ja
Priority to US16/912,511 priority patent/US11244417B2/en
Priority to CN202010692132.0A priority patent/CN112468690B/zh
Publication of JP2021043496A publication Critical patent/JP2021043496A/ja
Application granted granted Critical
Publication of JP7382767B2 publication Critical patent/JP7382767B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/106—Enforcing content protection by specific content processing
    • G06F21/1063—Personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/16—Program or content traceability, e.g. by watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/018—Certifying business or products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3247—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving digital signatures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3233—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of authentication information, e.g. digital signature, watermark

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Technology Law (AREA)
  • Electromagnetism (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明の実施形態は、デジタル撮像機器、デジタル撮像方法、プログラムに関する。
近年、自己所有の物品をカメラやスマートフォン等で撮像し、この撮像画像を利用して、各種取引を行うインターネットサービスがある。例えば、オークションや個人間取引を仲介するサービス、デジタル質屋と呼ばれるサービスがある。
これらのサービスでは、各物品の撮像画像に基づいてその資産的価値が判断される。そして、この資産的価値に基づいて、撮影者との取引が行われる。このような取引では、撮像画像に映し出された物品が撮影者の所有物であることが暗黙の了解となっている。
しかし、撮影者が物品自体を所持していなくても、その物品が映っている画像さえ所持していれば、上述したサービスが受けられる。例えば、他人が撮像した写真をデジタルカメラ等で再撮像した場合であっても、上述したサービスが受けられる。このため、サービス開始後に、トラブルが発生するおそれがある。
特開２００８－２０４２４６号公報
本発明が解決しようとする課題は、撮像画像が被写体を直接撮像したものであることを保証できるデジタル撮像機器、デジタル撮像方法、プログラムを提供することである。
実施形態のデジタル撮像機器は、被写体と背景を撮像する撮像部と、前記撮像部の撮像画像における前記被写体と前記背景の距離差を検知する画像認識部と、前記画像認識部から前記距離差があることを示す検知信号を受け取ると、前記撮像画像に認証情報を付加する認証情報付加部と、を備えることを特徴とする。
実施形態のデジタル撮像機器は、前記撮像部が前記被写体を照らす照明部を有し、前記画像認識部は、前記被写体と前記背景の明度差から前記被写体と前記背景の距離差を検知する、ことを特徴とする。
実施形態のデジタル撮像機器は、前記撮像部が複数のカメラを有し、前記画像認識部は、前記複数のカメラによる視差から前記被写体と前記背景の距離差を検知する、ことを特徴とする。
実施形態のデジタル撮像機器は、前記認証情報は、電子署名または電子透かしである、ことを特徴とする。
実施形態のデジタル撮像方法は、撮像部により被写体と背景を撮像し、画像認識部により前記撮像部が撮像した撮像画像から前記被写体と前記背景の距離差を検知し、前記画像認識部が前記距離差を検知すると、認証情報付加部により前記撮像画像に認証情報を付加する、ことを特徴とする。
実施形態のプログラムは、コンピュータを、撮像部により撮像した撮像画像から被写体と背景の距離差を検知する画像認識手段と、前記画像認手段が前記距離差を検知すると、前記撮像画像に認証情報を付加する認証情報付加手段と、して機能させる、ことを特徴とする。
一実施形態のデジタルカメラ１を示す概念図である。 撮像画像を示す概念図である。 一実施形態の実施形態のデジタル撮像方法を示すフローチャートである。
以下、実施形態のデジタル撮像機器およびデジタル撮像方法について、図面を参照して説明する。各図において、同一構成については同一の符号を付す。
図１は、実施形態にかかるデジタルカメラ１の概略構成を示すブロック図である。
図２は、撮像画像Ｄを示す概念図である。
デジタルカメラ（デジタル撮像機器）１は、カメラモジュール２及び後段処理部３を有する。
カメラモジュール（撮像部）２は、撮像光学系４、フラッシュ（照明部）５および固体撮像装置６を有する。
後段処理部３は、ＩＳＰ７（Image Signal Processor）、メモリ８及びディスプレイ９を有する。
実施形態にかかるデジタルカメラ１の構成は、例えばスマートフォン等の携帯情報端末を含む各種電子機器に応用しても良い。
撮像光学系４は、被写体Ａからの光を取り込み、被写体像を結像させる。
フラッシュ（照明部）５は、撮像時に被写体Ａとその背景Ｂに向けて、フラッシュ光を照射する。
固体撮像装置６は、被写体像を撮像する。
固体撮像装置６は、撮像素子であるイメージセンサと、画像処理装置である信号処理回路とを備える。
イメージセンサは、例えば、ＣＭＯＳイメージセンサである。イメージセンサは、ＣＭＯＳイメージセンサの他、ＣＣＤであっても良い。
イメージセンサは、画素アレイ、垂直シフトレジスタ、タイミング制御部、相関二重サンプリング部（ＣＤＳ：Correlated Double Sampling）、アナログデジタル変換部（ＡＤＣ：Analog to Digital Converter）及びラインメモリを有する。
画素アレイは、イメージセンサの撮像領域に設けられている。画素アレイは、水平方向（行方向）及び垂直方向（列方向）へアレイ状に配置された複数の画素からなる。各画素は、光電変換素子であるフォトダイオードを備える。
フォトダイオードは、入射光量に応じた信号電荷を生成する。
画素アレイは、色配列に従って、各色光の信号レベルを画素ごとに分担して検出する。
タイミング制御部は、画素アレイの各画素からの信号を読み出すタイミングを指示する垂直同期信号を、垂直シフトレジスタへ供給する。タイミング制御部は、ＣＤＳ、ＡＤＣ及びラインメモリに対し、駆動タイミングを指示するタイミング信号をそれぞれ供給する。
垂直シフトレジスタは、タイミング制御部からの垂直同期信号に応じて、画素アレイ内の画素を行ごとに選択する。垂直シフトレジスタは、選択した行の各画素へ読み出し信号を出力する。
垂直シフトレジスタから読み出し信号が入力された画素は、入射光量に応じて蓄積した信号電荷を出力する。
画素アレイは、画素からの信号を、垂直信号線を介してＣＤＳへ出力する。
ＣＤＳは、画素アレイからの信号に対し、固定パターンノイズの低減のための相関二重サンプリング処理を行う。
ＡＤＣは、アナログ方式の信号をデジタル方式の信号へ変換する。
ラインメモリは、ＡＤＣからの信号を蓄積する。
イメージセンサは、ラインメモリに蓄積された信号を出力する。
信号処理回路は、イメージセンサからの画像信号に対し、各種の信号処理を実施する。
固体撮像装置６は、信号処理回路での信号処理を経た画像信号をチップ外部へ出力する。固体撮像装置６は、信号処理回路での信号処理を経たデータに基づき、イメージセンサのフィードバック制御を実施する。
ＩＳＰ７は、固体撮像装置６での撮像により得られた画像信号の信号処理を実施する。ＩＳＰ７は、キズ補正、ノイズ低減処理、レンズシェーディング補正、ホワイトバランス調整、カラーマトリクス処理、ガンマ補正等の信号処理を実施する。
メモリ８は、ＩＳＰ７での信号処理を経た画像を格納する。メモリ８は、ユーザの操作等に応じて、ディスプレイ９へ画像信号を出力する。
なお、メモリ８には、デジタルカメラ１の制御部（コンピュータ）を、カメラモジュール２により撮像した撮像画像Ｄから被写体Ａと背景Ｂの距離差を検知する画像認識手段と、画像認手段が距離差を検知したときに、撮像画像Ｄに認証情報を付加する認証情報付加手段と、して機能させるためのプログラムが保存される。
ディスプレイ９は、ＩＳＰ７あるいはメモリ８から入力される画像信号に応じて、画像を表示する。ディスプレイ９は、例えば、液晶ディスプレイである。
デジタルカメラ１は、ＩＳＰ７での信号処理を経たデータに基づき、カメラモジュール２のフィードバック制御を実施する。
また、デジタルカメラ１は、画像認識部１１と認証情報付加部１２を備える。
画像認識部１１は、ＩＳＰ７から出力された画像を用いた画像認識を行う。画像の中から特定の部分を抽出したり、対象物を認識したりする。画像の明暗から背景との分離や輪郭抽出などを行う。
具体的には、画像に映し出された被写体Ａと背景Ｂの距離差を認識する。特に、フラッシュ５を焚いて被写体Ａと背景Ｂを撮像した画像を用いて、両者の明度や彩度の差から被写体Ａと背景Ｂの距離差を検出（認識）する。
被写体Ａと背景Ｂの距離差を検出する手法には、公知の手法を用いることができる。
認証情報付加部１２は、画像認識部１１での画像認識の後に、画像に認証情報を付加する。具体的には、ＩＳＰ７から出力された画像に、認証情報として、電子（デジタル）署名または電子（デジタル）透かしＳを付加する。図２に示すように、電子透かしＳとして、例えば△○□×□○▽等を付加する。
電子署名や電子透かしＳを付加する手法には、公知の手法を用いることができる。
図３は、一実施形態の実施形態のデジタル撮像方法を示すフローチャートである。
実施形態のデジタル撮像方法では、まず、デジタルカメラ１で被写体Ａを撮像（撮影）するときにフラッシュ５を発光させる（ステップＳ１）。
フラッシュ５からの光は、被写体Ａおよび背景Ｂで反射して、撮像光学系４に入射する。撮像光学系４に入射した光は、メインミラー、サブミラー及びメカシャッタを経てイメージセンサへ進行する。デジタルカメラ１は、固体撮像装置６のイメージセンサにおいて被写体Ａと背景Ｂを撮像する。
サブミラーで反射した光は、オートフォーカスセンサへ進行する。デジタルカメラ１は、オートフォーカスセンサでの検出結果を使用するフォーカス調整を行う。
メインミラーで反射した光は、レンズ及びプリズムを経てファインダーへ進行する。
固体撮像装置６のイメージセンサにおいて撮像された画像（被写体Ａと背景Ｂの像）は、ＩＳＰ７に送られる。そして、ＩＳＰ７において画像信号の信号処理が実施される。ＩＳＰ７は、キズ補正、ノイズ低減処理、レンズシェーディング補正、ホワイトバランス調整、カラーマトリクス処理、ガンマ補正等の信号処理を実施する。
ＩＳＰ７から出力された撮像画像Ｄは、画像認識部１１において画像解析される。画像認識部１１は、撮像画像Ｄから被写体Ａと背景Ｂを分離認識し、続いて撮像画像Ｄに映し出された被写体Ａと背景Ｂの距離差を認識する。被写体Ａと背景Ｂの分離認識（切り分け）は、一般的には、画像認識技術を活用すれば、実行できる。
本実施形態では、撮像画像Ｄの特徴に着目した。すなわち、撮像画像Ｄをデジタル質屋等に提供することを想定している。撮像画像Ｄは、被写体Ａの価値を正しく認識させることが目的となるため、撮像画像Ｄの中心部分に被写体Ａが配置されるよう撮影される。
このため、撮像画像Ｄの中心を含む領域を中心部Ｄ１に設定すれば、この中心部Ｄ１に確実に被写体Ａが含まれる。一方、撮像画像Ｄの周縁部分（周縁部Ｄ２）には、被写体Ａが含まれる可能性は低い。。
そこで、撮像画像Ｄの中心を含む中心部Ｄ１を被写体Ａが存在する領域として、撮像画像Ｄの周縁部Ｄ２を被写体Ａが存在しない領域として、それぞれ予め設定しておく。
図３に示すように、撮像画像Ｄの中心部Ｄ１は、撮像画像Ｄの縦横方向のそれぞれの中央の領域である。中心部Ｄ１は四角形（または円形）であり、縦横の長さ（または直径）がそれぞれの全長の例えば１０～２０％である。中心部Ｄ１の範囲は、適宜設定することができる。
撮像画像Ｄの周縁部Ｄ２は、撮像画像Ｄの縦横方向のそれぞれの両端の領域である。周縁部Ｄ２は四角枠形であり、縦横の長さ（幅）がそれぞれの全長の例えば、５～１０％である。周縁部Ｄ２の範囲は、適宜設定することができる。
これにより、被写体Ａを含む中心部分の画像が中心部Ｄ１となり、被写体Ａを含まない周縁部分の画像が周縁部Ｄ２となる。
続いて、画像認識部１１は、被写体Ａ（撮像画像Ｄの中心部Ｄ１）と背景Ｂ（撮像画像Ｄの周縁部Ｄ２）の明度を算出する（ステップＳ２）。
具体的には、ＩＳＰ７の出力信号のうちの中心部Ｄ１に対応する画素分について、その信号強度を集計し、画素数に基づいて平均値を算出する。同様に、ＩＳＰ７の出力信号のうちの周縁部Ｄ２に対応する画素部について、その信号強度を集計し、画素数に基づいて平均を算出する。これらの平均値が中心部Ｄ１と周縁部Ｄ２のそれぞれの明度となる。明度は、例えば０～１．０の数値で表される。
続いて、画像認識部１１は、この２つの明度の差が所定の閾値（例えば０．２）を超えるか否かを判定する。この閾値は、適宜設定することができる。
そして、画像認識部１１は、閾値を超える場合は距離差あり、閾値を超えない場合は距離差なしと認識する（ステップＳ３）。
被写体Ａと背景Ｂには、フラッシュ光が照射されているので、両者の明度や彩度の差（コントラスト）から被写体Ａ（中心部Ｄ１）と背景Ｂ（周縁部Ｄ２）の距離差を良好に認識することができる。
画像認識部１１により、被写体Ａと背景Ｂの距離差を認識ができない場合（ステップＳ３のＮｏ）、撮像画像Ｄを保存しないで処理を終了する。
このような撮像画像Ｄを保存しないことは、電子質屋、インターネットオークション、転売サイト等において、撮像画像Ｄを使用できなくなる点で特に効果がある。
撮影者が、入札や応募等が行おうと思っても、撮像画像Ｄを保存出来ないので、撮像画像Ｄを用いた入札、応募等が実行できないことになる。これにより、不正を防止できる。
画像認識部１１により被写体Ａと背景Ｂの距離差を認識すると（ステップＳ３のＹｅｓ）、認証情報付加部１２に距離差があることを示す検知信号を出力する。認証情報付加部１２は、この検知信号を受け取ると、撮像画像Ｄに電子透かしＳを付加する（ステップＳ４）。
電子透かしＳや電子署名は、通常ではわからないように、画像データの中に情報を埋め込む技術である。そして、特別な処理を施すことでデータの所有者を識別することができる。
撮像画像Ｄに電子透かしＳを付加するのは、撮像画像Ｄにおける被写体Ａと背景Ｂに距離差があると判断した証である。被写体Ａと背景Ｂに距離差があれば、撮像画像Ｄが被写体Ａを直接撮像した画像であると断定できる。「被写体Ａと背景Ｂに距離差がある」ことは、真正な製品を撮像したことを示している。そこで、撮像画像Ｄが被写体Ａをデジタルカメラ１で直接撮像（撮影）したことを証明するために、撮像画像Ｄに電子透かしＳを付加する。
逆に、他人が撮像した写真をデジタルカメラ１で再撮像した場合には、その画像における被写体Ａと背景Ｂには明度や彩度の差が生じない。
言い換えれば、画像認識部１１は、撮像画像Ｄが、他人が撮像した写真をデジタルカメラ１で再撮像した画像でないことを証明する。つまり、撮像画像Ｄが偽造変造等の不正が行われたものではないことを証明する。撮像画像Ｄに電子透かしＳを付加することにより、不正防止や改ざん防止も実現できる。
そして、電子透かしＳが付加された撮像画像Ｄは、メモリ８に保存される（ステップＳ５）。
デジタルカメラ１の所持者は、メモリ８に保存された撮像画像Ｄをデジタル質屋等に提供して、各種サービスの提供を申し込む。
デジタル質屋等の提供者は、サービスの提供に先だって、デジタルカメラ１の所持者から提供された撮像画像Ｄを調査確認する。この撮像画像Ｄに電子透かしＳが付加されているか否かを確認する。
電子透かしＳの有無は、公知のソフトウエア（アプリケーション）を用いることで、容易に確認することができる。
撮像画像Ｄに電子透かしＳが付加されている場合には、不正がないことが証明されている。このため、デジタル質屋等の提供者は、デジタルカメラ１の所持者（撮像画像Ｄの提供者）に対して各種サービスを安心して提供することができる。
一方、撮像画像Ｄに電子透かしＳが付加されていない場合には、不正の可能性が疑われる。このため、デジタル質屋等の提供者は、撮像画像Ｄの提供者に対して、サービスの提供を断ることができる。したがって、デジタル質屋等の提供者は、不測の損害を回避または防止することができる。
このように、実施形態のデジタル撮像機器およびデジタル撮像方法によれば、被写体Ａをデジタルカメラ１で直接撮像した場合には、撮像画像Ｄに電子透かしＳが付加されて、不正がないことが証明される。すなわち、デジタルカメラ１は、被写体Ａと背景Ｂを撮像するカメラモジュール２と、カメラモジュール２の撮像画像Ｄにおける被写体Ａと背景Ｂの距離差を検知する画像認識部１１と、画像認識部１１から検知信号を受け取ると、撮像画像Ｄに認証情報を付加する認証情報付加部１２と、を備える。
このため、デジタル質屋等の提供者は、デジタルカメラ１の所持者（撮像画像Ｄの提供者）に対して各種サービスを安心して提供することができる。
カメラモジュール２が被写体Ａを照らすフラッシュ５（照明部）を有し、画像認識部１１が被写体Ａと背景Ｂの明度差から被写体Ａと背景Ｂの距離差を検知する。このため、被写体Ａと背景Ｂの距離差を容易かつ確実に認識することができる。
カメラモジュール２が複数のカメラを有し、画像認識部１１がこられのカメラによる視差から被写体Ａと背景Ｂの距離差を検知するようにしてもよい。これにより、撮像画像Ｄが直接撮像された画像であると判断できる。すなわち、画像認識部１１は、他人が撮像した写真をデジタルカメラ１で再撮像した画像でないことを証明することができる。
上述した実施形態では、デジタルカメラ１等で静止画を撮像する場合について説明したが、これに限らない。デジタルカメラ１やスマートフォン等で動画を撮像する場合であってもよい。このような場合には、電子署名や電子透かしＳを撮像画像Ｄに常時または一定時間間隔で付加するようにしてもよい。
上述した実施形態では、電子透かし技術を採用したが、電子署名技術を採用することも可能である。
上述した実施形態では、電子透かし技術を採用したが、他の認証情報付加技術が備わっている場合には、単に「距離差」があることを示す信号を撮像画像Ｄに付加してもよい。
上述した実施形態では、電子署名や電子透かしＳを撮像画像Ｄに自動的に付加する場合について説明したが、これに限らない。電子署名や電子透かしＳの付加の有無を、撮影者に問い合わせるようにしてもよい。
本発明の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１ デジタルカメラ（デジタル撮像機器）
２ カメラモジュール（撮像部）
３ 後段処理部
４ 撮像光学系
５ フラッシュ（照明部）
６ 固体撮像装置
７ ＩＳＰ
８ メモリ
９ ディスプレイ
１１ 画像認識部
１２ 認証情報付加部
Ａ 被写体
Ｂ 背景
Ｄ 撮像画像
Ｓ 電子透かし

Claims (5)

  1. 物品である被写体を照らす照明部を有し、該被写体と背景を撮像する撮像部と、
    前記撮像部の１つの撮像画像における前記被写体と前記背景とを分離認識し、前記被写体と前記背景の明度差から前記被写体と前記背景の距離差を検知する画像認識部と、
    前記画像認識部から前記距離差があることを示す検知信号を受け取ると、前記撮像画像に認証情報を付加する認証情報付加部と、
    を備え、
    前記分離認識では、前記撮像画像における、予め設定された中央部に前記被写体が含まれ、予め設定された周縁部に前記背景が含まれると認識され、
    前記画像認識部は、前記中央部に対応する複数の画素についての信号強度を集計し、該複数の画素の画素数に基づいて該集計した信号強度の平均値を明度として算出し、前記周縁部に対応する複数の画素についての信号強度を集計し、該複数の画素の画素数に基づいて該集計した信号強度の平均値を明度として算出し、算出した２つの平均値の差が所定の閾値を超える場合、前記被写体と前記背景とに距離差があると認識する
    デジタル撮像機器。
  2. 前記被写体と前記背景の距離差が検知できない場合、前記撮像画像は保存されない
    請求項１記載のデジタル撮像機器。
  3. 前記認証情報は、電子署名または電子透かしである、
    請求項１または請求項２記載のデジタル撮像機器。
  4. 照明部により物品である被写体を照らし、
    撮像部により前記被写体と背景を撮像し、
    画像認識部により前記撮像部が撮像した１つの撮像画像から前記被写体と前記背景とを分離認識し、前記被写体と前記背景の明度差から前記被写体と前記背景の距離差を検知し、
    前記画像認識部が前記距離差を検知すると、認証情報付加部により前記撮像画像に認証情報を付加し、
    前記分離認識では、前記撮像画像における、予め設定された中央部に前記被写体が含まれ、予め設定された周縁部に前記背景が含まれると認識され、
    前記画像認識部は、前記中央部に対応する複数の画素についての信号強度を集計し、該複数の画素の画素数に基づいて該集計した信号強度の平均値を明度として算出し、前記周縁部に対応する複数の画素についての信号強度を集計し、該複数の画素の画素数に基づいて該集計した信号強度の平均値を明度として算出し、算出した２つの平均値の差が所定の閾値を超える場合、前記被写体と前記背景とに距離差があると認識する
    デジタル撮像方法。
  5. コンピュータを、
    撮像部により撮像した１つの撮像画像から、照明部により照らされた物品である被写体と背景とを分離認識し、前記被写体と前記背景の明度差から前記被写体と前記背景の距離差を検知する画像認識手段と、
    前記画像認識手段が前記距離差を検知すると、前記撮像画像に認証情報を付加する認証情報付加手段と、
    して機能させ、
    前記分離認識では、前記撮像画像における、予め設定された中央部に前記被写体が含まれ、予め設定された周縁部に前記背景が含まれると認識され、
    前記画像認識手段は、前記中央部に対応する複数の画素についての信号強度を集計し、該複数の画素の画素数に基づいて該集計した信号強度の平均値を明度として算出し、前記周縁部に対応する複数の画素についての信号強度を集計し、該複数の画素の画素数に基づいて該集計した信号強度の平均値を明度として算出し、算出した２つの平均値の差が所定の閾値を超える場合、前記被写体と前記背景とに距離差があると認識する
    プログラム。
JP2019162737A 2019-09-06 2019-09-06 デジタル撮像機器、デジタル撮像方法、プログラム Active JP7382767B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019162737A JP7382767B2 (ja) 2019-09-06 2019-09-06 デジタル撮像機器、デジタル撮像方法、プログラム
US16/912,511 US11244417B2 (en) 2019-09-06 2020-06-25 Digital imaging apparatus and digital imaging method
CN202010692132.0A CN112468690B (zh) 2019-09-06 2020-07-17 数字摄像设备、数字摄像方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019162737A JP7382767B2 (ja) 2019-09-06 2019-09-06 デジタル撮像機器、デジタル撮像方法、プログラム

Publications (2)

Publication Number Publication Date
JP2021043496A JP2021043496A (ja) 2021-03-18
JP7382767B2 true JP7382767B2 (ja) 2023-11-17

Family

ID=74833436

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019162737A Active JP7382767B2 (ja) 2019-09-06 2019-09-06 デジタル撮像機器、デジタル撮像方法、プログラム

Country Status (3)

Country Link
US (1) US11244417B2 (ja)
JP (1) JP7382767B2 (ja)
CN (1) CN112468690B (ja)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000172878A (ja) 1998-12-09 2000-06-23 Sony Corp 情報処理装置および情報処理方法、並びに提供媒体
JP2003119660A (ja) 2001-10-18 2003-04-23 Upepo & Maji Inc 電子透かしコード内在布帛着色物を利用した管理システム
JP2004194129A (ja) 2002-12-13 2004-07-08 Hitachi Ltd 映像情報取引方法および映像情報を添付した工業製品
JP2004328708A (ja) 2002-10-04 2004-11-18 Sony Corp データ処理装置およびデータ処理方法
JP2005045486A (ja) 2003-07-28 2005-02-17 Casio Comput Co Ltd 撮像装置、撮影画像の認証方法及びプログラム
JP2005057623A (ja) 2003-08-07 2005-03-03 Casio Comput Co Ltd 画像データ処理装置
JP2005142953A (ja) 2003-11-07 2005-06-02 Ricoh Co Ltd デジタル画像撮像装置
JP2006259923A (ja) 2005-03-15 2006-09-28 Omron Corp 被写体認証装置、顔認証装置、携帯電話、被写体認証ユニット、被写体認証方法、及び被写体認証プログラム
US20070019862A1 (en) 2005-03-15 2007-01-25 Omron Corporation Object identifying device, mobile phone, object identifying unit, object identifying method, program executable on computer for operating the object identifying device and computer-readable medium including the program
JP2007241402A (ja) 2006-03-06 2007-09-20 Sharp Corp 顔認証におけるなりすまし判定装置およびそれを用いた顔認証装置
JP2007280367A (ja) 2006-03-14 2007-10-25 Omron Corp 顔照合装置
US20090190189A1 (en) 2007-10-01 2009-07-30 Canon Kabushiki Kaisha Information processing apparatus, control method therefor, information processing system, and program
JP2013066084A (ja) 2011-09-19 2013-04-11 Ricoh Co Ltd 画像処理装置、画像処理方法、画像形成装置、プログラムおよび記録媒体
JP2017027379A (ja) 2015-07-23 2017-02-02 富士通株式会社 被写体判定方法、プログラム及び被写体判定装置
US20190287272A1 (en) 2013-06-25 2019-09-19 Pixart Imaging Inc. Detection system and picturing filtering method thereof
JP2023007006A (ja) 2021-07-01 2023-01-18 株式会社東海理化電機製作所 顔認証システム、および顔認証方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008204246A (ja) 2007-02-21 2008-09-04 Nec Corp インターネットオークションシステム、インターネットオークション方法、プログラム、及び記録媒体
US8886206B2 (en) * 2009-05-01 2014-11-11 Digimarc Corporation Methods and systems for content processing
US9852519B2 (en) * 2013-06-25 2017-12-26 Pixart Imaging Inc. Detection system
US10370102B2 (en) * 2016-05-09 2019-08-06 Coban Technologies, Inc. Systems, apparatuses and methods for unmanned aerial vehicle
JP6877936B2 (ja) * 2016-09-28 2021-05-26 キヤノン株式会社 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
WO2019003792A1 (ja) * 2017-06-28 2019-01-03 パイオニア株式会社 制御装置、制御方法、及びプログラム
CN107563338B (zh) * 2017-09-12 2021-01-08 Oppo广东移动通信有限公司 人脸检测方法及相关产品
US10468461B2 (en) * 2018-01-25 2019-11-05 Himax Technologies Limited Method and apparatus for performing display control of a display panel equipped with red, green, blue, and white sub-pixels
US10977351B2 (en) * 2018-07-19 2021-04-13 Motorola Mobility Llc Electronic device and corresponding methods for selecting initiation of a user authentication process
CN109034102B (zh) * 2018-08-14 2023-06-16 腾讯科技（深圳）有限公司 人脸活体检测方法、装置、设备及存储介质
CN109684925B (zh) * 2018-11-21 2023-10-27 奥比中光科技集团股份有限公司 一种基于深度图像的人脸活体检测方法及设备
CN109815960A (zh) * 2018-12-21 2019-05-28 深圳壹账通智能科技有限公司 基于深度学习的翻拍图像识别方法、装置、设备及介质
US10885173B2 (en) * 2019-06-04 2021-01-05 Nant Holdings Ip, Llc Content authentication and validation via multi-factor digital tokens, systems, and methods

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000172878A (ja) 1998-12-09 2000-06-23 Sony Corp 情報処理装置および情報処理方法、並びに提供媒体
JP2003119660A (ja) 2001-10-18 2003-04-23 Upepo & Maji Inc 電子透かしコード内在布帛着色物を利用した管理システム
JP2004328708A (ja) 2002-10-04 2004-11-18 Sony Corp データ処理装置およびデータ処理方法
JP2004194129A (ja) 2002-12-13 2004-07-08 Hitachi Ltd 映像情報取引方法および映像情報を添付した工業製品
JP2005045486A (ja) 2003-07-28 2005-02-17 Casio Comput Co Ltd 撮像装置、撮影画像の認証方法及びプログラム
JP2005057623A (ja) 2003-08-07 2005-03-03 Casio Comput Co Ltd 画像データ処理装置
JP2005142953A (ja) 2003-11-07 2005-06-02 Ricoh Co Ltd デジタル画像撮像装置
US20070019862A1 (en) 2005-03-15 2007-01-25 Omron Corporation Object identifying device, mobile phone, object identifying unit, object identifying method, program executable on computer for operating the object identifying device and computer-readable medium including the program
JP2006259923A (ja) 2005-03-15 2006-09-28 Omron Corp 被写体認証装置、顔認証装置、携帯電話、被写体認証ユニット、被写体認証方法、及び被写体認証プログラム
JP2007241402A (ja) 2006-03-06 2007-09-20 Sharp Corp 顔認証におけるなりすまし判定装置およびそれを用いた顔認証装置
JP2007280367A (ja) 2006-03-14 2007-10-25 Omron Corp 顔照合装置
US20090190189A1 (en) 2007-10-01 2009-07-30 Canon Kabushiki Kaisha Information processing apparatus, control method therefor, information processing system, and program
JP2013066084A (ja) 2011-09-19 2013-04-11 Ricoh Co Ltd 画像処理装置、画像処理方法、画像形成装置、プログラムおよび記録媒体
US20190287272A1 (en) 2013-06-25 2019-09-19 Pixart Imaging Inc. Detection system and picturing filtering method thereof
JP2017027379A (ja) 2015-07-23 2017-02-02 富士通株式会社 被写体判定方法、プログラム及び被写体判定装置
JP2023007006A (ja) 2021-07-01 2023-01-18 株式会社東海理化電機製作所 顔認証システム、および顔認証方法

Also Published As

Publication number Publication date
CN112468690B (zh) 2022-10-04
CN112468690A (zh) 2021-03-09
JP2021043496A (ja) 2021-03-18
US11244417B2 (en) 2022-02-08
US20210073936A1 (en) 2021-03-11

Similar Documents

Publication Publication Date Title
US7889890B2 (en) Image capture apparatus and control method therefor
US8654227B2 (en) Focus detection apparatus, focus detection method, and image sensing apparatus
US8159599B2 (en) Focus detection apparatus, focus detection method, and image sensing apparatus
US7454134B2 (en) Image signal processing unit and digital camera
JP6918485B2 (ja) 画像処理装置および画像処理方法、プログラム、記憶媒体
JP2002287017A (ja) 撮影レンズのピント状態検出装置
CN103238098A (zh) 成像设备和对焦位置检测方法
JP6548437B2 (ja) 焦点調節装置、その制御方法、および制御プログラム、並びに撮像装置
JP2020187409A (ja) 画像認識装置、固体撮像装置、および画像認識方法
US7702232B2 (en) Dynamic focus zones for cameras
JP2011053379A (ja) 撮像装置及びその制御方法
US20090244319A1 (en) Image capturing apparatus and method
JP2011091513A (ja) 撮像システムおよび補正方法
US10972676B2 (en) Image processing method and electronic device capable of optimizing hdr image by using depth information
US7990420B2 (en) Image capturing device and auto-photographing method thereof
JP7382767B2 (ja) デジタル撮像機器、デジタル撮像方法、プログラム
US10965877B2 (en) Image generating method and electronic apparatus
JP4523629B2 (ja) 撮像装置
JP4972902B2 (ja) 撮像装置および撮像方法
KR101747844B1 (ko) 카메라 모듈의 이미지 처리 방법
JP2016095416A (ja) 焦点調節装置、撮像装置、焦点調節装置の制御方法、及びプログラム
CN112866554B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
US10460430B2 (en) Image processing apparatus and method for detecting and reducing an unnecessary light component in an image based on multiple viewpoints
JP2013172261A (ja) 撮像装置
JP5942755B2 (ja) 画像処理回路、画像処理方法及び撮像装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20220124

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231107

R150 Certificate of patent or registration of utility model

Ref document number: 7382767

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150