JPWO2018179555A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JPWO2018179555A1
JPWO2018179555A1 JP2018528354A JP2018528354A JPWO2018179555A1 JP WO2018179555 A1 JPWO2018179555 A1 JP WO2018179555A1 JP 2018528354 A JP2018528354 A JP 2018528354A JP 2018528354 A JP2018528354 A JP 2018528354A JP WO2018179555 A1 JPWO2018179555 A1 JP WO2018179555A1
Authority
JP
Japan
Prior art keywords
security protection
image
image data
face
security
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018528354A
Other languages
English (en)
Inventor
幸治 高山
幸治 高山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2018179555A1 publication Critical patent/JPWO2018179555A1/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

撮像装置(100)は、セキュリティ保護対象とセキュリティ保護処理との組み合わせが互いに異なる複数のセキュリティモードから特定のセキュリティモードを選択する設定部(200)と、光学情報から第1の画像データを生成する撮像部(150)と、前記第1の画像データに基づいて、前記セキュリティ保護対象を検出する検出部(190)と、前記検出部(190)で検出された前記セキュリティ保護対象に、前記セキュリティ保護処理を実行して、第2の画像データを生成する画像処理部(170)と、選択された前記セキュリティモードに応じて、前記検出部(190)に前記セキュリティ保護対象を検出させ、前記画像処理部(170)に前記セキュリティ保護処理を実行させるように構成された、制御部(210)と、を備える。

Description

本開示は、撮影画像に含まれる個人情報を保護する撮像装置に関する。
デジタルカメラの解像性能がHigh Difinition:HDから4K、6K、8Kと進化していく中で、動画及び静止画などの撮影画像から、被写体の個人情報を解読できるようになりつつある。したがって、撮影画像に含まれる個人情報を保護する必要性が高まることが予想される。特にSNS(Social Networking Service)などで情報を発信する際には、撮影画像に含まれる個人情報を保護する技術が求められている。画像に含まれる個人情報を保護する技術としては、特許文献1に記載されている。
特開2009−81635号公報
本開示は、撮影画像に含まれる個人情報を保護する場合に、ユーザの利便性を向上できる。
本開示の第1の態様における撮像装置は、設定部と、撮像部と、検出部と、画像処理部と、制御部と、を備える。前記設定部は、セキュリティ保護対象とセキュリティ保護処理との組み合わせが互いに異なる複数のセキュリティモードから特定のセキュリティモードを選択する。前記撮像部は、光学情報から第1の画像データを生成する。前記検出部は、前記第1の画像データに基づいて、前記セキュリティ保護対象を検出する。前記画像処理部は、前記検出部で検出された前記セキュリティ保護対象に、前記セキュリティ保護処理を実行して、第2の画像データを生成する。前記制御部は、選択された前記セキュリティモードに応じて、前記検出部に前記セキュリティ保護対象を検出させるように構成されている。前記制御部は、前記画像処理部に前記セキュリティ保護処理を実行させるように構成されている。
本開示の第2の態様における撮像装置は、記録部と、撮像部と、検出部と、画像処理部と、制御部と、を備える。前記記録部は、顔情報を含む登録情報を記録する。前記撮像部は、光学情報から第1の画像データを生成する。前記検出部は、前記第1の画像データから被写体の顔を検出し、検出した前記顔と記録された前記顔情報との照合結果に応じて、セキュリティ保護対象を検出する。前記画像処理部は、前記セキュリティ保護対象にセキュリティ保護処理を実行し、第2の画像データを生成する。前記制御部は、前記検出部に前記セキュリティ保護対象を検出させる。前記制御部は、前記画像処理部に前記セキュリティ保護処理を実行させる。
図1は、実施の形態1のデジタルカメラの電気的構成図である。 図2は、実施の形態1のデジタルカメラの背面図である。 図3は、実施の形態1の静止画撮影モードにおける、設定メニュー画面を示す図である。 図4は、実施の形態1における、セキュリティモードの詳細設定1〜4の画面を示す図である。 図5は、実施の形態1における、(a)個人認証のための登録情報を示す画面と、(b)登録されたスタンプを示す画面と、を示す図である。 図6Aは、実施の形態1における、デジタルカメラの静止画記録動作を示すフローチャートである。 図6Bは、実施の形態2における、デジタルカメラの静止画再生動作を示すフローチャートである。 図7は、実施の形態1における、対象被写体の決定処理を示すフローチャートである。 図8は、実施の形態1における、セキュリティ保護処理前の集合写真を表示モニタに表示した図である。 図9は、実施の形態1における、セキュリティ保護対象の決定処理を示すフローチャートである。 図10は、実施の形態1における、セキュリティ保護処理の決定処理を示すフローチャートである。 図11は、実施の形態1における、マスク処理後の集合写真を表示モニタに表示した図である。 図12Aは、実施の形態1における、アップロード処理を示すフローチャートである。 図12Bは、実施の形態3における、アップロード処理を示すフローチャートである。 図13は、実施の形態1における、(a)アップロード時の画面と、(b)警告メッセージと、を示す図である。 図14は、実施の形態4における、セキュリティモードの詳細設定の画面を示す図である。 図15は、実施の形態4における、登録情報を表示する画面を示す図である。 図16は、実施の形態4の他の例における、セキュリティモードの詳細設定の画面を示す図である。 図17は、他の実施の形態における、セキュリティモードの詳細設定の画面を示す図である。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明、及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
[実施の形態1]
実施の形態1では、撮像装置の一例としてデジタルカメラを挙げる。実施の形態1では、ユーザは、撮影前に、複数のセキュリティモードから所望のセキュリティモードを選択できる。デジタルカメラは、選択されたセキュリティモードに従って、撮影された画像にセキュリティ保護処理を実行する。
[1.デジタルカメラの構成]
実施の形態1に係るデジタルカメラの電気的構成例について、図1を用いて説明する。図1は、デジタルカメラ100の構成を示すブロック図である。デジタルカメラ100は、光学系110により形成された被写体像をComplementary Metal Oxide Semiconductor:CMOS撮像センサ150で撮像する撮像装置である。
CMOS撮像センサ150で生成された画像データは、画像処理部170で各種処理が施され、メモリカード230に格納される。以下、デジタルカメラ100の構成を詳細に説明する。
光学系110は、1又は複数のレンズを含む。光学系110は、たとえばズームレンズ及びフォーカスレンズを含む。ズームレンズを光軸に沿って移動させることにより、被写体像を拡大、又は縮小できる。また、フォーカスレンズを光軸に沿って移動させることにより、被写体像のピントを調整できる。
レンズ駆動部120は、光学系110に含まれる各種レンズを駆動させる。レンズ駆動部120は、例えばズームレンズを駆動するズームモータ、及びフォーカスレンズを駆動するフォーカスモータを含む。
絞り部130は、ユーザの設定に応じて、又は自動で、光の開口部の大きさを調整し、透過する光の量を調整する。
シャッタ部140は、CMOS撮像センサ150に透過させる光を遮光するための手段である。シャッタ部140と、光学系110と、絞り部130とは、被写体像を示す光学情報を制御する光学系ユニットを構成する。
CMOS撮像センサ150は、光学系110で形成された被写体像を撮像して、画像データを生成する。CMOS撮像センサ150は、カラーフィルタと、受光素子と、AGC(Auto Gain Controller)とを含む。受光素子は、光学系110によって集光された光学的信号を電気信号に変換し、画像情報を生成する。AGCは、受光素子から出力された電気信号を増幅する。CMOS撮像センサ150は、さらに、露光、転送、及び電子シャッタなどの各種動作を行うための駆動回路等を含む。
ADC(A/Dコンバータ:アナログ―デジタル変換器)160は、CMOS撮像センサ150で生成されたアナログ画像データを、デジタル画像データに変換する。
画像処理部170は、CMOS撮像センサ150で生成され、変換されたデジタル画像データに対して、コントローラ210の制御を受け、各種処理を施す。例えば、画像処理部170は、CMOS撮像センサ150で生成された画像データに対して、ガンマ補正、ホワイトバランス補正、及び傷補正などの各種処理を行う。また、画像処理部170は、CMOS撮像センサ150で生成された画像データを、H.264規格又はMPEG2規格に準拠した圧縮形式等により圧縮する。
画像処理部170は、表示モニタ260に表示するための画像データを生成する。また、画像処理部170は、メモリカード230に格納するための画像データを生成する。画像処理部170は、DSP(Digital Signal Processor)又はマイクロコントローラなどで実現可能である。また、画像処理部170は、CMOS撮像センサ150で生成された画像データに基づいて、画素数4000×2000前後の静止画及び動画の画像データ(4K動画像データ)を生成できる。または、デジタルカメラ100は、動画像データの画質が画素数8000×4000の8Kに設定できるように構成されてもよい。また、画像処理部170は、CMOS撮像センサ150で生成された画像データに、セキュリティ保護処理を実行し、セキュリティ保護処理済みの画像データを生成する。
以下、セキュリティ保護処理済みの画像データを、処理済画像データと言う。処理済画像データは、本開示の第2の画像データに相当する。また、セキュリティ保護処理が実行される前の画像データを、未処理画像データとする。未処理画像データは、本開示の第1の画像データに相当する。
また、セキュリティ保護処理とは、たとえば、ぼかし加工、モザイク加工、及びマスク加工の少なくとも一つである。ぼかし加工は、ノイズリダクション処理を含む。マスク加工とは、スタンプ及び目隠しなどの少なくとも一つを、画像に重畳又は置き換えする加工である。画像処理部170が、このようなセキュリティ保護処理を実行することにより、処理済画像データが生成される。処理済画像データは、コントローラ210において、未処理画像データと区別される。
検出部190は、画像処理部170で処理された画像データから、個人情報を検出するように構成されている。個人情報とは、個人を特定するための識別情報であり、顔、氏名、及び指紋などの少なくとも一つを含む。
ここで、たとえば検出部190は、公知の顔認識技術を用いて、画像データから被写体の顔を検出するように構成されている。
また、検出部190は、公知の文字認識技術を用いて、文字を検出するように構成されている。検出した文字が、検出した顔に近い場合に、検出した文字は、名札であると判定される。名札には、通常、氏名が記載される。すなわち、検出部190は、氏名を検出するように構成される。
また、検出部190は、検出した顔周辺から、肌色部分を検出するように構成されている。検出した肌色部分が顔に近い場合に、検出した肌色部分には、手が含まれると判定される。さらに、手には指紋が含まれるため、検出した肌色部分には、指紋が含まれると判定される。すなわち、検出部190は、指紋を検出するように構成されている。なお、検出部190は、検出した顔周辺の画像パターンから、手のひら又は指を検出するように構成されてもよい。
また、検出部190は、個人認証のための登録情報、及び被写体のプロフィールなどの登録情報の少なくとも一方に、特定の個人の顔情報が登録されている場合は、後述のように、撮影画像から顔認識技術を用いて顔を検出し、さらに、検出した顔が登録されている顔情報と一致するか否かを識別するように構成されている。
セキュリティモード設定部200は、複数のセキュリティモードから所望のセキュリティモードを選択し、設定する。セキュリティモード設定部200は、表示モニタ260及び操作部材250と接続されている。ユーザは、表示モニタ260の設定画面に従い、操作部材250を介して、セキュリティモードを選択する。操作部材250は、ユーザの選択を受け付け、セキュリティモード設定部200に出力する。
コントローラ210は、デジタルカメラ100の全体を制御する制御手段である。コントローラ210は、検出部190及びセキュリティモード設定部200の機能を実現する。コントローラ210は、半導体素子などで実現可能である。コントローラ210は、ハードウェアのみで構成されてもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現されてもよい。コントローラ210は、マイクロコントローラ、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、ASIC(Application Specific Integrated Circuit)、又はFPGA(Field‐Programmable Gate Array)などで実現できる。
バッファ180は、画像処理部170及びコントローラ210のワークメモリとして機能する。バッファ180は、例えば、DRAM(Dynamic Random Access Memory)、又は強誘電体メモリなどで実現できる。
カードスロット220は、メモリカード230を着脱可能である。カードスロット220は、機械的及び電気的にメモリカード230と接続される。
メモリカード230は、フラッシュメモリ又は強誘電体メモリなどを内部に含む。メモリカード230は、画像処理部170で生成された画像ファイル等のデータを格納するように構成される。
内蔵メモリ240は、フラッシュメモリ又は強誘電体メモリなどで構成される。内蔵メモリ240は、デジタルカメラ100全体を制御するための制御プログラム等を記憶している。
操作部材250は、ユーザからの操作を受け付けるユーザーインターフェースの総称である。操作部材250は、ボタン、ダイヤル、レバー、及びタッチパネル等の少なくとも一つで構成される。タッチパネルは、表示モニタ260と一体に配置される。ボタンとは、例えば、図2に示す選択ボタン213及び決定ボタン214等を含む。
表示モニタ260は、CMOS撮像センサ150で生成した画像データが示す画像(スルー画像)、及び、メモリカード230から読み出した画像データが示す画像の少なくとも一方を表示するように構成されている。また、表示モニタ260は、デジタルカメラ100の各種設定を行うための各種メニュー画面等も表示するように構成されている。表示モニタ260は、液晶表示デバイス又は有機EL(Electro Luminescence)表示デバイスで構成される。
データ転送部270は、画像処理部170で生成された画像データを、SNS等にアップロードするように構成されている。ユーザは、表示モニタ260に表示される画面に従いながら、表示モニタ260に表示される画像を、操作部材250により選択し、アップロードする画像を決定する。
図2は、デジタルカメラ100の背面を示した図である。図2に示すように、操作部材250は、たとえばレリーズボタン211、選択ボタン213、決定ボタン214、及び動画記録ボタン217等を含む。操作部材250は、ユーザによる操作を受け付けると、コントローラ210に種々の指示信号を送信する。
レリーズボタン211は、二段押下式の押下ボタンである。レリーズボタン211がユーザにより半押し操作されると、コントローラ210は、オートフォーカス制御(AF制御)、及びオート露出制御(AE制御)などを実行する。また、レリーズボタン211がユーザにより全押し操作されると、コントローラ210は、押下操作のタイミングに撮像された画像を、記録画像としてメモリカード230等に記録する。
選択ボタン213は、上下左右方向に設けられた押下式ボタンである。ユーザは、選択ボタン213のいずれかの方向を押下することにより、カーソルを移動したり、表示モニタ260に表示される各種条件項目を選択したりできる。
決定ボタン214は、押下式ボタンである。デジタルカメラ100が撮影モード又は再生モードにあるときに、決定ボタン214がユーザにより押下されると、コントローラ210は表示モニタ260にメニュー画面を表示する。メニュー画面は、撮影及び再生のための各種条件の設定を受け付けるための画面である。各種条件の設定項目が選択されているときに、決定ボタン214が押下されると、コントローラ210は、選択された項目の設定を確定する。
[2.デジタルカメラの動作]
実施の形態1のデジタルカメラ100は、動作モードとして、静止画記録モードと、動画記録モードと、再生モードと、を有する。静止画記録モードは、静止画を記録するための動作モードである。動画記録モードは、動画を記録するための動作モードである。再生モードは、記録した画像を再生するための動作モードである。さらに、静止画記録モード及び動画記録モードは、それぞれ撮影画像のプライバシーを保護するための複数のセキュリティモードを含む。
[2.1 セキュリティモード]
セキュリティモードは、撮影画像に含まれる個人情報を保護するためのモードである。セキュリティモードは、特にSNSに画像をアップロードするなどの情報発信のときの、個人情報を保護する目的で用いられる。
実施の形態1では、ユーザは、静止画又は動画の撮影前に、複数のセキュリティモードから所望のセキュリティモードを選択できる。複数のセキュリティモードは、互いに種々の詳細設定の組み合わせが異なる。ユーザは、これらの詳細設定を、それぞれ所望の条件に設定することで、所望のセキュリティモードに設定できる。
実施の形態1において、セキュリティモードの詳細設定とは、詳細設定1〜4を含む。詳細設定1は、セキュリティ保護処理の対象となる被写体(以下、対象被写体という)の設定である。詳細設定2は、セキュリティ保護処理を実行する対象(以下、セキュリティ保護対象という)の設定である。詳細設定3は、セキュリティ保護処理の設定である。詳細設定4は、セキュリティ保護処理が施された処理済画像データと、セキュリティ保護処理が施されていない未処理画像データとの、記録方式の設定である。
詳細設定1で設定される対象被写体には、例えば、第1の対象被写体と、第2の対象被写体と、第3の対象被写体と、が含まれる。第1の対象被写体は、検出部190で顔認識された顔を有する被写体を全て含む。第2の対象被写体は、個人認証のために登録されていない顔を有する被写体である。第3の対象被写体は、個人認証のために登録された顔を有する被写体である。
なお、個人認証とは、たとえば、予め顔情報が登録されている場合に、検出部190が、撮影画像に含まれる顔と顔情報とを照合することにより、コントローラ210が、特定の個人を識別できるようにする処理である。図5の(a)は、個人認証のための登録情報を示す画面である。実施の形態1では、セキュリティモードを設定する前に、ユーザが、図5の(a)に示すように、AさんとBさんの名前と、顔情報とをメモリカード230に登録しているものとする。
また、詳細設定2で設定されるセキュリティ保護対象とは、個人を特定する識別情報である。セキュリティ保護対象は、たとえば、顔、指紋、及び名札(氏名)等の少なくとも一つである。
次に、セキュリティモードを選択する動作、すなわち詳細設定1〜4を設定する動作を説明する。図3は、静止画撮影モードの設定メニュー300を表示する画面を示す。ユーザが、設定メニュー300から「セキュリティ保護」を選択すると、画面は図4に移り、ユーザは、セキュリティモードの詳細設定ができる。
ここで図3では、図4のセキュリティモードの詳細設定1〜4を経て、セキュリティモードが“Na3/1”と設定されている場合を示す。以下、ユーザが、セキュリティモードを“Na3/1”に設定する場合を例に、セキュリティモードの選択動作を説明する。
まずユーザは、図3の設定メニュー300を表示させた状態において、選択ボタン213を用いて、カーソルを「セキュリティ保護」に移動させる。カーソルを「セキュリティ保護」に移動させると、画面には、右を向いた▲印301が出てくる。その状態で、ユーザが選択ボタン213の右ボタンを押下すると、図4の(a)に示すセキュリティモードの詳細設定1の画面310に遷移する。
図4の(a)の画面310では、ユーザは3つの対象被写体S,N,Wから特定の対象被写体を設定することができる。また、図4の(a)の画面310では、ユーザは、対象被写体をOFFに設定することもできる。OFFに設定されると、セキュリティ保護処理は実行されない。
図4の(a)に示す対象被写体Sは、顔認識された顔を有する全ての被写体であり、上述の第1の対象被写体に相当する。対象被写体Nは、個人認証のために登録されていない顔を有する被写体であり、上述の第2の対象被写体に相当する。対象被写体Wは、個人認証のために登録された顔を有する被写体であり、上述の第3の対象被写体に相当する。
図4の(a)では、ユーザが、決定ボタン214を用いて対象被写体Nを選択した場合を示している。つまり、ユーザは、個人認証のために登録されていない顔を有する被写体を、対象被写体として選択している。たとえば、ユーザが、図5の(a)に示すように、AさんとBさんとを個人認証するために登録している場合は、デジタルカメラ100は、AさんとBさん以外の顔を有する被写体を、対象被写体とする。
図4の(a)の画面310で対象被写体Nが選択されると、画面310には、右を向いた▲印が表示される(図4の(a)には図示せず)。その状態で、ユーザが選択ボタン213の右ボタンを押下すると、図4の(b)に示すセキュリティモードの詳細設定2の画面320に遷移する。
図4の(b)の画面320では、セキュリティ保護対象を選択できる。たとえば図4の(b)の画面320では、ユーザは、3つのセキュリティ保護対象(すなわち、セキュリティ保護対象a、セキュリティ保護対象b、及びセキュリティ保護対象c)から、所望のセキュリティ保護対象を選択できる。ここで、実施の形態1では、セキュリティ保護対象a〜cが、以下のように、予め設定されているものとする。
セキュリティ保護対象aは、図4の(a)で選択された対象被写体の、顔と指紋(肌色データ)と名札(文字データ)である。セキュリティ保護対象bは、図4の(a)で選択された対象被写体の、顔と指紋(肌色データ)である。セキュリティ保護対象cは、図4の(a)で選択された対象被写体の、顔と、対象被写体の胸元周辺にある名札(文字データ)である。
図4の(b)の例では、ユーザが、決定ボタン214を用いてセキュリティ保護対象aを選択した場合を示している。セキュリティ保護対象が選択されると、右を向いた▲印が表示され、ユーザが、選択ボタン213の右ボタンを押下すると、図4の(c)に示すセキュリティモードの詳細設定3の画面330に遷移する。
図4の(c)の画面330では、ユーザは、セキュリティ保護処理を設定できる。つまり、図4の(c)の画面330では、詳細設定1で選択された対象被写体における、詳細設定2で選択されたセキュリティ保護対象に対して、どのような画像処理を実行するかの選択を受け付ける。なお、実施の形態1では、ユーザは、図4の(c)の画面330において、全てのセキュリティ保護対象に対する画像処理を選択するのではなく、顔に対するセキュリティ保護対象のみを選択するものとする。また、指紋と名札に対しては、予め、ぼかし処理をするように決定されているものとする。
図4の(c)では、セキュリティ保護処理として、たとえばマスク処理であるセキュリティ保護処理1〜4と、ぼかし処理であるセキュリティ保護処理5とが選択できる例を示している。マスク処理であるセキュリティ保護処理1〜3は、各々、図5の(b)に示すスタンプ1〜3をセキュリティ保護対象に重畳又は置換する処理である。スタンプ1〜3は、デジタルカメラ100に、予め登録されているスタンプとする。マスク処理であるセキュリティ保護処理4は、新規登録されたスタンプをセキュリティ保護対象に重畳又は置換する処理である。新たなスタンプは、インターネット等を介して、ユーザが入手できるスタンプである。ぼかし処理であるセキュリティ保護処理5は、リサイズ処理などを含む。
図4の(c)の例では、ユーザが、決定ボタン214を用いてマスク処理3を選択した場合の画面330を示している。ユーザがセキュリティ保護処理を選択すると、右を向いた▲印が表示され、ユーザが選択ボタン213の右ボタンを押下すると、図4の(d)に示すセキュリティモードの詳細設定4の画面340に遷移する。
図4の(d)の画面340では、ユーザが、未処理画像データを、処理済画像データと同時期に、メモリカード230に記録するか否かを設定できる。図4の(d)の「/1」は、同時期に記録する場合を示し、「/2」は同時期に記録しない場合を示す。図4の(d)の例では、ユーザが、決定ボタン214を用いて、同時期に記録する設定「/1」を選択した場合を示している。なお、「同時期に記録する」とは、完全に同じタイミングにメモリカード230に記録することを意味するのではなく、「一連の動作として記録する」という意味である。つまり、「未処理画像データは、処理済画像データと同時期に記録される」、とは、「処理済画像データが記録される場合は、未処理画像データも記録される」、という意味である。
デジタルカメラ100において、セキュリティ保護対象とセキュリティ保護処理とが固定されていると、ユーザの好み又は考えに対応できず、ユーザの利便性が損なわれる場合がある。そこで実施の形態1のデジタルカメラ100は、ユーザが、撮影前に、複数のセキュリティモードから、好みのセキュリティモードを選択できるように構成されている。具体的には、デジタルカメラ100は、セキュリティ保護対象とセキュリティ保護処理との少なくとも一方について、ユーザが選択できるように構成されている。
このように、実施の形態1のデジタルカメラ100は、ユーザのセキュリティ保護に対するニーズに対して個別に対応できるので、利便性が向上する。
また実施の形態1では、デジタルカメラ100は、ユーザが対象被写体も選択できるように構成されている。したがって、ユーザの利便性がより向上する。
また、実施の形態1では、デジタルカメラ100は、ユーザが、未処理画像データの記録方式も選択できるように構成されている。したがって、ユーザの利便性が向上する。
図4の例では、セキュリティモード設定部200は、セキュリティモードを、例えば“Na3/1”に設定でき、ユーザは、図3の画面でその設定を確認できる。
[2.2 静止画記録動作]
次に、静止画を記録するための静止画記録モードを説明する。図6Aは、デジタルカメラの静止画記録動作を示すフローチャートである。
ユーザが、デジタルカメラ100の電源をオン(ON)にすると、デジタルカメラ100は、光学系110によってCMOS撮像センサ150に結像された被写体像を、画像処理部170及びコントローラ210を介して表示モニタ260に表示する。このとき、表示モニタ260に表示される被写体像であるスルー画像は、CMOS撮像センサ150から得られる画像データを順次表示することで実現される動画像である。
デジタルカメラ100において、ユーザが、レリーズボタン211を半押しすると、コントローラ210は、画像処理部170から得られる被写体像のコントラスト値が最大値になるように、コントラストAF処理を実行する。コントラストAF処理は、具体的には、フォーカスレンズを移動させる処理である。
次に、コントローラ210は、ユーザが、レリーズボタン211を全押ししているか否かを判定する(S600)。レリーズボタン211が全押しされていない場合(ステップS600でNoの場合)、コントローラ210は、ステップS600の処理に戻る。レリーズボタン211が全押しされている場合(ステップS600でYesの場合)、コントローラ210は、ステップS601の処理に進む。
ステップS601では、コントローラ210は、撮影動作を行うよう、光学系110、CMOS撮像センサ150、及び画像処理部170を制御し、静止画を撮影して静止画データをバッファ180に格納する。撮影された静止画は、図8に示すように、表示モニタ260に表示される。
次に、ステップS602では、検出部190は、画像処理部170で処理された画像データから、顔認識技術を用いて、被写体の顔を検出する。検出部190が顔を検出できない場合(ステップS602でNoの場合)、コントローラ210は、ステップS610の処理に進む。
ステップS610では、コントローラ210は、押下操作のタイミングに撮像された画像データを、セキュリティ保護処理を行うことなく、未処理画像データとしてメモリカード230に記録する。
ステップS602で、検出部190が顔を検出した場合(ステップS602でYesの場合)、コントローラ210は、ステップS603の処理に進む。なお、実施の形態1では、ステップS602で、顔として、図8に示すように被写体A〜Gのそれぞれの顔が検出されたとする。
ステップS603では、コントローラ210は、対象被写体を決定する。ステップS603の詳細を、図7に示す。図7は、対象被写体の決定処理を示すフローチャートである。ステップS700では、検出部190は、例えば図8に示す静止画から検出した顔について、個人認証を実行する。具体的には、検出部190は、静止画から検出した顔が、登録情報に登録された顔情報の顔と合致するか否かを判断する。
実施の形態1では、たとえば、図5の(a)に示すように、被写体AとBとが、個人認証のために登録されているとする。この場合、検出部190は、図8の被写体A,Bの顔情報は、個人認証のために登録された情報として認識し、被写体C〜Gの顔情報は登録されていない情報として認識する。
次に、ステップS701では、コントローラ210は、ユーザが、事前に、対象被写体の設定をONとOFFのいずれに設定しているかを判断する。実施の形態1では、図4の(a)に示すように、ユーザは、事前に対象被写体の設定を行っているので(ステップS701でON)、次のステップS702に移行する。
ステップS702では、コントローラ210は、事前に設定された対象被写体が、対象被写体S,対象被写体N,及び対象被写体Wのいずれであるかを判定する。対象被写体Sに設定されている場合、コントローラ210は、ステップS703に進む。ステップS703では、検出部190が顔認識した顔を有する全ての被写体を対象被写体として決定する。この場合、予め、個人認証用に顔情報を登録しておかなくても、撮影すると、検出部190が全ての被写体を対象被写体に決定し、個人情報の保護に配慮した画像データを得られる。
ステップS702で、コントローラ210が、対象被写体Nが設定されていると判断した場合、ステップS704に進む。ステップS704では、個人認証のために登録されていない被写体を、対象被写体として決定する。この場合、例えば、予め自分の顔及び自分の子供の顔などを個人認証するように設定して撮影すると、コントローラ210は、検出部190が顔認識に基づいて認識した、自分及び子供以外の他人を、対象被写体に決定する。従って、自分と子供以外のプライバシーに配慮した画像データを得られる。
ステップS702で、コントローラ210が、対象被写体Wが設定されていると判断した場合、ステップS705に進む。ステップS705では、登録情報に登録されている被写体のみを対象被写体に決定する。この場合、例えば、予め自分の子供の顔などを個人認証するように設定して撮影すると、コントローラ210は、検出部190によって検出された子供を、対象被写体に決定する。したがって、子供のプライバシーに配慮した画像データを得られる。実施の形態1では、図4の(a)に示すように、対象被写体Nが事前に設定されているので、登録されていない被写体(図8の被写体C〜G)が対象被写体となる。以上より、対象被写体が決定される。
対象被写体が決定されると、図6AのステップS604に進む。ステップS604では、対象被写体の顔周辺に位置するセキュリティ保護対象を決定する。このステップS604の詳細を図9に示す。図9は、セキュリティ保護対象の決定処理を示すフローチャートである。ステップS900では、コントローラ210は、検出部190が認識した顔情報の周辺を検索したか否かを判定する。具体的には、検出部190が、認識した顔情報の周辺に位置する肌色データ及び文字データの少なくとも一方を検出したか否かを判断する。肌色データには、指紋が含まれる。文字データには、名札が含まれる。肌色データ及び文字データのいずれも検出しなかった場合(ステップS900でNoの場合)は、セキュリティ保護対象の決定処理を終了する。つまり、図6AのステップS604の処理を終了し、ステップS605に移行する。
一方で、図9のステップS900で、肌色データ及び文字データの少なくとも一方が検出された場合(ステップS900でYesの場合)は、ステップS901に移行する。
ステップS901では、コントローラ210は、セキュリティモード設定部200が、ユーザの指示により、事前に、セキュリティ保護対象の設定を、ONとOFFとのいずれに設定したかを判断する。セキュリティ保護対象の設定がOFFである場合(ステップS901でOFFの場合)、セキュリティ保護対象の決定を終了し、ステップS605に進む。一方で、実施の形態1では、図4の(b)に示すように、事前にセキュリティ保護対象の設定を行っているので(ステップS901でON)、次のステップS902に移行する。
ステップS902では、コントローラ210は、事前に設定されたセキュリティ保護対象が、セキュリティ保護対象a,b,cのいずれであるかを判定する。
ステップS902で、セキュリティ保護対象cが設定されていると判断された場合は、ステップS903に進む。ステップS903では、コントローラ210は、対象被写体の顔と、対象被写体の顔周辺、たとえば胸元周辺に位置する文字とを、セキュリティ保護対象として決定する。つまり、コントローラ210は、顔認識した被写体の顔と、首より下の胸周辺に位置する名札(氏名)とを、相互に紐付けたうえで、顔と名札をセキュリティ保護対象とする。
一方で、ステップS902で対象被写体aが設定されていると判断された場合は、ステップS904に進む。ステップS904では、顔と、顔周辺の肌色データと、胸元周辺に位置する文字データとが、セキュリティ保護対象として決定される。このため、コントローラ210は、顔認識した被写体の顔と、首より下の胸周辺に位置する名札(氏名)と、顔周辺のピースサイン又は手のひらの指紋部分とを相互に紐付けたうえで、顔と、名札と、指紋とをセキュリティ保護対象とする。
さらに、ステップS902で、セキュリティ保護対象bが設定されていると判断された場合は、ステップS905に進む。ステップS905では、顔と、顔周辺の肌色データとをセキュリティ保護対象と決定する。このため、コントローラ210は、顔認識した被写体の顔と、顔情報周辺のピースサイン又は手のひらの指紋部分とを相互に紐付けたうえで、顔と指紋とをセキュリティ保護対象とする。以上より、セキュリティ保護対象の決定フローが終了する。
セキュリティ保護対象が決定されると、図6AのステップS605に進む。ステップS605では、セキュリティ保護処理を決定する。ステップS605の詳細を、図10に示す。図10は、セキュリティ保護処理の決定処理を示すフローチャートである。図10では、セキュリティ保護対象が顔である場合について、説明する。
図10のステップS1000では、検出部190は、検出したセキュリティ保護対象の大きさに応じて、処理する領域の大きさを決定する。このため、互いに大きさの異なる複数のスタンプデータを、マスク処理用に予め登録しておく必要がなくなる。またセキュリティ保護対象毎に、スタンプの大きさを手動で設定する必要がなくなる。
次に、ステップS1001では、コントローラ210は、事前に設定されたセキュリティ保護処理が、たとえば図4の(c)のセキュリティ保護処理1〜3、4、5のいずれであるかを判定する。
ステップS1001で、セキュリティ保護処理4が設定されていると判断された場合は、ステップS1002に進む。ステップS1002では、セキュリティ保護処理を、セキュリティ保護対象に新規スタンプを重畳又は置換するマスク処理に決定する。
一方で、ステップS1001で、セキュリティ保護処理1〜3が設定されていると判断された場合は、ステップS1003に進む。ステップS1003では、セキュリティ保護処理を、セキュリティ保護対象である顔に、既存スタンプを重畳又は置換するマスク処理に決定する。
さらに、ステップS1001で、セキュリティ保護処理5が設定されたと判断された場合、ステップS1004に進む。ステップS1004では、セキュリティ保護処理を、セキュリティ保護対象をぼかす、ぼかし処理に決定する。
実施の形態1では、図4の(c)に示すように、事前にセキュリティ保護処理3に設定されている。したがって、セキュリティ保護処理として、セキュリティ保護対象に、図5の(b)のスタンプ3が重畳される、マスク処理が設定される。又は、セキュリティ保護処理として、セキュリティ保護対象がスタンプ3に置換される、マスク処理が設定される。以上より、セキュリティ保護処理が決定される。
セキュリティ保護処理が決定されると、図6AのステップS606に進む。ステップS606では、ステップS603で決定された対象被写体と、ステップS604で決定されたセキュリティ保護対象と、ステップS605で決定されたセキュリティ保護処理と、に従って、画像処理部170が、CMOS撮像センサ150により生成された画像データに、セキュリティ保護処理済情報を付加して、処理済画像データを生成する。
例えば、セキュリティ保護対象として、図8に示す被写体C〜Gの顔が設定され、かつ顔については、図5の(b)に示すスタンプ3を用いてマスク処理を行い、指紋及び名札にはぼかし処理を行う、セキュリティ保護処理が設定されている場合、図11に示すような処理済画像データが生成される。つまり、処理済画像データには、セキュリティ保護処理済情報(この例ではマスク350とぼかし処理のデータ)が、画像データに付加されている。このため、ユーザは、非可逆的な加工済みの画像データを記録できる。そして、ユーザは、個人情報が保護された画像データを得られる。また、コントローラ210は、マスク処理、又はぼかし処理といった、セキュリティ保護処理の種類に関わらず、セキュリティ保護処理をしていない画像との区別が可能となる。
次に、ステップS607では、コントローラ210は、事前の詳細設定4に基づき、未処理画像データを、処理済画像データと同時期に記録するか否かを判定する。たとえば、ユーザが、事前に、セキュリティ保護済画像データと未処理画像データとを同時期に記録すると設定している場合、ステップS607で、同時期に記録すると判断され(ステップS607でYes)、ステップS608に進む。
ステップS608では、処理済画像データと未処理画像データとが、メモリカード230に同時期に記録される。処理済画像データと未処理画像データとが同時期に記録される場合は、印刷用、又はユーザが所有する個人アルバムでの鑑賞用に、アップロード用とは別のセキュリティ保護処理されていない画像を撮影できる。
一方で、ステップS607で、同時期に記録しないと判断されると(ステップS607でNo)、ステップS609に進む。ステップS609では、処理済画像データのみがメモリカード230に記録される。
以上で実施の形態1の静止画記録動作が終了する。以上のようにユーザは、セキュリティ保護対象を意識しなくても、所望の被写体の個人情報に配慮した画像を撮影できる。または、ユーザは、手動でセキュリティ保護対象の場所を決定しなくても、所望の被写体の個人情報に配慮した画像を撮影できる。その結果、ユーザは、撮影に集中できる。
[2.3 アップロード動作]
次に、静止画記録モードで記録した静止画をアップロードするための動作を説明する。図12Aは、アップロード処理を示すフローチャートである。
まず、S1200では、ユーザは、表示モニタ260を見ながら、アップロードしたい静止画を決定する。具体的には、図13の(a)に示すように、アップロード時の画面には、表示されている静止画をアップロードするか否かを問い質すメッセージが表示される。ユーザは、表示された静止画をアップロードしたい場合は、決定ボタン214を押下して、“はい”を選択する。これにより、アップロードしたい画像が決定される。
その後、ステップS1201では、検出部190は、メモリカード230に記録された画像データから、被写体の顔、指紋、又は名前のような個人情報を検出する。
ステップS1201で、個人情報が検出されない場合(ステップS1201でNoの場合)、ステップS1203に移行し、コントローラ210は、データ転送部270にアップロード処理を実行させる。
一方で、ステップS1201で、個人情報が検出されれば(ステップS1201でYes)、次のステップS1202に移行する。
S1202では、コントローラ210はアップロード予定の静止画に、セキュリティ保護対象が含まれるか否かを、セキュリティモード設定部200に設定された情報に基づいて判断する。すなわち、設定されているセキュリティモードが、個人認証で登録されていない被写体の顔と、その顔周辺の指紋及び名札とをセキュリティ保護対象とするモードである場合、アップロードする静止画に、まだセキュリティ保護処理が実行されていないセキュリティ保護対象が含まれるか否かを判断する。
ステップS1202で、セキュリティ保護対象が含まれないと判断された場合(ステップS1202でNoの場合)、ステップS1203に移行する。ステップS1203では、コントローラ210は、データ転送部270に静止画のアップロード処理を実行させる。
一方で、ステップS1202において、コントローラ210が、アップロード予定の静止画に、セキュリティ保護対象が含まれると判断した場合は、ステップS1204において、コントローラ210は、表示モニタ260に警告表示を表示させる。
仮に、図13の(b)に示すように、全ての被写体A〜Gの各顔データがセキュリティ保護対象に設定されている場合であって、被写体A,Bの顔にセキュリティ保護処理が実行されていない場合、コントローラ210は、アップロード予定の静止画に、セキュリティ保護対象が含まれると判断できる。したがって、コントローラ210は、表示モニタ260に、図13の(b)に示すような警告メッセージを表示させる。このため、ユーザが未処理画像データをSNS等にアップロードする前に、個人情報の保護に関する注意が喚起される。ユーザは、警告画面を確認し、アップロードするか否かを選択できる(S1205)。
ステップS1205で、ユーザがアップロードする選択をした場合(S1205でYesの場合)、ステップS1203に遷移し、アップロード処理が実行される。一方で、ステップS1205で、ユーザがアップロードしない選択をした場合(S1205でNoの場合)、アップロードすることなく処理を終了する。
実施の形態1のアップロード動作において、ユーザは、セキュリティ保護処理できるデジタルカメラ100によって撮影されていない画像データ(つまり、未処理画像データ)、又は、デジタルカメラ100によって撮影された画像データであって、セキュリティモードの設定をOFFにして撮影された画像データ(つまり、未処理画像データ)をアップロードする際に、その画像データにセキュリティ保護対象が含まれるか否かを認識できる。
したがって、ユーザが、個人情報の保護対策がなされていない静止画を、誤ってSNS等にアップロードしてしまうことが抑制される。
[3.まとめ]
以上のように、実施の形態1にかかる撮像装置(デジタルカメラ100)は、設定部(セキュリティモード設定部200)と、撮像部(CMOS撮像センサ150)と、検出部(検出部190)と、画像処理部(画像処理部170)と、制御部(コントローラ210)と、を備える。セキュリティモード設定部200は、セキュリティ保護対象とセキュリティ保護処理との組み合わせが互いに異なる複数のセキュリティモードから特定のセキュリティモードを選択する。CMOS撮像センサ150は、光学情報から第1の画像データ(未処理画像データ)を生成する。検出部190は、未処理画像データに基づいて、セキュリティ保護対象を検出する。画像処理部170は、検出部190で検出されたセキュリティ保護対象に、セキュリティ保護処理を実行して、第2の画像データ(処理済画像データ)を生成する。コントローラ210は、選択されたセキュリティモードに応じて、検出部190にセキュリティ保護対象を検出させる。また、コントローラ210は、画像処理部170に、セキュリティ保護処理を実行させる。
これにより、ユーザは、ユーザの好みに基づいて設定したセキュリティモードに応じて、個人情報が保護された撮影画像を、SNS等に安心して発信できる。
また、実施の形態1の撮像装置では、セキュリティモード設定部200は、撮影前に、セキュリティモードを選択するように構成されている。したがって、個人情報が保護された撮影画像を、自動で記録できる。その結果、撮影後にセキュリティ保護処理を実行する煩わしさを低減できる。
また、実施の形態1にかかるデジタルカメラ100では、コントローラ210は、画像処理部170に、第1の画像データ(未処理画像データ)と第2の画像データ(処理済画像データ)とを同時期に生成させる。また、コントローラ210は、メモリカード230に、第1の画像データ(未処理画像データ)と第2の画像データ(処理済画像データ)とを同時期に記録させる。これにより、ユーザは、必要に応じて未処理画像データに基づく撮影画像を見ることができる。つまり、デジタルカメラ100は、ユーザが個人で使用する印刷用の写真、又はユーザが所有する個人アルバムでの鑑賞用写真として、アップロード用とは別の未処理画像データを撮影できる。
また、実施の形態1の撮像装置では、セキュリティ保護対象は、顔と、顔以外の個人を特定する識別情報と、を含む。顔以外の個人の特定する識別情報は、氏名(名札)及び指紋の少なくとも一方を含む。実施の形態1の撮像装置では、顔に実行されるセキュリティ保護処理と、顔以外の識別情報に実行されるセキュリティ保護処理とは、同じでも異なっていてもよい。例えば、顔にはスタンプ処理が施され、氏名及び指紋の少なくとも一方は、ぼかし処理が施されてもよい。これにより、ユーザの利便性が向上する。
また、実施の形態1のセキュリティ保護処理は、ぼかし処理、モザイク処理、及びマスク処理の少なくとも一つである。これにより、撮影画像に含まれる個人情報が、他者に、明確に認識されないように保護できる。
また、実施の形態1にかかるデジタルカメラ100は、処理済画像データを含む画像データをアップロードするように構成された、データ転送部270を備える。これにより、ユーザは、容易に撮影画像をアップロードできる。
(実施の形態2)
実施の形態2のデジタルカメラ100は、実施の形態1のデジタルカメラ100と異なり、撮影後に、セキュリティモードの選択を受け付ける。また、実施の形態2のデジタルカメラは、実施の形態1のデジタルカメラ100と異なり、デジタルカメラ100で生成された画像データか否かに関わらず、撮影後に、セキュリティ保護処理を実行できる。撮影後とは、たとえば再生モードに設定された時である。
具体的には、実施の形態2において、ユーザは、実施の形態1と同様に、表示モニタに表示されるセキュリティモードの詳細設定(図4参照)を介して、セキュリティモードを設定できる。但し、実施の形態2では、実施の形態1と異なり、撮影時にセキュリティ保護処理が実行されるのではなく、撮影後に実行される。したがって、実施の形態2では、セキュリティモードを設定するタイミングは、撮影前に限られず、アップロード前であればよい。なお、実施の形態2のデジタルカメラ100の構成は、実施の形態1のデジタルカメラ100の構成と同様であるので、説明を省略する。
以下、実施の形態2のデジタルカメラ100の静止画再生動作を、図6Bを用いて説明する。図6Bのフローにおいて、図6Aに示す、実施の形態1と同様の動作については、同じ番号を付す。なお、ユーザは、デジタルカメラを再生モードに設定する場合、予め、又は再生モードへの設定後、セキュリティモードの設定ができるものとする。セキュリティモードの設定方法は、図4に示す、実施の形態1の方法と同様である。
実施の形態2では、事前にセキュリティモードが設定された状態で、ユーザは、デジタルカメラ100を再生モードに設定する。再生モードでは、表示モニタ260に、メモリカード230に記録された画像が表示される。画像は、デジタルカメラ100で撮影された画像でもよく、他の撮像装置で撮影された画像でもよい。ユーザは、操作部材250を用いて、画像処理したい画像(たとえば静止画とする)を選択する(S611)。
その後、コントローラ210は、検出部190が、選択された静止画から顔を検出したか否かを判断する(S602)。検出部190が顔を検出しなかった場合(S602でNoの場合)は、コントローラ210は、そのまま処理を終了する。
一方で、ステップS602で、検出部190が顔を検出したと判断された場合(S602でYesの場合)、コントローラ210は、ステップS603に進み、設定されたセキュリティモードに従って、選択された静止画における対象被写体を決定する。たとえば、コントローラ210は、個人認証のために顔情報が登録されている被写体を検出部190に検出させ、対象被写体に設定する。
次に、コントローラ210は、ステップS604に進み、選択された静止画において、顔周辺に位置するセキュリティ保護対象を決定する。たとえば、コントローラ210は、検出部190に、対象被写体の顔と名札とを検出させ、それらをセキュリティ保護対象に決定する。
次に、コントローラ210は、設定されたセキュリティモードに従って、セキュリティ保護処理を決定する(S605)。例えば、コントローラ210は、顔に対するセキュリティ保護処理として、スタンプ処理を設定する。また、コントローラ210は、名札に対するセキュリティ保護処理として、ぼかし処理を設定する。
その後、コントローラ210は、選択された静止画の画像データにおいて、設定されたセキュリティ保護対象に、設定されたセキュリティ保護処理を実行する(S606)。つまりコントローラ210は、画像処理部170に処理済画像データを生成させる。
最後に、コントローラ210は、処理済画像データをメモリカード230に記録させる(S612)。
セキュリティ保護処理された静止画をアップロードする動作は、図12Aに示す、実施の形態1のアップロード動作とほぼ同様である。ただし、実施の形態2では、撮影後のセキュリティ保護処理が可能であるから、たとえば、図12AのステップS1202において、アップロード予定の画像にセキュリティ保護対象が含まれると判断された場合に(ステップS1202でYes)、コントローラ210は、ステップS1204の警告表示に加えて、または、警告表示に代えて、設定されたセキュリティモードに基づくセキュリティ保護処理を実行してもよい。
なお、実施の形態2では、デジタルカメラ100が、撮影後にセキュリティ保護処理を実行する構成を例示したが、実施の形態2を実施の形態1の構成と組み合わせてもよい。つまり実施の形態2のデジタルカメラ100も、撮影前にセキュリティ保護処理を設定できる構成であってもよい。
以上より、実施の形態2のデジタルカメラ100は、撮影後に複数のセキュリティモードから所望のセキュリティモードを選択できる。したがって、たとえば、ユーザが、撮影前にセキュリティ保護処理ができないデジタルカメラによって撮影した画像データをアップロードする際、実施の形態2のデジタルカメラは、その画像データに適切なセキュリティ保護処理を実行してから、アップロードできる。したがって、アップロード前に、適切なセキュリティ保護処理ができる。
又、ユーザが、実施の形態1のデジタルカメラ100を用いて、撮影前に、セキュリティモードをOFFに設定して撮影した場合でも、撮影後にセキュリティモードをONにしたい場合がある。そのような場合も、実施の形態2のデジタルカメラ100は、アップロード前に、適切なセキュリティ保護処理ができる。
(実施の形態3)
実施の形態3のデジタルカメラ100では、ユーザは、メモリカード230に記録された画像を再生する場合において、複数の再生モードから所望の再生モードを選択できる。なお、実施の形態3では、画像を再生する場合として、特にアップロードする画面を選択するために再生する場合を例に挙げる。
複数の再生モードは、少なくとも三つの再生モードを含む。一つ目の再生モードは、処理済画像データの画像のみ再生するモードである。つまり、一つ目の再生モードでは、メモリカード230に記録された画像のうち、セキュリティ保護処理が施された画像のみが表示モニタ260に表示される。
二つ目の再生モードは、未処理画像データの画像のみ再生するモードである。つまり、二つ目の再生モードでは、メモリカード230に記録された画像のうち、セキュリティ保護処理が施されていない画像のみが、表示モニタ260に表示される。セキュリティ保護処理が施されていない画像は、本開示の撮像装置でセキュリティモードがOFFのときに撮影された画像、及び、本開示以外の撮像装置で撮影された画像のいずれでもよい。
三つ目の再生モードは、未処理画像データ及び処理済画像データのいずれの画像も再生するモードである。つまり、三つ目の再生モードでは、メモリカード230に記録された画像であれば、表示モニタ260に表示される。
なお、ユーザは、再生モードに設定する場合、予め、又は再生モードへの設定後、セキュリティモードの設定ができるものとする。セキュリティモードの設定方法は、図4に示す、実施の形態1の方法と同様である。
以下、図12Bを用いて、実施の形態3における、アップロード動作を説明する。まず、ユーザは、操作部材250を用いて、再生モードを選択する(S1210)。
ステップS1210で、ユーザが、処理済画像データの画像のみ再生する再生モードを選択した場合、デジタルカメラ100は、ステップS1211に遷移する。ステップS1211では、コントローラ210は、表示モニタ260に、処理済画像データの画像のみを再生させる。
次に、ユーザが、操作部材250を介して、アップロードしたい画像を決定すると(S1212)、データ転送部270は、決定された画像をSNS等にアップロードする(S1213)。以上で、アップロード処理が完了する。
上述のステップS1211〜ステップS1213のフローでは、処理済画像データの画像のみが再生されているため、セキュリティ保護処理の要否を確認するフローを省略している。したがって、処理時間が短縮される。
一方で、ステップS1210の再生モードの選択において、未処理画像データの画像のみ再生する再生モードが選択された場合、デジタルカメラ100は、ステップS1214に遷移する。ステップS1214では、コントローラ210は、表示モニタ260に、未処理画像データの画像のみを再生させる。
次に、ユーザが、操作部材250を介して、アップロードしたい画像を決定すると(S1215)、ステップS1216に遷移する。ステップS1216では、図12AのステップS1201〜ステップS1205が実行される。
以下、ステップS1216の一例を説明する。まず、ステップS1215で決定された画像に個人情報が含まれるか否かが判断される(ステップS1201)。個人情報が含まれる場合(ステップS1201でYesの場合)は、設定されたセキュリティモードに従って、セキュリティ保護対象が含まれるか否かが判断される(ステップS1202)。決定された画像にセキュリティ保護対象が含まれる場合は(ステップS1202でYesの場合)、警告表示が出力され(S1204)、ユーザが最終的にアップロードするか否かの指示を入力する(S1205)。そして、ユーザの指示に従って、アップロード処理する場合(S1205でYesの場合)は、アップロード処理が実行される(S1203)。これにより、アップロード処理が終了する。
なお、ステップS1205で画像をアップロードする前に、セキュリティ保護処理を実行できるようにしてもよい。
ステップS1214〜ステップS1216のフローでは、未処理画像データの画像のみが再生されているため、セキュリティ保護処理の要否の確認フロー(ステップS1201〜S1205)が実行される。したがって、画像をアップロードする際に、個人情報の流出を抑制できる。
さらに、ステップS1210で、ユーザが、処理済画像データと未処理画像データの画像の両方を再生する再生モードを選択した場合、デジタルカメラ100は、ステップS1217に遷移する。ステップS1217では、コントローラ210は、表示モニタ260に、処理済画像データ及び未処理画像データの両方の画像を再生させる。
次に、ユーザが、操作部材250を介して、アップロードしたい画像を決定すると(S1212)、コントローラ210は、決定された画像が処理済画像データの画像か否かを判断する(S1219)。
ステップS1219で、画像が処理済画像データの画像であると判断された場合(S1219でYesの場合)、データ転送部270は、決定された画像をSNS等にアップロードする(S1220)。以上で、アップロード処理が完了する。
一方、ステップS1219で、画像が処理済画像データの画像ではないと判断された場合(S1219でNoの場合)、コントローラ210は、ステップS1216へ遷移する。ステップS1216では、上述の通り、セキュリティ保護処理の要否の確認フローを経て、アップロード処理が実行される。以上で、アップロード処理が完了する。
ステップS1217〜ステップS1220のフローでは、処理済画像データの画像と未処理画像データの画像の両方が再生されるため、コントローラ210は、アップロード予定の画像がいずれのデータの画像かを判断する。そしてコントローラ210は、未処理画像データの画像については、セキュリティ保護処理の確認フローを実行する。一方で、処理済画像データの画像については、セキュリティ保護処理の確認フローを省略する。したがって、画像をアップロードする際に、個人情報を保護できる。または、無用な処理時間が短縮される。
以上より、実施の形態3では、ユーザは、複数の再生モードから所望の再生モードを選択できる。複数の再生モードには、処理済画像データの画像のみを再生する再生モードと、未処理画像データの画像のみを再生する再生モードと、両方のデータの画像を再生するモードと、を含む。これにより実施の形態3は、アップロード時において、個人情報を保護できる。また、無用な処理時間が短縮される。
なお、実施の形態3では、アップロード時の再生モードを例に挙げたが、例えば印刷時、鑑賞時、又はデータ転送時など、種々の場合の再生時における再生モードに適用できる。
また、実施の形態3の再生モードは、実施の形態1、又は実施の形態2で記録された画像を再生する際の再生モードに応用できる。
(実施の形態4)
実施の形態4では、ユーザは、撮影前及び撮影後の少なくとも一方で、セキュリティモードの詳細設定が可能である。また実施の形態4では、登録された顔情報に基づいて、対象被写体が設定できる。また、実施の形態4は、対象被写体の選択肢に、プロフィールのセキュリティ保護処理の要否を参照する項目を有する。
プロフィールとは、メモリカード230に登録された、個人情報である。図15は、メモリカード230に登録されたプロフィールを、表示モニタ260で表示した画面の例である。プロフィールには、被写体となり得る人物の、顔写真、名前、誕生日、及びセキュリティ保護処理の要否が登録されている。実施の形態4では、プロフィールに登録される顔(顔写真)は、個人認証のために使用される。「セキュリティ保護処理の要否」とは、より具体的に、「個人情報のSNSへの投稿の可否」であってもよい。例えば、図15のプロフィールには、Emilyについて、セキュリティ保護処理が「要」であることが記録されている。
ユーザは、撮影前及び撮影後の少なくとも一方において、セキュリティモードを設定する際に、図14に示すような表示モニタ260の画面から、対象被写体を設定できる。ユーザが、対象被写体Vを選択すると、コントローラ210は、プロフィールのセキュリティ保護処理の要否を参照し、対象被写体を設定する。つまり、図15のEmilyは、対象被写体として設定される。
したがって、例えば撮影前に対象被写体Vのセキュリティモードが設定されている場合は、撮影の際に、コントローラ210は、検出部(図1の190)に顔認識を実行させ、被写体に含まれる顔と、Emilyの顔とが合致するか否かを判断させる。コントローラ210は、合致すると判断した場合、Emilyのプロフィールを参照し、セキュリティ保護要否が「要」か否かを判断する。コントローラ210が、セキュリティ保護要否が「要」であると判断した場合、Emilyは対象被写体となる。そして、設定されたセキュリティモードに従って、Emilyの個人情報(たとえば顔、指紋、及び名札など)にセキュリティ保護処理が実行される。
一方で、撮影後にセキュリティモードが設定される場合は、コントローラ210は、検出部(図1の190)に、メモリカード230から読み出された所望の画像に対し、顔認識を実行させる。そしてコントローラ210は、検出部190に、画像の被写体に含まれる顔と、Emilyの顔とが合致するか否かを判断させる。コントローラ210は、合致すると判断した場合、Emilyのプロフィールを参照し、セキュリティ保護要否が「要」か否かを判断する。コントローラ210が、セキュリティ保護要否が「要」であると判断した場合、Emilyが対象被写体となる。そして、設定されたセキュリティモードに従って、Emilyの個人情報(たとえば顔、指紋、及び名札など)にセキュリティ保護処理が実行される。
なお、図14では、対象被写体の選択肢に、対象被写体Sを含む構成を開示している。ここで、対象被写体Sは、登録情報の有無に関わらず、顔認証した顔を有する全ての被写体を対象被写体とするモードである。しかし、図16のように、対象被写体は、対象被写体Sを含まなくてもよい。つまり、図16の例では、登録情報の有無、及びプロフィールのセキュリティ保護処理要否の少なくとも一つに基づいて、対象被写体が選択できるように構成されている。なお、図16の例では、対象被写体Vと対象被写体Nとが選択されている。これにより、対象被写体V、つまりプロフィールでセキュリティ保護処理が「要」と設定されている人物と、対象被写体N、つまり個人認証登録されていない人物とが、対象被写体となる。
まとめると、実施の形態4では、コントローラ210は、以下の第1〜第3の制御のうち、少なくとも一つを実行するように構成されている。
第1の制御は、図16の対象被写体Wが設定された場合の制御である。コントローラ210は、検出部190に、検出部190で検出された顔と、記録された顔情報とが合致した場合に、顔に対応付けられたセキュリティ保護対象を検出させる。つまり、個人認証のために登録された被写体のセキュリティ保護対象に対し、セキュリティ保護処理が実行される。
第2の制御は、対象被写体Nが設定された場合の制御である。コントローラ210は、検出部190で検出された顔と、記録された顔情報とが合致しない場合に、顔に対応付けられたセキュリティ保護対象を検出させる。つまり、個人認証のために登録されていない被写体のセキュリティ保護対象に対し、セキュリティ保護処理が実行される。
第3の制御は、対象被写体Vが設定された場合の制御である。コントローラ210は、検出部190で検出された顔と、記録された顔情報とが合致し、かつ登録情報に顔情報とセキュリティ保護対象とを対応付ける旨の情報が含まれるときに、顔に対応付けられたセキュリティ保護対象を検出させる。登録情報とは、プロフィールの情報のことである。顔情報とセキュリティ保護対象とを対応付ける旨の情報とは、例えばプロフィールに紐付けられた、「セキュリティ保護処理が要」との情報である。
以上より、実施の形態4では、登録された顔情報を用いて、画像に含まれる個人情報を保護できる。
また、プロフィールなどの登録情報には、顔情報に対応付けられたセキュリティ保護対象に、セキュリティ保護処理を実行する期間を指定する時刻情報を含んでいてもよい。つまりユーザは、プロフィールに、セキュリティ保護処理が「要」である期間を設定できてもよい。たとえば、ユーザは、図15のEmilyが20歳になるまで(2030年1月1日まで)、セキュリティ保護処理を「要」とするなどの設定が可能である。
これにより、画像に含まれる個人情報を保護するにあたり、ユーザの利便性が増す。
[他の実施の形態]
以上のように、本出願において開示する技術の例示として、実施の形態1〜4を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、及び省略などを行った実施の形態にも適用できる。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。
実施の形態1において、画像処理部170によるマスク処理として、撮影前に、予め登録されたスタンプデータを、セキュリティ保護対象に重畳、又はセキュリティ保護対象と置き換える例を挙げた。しかし、スタンプデータは、撮影後に更新又は追加される場合がある。したがって、撮影後に、記録された画像を読み出して、新たなスタンプデータでマスク処理できるように構成されてもよい。これにより、ユーザの好みのセキュリティ設定モードの選択肢が増える。
また、画像処理部170によるマスク処理は、セキュリティ保護対象を、フィルター処理して解像度を下げた低解像度データ又はピントのずれた画像データと入れ替える処理でもよい。
また、実施の形態1における、セキュリティ保護処理が必要な静止画をアップロードする状況において、図12AのS1205で、後処理としてセキュリティ保護処理が実行されてもよい。
また、実施の形態1では、デジタルカメラ100は、処理済画像データをアップロードするデータ転送部270を備えているが、必ずしもデータ転送部270を備えていなくてもよい。データ転送部270を備えていない場合は、スマートフォンなどで処理済画像データをアップロードさせればよい。
さらに、実施の形態1は、設定されたセキュリティモードを用いて静止画撮影時にセキュリティ保護処理を行う場合について説明したが、動画撮影時においても、設定されたセキュリティモードを用いてセキュリティ保護処理を行えばよい。動画の場合は、各フレームに対し、実施の形態1の、静止画に実行されたセキュリティ保護処理と同様の処理が実行されればよい。
また、実施の形態1では、セキュリティ保護処理として、マスク処理、ぼかし処理、及びスタンプ処理を例に挙げたが、切り抜き処理など、個人情報が保護できれば、他の処理でもよい。
また、実施の形態1では、セキュリティ保護対象の選択肢として、顔と指紋、顔と名札、及び顔と指紋と名札の三つを例に挙げたが、例えば顔のみ、指紋のみ、及び名札のみ、などの選択肢があってもよい。
また、実施の形態1では、顔に対するセキュリティ保護処理の選択肢として、図4の(c)に示すマスク処理とぼかし処理とを例に挙げたが、その他のモザイク処理などがあってもよい。
また、実施の形態1では、指紋と名札に対するセキュリティ保護処理は、予めぼかし処理に決定されている例を挙げたが、顔と同様に、ユーザが選択できてもよい。又は、指紋と名札に対するセキュリティ保護処理が、他のモザイク処理などに決定されていてもよい。さらに、指紋に対するセキュリティ保護処理と、名札に対するセキュリティ保護処理とが、異なっていてもよい。
また、実施の形態1〜実施の形態4において、コントローラ210は、アップロード後に、メモリカード230に、処理済データを削除させてもよい。具体的には、撮像装置は、図17に示すように、セキュリティモードの詳細設定(実施の形態1の詳細設定4に相当)の画面において、「/3:アップロード後に処理済画像データを削除」の設定が選択できるように構成されていてもよい。これにより、メモリカード230に記録されるデータ量を低減できる。
また、実施の形態1〜実施の形態4では、複数のセキュリティモードから所望のセキュリティモードを選択できる構成を例示したが、セキュリティモードが選択できるか否かに関わらず、撮影前に設定するセキュリティモードを、アップロード時に応用できる構成自体も、ユーザの利便性を向上させる。
つまり、撮影前に、図3及び図4の設定画面に従ってセキュリティモードが設定された場合、アップロード時においても、同じセキュリティモードが適用されてもよい。この場合、アップロード予定の画像において、設定されたセキュリティモードに基づいて、対象被写体のセキュリティ保護対象にセキュリティ保護処理が実行されたか否かが判断される。
そして、セキュリティ保護処理が実行されていないと判断されれば、セキュリティモードに従ってセキュリティ保護処理が実行されてもよい。そして、処理が完了した後に、画像がアップロードされてもよい。
一方、セキュリティ保護処理が実行されていると判断されれば、そのままアップロードが実行されてもよい。
これにより、ユーザは、個人情報の保護された画像を容易にアップロードできる。なお、このような撮像装置は、以下のように定義できる。つまり撮像装置は、撮影前にセキュリティモードの設定が可能な撮像装置であって、セキュリティ保護処理がなされていない画像として、当該撮像装置以外で撮影されたセキュリティ保護処理がなされていない画像、又は当該撮像装置で撮影されたセキュリティ保護処理がなされていない画像をアップロードする際、前記アップロード時に設定されているセキュリティモードに対応したセキュリティ保護処理を行った後に、アップロードする、撮像装置である。
本開示は、SNSなどに静止画又は動画をアップロードする際に有効なセキュリティ対策を行う撮像装置に適用可能である。具体的には、デジタルカメラ、並びに、カメラ機能を備えるスマートフォン及びタブレット端末などに、本開示は適用可能である。
100 デジタルカメラ
110 光学系
120 レンズ駆動部
130 絞り部
140 シャッタ部
150 CMOS撮像センサ
170 画像処理部
190 検出部
200 セキュリティモード設定部(設定部)
210 コントローラ
220 カードスロット
230 メモリカード
240 内蔵メモリ
250 操作部材
260 表示モニタ
270 データ転送部
本開示は、撮影画像に含まれる個人情報を保護する撮像装置に関する。
デジタルカメラの解像性能がHigh Definition:HDから4K、6K、8Kと進化していく中で、動画及び静止画などの撮影画像から、被写体の個人情報を解読できるようになりつつある。したがって、撮影画像に含まれる個人情報を保護する必要性が高まることが予想される。特にSNS(Social Networking Service)などで情報を発信する際には、撮影画像に含まれる個人情報を保護する技術が求められている。画像に含まれる個人情報を保護する技術としては、特許文献1に記載されている。
特開2009−81635号公報
本開示は、撮影画像に含まれる個人情報を保護する場合に、ユーザの利便性を向上できる。
本開示の第1の態様における撮像装置は、記録部と、設定部と、撮像部と、検出部と、画像処理部と、制御部と、を備える。前記記録部は、顔情報を含む個人認証のための登録情報を記録する。前記設定部は、セキュリティ保護対象が互いに異なる複数のセキュリティモードからセキュリティモードを選択する。前記撮像部は、光学情報から第1の画像データを生成する。前記検出部は、前記第1の画像データから被写体の顔を検出し、検出した前記顔と記録された前記顔情報との照合結果に応じて、前記セキュリティ保護対象を検出する。前記画像処理部は、前記検出部で検出された前記セキュリティ保護対象に、前記セキュリティ保護処理を実行して、第2の画像データを生成する。前記制御部は、選択された前記セキュリティモードに応じて、前記検出部に前記セキュリティ保護対象を検出させるように構成されている。前記制御部は、選択された前記セキュリティモードに応じて、前記画像処理部に前記セキュリティ保護処理を実行させるように構成されている。前記複数のセキュリティモードは、前記登録情報に含まれない他の顔情報を前記セキュリティ保護対象とする第1のセキュリティモードと、前記登録情報に含まれる前記顔情報を前記セキュリティ保護対象とする第2のセキュリティモードを含む。
図1は、実施の形態1のデジタルカメラの電気的構成図である。 図2は、実施の形態1のデジタルカメラの背面図である。 図3は、実施の形態1の静止画撮影モードにおける、設定メニュー画面を示す図である。 図4は、実施の形態1における、セキュリティモードの詳細設定1〜4の画面を示す図である。 図5は、実施の形態1における、(a)個人認証のための登録情報を示す画面と、(b)登録されたスタンプを示す画面と、を示す図である。 図6Aは、実施の形態1における、デジタルカメラの静止画記録動作を示すフローチャートである。 図6Bは、実施の形態2における、デジタルカメラの静止画再生動作を示すフローチャートである。 図7は、実施の形態1における、対象被写体の決定処理を示すフローチャートである。 図8は、実施の形態1における、セキュリティ保護処理前の集合写真を表示モニタに表示した図である。 図9は、実施の形態1における、セキュリティ保護対象の決定処理を示すフローチャートである。 図10は、実施の形態1における、セキュリティ保護処理の決定処理を示すフローチャートである。 図11は、実施の形態1における、マスク処理後の集合写真を表示モニタに表示した図である。 図12Aは、実施の形態1における、アップロード処理を示すフローチャートである。 図12Bは、実施の形態3における、アップロード処理を示すフローチャートである。 図13は、実施の形態1における、(a)アップロード時の画面と、(b)警告メッセージと、を示す図である。 図14は、実施の形態4における、セキュリティモードの詳細設定の画面を示す図である。 図15は、実施の形態4における、登録情報を表示する画面を示す図である。 図16は、実施の形態4の他の例における、セキュリティモードの詳細設定の画面を示す図である。 図17は、他の実施の形態における、セキュリティモードの詳細設定の画面を示す図である。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明、及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
[実施の形態1]
実施の形態1では、撮像装置の一例としてデジタルカメラを挙げる。実施の形態1では、ユーザは、撮影前に、複数のセキュリティモードから所望のセキュリティモードを選択できる。デジタルカメラは、選択されたセキュリティモードに従って、撮影された画像にセキュリティ保護処理を実行する。
[1.デジタルカメラの構成]
実施の形態1に係るデジタルカメラの電気的構成例について、図1を用いて説明する。図1は、デジタルカメラ100の構成を示すブロック図である。デジタルカメラ100は、光学系110により形成された被写体像をComplementary Metal Oxide Semiconductor:CMOS撮像センサ150で撮像する撮像装置である。
CMOS撮像センサ150で生成された画像データは、画像処理部170で各種処理が施され、メモリカード230に格納される。以下、デジタルカメラ100の構成を詳細に説明する。
光学系110は、1又は複数のレンズを含む。光学系110は、たとえばズームレンズ及びフォーカスレンズを含む。ズームレンズを光軸に沿って移動させることにより、被写体像を拡大、又は縮小できる。また、フォーカスレンズを光軸に沿って移動させることにより、被写体像のピントを調整できる。
レンズ駆動部120は、光学系110に含まれる各種レンズを駆動させる。レンズ駆動部120は、例えばズームレンズを駆動するズームモータ、及びフォーカスレンズを駆動するフォーカスモータを含む。
絞り部130は、ユーザの設定に応じて、又は自動で、光の開口部の大きさを調整し、透過する光の量を調整する。
シャッタ部140は、CMOS撮像センサ150に透過させる光を遮光するための手段である。シャッタ部140と、光学系110と、絞り部130とは、被写体像を示す光学情報を制御する光学系ユニットを構成する。
CMOS撮像センサ150は、光学系110で形成された被写体像を撮像して、画像データを生成する。CMOS撮像センサ150は、カラーフィルタと、受光素子と、AGC(Auto Gain Controller)とを含む。受光素子は、光学系110によって集光された光学的信号を電気信号に変換し、画像情報を生成する。AGCは、受光素子から出力された電気信号を増幅する。CMOS撮像センサ150は、さらに、露光、転送、及び電子シャッタなどの各種動作を行うための駆動回路等を含む。
ADC(A/Dコンバータ:アナログ―デジタル変換器)160は、CMOS撮像センサ150で生成されたアナログ画像データを、デジタル画像データに変換する。
画像処理部170は、CMOS撮像センサ150で生成され、変換されたデジタル画像データに対して、コントローラ210の制御を受け、各種処理を施す。例えば、画像処理部170は、CMOS撮像センサ150で生成された画像データに対して、ガンマ補正、ホワイトバランス補正、及び傷補正などの各種処理を行う。また、画像処理部170は、CMOS撮像センサ150で生成された画像データを、H.264規格又はMPEG2規格に準拠した圧縮形式等により圧縮する。
画像処理部170は、表示モニタ260に表示するための画像データを生成する。また、画像処理部170は、メモリカード230に格納するための画像データを生成する。画像処理部170は、DSP(Digital Signal Processor)又はマイクロコントローラなどで実現可能である。また、画像処理部170は、CMOS撮像センサ150で生成された画像データに基づいて、画素数4000×2000前後の静止画及び動画の画像データ(4K動画像データ)を生成できる。または、デジタルカメラ100は、動画像データの画質が画素数8000×4000の8Kに設定できるように構成されてもよい。また、画像処理部170は、CMOS撮像センサ150で生成された画像データに、セキュリティ保護処理を実行し、セキュリティ保護処理済みの画像データを生成する。
以下、セキュリティ保護処理済みの画像データを、処理済画像データと言う。処理済画像データは、本開示の第2の画像データに相当する。また、セキュリティ保護処理が実行される前の画像データを、未処理画像データとする。未処理画像データは、本開示の第1の画像データに相当する。
また、セキュリティ保護処理とは、たとえば、ぼかし加工、モザイク加工、及びマスク加工の少なくとも一つである。ぼかし加工は、ノイズリダクション処理を含む。マスク加工とは、スタンプ及び目隠しなどの少なくとも一つを、画像に重畳又は置き換えする加工である。画像処理部170が、このようなセキュリティ保護処理を実行することにより、処理済画像データが生成される。処理済画像データは、コントローラ210において、未処理画像データと区別される。
検出部190は、画像処理部170で処理された画像データから、個人情報を検出するように構成されている。個人情報とは、個人を特定するための識別情報であり、顔、氏名、及び指紋などの少なくとも一つを含む。
ここで、たとえば検出部190は、公知の顔認識技術を用いて、画像データから被写体の顔を検出するように構成されている。
また、検出部190は、公知の文字認識技術を用いて、文字を検出するように構成されている。検出した文字が、検出した顔に近い場合に、検出した文字は、名札であると判定される。名札には、通常、氏名が記載される。すなわち、検出部190は、氏名を検出するように構成される。
また、検出部190は、検出した顔周辺から、肌色部分を検出するように構成されている。検出した肌色部分が顔に近い場合に、検出した肌色部分には、手が含まれると判定される。さらに、手には指紋が含まれるため、検出した肌色部分には、指紋が含まれると判定される。すなわち、検出部190は、指紋を検出するように構成されている。なお、検出部190は、検出した顔周辺の画像パターンから、手のひら又は指を検出するように構成されてもよい。
また、検出部190は、個人認証のための登録情報、及び被写体のプロフィールなどの登録情報の少なくとも一方に、特定の個人の顔情報が登録されている場合は、後述のように、撮影画像から顔認識技術を用いて顔を検出し、さらに、検出した顔が登録されている顔情報と一致するか否かを識別するように構成されている。
セキュリティモード設定部200は、複数のセキュリティモードから所望のセキュリティモードを選択し、設定する。セキュリティモード設定部200は、表示モニタ260及び操作部材250と接続されている。ユーザは、表示モニタ260の設定画面に従い、操作部材250を介して、セキュリティモードを選択する。操作部材250は、ユーザの選択を受け付け、セキュリティモード設定部200に出力する。
コントローラ210は、デジタルカメラ100の全体を制御する制御手段である。コントローラ210は、検出部190及びセキュリティモード設定部200の機能を実現する。コントローラ210は、半導体素子などで実現可能である。コントローラ210は、ハードウェアのみで構成されてもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現されてもよい。コントローラ210は、マイクロコントローラ、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、ASIC(Application Specific Integrated Circuit)、又はFPGA(Field‐Programmable Gate Array)などで実現できる。
バッファ180は、画像処理部170及びコントローラ210のワークメモリとして機能する。バッファ180は、例えば、DRAM(Dynamic Random Access Memory)、又は強誘電体メモリなどで実現できる。
カードスロット220は、メモリカード230を着脱可能である。カードスロット220は、機械的及び電気的にメモリカード230と接続される。
メモリカード230は、フラッシュメモリ又は強誘電体メモリなどを内部に含む。メモリカード230は、画像処理部170で生成された画像ファイル等のデータを格納するように構成される。
内蔵メモリ240は、フラッシュメモリ又は強誘電体メモリなどで構成される。内蔵メモリ240は、デジタルカメラ100全体を制御するための制御プログラム等を記憶している。
操作部材250は、ユーザからの操作を受け付けるユーザーインターフェースの総称である。操作部材250は、ボタン、ダイヤル、レバー、及びタッチパネル等の少なくとも一つで構成される。タッチパネルは、表示モニタ260と一体に配置される。ボタンとは、例えば、図2に示す選択ボタン213及び決定ボタン214等を含む。
表示モニタ260は、CMOS撮像センサ150で生成した画像データが示す画像(スルー画像)、及び、メモリカード230から読み出した画像データが示す画像の少なくとも一方を表示するように構成されている。また、表示モニタ260は、デジタルカメラ100の各種設定を行うための各種メニュー画面等も表示するように構成されている。表示モニタ260は、液晶表示デバイス又は有機EL(Electro Luminescence)表示デバイスで構成される。
データ転送部270は、画像処理部170で生成された画像データを、SNS等にアップロードするように構成されている。ユーザは、表示モニタ260に表示される画面に従いながら、表示モニタ260に表示される画像を、操作部材250により選択し、アップロードする画像を決定する。
図2は、デジタルカメラ100の背面を示した図である。図2に示すように、操作部材250は、たとえばレリーズボタン211、選択ボタン213、決定ボタン214、及び動画記録ボタン217等を含む。操作部材250は、ユーザによる操作を受け付けると、コントローラ210に種々の指示信号を送信する。
レリーズボタン211は、二段押下式の押下ボタンである。レリーズボタン211がユーザにより半押し操作されると、コントローラ210は、オートフォーカス制御(AF制御)、及びオート露出制御(AE制御)などを実行する。また、レリーズボタン211がユーザにより全押し操作されると、コントローラ210は、押下操作のタイミングに撮像された画像を、記録画像としてメモリカード230等に記録する。
選択ボタン213は、上下左右方向に設けられた押下式ボタンである。ユーザは、選択ボタン213のいずれかの方向を押下することにより、カーソルを移動したり、表示モニタ260に表示される各種条件項目を選択したりできる。
決定ボタン214は、押下式ボタンである。デジタルカメラ100が撮影モード又は再生モードにあるときに、決定ボタン214がユーザにより押下されると、コントローラ210は表示モニタ260にメニュー画面を表示する。メニュー画面は、撮影及び再生のための各種条件の設定を受け付けるための画面である。各種条件の設定項目が選択されているときに、決定ボタン214が押下されると、コントローラ210は、選択された項目の設定を確定する。
[2.デジタルカメラの動作]
実施の形態1のデジタルカメラ100は、動作モードとして、静止画記録モードと、動画記録モードと、再生モードと、を有する。静止画記録モードは、静止画を記録するための動作モードである。動画記録モードは、動画を記録するための動作モードである。再生モードは、記録した画像を再生するための動作モードである。さらに、静止画記録モード及び動画記録モードは、それぞれ撮影画像のプライバシーを保護するための複数のセキュリティモードを含む。
[2.1 セキュリティモード]
セキュリティモードは、撮影画像に含まれる個人情報を保護するためのモードである。セキュリティモードは、特にSNSに画像をアップロードするなどの情報発信のときの、個人情報を保護する目的で用いられる。
実施の形態1では、ユーザは、静止画又は動画の撮影前に、複数のセキュリティモードから所望のセキュリティモードを選択できる。複数のセキュリティモードは、互いに種々の詳細設定の組み合わせが異なる。ユーザは、これらの詳細設定を、それぞれ所望の条件に設定することで、所望のセキュリティモードに設定できる。
実施の形態1において、セキュリティモードの詳細設定とは、詳細設定1〜4を含む。詳細設定1は、セキュリティ保護処理の対象となる被写体(以下、対象被写体という)の設定である。詳細設定2は、セキュリティ保護処理を実行する対象(以下、セキュリティ保護対象という)の設定である。詳細設定3は、セキュリティ保護処理の設定である。詳細設定4は、セキュリティ保護処理が施された処理済画像データと、セキュリティ保護処理が施されていない未処理画像データとの、記録方式の設定である。
詳細設定1で設定される対象被写体には、例えば、第1の対象被写体と、第2の対象被写体と、第3の対象被写体と、が含まれる。第1の対象被写体は、検出部190で顔認識された顔を有する被写体を全て含む。第2の対象被写体は、個人認証のために登録されていない顔を有する被写体である。第3の対象被写体は、個人認証のために登録された顔を有する被写体である。
なお、個人認証とは、たとえば、予め顔情報が登録されている場合に、検出部190が、撮影画像に含まれる顔と顔情報とを照合することにより、コントローラ210が、特定の個人を識別できるようにする処理である。図5の(a)は、個人認証のための登録情報を示す画面である。実施の形態1では、セキュリティモードを設定する前に、ユーザが、図5の(a)に示すように、AさんとBさんの名前と、顔情報とをメモリカード230に登録しているものとする。
また、詳細設定2で設定されるセキュリティ保護対象とは、個人を特定する識別情報である。セキュリティ保護対象は、たとえば、顔、指紋、及び名札(氏名)等の少なくとも一つである。
次に、セキュリティモードを選択する動作、すなわち詳細設定1〜4を設定する動作を説明する。図3は、静止画撮影モードの設定メニュー300を表示する画面を示す。ユーザが、設定メニュー300から「セキュリティ保護」を選択すると、画面は図4に移り、ユーザは、セキュリティモードの詳細設定ができる。
ここで図3では、図4のセキュリティモードの詳細設定1〜4を経て、セキュリティモードが“Na3/1”と設定されている場合を示す。以下、ユーザが、セキュリティモードを“Na3/1”に設定する場合を例に、セキュリティモードの選択動作を説明する。
まずユーザは、図3の設定メニュー300を表示させた状態において、選択ボタン213を用いて、カーソルを「セキュリティ保護」に移動させる。カーソルを「セキュリティ保護」に移動させると、画面には、右を向いた▲印301が出てくる。その状態で、ユーザが選択ボタン213の右ボタンを押下すると、図4の(a)に示すセキュリティモードの詳細設定1の画面310に遷移する。
図4の(a)の画面310では、ユーザは3つの対象被写体S,N,Wから特定の対象被写体を設定することができる。また、図4の(a)の画面310では、ユーザは、対象被写体をOFFに設定することもできる。OFFに設定されると、セキュリティ保護処理は実行されない。
図4の(a)に示す対象被写体Sは、顔認識された顔を有する全ての被写体であり、上述の第1の対象被写体に相当する。対象被写体Nは、個人認証のために登録されていない顔を有する被写体であり、上述の第2の対象被写体に相当する。対象被写体Wは、個人認証のために登録された顔を有する被写体であり、上述の第3の対象被写体に相当する。
図4の(a)では、ユーザが、決定ボタン214を用いて対象被写体Nを選択した場合を示している。つまり、ユーザは、個人認証のために登録されていない顔を有する被写体を、対象被写体として選択している。たとえば、ユーザが、図5の(a)に示すように、AさんとBさんとを個人認証するために登録している場合は、デジタルカメラ100は、AさんとBさん以外の顔を有する被写体を、対象被写体とする。
図4の(a)の画面310で対象被写体Nが選択されると、画面310には、右を向いた▲印が表示される(図4の(a)には図示せず)。その状態で、ユーザが選択ボタン213の右ボタンを押下すると、図4の(b)に示すセキュリティモードの詳細設定2の画面320に遷移する。
図4の(b)の画面320では、セキュリティ保護対象を選択できる。たとえば図4の(b)の画面320では、ユーザは、3つのセキュリティ保護対象(すなわち、セキュリティ保護対象a、セキュリティ保護対象b、及びセキュリティ保護対象c)から、所望のセキュリティ保護対象を選択できる。ここで、実施の形態1では、セキュリティ保護対象a〜cが、以下のように、予め設定されているものとする。
セキュリティ保護対象aは、図4の(a)で選択された対象被写体の、顔と指紋(肌色データ)と名札(文字データ)である。セキュリティ保護対象bは、図4の(a)で選択された対象被写体の、顔と指紋(肌色データ)である。セキュリティ保護対象cは、図4の(a)で選択された対象被写体の、顔と、対象被写体の胸元周辺にある名札(文字データ)である。
図4の(b)の例では、ユーザが、決定ボタン214を用いてセキュリティ保護対象aを選択した場合を示している。セキュリティ保護対象が選択されると、右を向いた▲印が表示され、ユーザが、選択ボタン213の右ボタンを押下すると、図4の(c)に示すセキュリティモードの詳細設定3の画面330に遷移する。
図4の(c)の画面330では、ユーザは、セキュリティ保護処理を設定できる。つまり、図4の(c)の画面330では、詳細設定1で選択された対象被写体における、詳細設定2で選択されたセキュリティ保護対象に対して、どのような画像処理を実行するかの選択を受け付ける。なお、実施の形態1では、ユーザは、図4の(c)の画面330において、全てのセキュリティ保護対象に対する画像処理を選択するのではなく、顔に対するセキュリティ保護対象のみを選択するものとする。また、指紋と名札に対しては、予め、ぼかし処理をするように決定されているものとする。
図4の(c)では、セキュリティ保護処理として、たとえばマスク処理であるセキュリティ保護処理1〜4と、ぼかし処理であるセキュリティ保護処理5とが選択できる例を示している。マスク処理であるセキュリティ保護処理1〜3は、各々、図5の(b)に示すスタンプ1〜3をセキュリティ保護対象に重畳又は置換する処理である。スタンプ1〜3は、デジタルカメラ100に、予め登録されているスタンプとする。マスク処理であるセキュリティ保護処理4は、新規登録されたスタンプをセキュリティ保護対象に重畳又は置換する処理である。新たなスタンプは、インターネット等を介して、ユーザが入手できるスタンプである。ぼかし処理であるセキュリティ保護処理5は、リサイズ処理などを含む。
図4の(c)の例では、ユーザが、決定ボタン214を用いてマスク処理3を選択した場合の画面330を示している。ユーザがセキュリティ保護処理を選択すると、右を向いた▲印が表示され、ユーザが選択ボタン213の右ボタンを押下すると、図4の(d)に示すセキュリティモードの詳細設定4の画面340に遷移する。
図4の(d)の画面340では、ユーザが、未処理画像データを、処理済画像データと同時期に、メモリカード230に記録するか否かを設定できる。図4の(d)の「/1」は、同時期に記録する場合を示し、「/2」は同時期に記録しない場合を示す。図4の(d)の例では、ユーザが、決定ボタン214を用いて、同時期に記録する設定「/1」を選択した場合を示している。なお、「同時期に記録する」とは、完全に同じタイミングにメモリカード230に記録することを意味するのではなく、「一連の動作として記録する」という意味である。つまり、「未処理画像データは、処理済画像データと同時期に記録される」、とは、「処理済画像データが記録される場合は、未処理画像データも記録される」、という意味である。
デジタルカメラ100において、セキュリティ保護対象とセキュリティ保護処理とが固定されていると、ユーザの好み又は考えに対応できず、ユーザの利便性が損なわれる場合がある。そこで実施の形態1のデジタルカメラ100は、ユーザが、撮影前に、複数のセキュリティモードから、好みのセキュリティモードを選択できるように構成されている。具体的には、デジタルカメラ100は、セキュリティ保護対象とセキュリティ保護処理との少なくとも一方について、ユーザが選択できるように構成されている。
このように、実施の形態1のデジタルカメラ100は、ユーザのセキュリティ保護に対するニーズに対して個別に対応できるので、利便性が向上する。また実施の形態1では、デジタルカメラ100は、ユーザが対象被写体も選択できるように構成されている。したがって、ユーザの利便性がより向上する。
また、実施の形態1では、デジタルカメラ100は、ユーザが、未処理画像データの記録方式も選択できるように構成されている。したがって、ユーザの利便性が向上する。
図4の例では、セキュリティモード設定部200は、セキュリティモードを、例えば“Na3/1”に設定でき、ユーザは、図3の画面でその設定を確認できる。
[2.2 静止画記録動作]
次に、静止画を記録するための静止画記録モードを説明する。図6Aは、デジタルカメラの静止画記録動作を示すフローチャートである。
ユーザが、デジタルカメラ100の電源をオン(ON)にすると、デジタルカメラ100は、光学系110によってCMOS撮像センサ150に結像された被写体像を、画像処理部170及びコントローラ210を介して表示モニタ260に表示する。このとき、表示モニタ260に表示される被写体像であるスルー画像は、CMOS撮像センサ150から得られる画像データを順次表示することで実現される動画像である。
デジタルカメラ100において、ユーザが、レリーズボタン211を半押しすると、コントローラ210は、画像処理部170から得られる被写体像のコントラスト値が最大値になるように、コントラストAF処理を実行する。コントラストAF処理は、具体的には、フォーカスレンズを移動させる処理である。
次に、コントローラ210は、ユーザが、レリーズボタン211を全押ししているか否かを判定する(S600)。レリーズボタン211が全押しされていない場合(ステップS600でNoの場合)、コントローラ210は、ステップS600の処理に戻る。レリーズボタン211が全押しされている場合(ステップS600でYesの場合)、コントローラ210は、ステップS601の処理に進む。
ステップS601では、コントローラ210は、撮影動作を行うよう、光学系110、CMOS撮像センサ150、及び画像処理部170を制御し、静止画を撮影して静止画データをバッファ180に格納する。撮影された静止画は、図8に示すように、表示モニタ260に表示される。
次に、ステップS602では、検出部190は、画像処理部170で処理された画像データから、顔認識技術を用いて、被写体の顔を検出する。検出部190が顔を検出できない場合(ステップS602でNoの場合)、コントローラ210は、ステップS610の処理に進む。
ステップS610では、コントローラ210は、押下操作のタイミングに撮像された画像データを、セキュリティ保護処理を行うことなく、未処理画像データとしてメモリカード230に記録する。
ステップS602で、検出部190が顔を検出した場合(ステップS602でYesの場合)、コントローラ210は、ステップS603の処理に進む。なお、実施の形態1では、ステップS602で、顔として、図8に示すように被写体A〜Gのそれぞれの顔が検出されたとする。
ステップS603では、コントローラ210は、対象被写体を決定する。ステップS603の詳細を、図7に示す。図7は、対象被写体の決定処理を示すフローチャートである。ステップS700では、検出部190は、例えば図8に示す静止画から検出した顔について、個人認証を実行する。具体的には、検出部190は、静止画から検出した顔が、登録情報に登録された顔情報の顔と合致するか否かを判断する。
実施の形態1では、たとえば、図5の(a)に示すように、被写体AとBとが、個人認証のために登録されているとする。この場合、検出部190は、図8の被写体A,Bの顔情報は、個人認証のために登録された情報として認識し、被写体C〜Gの顔情報は登録されていない情報として認識する。
次に、ステップS701では、コントローラ210は、ユーザが、事前に、対象被写体の設定をONとOFFのいずれに設定しているかを判断する。実施の形態1では、図4の(a)に示すように、ユーザは、事前に対象被写体の設定を行っているので(ステップS701でON)、次のステップS702に移行する。
ステップS702では、コントローラ210は、事前に設定された対象被写体が、対象被写体S,対象被写体N,及び対象被写体Wのいずれであるかを判定する。対象被写体Sに設定されている場合、コントローラ210は、ステップS703に進む。ステップS703では、検出部190が顔認識した顔を有する全ての被写体を対象被写体として決定する。この場合、予め、個人認証用に顔情報を登録しておかなくても、撮影すると、検出部190が全ての被写体を対象被写体に決定し、個人情報の保護に配慮した画像データを得られる。
ステップS702で、コントローラ210が、対象被写体Nが設定されていると判断した場合、ステップS704に進む。ステップS704では、個人認証のために登録されていない被写体を、対象被写体として決定する。この場合、例えば、予め自分の顔及び自分の子供の顔などを個人認証するように設定して撮影すると、コントローラ210は、検出部190が顔認識に基づいて認識した、自分及び子供以外の他人を、対象被写体に決定する。従って、自分と子供以外のプライバシーに配慮した画像データを得られる。
ステップS702で、コントローラ210が、対象被写体Wが設定されていると判断した場合、ステップS705に進む。ステップS705では、登録情報に登録されている被写体のみを対象被写体に決定する。この場合、例えば、予め自分の子供の顔などを個人認証するように設定して撮影すると、コントローラ210は、検出部190によって検出された子供を、対象被写体に決定する。したがって、子供のプライバシーに配慮した画像データを得られる。実施の形態1では、図4の(a)に示すように、対象被写体Nが事前に設定されているので、登録されていない被写体(図8の被写体C〜G)が対象被写体となる。以上より、対象被写体が決定される。
対象被写体が決定されると、図6AのステップS604に進む。ステップS604では、対象被写体の顔周辺に位置するセキュリティ保護対象を決定する。このステップS604の詳細を図9に示す。図9は、セキュリティ保護対象の決定処理を示すフローチャートである。ステップS900では、コントローラ210は、検出部190が認識した顔情報の周辺を検索したか否かを判定する。具体的には、検出部190が、認識した顔情報の周辺に位置する肌色データ及び文字データの少なくとも一方を検出したか否かを判断する。肌色データには、指紋が含まれる。文字データには、名札が含まれる。肌色データ及び文字データのいずれも検出しなかった場合(ステップS900でNoの場合)は、セキュリティ保護対象の決定処理を終了する。つまり、図6AのステップS604の処理を終了し、ステップS605に移行する。
一方で、図9のステップS900で、肌色データ及び文字データの少なくとも一方が検出された場合(ステップS900でYesの場合)は、ステップS901に移行する。
ステップS901では、コントローラ210は、セキュリティモード設定部200が、ユーザの指示により、事前に、セキュリティ保護対象の設定を、ONとOFFとのいずれに設定したかを判断する。セキュリティ保護対象の設定がOFFである場合(ステップS901でOFFの場合)、セキュリティ保護対象の決定を終了し、ステップS605に進む。一方で、実施の形態1では、図4の(b)に示すように、事前にセキュリティ保護対象の設定を行っているので(ステップS901でON)、次のステップS902に移行する。
ステップS902では、コントローラ210は、事前に設定されたセキュリティ保護対象が、セキュリティ保護対象a,b,cのいずれであるかを判定する。
ステップS902で、セキュリティ保護対象cが設定されていると判断された場合は、ステップS903に進む。ステップS903では、コントローラ210は、対象被写体の顔と、対象被写体の顔周辺、たとえば胸元周辺に位置する文字とを、セキュリティ保護対象として決定する。つまり、コントローラ210は、顔認識した被写体の顔と、首より下の胸周辺に位置する名札(氏名)とを、相互に紐付けたうえで、顔と名札をセキュリティ保護対象とする。
一方で、ステップS902で対象被写体aが設定されていると判断された場合は、ステップS904に進む。ステップS904では、顔と、顔周辺の肌色データと、胸元周辺に位置する文字データとが、セキュリティ保護対象として決定される。このため、コントローラ210は、顔認識した被写体の顔と、首より下の胸周辺に位置する名札(氏名)と、顔周辺のピースサイン又は手のひらの指紋部分とを相互に紐付けたうえで、顔と、名札と、指紋とをセキュリティ保護対象とする。
さらに、ステップS902で、セキュリティ保護対象bが設定されていると判断された場合は、ステップS905に進む。ステップS905では、顔と、顔周辺の肌色データとをセキュリティ保護対象と決定する。このため、コントローラ210は、顔認識した被写体の顔と、顔情報周辺のピースサイン又は手のひらの指紋部分とを相互に紐付けたうえで、顔と指紋とをセキュリティ保護対象とする。以上より、セキュリティ保護対象の決定フローが終了する。
セキュリティ保護対象が決定されると、図6AのステップS605に進む。ステップS605では、セキュリティ保護処理を決定する。ステップS605の詳細を、図10に示す。図10は、セキュリティ保護処理の決定処理を示すフローチャートである。図10では、セキュリティ保護対象が顔である場合について、説明する。
図10のステップS1000では、検出部190は、検出したセキュリティ保護対象の大きさに応じて、処理する領域の大きさを決定する。このため、互いに大きさの異なる複数のスタンプデータを、マスク処理用に予め登録しておく必要がなくなる。またセキュリティ保護対象毎に、スタンプの大きさを手動で設定する必要がなくなる。
次に、ステップS1001では、コントローラ210は、事前に設定されたセキュリティ保護処理が、たとえば図4の(c)のセキュリティ保護処理1〜3、4、5のいずれであるかを判定する。
ステップS1001で、セキュリティ保護処理4が設定されていると判断された場合は、ステップS1002に進む。ステップS1002では、セキュリティ保護処理を、セキュリティ保護対象に新規スタンプを重畳又は置換するマスク処理に決定する。
一方で、ステップS1001で、セキュリティ保護処理1〜3が設定されていると判断された場合は、ステップS1003に進む。ステップS1003では、セキュリティ保護処理を、セキュリティ保護対象である顔に、既存スタンプを重畳又は置換するマスク処理に決定する。
さらに、ステップS1001で、セキュリティ保護処理5が設定されたと判断された場合、ステップS1004に進む。ステップS1004では、セキュリティ保護処理を、セキュリティ保護対象をぼかす、ぼかし処理に決定する。
実施の形態1では、図4の(c)に示すように、事前にセキュリティ保護処理3に設定されている。したがって、セキュリティ保護処理として、セキュリティ保護対象に、図5の(b)のスタンプ3が重畳される、マスク処理が設定される。又は、セキュリティ保護処理として、セキュリティ保護対象がスタンプ3に置換される、マスク処理が設定される。以上より、セキュリティ保護処理が決定される。
セキュリティ保護処理が決定されると、図6AのステップS606に進む。ステップS606では、ステップS603で決定された対象被写体と、ステップS604で決定されたセキュリティ保護対象と、ステップS605で決定されたセキュリティ保護処理と、に従って、画像処理部170が、CMOS撮像センサ150により生成された画像データに、セキュリティ保護処理済情報を付加して、処理済画像データを生成する。
例えば、セキュリティ保護対象として、図8に示す被写体C〜Gの顔が設定され、かつ顔については、図5の(b)に示すスタンプ3を用いてマスク処理を行い、指紋及び名札にはぼかし処理を行う、セキュリティ保護処理が設定されている場合、図11に示すような処理済画像データが生成される。つまり、処理済画像データには、セキュリティ保護処理済情報(この例ではマスク350とぼかし処理のデータ)が、画像データに付加されている。このため、ユーザは、非可逆的な加工済みの画像データを記録できる。そして、ユーザは、個人情報が保護された画像データを得られる。また、コントローラ210は、マスク処理、又はぼかし処理といった、セキュリティ保護処理の種類に関わらず、セキュリティ保護処理をしていない画像との区別が可能となる。
次に、ステップS607では、コントローラ210は、事前の詳細設定4に基づき、未処理画像データを、処理済画像データと同時期に記録するか否かを判定する。たとえば、ユーザが、事前に、セキュリティ保護済画像データと未処理画像データとを同時期に記録すると設定している場合、ステップS607で、同時期に記録すると判断され(ステップS607でYes)、ステップS608に進む。
ステップS608では、処理済画像データと未処理画像データとが、メモリカード230に同時期に記録される。処理済画像データと未処理画像データとが同時期に記録される場合は、印刷用、又はユーザが所有する個人アルバムでの鑑賞用に、アップロード用とは別のセキュリティ保護処理されていない画像を撮影できる。
一方で、ステップS607で、同時期に記録しないと判断されると(ステップS607でNo)、ステップS609に進む。ステップS609では、処理済画像データのみがメモリカード230に記録される。
以上で実施の形態1の静止画記録動作が終了する。以上のようにユーザは、セキュリティ保護対象を意識しなくても、所望の被写体の個人情報に配慮した画像を撮影できる。または、ユーザは、手動でセキュリティ保護対象の場所を決定しなくても、所望の被写体の個人情報に配慮した画像を撮影できる。その結果、ユーザは、撮影に集中できる。
[2.3 アップロード動作]
次に、静止画記録モードで記録した静止画をアップロードするための動作を説明する。図12Aは、アップロード処理を示すフローチャートである。
まず、S1200では、ユーザは、表示モニタ260を見ながら、アップロードしたい静止画を決定する。具体的には、図13の(a)に示すように、アップロード時の画面には、表示されている静止画をアップロードするか否かを問い質すメッセージが表示される。ユーザは、表示された静止画をアップロードしたい場合は、決定ボタン214を押下して、“はい”を選択する。これにより、アップロードしたい画像が決定される。
その後、ステップS1201では、検出部190は、メモリカード230に記録された画像データから、被写体の顔、指紋、又は名前のような個人情報を検出する。
ステップS1201で、個人情報が検出されない場合(ステップS1201でNoの場合)、ステップS1203に移行し、コントローラ210は、データ転送部270にアップロード処理を実行させる。
一方で、ステップS1201で、個人情報が検出されれば(ステップS1201でYes)、次のステップS1202に移行する。
S1202では、コントローラ210はアップロード予定の静止画に、セキュリティ保護対象が含まれるか否かを、セキュリティモード設定部200に設定された情報に基づいて判断する。すなわち、設定されているセキュリティモードが、個人認証で登録されていない被写体の顔と、その顔周辺の指紋及び名札とをセキュリティ保護対象とするモードである場合、アップロードする静止画に、まだセキュリティ保護処理が実行されていないセキュリティ保護対象が含まれるか否かを判断する。
ステップS1202で、セキュリティ保護対象が含まれないと判断された場合(ステップS1202でNoの場合)、ステップS1203に移行する。ステップS1203では、コントローラ210は、データ転送部270に静止画のアップロード処理を実行させる。
一方で、ステップS1202において、コントローラ210が、アップロード予定の静止画に、セキュリティ保護対象が含まれると判断した場合は、ステップS1204において、コントローラ210は、表示モニタ260に警告表示を表示させる。
仮に、図13の(b)に示すように、全ての被写体A〜Gの各顔データがセキュリティ保護対象に設定されている場合であって、被写体A,Bの顔にセキュリティ保護処理が実行されていない場合、コントローラ210は、アップロード予定の静止画に、セキュリティ保護対象が含まれると判断できる。したがって、コントローラ210は、表示モニタ260に、図13の(b)に示すような警告メッセージを表示させる。このため、ユーザが未処理画像データをSNS等にアップロードする前に、個人情報の保護に関する注意が喚起される。ユーザは、警告画面を確認し、アップロードするか否かを選択できる(S1205)。
ステップS1205で、ユーザがアップロードする選択をした場合(S1205でYesの場合)、ステップS1203に遷移し、アップロード処理が実行される。一方で、ステップS1205で、ユーザがアップロードしない選択をした場合(S1205でNoの場合)、アップロードすることなく処理を終了する。
実施の形態1のアップロード動作において、ユーザは、セキュリティ保護処理できるデジタルカメラ100によって撮影されていない画像データ(つまり、未処理画像データ)、又は、デジタルカメラ100によって撮影された画像データであって、セキュリティモードの設定をOFFにして撮影された画像データ(つまり、未処理画像データ)をアップロードする際に、その画像データにセキュリティ保護対象が含まれるか否かを認識できる。
したがって、ユーザが、個人情報の保護対策がなされていない静止画を、誤ってSNS等にアップロードしてしまうことが抑制される。
[3.まとめ]
以上のように、実施の形態1にかかる撮像装置(デジタルカメラ100)は、設定部(セキュリティモード設定部200)と、撮像部(CMOS撮像センサ150)と、検出部(検出部190)と、画像処理部(画像処理部170)と、制御部(コントローラ210)と、を備える。セキュリティモード設定部200は、セキュリティ保護対象とセキュリティ保護処理との組み合わせが互いに異なる複数のセキュリティモードから特定のセキュリティモードを選択する。CMOS撮像センサ150は、光学情報から第1の画像データ(未処理画像データ)を生成する。検出部190は、未処理画像データに基づいて、セキュリティ保護対象を検出する。画像処理部170は、検出部190で検出されたセキュリティ保護対象に、セキュリティ保護処理を実行して、第2の画像データ(処理済画像データ)を生成する。コントローラ210は、選択されたセキュリティモードに応じて、検出部190にセキュリティ保護対象を検出させる。また、コントローラ210は、画像処理部170に、セキュリティ保護処理を実行させる。
これにより、ユーザは、ユーザの好みに基づいて設定したセキュリティモードに応じて、個人情報が保護された撮影画像を、SNS等に安心して発信できる。
また、実施の形態1の撮像装置では、セキュリティモード設定部200は、撮影前に、セキュリティモードを選択するように構成されている。したがって、個人情報が保護された撮影画像を、自動で記録できる。その結果、撮影後にセキュリティ保護処理を実行する煩わしさを低減できる。
また、実施の形態1にかかるデジタルカメラ100では、コントローラ210は、画像処理部170に、第1の画像データ(未処理画像データ)と第2の画像データ(処理済画像データ)とを同時期に生成させる。また、コントローラ210は、メモリカード230に、第1の画像データ(未処理画像データ)と第2の画像データ(処理済画像データ)とを同時期に記録させる。これにより、ユーザは、必要に応じて未処理画像データに基づく撮影画像を見ることができる。つまり、デジタルカメラ100は、ユーザが個人で使用する印刷用の写真、又はユーザが所有する個人アルバムでの鑑賞用写真として、アップロード用とは別の未処理画像データを撮影できる。
また、実施の形態1の撮像装置では、セキュリティ保護対象は、顔と、顔以外の個人を特定する識別情報と、を含む。顔以外の個人の特定する識別情報は、氏名(名札)及び指紋の少なくとも一方を含む。実施の形態1の撮像装置では、顔に実行されるセキュリティ保護処理と、顔以外の識別情報に実行されるセキュリティ保護処理とは、同じでも異なっていてもよい。例えば、顔にはスタンプ処理が施され、氏名及び指紋の少なくとも一方は、ぼかし処理が施されてもよい。これにより、ユーザの利便性が向上する。
また、実施の形態1のセキュリティ保護処理は、ぼかし処理、モザイク処理、及びマスク処理の少なくとも一つである。これにより、撮影画像に含まれる個人情報が、他者に、明確に認識されないように保護できる。
また、実施の形態1にかかるデジタルカメラ100は、処理済画像データを含む画像データをアップロードするように構成された、データ転送部270を備える。これにより、ユーザは、容易に撮影画像をアップロードできる。
(実施の形態2)
実施の形態2のデジタルカメラ100は、実施の形態1のデジタルカメラ100と異なり、撮影後に、セキュリティモードの選択を受け付ける。また、実施の形態2のデジタルカメラは、実施の形態1のデジタルカメラ100と異なり、デジタルカメラ100で生成された画像データか否かに関わらず、撮影後に、セキュリティ保護処理を実行できる。撮影後とは、たとえば再生モードに設定された時である。
具体的には、実施の形態2において、ユーザは、実施の形態1と同様に、表示モニタに表示されるセキュリティモードの詳細設定(図4参照)を介して、セキュリティモードを設定できる。但し、実施の形態2では、実施の形態1と異なり、撮影時にセキュリティ保護処理が実行されるのではなく、撮影後に実行される。したがって、実施の形態2では、セキュリティモードを設定するタイミングは、撮影前に限られず、アップロード前であればよい。なお、実施の形態2のデジタルカメラ100の構成は、実施の形態1のデジタルカメラ100の構成と同様であるので、説明を省略する。
以下、実施の形態2のデジタルカメラ100の静止画再生動作を、図6Bを用いて説明する。図6Bのフローにおいて、図6Aに示す、実施の形態1と同様の動作については、同じ番号を付す。なお、ユーザは、デジタルカメラを再生モードに設定する場合、予め、又は再生モードへの設定後、セキュリティモードの設定ができるものとする。セキュリティモードの設定方法は、図4に示す、実施の形態1の方法と同様である。
実施の形態2では、事前にセキュリティモードが設定された状態で、ユーザは、デジタルカメラ100を再生モードに設定する。再生モードでは、表示モニタ260に、メモリカード230に記録された画像が表示される。画像は、デジタルカメラ100で撮影された画像でもよく、他の撮像装置で撮影された画像でもよい。ユーザは、操作部材250を用いて、画像処理したい画像(たとえば静止画とする)を選択する(S611)。
その後、コントローラ210は、検出部190が、選択された静止画から顔を検出したか否かを判断する(S602)。検出部190が顔を検出しなかった場合(S602でNoの場合)は、コントローラ210は、そのまま処理を終了する。
一方で、ステップS602で、検出部190が顔を検出したと判断された場合(S602でYesの場合)、コントローラ210は、ステップS603に進み、設定されたセキュリティモードに従って、選択された静止画における対象被写体を決定する。たとえば、コントローラ210は、個人認証のために顔情報が登録されている被写体を検出部190に検出させ、対象被写体に設定する。
次に、コントローラ210は、ステップS604に進み、選択された静止画において、顔周辺に位置するセキュリティ保護対象を決定する。たとえば、コントローラ210は、検出部190に、対象被写体の顔と名札とを検出させ、それらをセキュリティ保護対象に決定する。
次に、コントローラ210は、設定されたセキュリティモードに従って、セキュリティ保護処理を決定する(S605)。例えば、コントローラ210は、顔に対するセキュリティ保護処理として、スタンプ処理を設定する。また、コントローラ210は、名札に対するセキュリティ保護処理として、ぼかし処理を設定する。
その後、コントローラ210は、選択された静止画の画像データにおいて、設定されたセキュリティ保護対象に、設定されたセキュリティ保護処理を実行する(S606)。つまりコントローラ210は、画像処理部170に処理済画像データを生成させる。
最後に、コントローラ210は、処理済画像データをメモリカード230に記録させる(S612)。
セキュリティ保護処理された静止画をアップロードする動作は、図12Aに示す、実施の形態1のアップロード動作とほぼ同様である。ただし、実施の形態2では、撮影後のセキュリティ保護処理が可能であるから、たとえば、図12AのステップS1202において、アップロード予定の画像にセキュリティ保護対象が含まれると判断された場合に(ステップS1202でYes)、コントローラ210は、ステップS1204の警告表示に加えて、または、警告表示に代えて、設定されたセキュリティモードに基づくセキュリティ保護処理を実行してもよい。
なお、実施の形態2では、デジタルカメラ100が、撮影後にセキュリティ保護処理を実行する構成を例示したが、実施の形態2を実施の形態1の構成と組み合わせてもよい。つまり実施の形態2のデジタルカメラ100も、撮影前にセキュリティ保護処理を設定できる構成であってもよい。
以上より、実施の形態2のデジタルカメラ100は、撮影後に複数のセキュリティモードから所望のセキュリティモードを選択できる。したがって、たとえば、ユーザが、撮影前にセキュリティ保護処理ができないデジタルカメラによって撮影した画像データをアップロードする際、実施の形態2のデジタルカメラは、その画像データに適切なセキュリティ保護処理を実行してから、アップロードできる。したがって、アップロード前に、適切なセキュリティ保護処理ができる。
又、ユーザが、実施の形態1のデジタルカメラ100を用いて、撮影前に、セキュリティモードをOFFに設定して撮影した場合でも、撮影後にセキュリティモードをONにしたい場合がある。そのような場合も、実施の形態2のデジタルカメラ100は、アップロード前に、適切なセキュリティ保護処理ができる。
(実施の形態3)
実施の形態3のデジタルカメラ100では、ユーザは、メモリカード230に記録された画像を再生する場合において、複数の再生モードから所望の再生モードを選択できる。なお、実施の形態3では、画像を再生する場合として、特にアップロードする画面を選択するために再生する場合を例に挙げる。
複数の再生モードは、少なくとも三つの再生モードを含む。一つ目の再生モードは、処理済画像データの画像のみ再生するモードである。つまり、一つ目の再生モードでは、メモリカード230に記録された画像のうち、セキュリティ保護処理が施された画像のみが表示モニタ260に表示される。
二つ目の再生モードは、未処理画像データの画像のみ再生するモードである。つまり、二つ目の再生モードでは、メモリカード230に記録された画像のうち、セキュリティ保護処理が施されていない画像のみが、表示モニタ260に表示される。セキュリティ保護処理が施されていない画像は、本開示の撮像装置でセキュリティモードがOFFのときに撮影された画像、及び、本開示以外の撮像装置で撮影された画像のいずれでもよい。
三つ目の再生モードは、未処理画像データ及び処理済画像データのいずれの画像も再生するモードである。つまり、三つ目の再生モードでは、メモリカード230に記録された画像であれば、表示モニタ260に表示される。
なお、ユーザは、再生モードに設定する場合、予め、又は再生モードへの設定後、セキュリティモードの設定ができるものとする。セキュリティモードの設定方法は、図4に示す、実施の形態1の方法と同様である。
以下、図12Bを用いて、実施の形態3における、アップロード動作を説明する。まず、ユーザは、操作部材250を用いて、再生モードを選択する(S1210)。
ステップS1210で、ユーザが、処理済画像データの画像のみ再生する再生モードを選択した場合、デジタルカメラ100は、ステップS1211に遷移する。ステップS1211では、コントローラ210は、表示モニタ260に、処理済画像データの画像のみを再生させる。
次に、ユーザが、操作部材250を介して、アップロードしたい画像を決定すると(S1212)、データ転送部270は、決定された画像をSNS等にアップロードする(S1213)。以上で、アップロード処理が完了する。
上述のステップS1211〜ステップS1213のフローでは、処理済画像データの画像のみが再生されているため、セキュリティ保護処理の要否を確認するフローを省略している。したがって、処理時間が短縮される。
一方で、ステップS1210の再生モードの選択において、未処理画像データの画像のみ再生する再生モードが選択された場合、デジタルカメラ100は、ステップS1214に遷移する。ステップS1214では、コントローラ210は、表示モニタ260に、未処理画像データの画像のみを再生させる。
次に、ユーザが、操作部材250を介して、アップロードしたい画像を決定すると(S1215)、ステップS1216に遷移する。ステップS1216では、図12AのステップS1201〜ステップS1205が実行される。
以下、ステップS1216の一例を説明する。まず、ステップS1215で決定された画像に個人情報が含まれるか否かが判断される(ステップS1201)。個人情報が含まれる場合(ステップS1201でYesの場合)は、設定されたセキュリティモードに従って、セキュリティ保護対象が含まれるか否かが判断される(ステップS1202)。決定された画像にセキュリティ保護対象が含まれる場合は(ステップS1202でYesの場合)、警告表示が出力され(S1204)、ユーザが最終的にアップロードするか否かの指示を入力する(S1205)。そして、ユーザの指示に従って、アップロード処理する場合(S1205でYesの場合)は、アップロード処理が実行される(S1203)。これにより、アップロード処理が終了する。
なお、ステップS1205で画像をアップロードする前に、セキュリティ保護処理を実行できるようにしてもよい。
ステップS1214〜ステップS1216のフローでは、未処理画像データの画像のみが再生されているため、セキュリティ保護処理の要否の確認フロー(ステップS1201〜S1205)が実行される。したがって、画像をアップロードする際に、個人情報の流出を抑制できる。
さらに、ステップS1210で、ユーザが、処理済画像データと未処理画像データの画像の両方を再生する再生モードを選択した場合、デジタルカメラ100は、ステップS1217に遷移する。ステップS1217では、コントローラ210は、表示モニタ260に、処理済画像データ及び未処理画像データの両方の画像を再生させる。
次に、ユーザが、操作部材250を介して、アップロードしたい画像を決定すると(S1212)、コントローラ210は、決定された画像が処理済画像データの画像か否かを判断する(S1219)。
ステップS1219で、画像が処理済画像データの画像であると判断された場合(S1219でYesの場合)、データ転送部270は、決定された画像をSNS等にアップロードする(S1220)。以上で、アップロード処理が完了する。
一方、ステップS1219で、画像が処理済画像データの画像ではないと判断された場合(S1219でNoの場合)、コントローラ210は、ステップS1216へ遷移する。ステップS1216では、上述の通り、セキュリティ保護処理の要否の確認フローを経て、アップロード処理が実行される。以上で、アップロード処理が完了する。
ステップS1217〜ステップS1220のフローでは、処理済画像データの画像と未処理画像データの画像の両方が再生されるため、コントローラ210は、アップロード予定の画像がいずれのデータの画像かを判断する。そしてコントローラ210は、未処理画像データの画像については、セキュリティ保護処理の確認フローを実行する。一方で、処理済画像データの画像については、セキュリティ保護処理の確認フローを省略する。したがって、画像をアップロードする際に、個人情報を保護できる。または、無用な処理時間が短縮される。
以上より、実施の形態3では、ユーザは、複数の再生モードから所望の再生モードを選択できる。複数の再生モードには、処理済画像データの画像のみを再生する再生モードと、未処理画像データの画像のみを再生する再生モードと、両方のデータの画像を再生するモードと、を含む。これにより実施の形態3は、アップロード時において、個人情報を保護できる。また、無用な処理時間が短縮される。
なお、実施の形態3では、アップロード時の再生モードを例に挙げたが、例えば印刷時、鑑賞時、又はデータ転送時など、種々の場合の再生時における再生モードに適用できる。
また、実施の形態3の再生モードは、実施の形態1、又は実施の形態2で記録された画像を再生する際の再生モードに応用できる。
(実施の形態4)
実施の形態4では、ユーザは、撮影前及び撮影後の少なくとも一方で、セキュリティモードの詳細設定が可能である。また実施の形態4では、登録された顔情報に基づいて、対象被写体が設定できる。また、実施の形態4は、対象被写体の選択肢に、プロフィールのセキュリティ保護処理の要否を参照する項目を有する。
プロフィールとは、メモリカード230に登録された、個人情報である。図15は、メモリカード230に登録されたプロフィールを、表示モニタ260で表示した画面の例である。プロフィールには、被写体となり得る人物の、顔写真、名前、誕生日、及びセキュリティ保護処理の要否が登録されている。実施の形態4では、プロフィールに登録される顔(顔写真)は、個人認証のために使用される。「セキュリティ保護処理の要否」とは、より具体的に、「個人情報のSNSへの投稿の可否」であってもよい。例えば、図15のプロフィールには、Emilyについて、セキュリティ保護処理が「要」であることが記録されている。
ユーザは、撮影前及び撮影後の少なくとも一方において、セキュリティモードを設定する際に、図14に示すような表示モニタ260の画面から、対象被写体を設定できる。ユーザが、対象被写体Vを選択すると、コントローラ210は、プロフィールのセキュリティ保護処理の要否を参照し、対象被写体を設定する。つまり、図15のEmilyは、対象被写体として設定される。
したがって、例えば撮影前に対象被写体Vのセキュリティモードが設定されている場合は、撮影の際に、コントローラ210は、検出部(図1の190)に顔認識を実行させ、被写体に含まれる顔と、Emilyの顔とが合致するか否かを判断させる。コントローラ210は、合致すると判断した場合、Emilyのプロフィールを参照し、セキュリティ保護要否が「要」か否かを判断する。コントローラ210が、セキュリティ保護要否が「要」であると判断した場合、Emilyは対象被写体となる。そして、設定されたセキュリティモードに従って、Emilyの個人情報(たとえば顔、指紋、及び名札など)にセキュリティ保護処理が実行される。
一方で、撮影後にセキュリティモードが設定される場合は、コントローラ210は、検出部(図1の190)に、メモリカード230から読み出された所望の画像に対し、顔認識を実行させる。そしてコントローラ210は、検出部190に、画像の被写体に含まれる顔と、Emilyの顔とが合致するか否かを判断させる。コントローラ210は、合致すると判断した場合、Emilyのプロフィールを参照し、セキュリティ保護要否が「要」か否かを判断する。コントローラ210が、セキュリティ保護要否が「要」であると判断した場合、Emilyが対象被写体となる。そして、設定されたセキュリティモードに従って、Emilyの個人情報(たとえば顔、指紋、及び名札など)にセキュリティ保護処理が実行される。
なお、図14では、対象被写体の選択肢に、対象被写体Sを含む構成を開示している。ここで、対象被写体Sは、登録情報の有無に関わらず、顔認証した顔を有する全ての被写体を対象被写体とするモードである。しかし、図16のように、対象被写体は、対象被写体Sを含まなくてもよい。つまり、図16の例では、登録情報の有無、及びプロフィールのセキュリティ保護処理要否の少なくとも一つに基づいて、対象被写体が選択できるように構成されている。なお、図16の例では、対象被写体Vと対象被写体Nとが選択されている。これにより、対象被写体V、つまりプロフィールでセキュリティ保護処理が「要」と設定されている人物と、対象被写体N、つまり個人認証登録されていない人物とが、対象被写体となる。
まとめると、実施の形態4では、コントローラ210は、以下の第1〜第3の制御のうち、少なくとも一つを実行するように構成されている。
第1の制御は、図16の対象被写体Wが設定された場合の制御である。コントローラ210は、検出部190に、検出部190で検出された顔と、記録された顔情報とが合致した場合に、顔に対応付けられたセキュリティ保護対象を検出させる。つまり、個人認証のために登録された被写体のセキュリティ保護対象に対し、セキュリティ保護処理が実行される。
第2の制御は、対象被写体Nが設定された場合の制御である。コントローラ210は、検出部190で検出された顔と、記録された顔情報とが合致しない場合に、顔に対応付けられたセキュリティ保護対象を検出させる。つまり、個人認証のために登録されていない被写体のセキュリティ保護対象に対し、セキュリティ保護処理が実行される。
第3の制御は、対象被写体Vが設定された場合の制御である。コントローラ210は、検出部190で検出された顔と、記録された顔情報とが合致し、かつ登録情報に顔情報とセキュリティ保護対象とを対応付ける旨の情報が含まれるときに、顔に対応付けられたセキュリティ保護対象を検出させる。登録情報とは、プロフィールの情報のことである。顔情報とセキュリティ保護対象とを対応付ける旨の情報とは、例えばプロフィールに紐付けられた、「セキュリティ保護処理が要」との情報である。
以上より、実施の形態4では、登録された顔情報を用いて、画像に含まれる個人情報を保護できる。
また、プロフィールなどの登録情報には、顔情報に対応付けられたセキュリティ保護対象に、セキュリティ保護処理を実行する期間を指定する時刻情報を含んでいてもよい。つまりユーザは、プロフィールに、セキュリティ保護処理が「要」である期間を設定できてもよい。たとえば、ユーザは、図15のEmilyが20歳になるまで(2030年1月1日まで)、セキュリティ保護処理を「要」とするなどの設定が可能である。
これにより、画像に含まれる個人情報を保護するにあたり、ユーザの利便性が増す。
[他の実施の形態]
以上のように、本出願において開示する技術の例示として、実施の形態1〜4を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、及び省略などを行った実施の形態にも適用できる。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。
実施の形態1において、画像処理部170によるマスク処理として、撮影前に、予め登録されたスタンプデータを、セキュリティ保護対象に重畳、又はセキュリティ保護対象と置き換える例を挙げた。しかし、スタンプデータは、撮影後に更新又は追加される場合がある。したがって、撮影後に、記録された画像を読み出して、新たなスタンプデータでマスク処理できるように構成されてもよい。これにより、ユーザの好みのセキュリティ設定モードの選択肢が増える。
また、画像処理部170によるマスク処理は、セキュリティ保護対象を、フィルター処理して解像度を下げた低解像度データ又はピントのずれた画像データと入れ替える処理でもよい。
また、実施の形態1における、セキュリティ保護処理が必要な静止画をアップロードする状況において、図12AのS1205で、後処理としてセキュリティ保護処理が実行されてもよい。
また、実施の形態1では、デジタルカメラ100は、処理済画像データをアップロードするデータ転送部270を備えているが、必ずしもデータ転送部270を備えていなくてもよい。データ転送部270を備えていない場合は、スマートフォンなどで処理済画像データをアップロードさせればよい。
さらに、実施の形態1は、設定されたセキュリティモードを用いて静止画撮影時にセキュリティ保護処理を行う場合について説明したが、動画撮影時においても、設定されたセキュリティモードを用いてセキュリティ保護処理を行えばよい。動画の場合は、各フレームに対し、実施の形態1の、静止画に実行されたセキュリティ保護処理と同様の処理が実行されればよい。
また、実施の形態1では、セキュリティ保護処理として、マスク処理、ぼかし処理、及びモザイク処理を例に挙げたが、切り抜き処理など、個人情報が保護できれば、他の処理でもよい。
また、実施の形態1では、セキュリティ保護対象の選択肢として、顔と指紋、顔と名札、及び顔と指紋と名札の三つを例に挙げたが、例えば顔のみ、指紋のみ、及び名札のみ、などの選択肢があってもよい。
また、実施の形態1では、顔に対するセキュリティ保護処理の選択肢として、図4の(c)に示すマスク処理とぼかし処理とを例に挙げたが、その他のモザイク処理などがあってもよい。
また、実施の形態1では、指紋と名札に対するセキュリティ保護処理は、予めぼかし処理に決定されている例を挙げたが、顔と同様に、ユーザが選択できてもよい。又は、指紋と名札に対するセキュリティ保護処理が、他のモザイク処理などに決定されていてもよい。さらに、指紋に対するセキュリティ保護処理と、名札に対するセキュリティ保護処理とが、異なっていてもよい。
また、実施の形態1〜実施の形態4において、コントローラ210は、アップロード後に、メモリカード230に、処理済データを削除させてもよい。具体的には、撮像装置は、図17に示すように、セキュリティモードの詳細設定(実施の形態1の詳細設定4に相当)の画面において、「/3:アップロード後に処理済画像データを削除」の設定が選択できるように構成されていてもよい。これにより、メモリカード230に記録されるデータ量を低減できる。
また、実施の形態1〜実施の形態4では、複数のセキュリティモードから所望のセキュリティモードを選択できる構成を例示したが、セキュリティモードが選択できるか否かに関わらず、撮影前に設定するセキュリティモードを、アップロード時に応用できる構成自体も、ユーザの利便性を向上させる。
つまり、撮影前に、図3及び図4の設定画面に従ってセキュリティモードが設定された場合、アップロード時においても、同じセキュリティモードが適用されてもよい。この場合、アップロード予定の画像において、設定されたセキュリティモードに基づいて、対象被写体のセキュリティ保護対象にセキュリティ保護処理が実行されたか否かが判断される。
そして、セキュリティ保護処理が実行されていないと判断されれば、セキュリティモードに従ってセキュリティ保護処理が実行されてもよい。そして、処理が完了した後に、画像がアップロードされてもよい。
一方、セキュリティ保護処理が実行されていると判断されれば、そのままアップロードが実行されてもよい。
これにより、ユーザは、個人情報の保護された画像を容易にアップロードできる。なお、このような撮像装置は、以下のように定義できる。つまり撮像装置は、撮影前にセキュリティモードの設定が可能な撮像装置であって、セキュリティ保護処理がなされていない画像として、当該撮像装置以外で撮影されたセキュリティ保護処理がなされていない画像、又は当該撮像装置で撮影されたセキュリティ保護処理がなされていない画像をアップロードする際、前記アップロード時に設定されているセキュリティモードに対応したセキュリティ保護処理を行った後に、アップロードする、撮像装置である。
本開示は、SNSなどに静止画又は動画をアップロードする際に有効なセキュリティ対策を行う撮像装置に適用可能である。具体的には、デジタルカメラ、並びに、カメラ機能を備えるスマートフォン及びタブレット端末などに、本開示は適用可能である。
100 デジタルカメラ
110 光学系
120 レンズ駆動部
130 絞り部
140 シャッタ部
150 CMOS撮像センサ
170 画像処理部
190 検出部
200 セキュリティモード設定部(設定部)
210 コントローラ
220 カードスロット
230 メモリカード
240 内蔵メモリ
250 操作部材
260 表示モニタ
270 データ転送部

Claims (13)

  1. セキュリティ保護対象とセキュリティ保護処理との組み合わせが互いに異なる複数のセキュリティモードから特定のセキュリティモードを選択する設定部と、
    光学情報から第1の画像データを生成する撮像部と、
    前記第1の画像データに基づいて、前記セキュリティ保護対象を検出する検出部と、
    前記検出部で検出された前記セキュリティ保護対象に、前記セキュリティ保護処理を実行して、第2の画像データを生成する画像処理部と、
    選択された前記セキュリティモードに応じて、前記検出部に前記セキュリティ保護対象を検出させ、前記画像処理部に前記セキュリティ保護処理を実行させるように構成された、制御部と、
    を備える、撮像装置。
  2. 前記設定部は、撮影前に、前記セキュリティモードを選択するように構成された、請求項1に記載の撮像装置。
  3. 前記制御部は、前記画像処理部に、前記第1の画像データと、前記第2の画像データとを同時期に生成させる、請求項1の撮像装置。
  4. 前記セキュリティ保護対象は、顔と、前記顔以外の個人を特定する識別情報と、を含み、前記顔に実行される前記セキュリティ保護処理と、前記顔以外の前記識別情報に実行される前記セキュリティ保護処理とは異なる、請求項1に記載の撮像装置。
  5. 前記セキュリティ保護処理は、ぼかし処理、モザイク処理、及びマスク処理の少なくとも一つである、請求項1に記載の撮像装置。
  6. 前記第2の画像データを含む画像データをアップロードするように構成されたデータ転送部を備える、請求項1記載の撮像装置。
  7. 前記制御部は、前記データ転送部がアップロードする予定の前記画像データが、前記第2の画像データか否かを判断するように構成された、請求項6に記載の撮像装置。
  8. 前記第2の画像データを記憶するように構成された記録部を備え、
    前記制御部は、前記第2の画像データのアップロード完了後に、前記記録部から前記第2の画像データを削除させる、請求項6に記載の撮像装置。
  9. 前記制御部は、アップロード予定の画像データが、撮影前に設定された前記セキュリティモードに従っているか否かを判断するように構成された、請求項1に記載の撮像装置。
  10. 顔情報を含む登録情報を記録する記録部と、
    光学情報から第1の画像データを生成する撮像部と、
    前記第1の画像データから被写体の顔を検出し、検出した前記顔と記録された前記顔情報との照合結果に応じて、セキュリティ保護対象を検出する検出部と、
    前記セキュリティ保護対象にセキュリティ保護処理を実行し、第2の画像データを生成する画像処理部と、
    前記検出部に前記セキュリティ保護対象を検出させ、前記画像処理部に前記セキュリティ保護処理を実行させる、制御部と、
    を備える、撮像装置。
  11. 前記制御部は、前記検出部に、
    前記検出部で検出された前記顔と、記録された前記顔情報とが合致した場合に、前記顔に対応付けられた前記セキュリティ保護対象を検出させる第1の制御と、
    前記検出部で検出された前記顔と、記録された前記顔情報とが合致しない場合に、前記顔に対応付けられた前記セキュリティ保護対象を検出させる第2の制御と、
    前記検出部で検出された前記顔と、記録された前記顔情報とが合致し、かつ前記登録情報に前記顔情報と前記セキュリティ保護対象とを対応付ける旨の情報が含まれるときに、前記顔に対応付けられた前記セキュリティ保護対象を検出させる第3の制御と、
    の少なくともいずれか一つを実行する、請求項10に記載の撮像装置。
  12. 前記登録情報は、前記顔情報に対応付けられた前記セキュリティ保護対象に前記セキュリティ保護処理を実行する期間を指定する時刻情報を含む、請求項10に記載の撮像装置。
  13. 前記制御部は、アップロード予定の画像データが、撮影前に設定された前記セキュリティモードに従っているか否かを判断するように構成された、請求項10に記載の撮像装置。
JP2018528354A 2017-03-31 2017-10-31 撮像装置 Pending JPWO2018179555A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017069630 2017-03-31
JP2017069630 2017-03-31
PCT/JP2017/039218 WO2018179555A1 (ja) 2017-03-31 2017-10-31 撮像装置

Publications (1)

Publication Number Publication Date
JPWO2018179555A1 true JPWO2018179555A1 (ja) 2020-02-06

Family

ID=63674581

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018528354A Pending JPWO2018179555A1 (ja) 2017-03-31 2017-10-31 撮像装置

Country Status (3)

Country Link
US (1) US10623631B2 (ja)
JP (1) JPWO2018179555A1 (ja)
WO (1) WO2018179555A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11605245B2 (en) * 2020-12-22 2023-03-14 Qualcomm Incorporated Systems and methods for masking biometric information in images
US11606513B2 (en) * 2021-06-29 2023-03-14 Lenovo (Singapore) Pte. Ltd. Apparatus, method, and program product for enhancing privacy via facial feature obfuscation

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4036051B2 (ja) * 2002-07-30 2008-01-23 オムロン株式会社 顔照合装置および顔照合方法
DE602004015173D1 (de) 2003-01-21 2008-09-04 Canon Kk Bildaufnahmegerät und Bildaufnahmesystem
JP2004228808A (ja) 2003-01-21 2004-08-12 Canon Inc 撮影装置
JP2004280142A (ja) 2003-03-12 2004-10-07 Fujitsu Ltd 出欠課金管理システム、出欠課金管理装置、プログラム
KR101113844B1 (ko) * 2005-03-08 2012-02-29 삼성테크윈 주식회사 감시카메라 및 감시카메라의 프라이버시 보호방법
US20080180539A1 (en) * 2007-01-31 2008-07-31 Searete Llc, A Limited Liability Corporation Image anonymization
JP4671133B2 (ja) * 2007-02-09 2011-04-13 富士フイルム株式会社 画像処理装置
JP2009081635A (ja) 2007-09-26 2009-04-16 Fujifilm Corp デジタルカメラ、及びデジタルカメラの個人情報保護方法
JP5088161B2 (ja) * 2008-02-15 2012-12-05 ソニー株式会社 画像処理装置、カメラ装置、通信システム、画像処理方法、およびプログラム
JP2009284235A (ja) * 2008-05-22 2009-12-03 Fujifilm Corp 撮像装置
JP2010021921A (ja) * 2008-07-14 2010-01-28 Nikon Corp 電子カメラおよび画像処理プログラム
TWI420405B (zh) * 2010-10-20 2013-12-21 Hon Hai Prec Ind Co Ltd 人臉影像代換系統及方法
JP2014067131A (ja) * 2012-09-25 2014-04-17 Zenrin Datacom Co Ltd 画像処理装置、画像処理システム、画像処理方法およびコンピュータプログラム
US10075618B2 (en) * 2013-04-22 2018-09-11 Sony Corporation Security feature for digital imaging
US20150104103A1 (en) * 2013-10-16 2015-04-16 Sony Corporation Surveillance camera that respects privacy
US10554829B2 (en) 2014-06-03 2020-02-04 Sony Corporation Information processing device, photographing device, image sharing system, and method of information processing
JP6202283B2 (ja) * 2015-04-16 2017-09-27 パナソニックIpマネジメント株式会社 事件映像処理装置、事件映像処理システム、事件映像処理方法、及びプログラム

Also Published As

Publication number Publication date
WO2018179555A1 (ja) 2018-10-04
US10623631B2 (en) 2020-04-14
US20180295280A1 (en) 2018-10-11

Similar Documents

Publication Publication Date Title
JP5056061B2 (ja) 撮像装置
JP5423893B2 (ja) 撮像装置、画像処理装置、画像処理プログラム記録媒体
JP5467992B2 (ja) 撮像装置
JP6861342B2 (ja) 撮像装置および撮像装置とサーバとを含むシステム
KR20130017629A (ko) 영상 처리 장치, 영상 처리 방법, 및 컴퓨터 판독가능 저장매체
JP5604285B2 (ja) 撮像装置
JP2012010256A (ja) 撮像装置および画像処理プログラム
US20100123802A1 (en) Digital image signal processing method for performing color correction and digital image signal processing apparatus operating according to the digital image signal processing method
JP2008244903A (ja) 撮像装置、制御プログラム及び表示制御方法
JP2004247983A (ja) 撮影装置及び画像処理装置並びに画像処理プログラム
WO2018179555A1 (ja) 撮像装置
KR20110083099A (ko) 디지털 영상 처리 장치 및 그 제어 방법
JP2017011451A (ja) 検出装置、検出方法及びプログラム
JP5024434B2 (ja) 撮像装置、制御プログラム及び表示制御方法
KR101960508B1 (ko) 디스플레이 장치 및 방법
JP4306399B2 (ja) デジタルカメラ
JP6235417B2 (ja) 撮影システム、撮影装置、情報処理方法、及びプログラム
JP6128929B2 (ja) 撮像装置及びその制御方法並びにプログラム
JP2013157675A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP2010171841A (ja) 撮像装置
JP5024433B2 (ja) 撮像装置、制御プログラム及び表示制御方法
JP2015111777A (ja) 撮像装置及び撮像装置の制御方法
JP2005236794A (ja) デジタルカメラ
JP2022094691A (ja) 画像処理装置、画像処理方法、プログラム及び印画物作製システム
JP6335064B2 (ja) 撮像装置、撮像装置の制御方法およびコンピュータプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180531

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20190124