JP4447799B2

JP4447799B2 - 撮像装置及びその制御方法

Info

Publication number: JP4447799B2
Application number: JP2001093331A
Authority: JP
Inventors: 彰明石
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2000-04-26
Filing date: 2001-03-28
Publication date: 2010-04-07
Anticipated expiration: 2021-03-28
Also published as: US20020015510A1; US7197157B2; JP2002016791A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像を撮像して記録する撮像装置、特にデジタルカメラ等の撮像した画像に所定データを埋め込むことが可能な撮像装置及びその制御方法に関するものである。
【０００２】
【従来の技術】
近年、急速に普及しつつあるディジタルスチルカメラは、従来の銀塩カメラが被写体像をフィルム面上に結像させ、画像を化学的にアナログ記録するのに対し、ＣＣＤセンサなどで撮像した画像をメモリカードなどの記録媒体に電気的にディジタル記録するものである。
【０００３】
ディジタルデータは、コンピュータによって容易に加工することでき、かつネットワークなどを介して容易に流通させることができる。従って、このようなディジタル画像を簡単に得ることができるディジタルスチルカメラの必要性は、今後ますます大きくなるものと期待されている。
【０００４】
その一方で、ディジタルデータは、痕跡が残らないように合成などの改ざんを行うことが容易であるため、撮影されたディジタル画像の証拠としての信頼性が問題となる場合がある。このような問題は、一般ユーザによる趣味的な撮影程度であればあまり生じないであろうが、建築現場での記録写真のように業務上あるいは法律上必要な撮影では大きな問題となってくる。
【０００５】
また、複製・配布が極めて容易なために画像の著作権者の権利が充分に保護されないという問題もある。
【０００６】
従って、撮影されたディジタル画像の証拠能力を高め、著作権を保護することの可能なディジタルスチルカメラへの期待は大きい。
そのような目的で「電子透かし（Watermark）」という技術が研究されている。
【０００７】
同技術はディジタル画像・音声データ中に、人間に知覚されない別の情報を埋め込み、必要に応じて正当な資格や権利を有する者だけが埋め込んだ情報を取り出すようにすることができる。それによって、画像の証拠能力を高め、あるいは著作権を保護することが可能となる。
【０００８】
以下、電子透かし技術の原理について、ディジタル情報が画像情報の場合の一手法を、特開平１０−２９０３５９号公報を参考にして、図２に従って説明する（詳細は、同公報ならびに特開平１０−１５０５１７号公報を参照のこと）。
【０００９】
図２（ａ）は画像情報に別の情報（埋め込み情報）を埋め込む処理の流れを示す図である。
【００１０】
まず、原画像（ディジタル画像データ。図３の１０１）を、１ブロック（図３の１０２）がｎ画素×ｍ画素の複数ブロックに分割する（分割処理）。次に分割した各ブロックに離散コサイン変換（ＤＣＴ変換）等の直交変換を施し、ｎ×ｍの周波数成分行列を得る（直交変換処理）。
【００１１】
埋め込み情報の埋め込みに先立ち、直交変換処理で得られた周波数成分行列のどの位置に埋め込み情報を埋め込むかを示す埋め込み位置を乱数により決定し、さらにその周波数成分の値をどの程度変更するかを示す変更量を決定し、この埋め込み位置と変更量を鍵情報として取得・保存しておく。
【００１２】
埋め込み情報を埋め込む場合、１つのブロックに対する周波数成分行列に全てを埋め込む必要はなく、複数のブロックの周波数成分行列に跨がって埋め込んでも良い。その場合、画面内のコントラストの適切なブロック群を選択する。
【００１３】
埋め込み位置として、例えば周波数成分行列の低周波数部分を選択することにより、人間に知覚できないように埋め込むことができる。また、変更量を変えることにより、周波数成分行列の元の値との差を変えられるため、画質の劣化を制御することができる。
【００１４】
前述した各ブロックの周波数成分行列の値を、鍵情報の埋め込み位置と変更量に基づいて変更することにより、埋め込み情報を埋め込む（埋め込み処理）。さらに、埋め込み情報が埋め込まれた各ブロックの周波数成分行列を逆直交変換し、ｎ画素×ｍ画素の複数ブロックの画像を得る（逆直交変換処理）。最後に、逆直交変換処理で得られた複数ブロックの画像をつなぎ合わせ、埋め込み情報が埋め込まれた透かし画像を得る（再構成処理）。
【００１５】
図２（ｂ）は透かし画像から埋め込み情報を取り出す場合の処理の流れを示す図である。
【００１６】
まず、透かし画像を、１ブロックがｎ画素×ｍ画素の複数ブロックに分割する（分割処理）。次に、分割した各ブロックに離散コサイン変換（ＤＣＴ変換）等の直交変換を施し、ｎ×ｍの周波数成分行列を得る（直交変換処理）。さらに、埋め込む時に用いた鍵情報から埋め込み位置と変更量を得て、各ブロックの周波数成分行列から埋め込み情報を取り出す（取り出し処理）。
【００１７】
以上のように、電子透かし技術は、（１）埋め込み時に用いた鍵情報がなければ埋め込み情報の取り出しができないこと、（２）鍵情報中の埋め込み情報は乱数により作成するため、固定されておらず、埋め込み情報の解読は困難なこと、（３）埋め込み位置を工夫することにより、人間が知覚できないように埋め込み情報を埋め込めること、（４）変更量を変えることにより画質の劣化の程度を制御できること、等の特徴がある。
【００１８】
上記の説明では、埋め込みデータは人間に知覚されない「不可視データ埋め込み」の方法であったが、逆に積極的に著作権情報などを知覚可能な状態で原画像に埋め込むことで、第三者に画像の不正使用を思いとどませる効果を期待した「可視データ埋め込み」という方法もある。この可視データの電子透かし技術に関しては、米国特許第５５３０７５９号（特開平８−２４１４０３号公報）に詳しい。
【００１９】
【発明が解決しようとする課題】
しかしながら、電子透かし機能を搭載した従来のカメラでは、ユーザが撮影目的と被写体に応じてカメラの撮像モード（撮像モード、ドライブモード、画質モード、感度）を変更する場合は、同時に電子透かし機能の埋め込みモード（種別モード、画質モード）と埋め込みデータを変更する場合が多く、その場合に、従来のカメラではこれらを再度設定しなおさなければならず、操作に手間取るという問題があった。
【００２０】
本発明は、上述の課題に鑑みてなされたもので、その目的とするところは、撮像モードを変更した場合に、埋め込みモードおよびデータが撮影モードに合わせて自動的に設定され、あるいは、その逆の、埋め込みモードおよびデータを変更した場合に、それに合わせて撮影モードが自動的に設定される撮像装置及びその制御方法を提供しようとするものである。
【００２１】
【課題を解決するための手段】
上記課題を解決するために、本発明は、以下の構成を備える。すなわち、
被写体を撮像する撮像手段と、該撮像手段で撮像して得られた画像データに所定のデータを埋め込む埋め込み手段とを備える撮像装置であって、
前記撮像手段で撮像する際の画質を設定する複数の撮影モードと、前記埋め込み手段が用いる耐改竄性が互いに異なる複数の埋め込みモードにおいて、前記画質が高い撮影モードほど前記耐改竄性が低くなる埋め込みモードとが対応するように、各撮影モードと各埋め込みモードとの対応関係を記憶する記憶手段と、
前記撮像手段による撮像するための前記複数の撮影モードの中の１つを選択する選択手段と、
該選択手段による選択された撮影モードに対応する埋め込みモードを、前記記憶手段を参照して決定する決定手段と、
前記選択手段で選択された撮影モードに従って前記撮像手段による撮像を行ない、当該撮像によって得られた画像データに、前記決定手段で決定した埋め込みモードを用いて前記埋め込み手段による前記所定のデータの埋め込みを行なわせる制御手段とを備える。
【００２２】
【発明の実施の形態】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
【００２３】
［第１の実施形態］
図４は、本発明の実施形態に係るディジタルスチルカメラを背面から見た図である。
【００２４】
この実施形態に係るディジタルスチルカメラは光学ファインダ２０１を有しており、カメラの背面部にはアップダウン信号を入力するための背面電子ダイアル２０２，撮影画像やユーザインタフェース画面を表示するための、ＬＣＤで構成されるカラーモニタ２０３，各種設定釦群２０４等を備えている。
【００２５】
電子透かしに関する各種設定は、カラーモニタ２０３に表示されるメニュー画面を見ながら、設定釦２０４，背面電子ダイアル２０２を用いて入力・変更が可能である。
【００２６】
図５（ａ）は電子透かしの埋め込みモードを設定するモニタ画面２０５の表示例２０３である。図は、各項目が、現在、四角で囲まれた事項の内容に設定されていることを表している。この設定例では、「埋め込み」機能は「オン」しており、埋め込みの「種別」は「不可視」埋め込み、埋め込み「強度」は「画質優先」の設定になっている。
【００２７】
埋め込み強度は前述の変更量に相当し、画質を優先する場合は変更量を小さくすることで埋め込み強度が弱くなり、画質も損なわれない。逆に耐性を優先する場合には変更量を大きくすることで埋め込み強度が強くなり、その代わり画質は低下する。画質と耐性はトレードオフの関係にある。
【００２８】
実施形態では、可視電子透かしで情報を埋め込む場合には、撮影して得られた画像データの隅の一部に情報を埋め込む。つまり、被写体となる像の邪魔になるような画像中心部分に対しては埋めこまない。可視の電子透かし埋め込み処理そのものは公知のものを採用するものとする。
【００２９】
また、不可視電子すかし処理で情報を埋め込む場合には、撮影して得られた画像データの全面に情報を埋め込む。不可視の電子透かし埋め込み処理そのものも公知であるが、実施形態では画質が多少劣るが電子透かしの耐性を高くするか（耐性優先電子透かし）、或いは耐性が多少劣るが画質劣化を極力少なくする（画質優先電子透かし）を選択できるようにした。これについての詳細については後述する。
【００３０】
設定釦を操作することで、カラーモニタ２０３は図５（ｂ）のような埋め込みデータを設定する表示例２０６に切り替わる。
【００３１】
この実施形態では、「撮影者」データとして「Heizou Hasegawa」、「日付・時刻」データとして「1999.06.09 15:37」、「カメラＩＤ」データとして「31415926535」が設定され、電子透かしの埋め込み処理時にこれらのデータが撮影画像データ内に埋め込まれる。
【００３２】
日付・時刻データは従来のカメラも有している情報であり、その日付・時刻機能から必要なデータを参照すれば良い。
【００３３】
カメラＩＤデータは工場の組み立て工程で設定される値であり、カメラの機種あるいは製造メーカ間でユニークかつ変更不可能なものである。
【００３４】
従って、ユーザーが変更できるのは、「撮影者」データのみとなる。但し、これ以外にもユーザーが自由に追加できる情報を追加しても構わないのは勿論である。なお、名前を入力する際には、撮影者名を入力するモードに移り、ダイヤル２０２を走査してアルファベットを１文字ずつ入力することになる。入力された撮影者名は、フラッシュメモリ３０６に格納されることになる。
【００３５】
図６は、本実施形態に係るディジタルスチルカメラを上面から見た図である。本実施形態に係るディジタルスチルカメラは、撮影情報表示用液晶２１１、アップダウン信号を入力するための上面電子ダイアル２１２、カメラの撮影動作を設定する各種設定釦群２１３から２１５、レリーズ釦２１６等を備えている。
【００３６】
図７は、撮影情報表示用液晶２１１に表示される内容の例である。２２１は各種撮像モードを表すセグメントであり、全てのカメラの機能が自動で決定される「Ａｕｔｏ」モード、測光データに基づいてシャッタ速度と絞り値が自動で決定される「Ｐ」モード、ユーザーがマニュアルでシャッタ速度を設定すると絞り値は自動で決定される「Ｔｖ」モード、ユーザーがマニュアルで絞り値を設定するとシャッタ速度は自動で決定される「Ａｖ」モード、シャッタ速度と絞り値をいずれもユーザが手動で設定する「Ｍ」モードがあり、ユーザが選択した１つの撮像モードを示す文字だけが撮影情報表示用液晶２１１に点灯される。
【００３７】
４つの７セグメントが並んだ２２２はシャッタ速度を、ドットを挟んむ２つの７セグメントが並んだ２２３は絞り値をそれぞれ表示する。
【００３８】
２２４はドライブモードの表示であり、「Ｓｎｇ」はレリーズ釦２１６の押下で一駒だけ撮影する単写モード、「Ｃｎｔ」はレリーズ釦の押下中は連続して撮影できる連写モードを示すもので、いずれか一方の文字が表示される。
【００３９】
２２５はディジタル画像の画質モードの表示であり、メモリカードに画像を格納する際の画質、すなわち、ＪＰＥＧ圧縮の程度を選択するモードである。「Ｆｉｎｅ」は高画質（低圧縮）モード、「Ｓｔｄ」は標準画質（中圧縮）モード、「Ｅｃｏ」は低画質（高圧縮）モードである。
【００４０】
２２６はディジタルカメラの感度を設定するための表示で、これと７セグメント表示２２２を用いて、写真フィルムのＩＳＯに換算した感度を表示する。この値は撮像センサの感度に依存する値であり、同一被写体に対して、その値の銀塩フィルムを装填した従来のカメラと同等のシャッタ速度・絞り値で撮影できるように撮像センサ出力のゲインを調整することを意味する。例えば「ＩＳＯ換算で８００」という設定ならば、それに相当するように比較的高感度側に撮像センサのゲインが調節されることになる。ただし、この場合Ｓ／Ｎは低下するので、画質的には不利になる。一方、「ＩＳＯ換算で１００」のような低感度側の設定ならセンサ像センサのゲインは低めの設定となり、画質的には有利となる。
【００４１】
図８は、本発明の実施形態に係るディジタルスチルカメラの電気ブロック図である。
【００４２】
カメラ内マイクロプロセッサ３０４は、フラッシュメモリ３０６にあらかじめ格納されているプログラムに従って各種デバイスの制御を行う。
【００４３】
マイクロプロセッサ３０４内には、後述するフローチャートに対応するプログラム、及び、詳細は後述するが図１４に示すテーブルを格納するＲＯＭ３０４ａが設けられている。
【００４４】
レリーズ動作によって撮像センサ３０１（例えばＣＣＤエリアセンサ）上に被写体像が形成され、その像信号は、Ａ／Ｄ変換器３０２でＡ／Ｄ変換され、像信号処理ＩＣ３０３で色補間処理とフィルタリング処理された後、データバス３１１を介して、一旦ＤＲＡＭ３０８に格納される。
【００４５】
なお、ＤＲＡＭ３０８には、電子透かしに関する現在の状態情報を格納する電子透かしテーブル３０８ａが確保されている（詳細は後述）。
【００４６】
ＤＲＡＭ３０８に格納されたディジタル像データは必要に応じてカラーモニタ２０３に表示される。
【００４７】
ディジタル像データは、後述する本発明に係る方法で著作権情報などのデータが埋め込まれたのち、ＪＰＥＧＩＣ３０７でデータ圧縮され、メモリカード・インタフェース（Ｉ／Ｆと略する）３１０を介して、着脱可能なメモリカード３１３に書き込まれる。
【００４８】
また、画像データはシリアルＩ／Ｆ３０９を介して、シリアルバス３１２へも出力でき、ネットワークでの画像データの配布も容易に行うことができる。
【００４９】
図１は、本発明の実施形態に係るディジタルカメラの処理の流れを表すフローチャートである。
【００５０】
図１のフローチャートにおいて、カメラのレリーズ釦２１６がオンされると、ステップＳ１００からステップＳ１０１に進み、撮像センサが駆動され、「画像の蓄積／読み出し」が行われる（このステップ中に画像信号処理、ＤＲＡＭへの格納までを含む）。
【００５１】
ステップＳ１０２では、埋め込み機能がオンしているかどうかが判断され、設定が「オン」の場合はステップＳ１０３に移り、「オフ」の場合はステップＳ１０４に移る。
【００５２】
ステップＳ１０３では、あらかじめ設定されている埋め込みデータ（実施形態では、撮影者名、時刻、カメラＩＤ）の埋め込み処理が実行される。ステップＳ１０３の処理が終了したらステップＳ１０４に移る。
【００５３】
ステップＳ１０４では、ステップＳ１０２あるいはステップＳ１０３の処理を経たディジタル像データをフラッシュメモリに格納して、ステップＳ１０５で撮影動作を終了する。なお、特記しないが、メモリへの格納前にはＪＰＥＧ圧縮処理が実行されている。
【００５４】
さて、第１の実施形態に係るカメラの撮像モードと、それに連動する電子透かしモードの関連を図１４に示す。ある撮像モードが設定されたとき、それに関連して自動的に設定される電子透かしモードに「○印」をつけている。
【００５５】
この図１４の内容について図９以降の各図面を用いて説明する
図６に示した撮像モード設定釦２１３と上面電子ダイアル２１２を用いて、カメラの撮像モードを「Ａｕｔｏ」モードに設定すると、カメラ上面の撮影情報表示用液晶２１１の表示は図９（ａ）に示すものとなる。
【００５６】
「Ａｕｔｏ」モード４０１にすると、撮像モード以外のモードも連動して設定され、ドライブモードは「Ｓｎｇ（単写）」４０２に、画質モードは「Ｓｔｄ（標準）」４０３に、連動して設定される。
【００５７】
これに連動して、電子透かしモードも図９（ｂ）、（ｃ）にように自動的に変更される。埋め込みモードは「オン」４０４に、種別は「可視」４０５に、強度は「画質優先」４０６になる。埋め込みデータとして、「撮影者」４０７、「日付・時刻」４０８、「カメラＩＤ」４０９が設定され、これらのデータが埋め込まれることになる。なお、「Auto」の場合、図９（ｂ）の内容を変更することはできない。理由は後述する。
【００５８】
次に、図１０（ａ）に示すように、撮像モードを「Ｔｖ」モードに、ドライブモードを「Ｃｎｔ（連写）」４０１に設定すると、埋め込まれるデータの内容は、このドライブモード「Ｃｎｔ（連写）」の設定に連動して、図１０（ｃ）に示す「撮影者」データ４１１のみに変更される。
【００５９】
このように設定するのは、埋め込みデータ数が多いと、その分、埋め込み処理に時間を要し、連写モードでは埋め込みデータ数を撮影者データのみに制限することで処理時間を短くし、連写の駒速低下の防止を図るものである。
【００６０】
なお、図示の○印は固定を意味する。つまり、ユーザーが例えば撮影モードとして「Auto」を選択した場合には、埋め込みはＯＮとなり、埋め込み方法として可視電子透かし、画質優先、埋め込みデータとして撮影者＋撮影日＋カメラＩＤが埋め込まれることになり、これらを変更することはできない。なお、「Auto」を選択すると、保存時の画質は「Std」として設定されるものである。
【００６１】
また、“−”印は、選択ができないことを意味する。例えば、保存時の画質として「Fine」（撮影モードとして「Auto」以外を選択することで選択できる）を選択した場合、電子透かしはＯＦＦとなる。したがって、電子透かしを可視、不可視の選択、電子透かしによる画質、埋め込むべきデータ種別は選択できないので、図示の如く“−”印で示した。
【００６２】
それ以外の無印は、ユーザーが自由に選択できるものである。例えば、撮影モードとして、マニュアルモード「Ｍ」を選択した場合には、埋め込みを行うか否かの選択、埋め込む場合には画質を優先するか耐性を優先するか等の選択は自由に設定できる。但し、マニュアルモード「Ｍ」を選択しても、保存形式を「Fine」にした場合には電子透かしによる埋め込みはできない。埋め込みをＯＦＦに設定した場合には、埋め込みに関する種別等のデータの選択はできない。
【００６３】
実施形態におけるカメラの撮影モードとしては先に説明したように「Ａｕｔｏ」,「Ｐ」「Ｔｖ」「Ａｖ」「Ｍ」モードの５種類が存在し、これらの１つがダイヤル２１２を操作することで選択できる。１つの撮影モードが選択されると、テーブル３０４ａ（図１４参照）の中から対応する撮影モードにおける電子透かしに関する情報が、ＤＲＡＭ３０８の電子透かしテーブル３０８ａに格納する。例えば、「Ａｕｔｏ」モードを選択した場合には、電子透かしテーブル３０８ａは図１８に示すようになる。図示の如く、電子透かしはＯＮになり、可視電子透かし（画像の隅に可視電子透かしを埋め込む）、画質は高画質として格納される。また、埋め込むデータとしては撮影者名、撮影日時、カメラＩＤが全て埋め込まれる。また、「Ａｕｔｏ」の場合、電子透かしに関するこれらのパラメータは全て変更できないことを示すフラグがセットされ、ユーザーはこれらのパラメータを変更できない。変更する場合には、別の撮影モードを選択して、電子透かしテーブル３０８ａを更新する必要がある。
【００６４】
次に、図１１（ａ）に示すように、画質（ＪＰＥＧ圧縮）モードを「Ｆｉｎｅ（高画質）」モード４１２に設定すると、これに連動して、電子透かしモードはオフされる（図１１（ｂ）の４１３）。
【００６５】
電子透かし技術は画像データそのものを変更して情報を埋め込む処理であるから、僅かとはいえ、画質には影響を与える可能性がある。そのため、ユーザが画質を「Ｆｉｎｅ（高画質）」モードとした場合には、電子透かし機能をオフする。
【００６６】
同様に、図１２（ａ）に示すように、画質（ＪＰＥＧ圧縮）モードを「Ｅｃｏ（低画質）」ユーザ４１４）に設定すると、これに連動して、電子透かしモードのうち、強度は「耐性優先」に変更される（図１２（ｂ）の４１５）。
【００６７】
ユーザが画質を「Ｅｃｏ（低画質）」モードとした場合には、画質はさほど重要視していない場合であるから、電子透かしの情報埋め込み強度も画質よりも耐性を優先しても良い。
【００６８】
さらに、図１３（ａ）ユーザ、写真フィルムに換算したＩＳＯ（４１８）を「８００」（４１７）のように設定すると、これは暗い被写体に対して感度を上げる場合であるから、画像データのＳ／Ｎ比は少なからず低下する。従って、このような設定では、電子透かしモードのうち、強度を「耐性優先」に変更するものでも良い（図１３（ｂ）の４１９）。
【００６９】
次に、実施形態で採用する不可視電子透かしについて説明し、その後で、耐性優先電子透かし及び画質優先電子透かしについて説明する。
【００７０】
本実施形態では付加情報（実施形態では撮影者名、撮影日、カメラＩＤ）の埋め込みの為にパッチワーク法と呼ばれる原理を用いた。パッチワーク法については、論文「電子透かしを支えるデータ・ハイディング技術（上）」Walter Bender,Daniel Gruhl,森本典繁,Anthony Lu/日経エレクトロニクス 1997.2.24などにも開示されている。そこで、まずパッチワーク法の原理を説明する。
【００７１】
パッチワーク法とは、画像に対して統計的偏りを生じさせることによって付加情報の埋め込みを実現するものである。
【００７２】
図１６を用いて、パッチワーク法の原理を説明する。同図において、画像中に２つの部分集合ＡとＢを設定する。今、部分集合Ａは部分集合ａ_i５０１に代表される複数の部分集合要素からなり、部分集合Ｂは部分集合ｂ_i５０２に代表される複数の部分集合要素からなるとする。
【００７３】
この２つの部分集合要素は互いに重ならならなければ、本実施形態におけるパッチワーク法による付加情報の埋め込みが実行可能である。
【００７４】
今、部分集合Ａ，Ｂはそれぞれ、Ａ＝｛ａ₁,ａ₂,..,ａ_N｝、Ｂ＝｛ｂ₁,ｂ₂,...,ｂ_N｝で表されるＮ個の要素からなる集合であるとする。部分集合Ａと部分集合Ｂの各要素ａ_i ,ｂ_iは画素値を持つ画素または画素の集合を表しているとする。
【００７５】
ここで、次の指標ｄを次のように定義する。
ｄ＝１／Ｎ・Σ（ａ_i−ｂ_i）
ここで、Σはｉ＝１〜Ｎに関する和である。
【００７６】
これは、２つの集合の画素値の差の期待値を示している。
【００７７】
一般的な自然画像に対して、適当な部分集合Ａと部分集合Ｂを選択し、指標ｄを定義すると、Ｎが十分大きな値の場合には、
ｄ≒０
となる性質があり、その分布は図１７の符号６０１に示すようになる。以降では、このｄを信頼度距離と呼ぶ。
【００７８】
一方で、付加情報を構成する各ビットの埋め込み操作として、例えば“１”のビット情報を埋め込む場合、
ａ'_i＝ａ_i＋ｃ
ｂ'_i＝ｂ_i−ｃ
という操作（加減算）を行う。これは部分集合Ａの全ての要素の画素値に対して「ｃ」を加え、部分集合Ｂの全ての要素の画素値に対して「ｃ」を減ずるという操作である。なお、本実施形態では、以降、この「ｃ」の値を“埋め込み深さ”と呼ぶ。
【００７９】
ここで、先程の場合と同様に、付加情報が埋め込まれた画像から部分集合Ａと部分集合Ｂを選択し、指標ｄを計算すると、次の通りになる（各Σはｉ＝１〜Ｎの総和である）。
ｄ＝１／Ｎ・Σ（ａ_i−ｂ_i）
＝１／Ｎ・Σ｛（ａ_i＋ｃ）−（ｂ_i−ｃ）｝
＝１／Ｎ・Σ｛（ａi−ｂi）＋２ｃ｝
≒２ｃ
つまり、０から一定距離（＝２ｃ）離れた値となり、その分布は図１７の符号６０２に示す分布となる。
【００８０】
他方、ビット情報（“０”のビット情報）を埋め込む場合には、
ａ'_i＝ａ_i−ｃ
ｂ'_i＝ｂ_i＋ｃ
の操作を行う。すると、信頼度距離ｄは、
ｄ＝１／Ｎ・Σ（ａ_i−ｂ_i）
＝１／Ｎ・Σ｛（ａ_i−ｃ）−（ｂ_i＋ｃ）｝
＝１／Ｎ・Σ｛（ａi−ｂi）−２ｃ｝
≒−２ｃ
となり、図１７の符号６０３に示す如く０から負の方向へ一定距離（＝−２ｃ）はなれた値となる。
【００８１】
即ち、ある画像が与えられた場合に、画像に対して信頼度距離ｄを算出することにより、付加情報が埋め込まれているかを判断することができる。
【００８２】
信頼度距離d≒０ならば付加情報は埋め込まれておらず、信頼度距離dが０から一定量（閾値）以上離れた正の値であるなら、１のビット情報が埋め込まれており、ｄが０から一定量以上離れた負の値であるなら、０のビット情報が埋め込まれていると判断できることを意味する。
【００８３】
本実施形態では、撮影者名、撮影日、カメラＩＤを埋め込むわけであるから、複数ビットを埋め込むことが必要になる。
【００８４】
仮に、全部でＱビットを埋め込む場合には、画像をＭ分割（Ｍ≧Ｑ）し、それぞれに対してビットを埋め込めば良い。画像を分割して得られた１つの領域を画素ブロックとし、その画素ブロック内の画素数がＮ個（ここでは仮に偶数個とする）であって、各画素をＸ₁,Ｘ₂,…Ｘ_Nと定義する。
【００８５】
この場合には、奇数番目の画素Ｘ₁,Ｘ₃,…,Ｘ_N-1を部分集合Ａ、偶数番目の画素Ｘ₂,Ｘ₄,…,Ｘ_Nを部分集合Ｂとすれば良い。
【００８６】
こうして、信頼度距離ｄから埋め込まれたビット情報を判断する場合に、０と信頼度距離２ｃの間に適当な閾値を導入し、信頼度距離の絶対値が、閾値よりも大きい場合に埋め込みがあると判断することで、統計的に十分信頼できる情報の抽出が可能になる。
【００８７】
例えば、正規分布６０１の標準偏差をσとすると、付加情報の埋め込みがない場合には、図６の斜線部分で示す-1.96σ〜+1.96σの区間（９５％の信頼区間）に信頼度距離dは９５％の確率で出現する。
【００８８】
従って、閾値の値を大きくすると、閾値の外に出現する信頼度距離ｄの確率は低くなり、信頼性の高い情報の抽出が可能になる。
【００８９】
なお、埋め込み深さ「ｃ」を画素値に加減算することになるので、例えば「ｃ」未満の値を持つ画素値に埋め込み深さ「ｃ」を減じると、画素値はマイナスの値を取る。また、画素の最大値が８ビットで表現される２５５の場合、２５５−ｃより大きな値を有する画素値に「ｃ」を加算すると、最大値以上の値になってしまう。従って、実際に埋め込むことができる画素は、画素値Ｐの値がｃ＜Ｐ＜２５５−ｃとなる条件の場合となり、埋めこめる画素の数は減る、或いは減る可能性がある。しかし、昨今のデジタルカメラのＣＣＤの撮像素子数は非常に多いので十分な精度の埋め込み対象の画素を確保できる。
【００９０】
また、埋め込み深さ「ｃ」を大きくすると、正規分布６０２、６０３は、分布６０１から遠ざかり、閾値を大きくすることも可能になる。ただし、埋め込み深さ「ｃ」を小さく設定すると、画質の劣化は少ないものの、埋め込みの有無の判定精度が下がる。逆に、埋め込み深さ「ｃ」を大きく設定する、埋め込みの有無の判定精度が上がるが、画質は劣化する方向に作用する。
【００９１】
実施形態では、図１４に示した不可視電子透かしの埋め込みモードとして、画質優先電子透かしを選択した場合には埋め込み深さ「ｃ１」を用い、耐性優先電子透かしを選択した場合には埋め込み深さ「ｃ２」を用いた。ここで言うｃ１、ｃ２の関係は、勿論、ｃ１＜ｃ２である。
【００９２】
なお、以上は、電子透かしによる画質優先電子透かしと耐性優先電子透かしの一例であって、それ以外の手法を用いても良いのは勿論である。要は、撮影モードの選択に連動して、電子透かしを行うか否か、或いは／及び、行う場合には可視電子透かしか、不可視電子透かしか、或いは／及び、耐性を高くするか画質を優先するかが連動するという特徴にその意義があるからである。
【００９３】
さて、実施形態におけるカメラの動作処理手順を、図２１のフローチャートに従ってより詳しく説明する。
【００９４】
ステップＳ４０１では、レリーズボタン２１６が押下されたか否かを判断する。否の場合には、ステップＳ４０２に進んで、レリーズボタン２１６以外の操作に対応する処理を行う。ステップＳ４０２で行われる処理の１つとしては、撮影モードの選択も含まれる。
【００９５】
そこで、この撮影モードの選択処理は、例えば図１９に示す手順で行えば良い。
【００９６】
ステップＳ２０１乃至２０５は、ダイヤル２１２によって撮影モードが選択された場合の判断処理である。「Ａｕｔｏ」撮影モードが選択された場合には、ＲＯＭ３０４内のテーブル３０４ａ（図１４参照）における「Ａｕｔｏ」に関する電子透かしに関するパラメータである埋め込みを行うか否か、可視か不可視か、不可視である場合には画質優先電子透かしか耐性優先電子透かしか、埋め込み対象となる種別を示すデータがＤＲＡＭ３０８内の電子透かしテーブル３０８ａに書き込む。このとき、図１４に示す如く○印が対はもの、或いは“−”印は変更不可のフラグをセットする。
【００９７】
また、「Ｐ」撮影モードが選択された場合にも同様に動作するが、図１４に示す如く、埋め込みを行うか否か等のデータは可変であるので、テーブル３０８ａのデータは、直前の撮影モードで選択されていたデータが残る。但し、すべての項目は変更可として設定される。
【００９８】
上記処理はダイヤル２１２の操作に関する処理手順であるが、例えば「Ｐ」撮影モードを選択した後、埋め込みをどうするか、埋め込む場合に可視にするか否か、不可視の場合に画質優先埋め込みにするか或いは耐性優先にするかを各種スイッチを操作した場合には、その内容はテーブル３０８ａに反映されることになる。
【００９９】
上記のようにして、ユーザーは撮影モード及び電子透かしに関する設定を行うことになる。
【０１００】
図２１に戻って説明を続ける。上記のようにしてテーブル３０８ａに電子透かしに関する情報が格納或いは更新されることになるが、レリーズボタン２１６が押下されると、ステップＳ４０３で撮像処理を行う。撮像して得られた画像データは先に説明したようにＤＲＡＭ３０８に格納されることになる。
【０１０１】
ＤＲＡＭ３０８への画像データの格納が完了すると、処理はステップＳ４０４に進み、電子透かしによる埋め込みを行うか否かを判断する。この判断は、テーブル３０８ａの「電子すかし」がＯＮになっているか否かで行う。電子透かしによる情報の埋め込みを行わないのであれば、ステップＳ４０８に進み、ユーザが設定したモードで圧縮符号化し、ステップＳ４０９でメモリカード３１３に記憶する処理を行い、本処理を終える。
【０１０２】
一方、電子透かしによる埋め込みを行うよう設定されていると判断した場合には、ステップＳ４０４に進み、可視電子透かし、不可視電子透かしのいずれであるかをテーブル３０８ａを参照して判断する。可視電子透かしであると判断した場合には、埋め込み対象項目を結合して、ＤＲＡＭ３０８に格納されている画像の隅の部分に可視電子透かしによる埋め込みを行う。可視電子透かしとしては、先に説明したＵＳＰ５５３０７５９に開示された技術を用いれば良いものとし、その説明は省略する。埋め込みが完了すると、処理はステップＳ４０８、Ｓ４０９を経て、メモリカード３１３に記憶されることになる。
【０１０３】
また、ステップＳ４０５において、不可視電子透かしによる埋め込みと判断した場合には、ステップＳ４０７において不可視電子透かしによる情報の埋め込みを行う。
【０１０４】
ステップＳ４０７における詳細な手順としては、図２０に示すフローチャートに従って処理すれな良いであろう。
【０１０５】
先ず、ステップＳ３０１で、電子透かしテーブル３０８ａを調べ、その時点で選択されている埋め込み対象となる項目が何であるのかを判断し、埋め込み対象項目を結合して、埋め込む情報を生成する。撮影時刻情報が埋め込み対象として設定されていたら、タイマ３１４より現在時刻を読込むことになる。
【０１０６】
次に、ステップＳ３０２で、画質優先電子透かしにより情報を埋め込むのか、或いは耐性優先電子透かしによる情報を埋め込むのかを判断する。この判断は、図１８に示す「埋め込みレベル」を調べることで行われる。
【０１０７】
画質優先電子透かしによる情報を埋め込むと判断した場合には、ステップＳ３０３に進んで、埋め込み深さｃに値ｃ１を代入する。一方、耐性優先電子透かしであると判断した場合には、埋め込み深さｃに値ｃ２を代入する。ここで、ｃ１とｃ２との関係はｃ１＜ｃ２であるのは先に説明した通りである。
【０１０８】
こうして埋め込み深さｃが決定されると、処理はステップＳ３０５に進んで、埋め込むべき情報の１ビットを画像中に埋め込む処理を行う。そして、ステップＳ３０６で全ビットの埋め込みが完了したと判断するまで、ステップＳ３０５の処理を繰り返する。
【０１０９】
全ビットの埋め込みが完了すると、本処理を終え、図２１のステップＳ４０８、４０９に進み、圧縮符号化処理を行い、メモリカード３１３への記憶を行うことになる。
【０１１０】
以上説明したように、本実施形態によれば、カメラの使用者が撮影目的・被写体に応じてカメラの撮像モードを変更した場合、それに連動して電子透かし機能の埋め込みモードや埋め込みデータを自動変更する構成にしたことで、撮影目的と被写体に応じた最適な電子透かしモードが再設定することなく設定され、操作性を著しく向上させることが可能となった。
【０１１１】
［第２の実施形態］
第１の実施形態では、カメラの撮像モードの変更に連動して、それに関連する電子透かしのモードを変更する実施形態を説明した。これに対して、図１５に示すように、逆に電子透かしのモードを変更すると、それに関連する撮像モードが自動的に変更されるように構成しても良い。
【０１１２】
すなわち、電子透かしの「画質（強度）モード」を「画質優先」に設定した場合は、カメラの撮像モードの「画質（圧縮）モード」が「Ｓｔｄ（標準）」あるいは「Ｅｃｏ（低画質）」となっていても、電子透かしのモードに連動して「Ｆｉｎｅ（高画質）」に変更される構成である。
【０１１３】
このとき、「感度」も電子透かしのモードに連動して「低感度」に変更される構成にし、画像のＳ／Ｎ向上を図る。
【０１１４】
また、「埋め込みデータ」を「撮影者」と「日付」と「カメラＩＤ」に設定した場合は、レリーズ動作中の埋め込み処理に要する時間が長くなるので、カメラの「ドライブモード」が「Ｃｎｔ（連写）」に設定されていても駒速の維持が困難となるので、これを「Ｓｎｇ（単写）」に変更する構成とする。
【０１１５】
以上説明したように、本実施形態によれば、カメラの使用者が電子透かしモードを変更した場合、この変更に連動してカメラの撮像モードを変更する構成にしたことで、最適な撮像モードが再設定することなく設定され、操作性を著しく向上させることが可能となった。
【０１１６】
上記実施形態では、電子透かしによって情報を埋め込むタイミングを、ＤＣＴ変換前の画像データに対して行ったが、ＤＣＴ変換後の各周波数成分について行っても構わない。特に、電子透かしの耐性に幾つかのレベルを設ける場合には、上記のようなパッチワーク法を用いるのではなく、それ以外の手法を用いても良いのは勿論である。要は、撮影モード等の撮影に関するモード、或いは保存する際のモードに応じて、電子透かしを行うのか否か、行うのであればどのような電子透かしを利用するのか、或いは／及び、電子透かしによる耐性を優先するのか画質を優先するのかが適宜決定される機能を備えれば良い。
【０１１７】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、リーダ、プリンタなど）から構成されるユーザシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１１８】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２０】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【０１２１】
【発明の効果】
以上説明したように、本発明によれば、カメラの使用者が撮影目的・被写体に応じてカメラの撮像モードを変更した場合、それに連動して電子透かし機能の埋め込みモードや埋め込みデータを変更する構成としたことで、あるいは逆に電子透かしモードの変更に連動してカメラの撮像モードを変更するする構成としたことで、撮影目的と被写体に応じた最適な撮像モードあるいは電子透かしモードが自動で設定され、操作性を著しく向上させることが可能となった。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係るカメラで行われる処理の流れを表すフローチャートである。
【図２】電子透かし技術に係る処理を表す図である。
【図３】画像データのブロック分割を表す図である。
【図４】ディジタルスチルカメラの背面図である。
【図５】ディジタルスチルカメラの背面モニタ表示例を表す図である。
【図６】ディジタルスチルカメラの上面図である。
【図７】ディジタルスチルカメラの撮影情報表示用液晶例を表す図である。
【図８】ディジタルスチルカメラの電気的な構成を表すブロック図である。
【図９】本発明の第１の実施形態に係るモニタ表示と撮影情報表示用液晶例を表す図である。
【図１０】本発明の第１の実施形態に係るモニタ表示と撮影情報表示用液晶例を表す図である。
【図１１】本発明の第１の実施形態に係るモニタ表示と撮影情報表示用液晶例を表す図である。
【図１２】本発明の第１の実施形態に係るモニタ表示と撮影情報表示用液晶例を表す図である。
【図１３】本発明の第１の実施形態に係るモニタ表示と撮影情報表示用液晶例を表す図である。
【図１４】本発明の第１の実施形態に係る設定される項目を表す表である。
【図１５】本発明の第２の実施形態に係る設定される項目を表す表である。
【図１６】実施形態における電子透かしによる情報埋め込みの原理を示す図である。
【図１７】実施形態における電子透かしによる情報埋め込みの原理を示す図である。
【図１８】実施形態における電子透かしテーブルの内容を示す図である。
【図１９】撮影モードの変更による処理手順を示すフローチャートである。
【図２０】不可視電子透かしの処理手順を示すフローチャートである。
【図２１】実施形態における全体処理手順を示すフローチャートである。

Claims

被写体を撮像する撮像手段と、該撮像手段で撮像して得られた画像データに所定のデータを埋め込む埋め込み手段とを備える撮像装置であって、
前記撮像手段で撮像する際の画質を設定する複数の撮影モードと、前記埋め込み手段が用いる耐改竄性が互いに異なる複数の埋め込みモードにおいて、前記画質が高い撮影モードほど前記耐改竄性が低くなる埋め込みモードとが対応するように、各撮影モードと各埋め込みモードとの対応関係を記憶する記憶手段と、
前記撮像手段による撮像するための前記複数の撮影モードの中の１つを選択する選択手段と、
該選択手段による選択された撮影モードに対応する埋め込みモードを、前記記憶手段を参照して決定する決定手段と、
前記選択手段で選択された撮影モードに従って前記撮像手段による撮像を行ない、当該撮像によって得られた画像データに、前記決定手段で決定した埋め込みモードを用いて前記埋め込み手段による前記所定のデータの埋め込みを行なわせる制御手段と
を備えることを特徴とする撮像装置。
被写体を撮像する撮像手段と、該撮像手段で撮像して得られた画像データに所定のデータを埋め込む埋め込み手段とを備える撮像装置であって、
前記撮像手段で撮像する際の画質を設定する複数の撮影モードと、前記埋め込み手段が用いる耐改竄性が互いに異なる複数の埋め込みモードにおいて、前記画質が高い撮影モードほど前記耐改竄性が低くなる埋め込みモードとが対応するように、各撮影モードと各埋め込みモードとの対応関係を記憶する記憶手段と、
前記耐改竄性を決定するため、前記複数の埋め込みモードの中の１つを選択する選択手段と、
該選択手段による選択された埋め込みモードに対応する撮影モードを、前記記憶手段を参照して決定する決定手段と、
前記決定手段で決定した撮影モードに従って前記撮像手段による撮像を行ない、当該撮像によって得られた画像データに、前記選択手段で選択した埋め込みモードを用いて前記埋め込み手段による前記所定のデータの埋め込みを行なわせる制御手段と
を備えることを特徴とする撮像装置。
前記複数の撮影モードのそれぞれには、前記画質に加えて、前記撮像手段の露光時間と開口度に関する値、受光の量に対する感度に関する値が設定されることを特徴とする請求項１又は２に記載の撮像装置。
前記複数の埋め込みモードには、前記耐改竄性に加え、不可視の埋め込み、可視の埋め込みの種別が設定されることを特徴とする請求項１又は２に記載の撮像装置。
撮像手段を有する撮像装置であって、
前記撮像手段で撮像する際の画質を設定する複数の撮影モードの中から１つを選択する選択手段と、
画像中に、電子透かしとして情報を埋め込む埋め込み手段と、
前記選択手段で選択された撮影モードの画質が、予め設定された画質よりも低いか否かに従って、前記埋め込み手段による埋め込み処理を実行するか否かを決定する決定手段と、
前記決定手段で、前記埋め込み処理を実行すると決定した場合には、前記撮像手段で撮像して得られた画像データに前記情報を埋め込むため、前記埋め込み手段をアクティブにし、前記埋め込み処理を実行しないと決定した場合には、前記埋め込み手段を非アクティブにする制御手段とを備え、
前記埋め込み手段は、可視の電子透かしとして画像中に情報を埋め込む第１の埋め込み手段と、画質優先で不可視の電子透かしとして画像中に情報を埋め込む第２の埋め込み手段と、耐改竄優先で不可視の電子透かしとして画像中に情報を埋め込む第３の埋め込み手段とを含み、
前記決定手段は、前記埋め込み処理を実行すると決定した場合、前記第１乃至第３の埋め込み手段のいずれか１つをアクティブにする
ことを特徴とする撮像装置。
被写体を撮像する撮像手段と、該撮像手段で撮像して得られた画像データに所定のデータを埋め込む埋め込み手段と、前記撮像手段で撮像する際の画質を設定する複数の撮影モードと、前記埋め込み手段が用いる耐改竄性が互いに異なる複数の埋め込みモードにおいて、前記画質が高い撮影モードほど前記耐改竄性が低くなる埋め込みモードとが対応するように、各撮影モードと各埋め込みモードとの対応関係を記憶する記憶手段とを備える撮像装置の制御方法であって、
前記撮像手段による撮像するための前記複数の撮影モードの中の１つを選択する選択工程と、
該選択工程による選択された撮影モードに対応する埋め込みモードを、前記記憶手段を参照して決定する決定工程と、
前記選択工程で選択された撮影モードに従って前記撮像手段による撮像を行ない、当該撮像によって得られた画像データに、前記決定工程で決定した埋め込みモードを用いて前記埋め込み手段による前記所定のデータの埋め込みを行なわせる制御工程と
を備えることを特徴とする撮像装置の制御方法。
被写体を撮像する撮像手段と、該撮像手段で撮像して得られた画像データに所定のデータを埋め込む埋め込み手段と、前記撮像手段で撮像する際の画質を設定する複数の撮影モードと、前記埋め込み手段が用いる耐改竄性が互いに異なる複数の埋め込みモードにおいて、前記画質が高い撮影モードほど前記耐改竄性が低くなる埋め込みモードとが対応するように、各撮影モードと各埋め込みモードとの対応関係を記憶する記憶手段とを備える撮像装置の制御方法であって、
前記耐改竄性を決定するため、前記複数の埋め込みモードの中の１つを選択する選択工程と、
該選択工程による選択された埋め込みモードに対応する撮影モードを、前記記憶手段を参照して決定する決定工程と、
前記決定工程で決定した撮影モードに従って前記撮像手段による撮像を行ない、当該撮像によって得られた画像データに、前記選択工程で選択した埋め込みモードを用いて前記埋め込み手段による前記所定のデータの埋め込みを行なわせる制御工程と
を備えることを特徴とする撮像装置の制御方法。
撮像手段と、当該撮像手段で撮像して得られた画像中に、電子透かしとして情報を埋め込む埋め込み手段とを備える撮像装置の制御方法であって、
前記撮像手段で撮像する際の画質を設定する複数の撮影モードの中から１つを選択する選択工程と、
前記選択工程で選択された撮影モードの画質が、予め設定された画質よりも低いか否かに従って、前記埋め込み手段による埋め込み処理を実行するか否かを決定する決定工程と、
前記決定工程で、前記埋め込み処理を実行すると決定した場合には、前記撮像手段で撮像して得られた画像データに前記情報を埋め込むため、前記埋め込み手段をアクティブにし、前記埋め込み処理を実行しないと決定した場合には、前記埋め込み手段を非アクティブにする制御手段とを備え、
前記埋め込み手段は、可視の電子透かしとして画像中に情報を埋め込む第１の埋め込み手段と、画質優先で不可視の電子透かしとして画像中に情報を埋め込む第２の埋め込み手段と、耐改竄優先で不可視の電子透かしとして画像中に情報を埋め込む第３の埋め込み手段とを含み、
前記決定工程は、前記埋め込み処理を実行すると決定した場合、前記第１乃至第３の埋め込み手段のいずれか１つをアクティブにする
ことを特徴とする撮像装置の制御方法。
コンピュータに、請求項６乃至８のいずれか１項に記載の方法の手順を実行させるプログラムを格納したことを特徴とする、コンピュータにより読取り可能な記憶媒体。