JPWO2019049532A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JPWO2019049532A1
JPWO2019049532A1 JP2019540813A JP2019540813A JPWO2019049532A1 JP WO2019049532 A1 JPWO2019049532 A1 JP WO2019049532A1 JP 2019540813 A JP2019540813 A JP 2019540813A JP 2019540813 A JP2019540813 A JP 2019540813A JP WO2019049532 A1 JPWO2019049532 A1 JP WO2019049532A1
Authority
JP
Japan
Prior art keywords
image
target image
unit
finder
composite
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019540813A
Other languages
English (en)
Other versions
JP6934059B2 (ja
Inventor
一樹 石田
一樹 石田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019049532A1 publication Critical patent/JPWO2019049532A1/ja
Application granted granted Critical
Publication of JP6934059B2 publication Critical patent/JP6934059B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02—Viewfinders
    • G03B13/06—Viewfinders with lenses with or without reflectors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • G03B17/20—Signals indicating condition of a camera member or suitability of light visible in viewfinder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Viewfinders (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

処理負荷をかけずに所望の合成画像を撮像段階で生成できる撮像装置を提供する。デジタルカメラ（１）に備えられたファインダ装置（１０）は、ファインダ接眼部から観察される光学ファインダ像に情報を重畳させて表示する機能を有する。撮像された画像に合成対象画像を貼り付けて合成画像を生成する場合において、合成対象画像を光学ファインダ像に重畳させて表示する。合成対象画像は、操作部（６）の操作によって、レイアウトが調整される。また、撮像される画像に基づいて、自動的に加工される。

Description

本発明は、撮像装置に係り、特に、合成画像を生成する機能を備えた撮像装置に関する。
合成画像を生成する機能を備えた撮像装置として、特許文献１には、光学ファインダの光路上に配置した透過型表示素子に合成対称画像を表示させることにより、撮像と同時に合成画像を生成できる撮像装置が提案されている。この撮像装置では、透過型表示素子上で合成対象画像の位置を調整することにより、撮像段階で合成画像のレイアウトを調整できる。
一方、特許文献２には、モニタにライブビュー表示される画像（ライブビュー画像）に合成対称画像を重畳表示させることにより、撮像と同時に合成画像を生成できる撮像装置が提案されている。この撮像装置においても、モニタ上で合成対象画像の位置を調整することにより、撮像段階で合成画像のレイアウトを調整できる。また、同文献には、ライブビュー画像の特性に応じて、合成対象画像の表示位置、大きさ、カラー及び輝度等を自動調整することが提案されている。
特開2012-90065号公報 特開2014-131281号公報
しかしながら、特許文献２のように、合成対称画像をライブビュー画像に重畳表示させる場合、リアルタイムに合成処理が必要となるため、装置への処理負荷が高くなる、という欠点がある。
本発明は、このような事情に鑑みてなされたもので、処理負荷をかけずに所望の合成画像を撮像段階で生成できる撮像装置を提供することを目的とする。
上記課題を解決するための手段は、次のとおりである。
（１）撮像レンズと、撮像レンズを通る光を受光して画像を撮像する撮像部と、操作部と、光学ファインダと、出力する情報を光学ファインダで観察される光学ファインダ像に重畳させて表示する重畳表示部と、合成対象画像を取得する合成対象画像取得部と、操作部の操作に基づいて、合成対象画像のレイアウトを決定するレイアウト決定部と、撮像部で撮像される画像に基づいて、合成対象画像を加工する合成対象画像加工部と、重畳表示部を制御して、合成対象画像加工部で加工された合成対象画像をレイアウト決定部で決定されたレイアウトで光学ファインダ像に重畳表示させる重畳表示制御部と、操作部による画像の記録指示に応じて撮像部で撮像された画像を取得し、合成対象画像加工部で加工された合成対象画像をレイアウト決定部で決定されたレイアウトで合成して合成画像を生成する合成画像生成部と、を備えた撮像装置。
本態様によれば、重畳表示部によって、合成対象画像が光学ファインダ像に重畳表示される。重畳表示される合成対象画像は、操作部の操作によって、レイアウトを調整できる。これにより、撮像段階で所望のレイアウトの合成画像を生成できる。また、重畳表示される合成対象画像は、撮像部で撮像される画像に基づいて、合成対象画像加工部で自動的に加工される。これにより、違和感のない自然な仕上がりの合成画像を生成できる。また、これらの処理は、合成処理を伴わないので、装置への処理負荷も低減できる。
（２）合成対象画像加工部は、被写体の合焦位置と、合成対象画像が配置される位置との差分情報に基づき、合成対象画像をぼかす処理を行う、上記（１）の撮像装置。
本態様によれば、合成対象画像加工部において、合成対象画像をぼかす処理が行われる。具体的には、被写体の合焦位置と、合成対象画像が配置される位置との差分情報に基づき、合成対象画像をぼかす処理が行われる。これにより、違和感のない自然な仕上がりの合成画像を生成できる。
（３）合成対象画像加工部は、撮像レンズの絞り値に応じて、ぼかす量を変更する、上記（２）の撮像装置。
本態様によれば、撮像レンズの絞り値に応じて、ぼかす量が変えられる。これにより、違和感のない自然な仕上がりの合成画像を生成できる。
（４）合成対象画像加工部は、合成対象画像をぼかす処理として、合成対象画像の解像度を変更する、上記（２）又は（３）の撮像装置。
本態様によれば、合成対象画像をぼかす処理として、合成対象画像の解像度を変更する処理が行われる。これにより、処理を簡素化できる。
（５）合成対象画像加工部は、合成対象画像が配置される位置の明るさに応じて、合成対象画像の明るさを変更する、上記（１）から（４）のいずれか一の撮像装置。
本態様によれば、合成対象画像加工部において、合成対象画像の明るさを変える処理が行われる。具体的には、合成対象画像が配置される位置の明るさに応じて、合成対象画像の明るさが変更される。これにより、違和感のない自然な仕上がりの合成画像を生成できる。
（６）合成対象画像加工部は、撮像部で撮像される画像のホワイトバランスの補正量に応じて、合成対象画像の色調を変更する、上記（１）から（５）のいずれか一の撮像装置。
本態様によれば、合成対象画像加工部において、合成対象画像の色調を変える処理が行われる。具体的には、撮像部で撮像される画像のホワイトバランスの補正量に応じて、合成対象画像の色調が変更される。これにより、違和感のない自然な仕上がりの合成画像を生成できる。
（７）重畳表示制御部は、更に、ファインダ内表示として、撮像装置の設定情報及び撮像範囲を示す枠の少なくとも一方を光学ファインダ像に重畳表示させ、合成対象画像がファインダ内表示に重なる場合、ファインダ内表示の表示態様を変更する、上記（１）から（６）のいずれか一の撮像装置。
本態様によれば、ファインダ内表示として、撮像装置の設定情報及び撮像範囲を示す枠の少なくとも一方が、光学ファインダ像に重畳表示される。これにより、操作性を向上できる。なお、合成対象画像が、ファインダ内表示に重なる場合は、ファインダ内表示の表示態様が変更される。これにより、合成対象画像の視認性を向上できる。
（８）重畳表示制御部は、合成対象画像がファインダ内表示に重なる場合、ファインダ内表示の輝度を変更する、上記（７）の撮像装置。
本態様によれば、合成対象画像が、ファインダ内表示に重なる場合、ファインダ内表示の輝度が変更される。これにより、合成対象画像の視認性を向上できる。
（９）サーバと通信する通信部を更に備え、合成対象画像取得部は、通信部を介してサーバと通信し、サーバから合成対象画像を取得する、上記（１）から（８）のいずれか一の撮像装置。
本態様によれば、外部のサーバと通信して、外部のサーバから合成対象画像を取得できる。これにより、取得可能な合成対象画像の数及び種類を拡大できる。
（１０）操作部は、タッチパネルを含み、レイアウト決定部は、タッチパネルの操作に基づいて、合成対象画像のレイアウトを決定する、上記（１）から（９）のいずれか一の撮像装置。
本態様によれば、操作部にタッチパネルが含まれ、タッチパネルの操作で合成対象画像のレイアウトを調整できる。これにより、操作性をより向上できる。
（１１）合成対象画像加工部は、更に操作部の操作に基づいて、合成対象画像を加工する、上記（１）から（１０）のいずれか一の撮像装置。
本態様によれば、マニュアルで合成対象画像を加工できる。これにより、よりユーザーの好みに近い合成画像を生成できる。
本発明によれば、処理負荷をかけずに所望の合成画像を撮像段階で生成できる。
本発明が適用されたデジタルカメラの一実施形態の外観構成を示す正面斜視図 図１に示すデジタルカメラの背面斜視図 ファインダ装置の概略構成図 デジタルカメラの内部の概略構成図 カメラマイコンが実現する主な機能のブロック図 合成写真モード下でカメラマイコンが実現する機能のブロック図 重畳表示の概念図 合成対象画像の位置調整の概念図 合成対象画像のサイズ調整の概念図 ファインダ内表示の表示態様の変更の一例を示す図 距離の取得の概念図 画像をぼかす加工の概念図 合成対象画像をぼかす加工の処理手順を示すフローチャート 合成対象画像の明るさを変更する加工の処理手順を示すフローチャート 合成対象画像の色調を変更する加工の処理手順を示すフローチャート 合成写真モードでの撮像の処理手順を示すフローチャート 合成対象画像に対する画像加工の処理の手順を示すフローチャート
以下、添付図面に従って本発明を実施するための好ましい形態について詳説する。
［構成］
〔外部構造〕
図１は、本発明が適用されたデジタルカメラの一実施形態の外観構成を示す正面斜視図である。図２は、図１に示すデジタルカメラの背面斜視図である。
図１及び図２に示すデジタルカメラ１は、カメラボディ２に撮像レンズ４が一体的に組み付けられたレンズ一体式のデジタルカメラである。
デジタルカメラ１は、撮像装置の一例である。デジタルカメラ１は、そのカメラボディ２に撮像レンズ４、操作部６、背面モニタ８及びファインダ装置１０等を備える。
撮像レンズ４は、カメラボディ２の前面に備えられる。撮像レンズ４は、フォーカシング機能を備えた単焦点レンズで構成され、複数枚のレンズを組み合わせて構成される。
操作部６は、電源レバー１２、シャッターボタン１４、第１ファンクションボタン１６、露出補正ダイヤル１８、シャッタースピード／感度ダイヤル２０、フロントコマンドダイヤル２２、ファインダ切換レバー２４、第２ファンクションボタン２６、フォーカスモード切換レバー２８、ビューモードボタン３０、測光モードボタン３２、ＡＥ（Automatic Exposure)ロックボタン３４、リアコマンドダイヤル３６、フォーカスレバー３８、再生ボタン４０、消去ボタン４２、バックボタン４４、十字ボタン４６、ＭＥＮＵ／ＯＫボタン４８、ＡＦ（Auto Focus）ロックボタン５０、クイックメニューボタン５２等を有する。電源レバー１２、シャッターボタン１４、第１ファンクションボタン１６、露出補正ダイヤル１８及びシャッタースピード／感度ダイヤル２０は、カメラボディ２の上面に備えられる。フロントコマンドダイヤル２２、ファインダ切換レバー２４、第２ファンクションボタン２６及びフォーカスモード切換レバー２８は、カメラボディ２の正面に備えられる。ビューモードボタン３０、測光モードボタン３２、ＡＥロックボタン３４、リアコマンドダイヤル３６、フォーカスレバー３８、再生ボタン４０、消去ボタン４２、バックボタン４４、十字ボタン４６、ＡＦロックボタン５０及びクイックメニューボタン５２は、カメラボディ２の背面に備えられる。
背面モニタ８は、カメラボディ２の背面に備えられる。背面モニタ８は、表示部の一例である。背面モニタ８は、たとえば、ＬＣＤ（Liquid Crystal Display）で構成される。
ファインダ装置１０は、ＯＶＦモード（ＯＶＦ：Optical View Finder／光学ビューファインダ）及びＥＶＦモード（ＥＶＦ：Electronic View Finder／電子ビューファインダ）の切り換えが可能なハイブリッドタイプのファインダ装置である。ファインダ装置１０は、カメラボディ２の前面側にファインダ窓１０ａを備え、背面側にファインダ接眼部１０ｂを備える。
図３は、ファインダ装置の概略構成図である。
ファインダ装置１０は、ファインダ第１光学系６０と、ファインダＬＣＤ６２と、ファインダ第２光学系６４と、液晶シャッター６６と、を備える。
ファインダ第１光学系６０は、被写体を光学的に観察するための光学系である。ファインダ第１光学系６０は、対物レンズ群６０ａ及び接眼レンズ群６０ｂを備える。ファインダ第１光学系６０は、光学ファインダを構成する。
ファインダ第２光学系６４は、ファインダＬＣＤ６２に表示された画像をファインダ第１光学系６０の光路に導く光学系である。ファインダ第２光学系６４及びファインダＬＣＤ６２によって重畳表示部が構成される。ファインダ第２光学系６４は、ハーフプリズム６４ａ及びターゲットレンズ群６４ｂを備える。
ハーフプリズム６４ａは、ファインダ第１光学系６０の対物レンズ群６０ａ及び接眼レンズ群６０ｂの間に配置される。ハーフプリズム６４ａは、内部の斜面に半透膜６４ａ１を有する。半透膜６４ａ１は、ハーフプリズム６４ａの入射面に垂直に入射した光を透過光及び反射光に分割する。
ターゲットレンズ群６４ｂは、ファインダＬＣＤ６２及びハーフプリズム６４ａの間に配置され、ハーフプリズム６４ａを介して、ファインダＬＣＤ６２からの光を接眼レンズ群６０ｂに導く。
液晶シャッター６６は、ファインダ窓１０ａ及び対物レンズ群６０ａの間に配置される。液晶シャッター６６は、ファインダ窓１０ａを開閉する。すなわち、「開」にすることにより、ファインダ窓１０ａからの光を透過させ、「閉」にすることにより、ファインダ窓１０ａからの光を遮光する。
以上の構成のファインダ装置１０は、液晶シャッター６６を開くと、被写体からの光が、対物レンズ群６０ａ、ハーフプリズム６４ａ、接眼レンズ群６０ｂを透過してファインダ接眼部１０ｂに導かれる。これにより、ファインダ接眼部１０ｂを覗くと、被写体の光学像（光学ファインダ像）を観察できる。
また、液晶シャッター６６を開いた状態で、ファインダＬＣＤ６２に画像を表示すると、ファインダＬＣＤ６２からの光がターゲットレンズ群６４ｂを介してハーフプリズム６４ａに入射する。ハーフプリズム６４ａに入射した光は、半透膜６４ａ１で反射されて、接眼レンズ群６０ｂに導かれる。この結果、ファインダ接眼部１０ｂを覗くと、ファインダ第１光学系６０で観察される光学ファインダ像に重畳して、ファインダＬＣＤ６２の画像が観察される。
一方、液晶シャッター６６を閉じると、対物レンズ群６０ａへの光の入射が遮光される。これにより、ファインダ接眼部１０ｂを覗いても、光学ファインダ像の観察はできなくなる。一方、ファインダＬＣＤ６２からの光は、ファインダ接眼部１０ｂに導かれる。したがって、ファインダＬＣＤ６２の画像は観察できる。
光学ファインダ像を観察できるモードがＯＶＦモードであり、ファインダＬＣＤ６２の画像のみ観察できるモードがＥＶＦモードである。ＯＶＦモード及びＥＶＦモードの切り換えは、ファインダ切換レバー２４の操作で行われる。ファインダ切換レバー２４は、揺動可能に設けられており、揺動させるたびに、ＯＶＦモードとＥＶＦモードとが交互に切り換えられる。ＯＶＦモードに設定された場合、液晶シャッター６６が開かれ、ＥＶＦモードに設定された場合、液晶シャッター６６が閉じられる。
〔内部構造〕
図４は、デジタルカメラの内部の概略構成図である。
デジタルカメラ１は、撮像レンズ４、ファインダ装置１０、イメージセンサ７０、イメージセンサ駆動部７２、アナログ信号処理部７４、デジタル信号処理部７６、背面モニタ８、記憶部７８、通信部８０、操作部６及びカメラマイコン１００等を備える。
《撮像レンズ》
上記のように、撮像レンズ４は、複数枚のレンズを組み合わせて構成される。撮像レンズ４は、フォーカスレンズ駆動機構８２及び絞り駆動機構８４を備える。フォーカスレンズ駆動機構８２は、アクチュエータ、及び、その駆動回路を備え、カメラマイコン１００からの指示に応じてフォーカスレンズ群４ｆを光軸Ｌに沿って移動させる。これにより、焦点が調節される。絞り駆動機構８４は、アクチュエータ、及び、その駆動回路を備え、カメラマイコン１００からの指示に応じて、絞り４ｉを作動させる。すなわち、その開口量を切り換える。これにより、イメージセンサ７０への入射光量が調整される。
《ファインダ装置》
ファインダ装置１０は、ファインダＬＣＤドライバ６２ｄｒを介して、ファインダＬＣＤ６２の表示が、カメラマイコン１００に制御される。また、ファインダ装置１０は、液晶シャッタードライバ６６ｄｒを介して、液晶シャッター６６の駆動が、カメラマイコン１００に制御される。
《イメージセンサ》
イメージセンサ７０は、撮像レンズ４を通る光を受光して画像を撮像する。イメージセンサ７０は、撮像部の一例である。イメージセンサ７０は、ＣＭＯＳ型（CMOS：Complementary Metal-Oxide Semiconductor）、ＣＣＤ型（CCD：Charge Coupled Device）等の公知の二次元のイメージセンサで構成される。
《イメージセンサ駆動部》
イメージセンサ駆動部７２は、カメラマイコン１００から指示に応じてイメージセンサ７０を駆動する。イメージセンサ駆動部７２によってイメージセンサ７０を駆動することにより、各画素に蓄積された電荷が画像信号として読み出される。
《アナログ信号処理部》
アナログ信号処理部７４は、イメージセンサ７０から出力される画素ごとのアナログの画像信号を取り込み、所定の信号処理（たとえば、相関二重サンプリング処理、増幅処理等）を施す。アナログ信号処理部７４は、ＡＤＣ（Analog to Digital Converter／ＡＤコンバータ）を含み、所定の信号処理後のアナログの画像信号をデジタルの画像信号に変換して出力する。
《デジタル信号処理部》
デジタル信号処理部７６は、アナログ信号処理部７４から出力されるデジタルの画像信号を取り込み、所定の信号処理（たとえば、階調変換処理、ホワイトバランス補正処理、ガンマ補正処理、デモザイキング処理、ＹＣ変換処理等）を施して、画像データを生成する。生成された画像データは、カメラマイコン１００に出力される。
また、デジタル信号処理部７６は、取り込んだ画像信号に基づいて、露出制御に必要な被写体の明るさの情報を検出する。検出された被写体の明るさの情報は、カメラマイコン１００に出力される。
更に、デジタル信号処理部７６は、取り込んだ画像信号に基づいて、オートフォーカス制御に必要な被写体のコントラストの情報を検出する。検出されたコントラストの情報は、カメラマイコン１００に出力される。
《背面モニタ》
背面モニタ８は、ＬＣＤドライバ８ｄｒを介して、カメラマイコン１００に表示が制御される。
《記憶部》
記憶部７８は、画像データを含む各種データを記憶する。合成対象画像も記憶部７８に記憶される。記憶部７８は、内蔵メモリと、その内蔵メモリに対してデータを読み書きする制御回路と、を備えて構成される。内蔵メモリは、たとえば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等の不揮発性メモリで構成される。記憶部７８に対するデータの読み書きは、カメラマイコン１００で制御される。
記憶部７８は、この他、いわゆるメモリカード等の外部メモリで構成することもできる。この場合、メモリカードを装填するためのカードスロット等がデジタルカメラ１に備えられる。
《通信部》
通信部８０は、カメラマイコン１００による制御の下、外部機器との間で無線又は有線で通信し、互いに各種信号を送受信する。通信の方式は、特に限定されるものではなく、一般的に用いられる通信方式（たとえば、無線ＬＡＮ（Local Area Network）規格による通信方式、特定省電力無線規格による通信方式、携帯電話網を利用した通信方式等）、ＵＳＢ（Universal Serial Bus）規格による通信方式等が使用される。
《操作部》
操作部６は、各操作部材の操作に応じた信号をカメラマイコン１００に出力する。
《カメラマイコン》
カメラマイコン１００は、デジタルカメラ１の全体の動作を統括制御する制御部として機能する。また、カメラマイコン１００は、デジタルカメラ１の制御に必要な物理量を演算する演算処理部として機能する。カメラマイコン１００は、ＣＰＵ（Central Processing Unit／中央処理装置）、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）を備えたコンピュータ（マイクロコンピュータ）で構成される。カメラマイコン１００は、フォーカス制御プログラム、露出制御プログラム、表示制御プログラム、画像合成プログラム等の所定のプログラムを実行することにより、各種機能を実現する。カメラマイコン１００が実行するプログラム、制御に必要な各種データ等は、ＲＯＭに格納される。
図５は、カメラマイコンが実現する主な機能のブロック図である。
同図に示すように、カメラマイコン１００は、フォーカス制御部１１２、露出設定部１１４、イメージセンサ駆動制御部１１６、絞り制御部１１８、背面モニタ表示制御部１２０、記憶制御部１２２、通信制御部１２４、ファインダＬＣＤ表示制御部１２６、液晶シャッター駆動制御部１２８等として機能する。
〈フォーカス制御部〉
フォーカス制御部１１２は、いわゆるコントラスト方式のオートフォーカス制御を実施する。すなわち、フォーカスレンズ群４ｆを至近端から無限遠端に移動させて、コントラストが最大となる位置を検出し、検出した位置にフォーカスレンズ群４ｆを移動させる。
〈露出設定部〉
露出設定部１１４は、被写体の明るさの検出結果に基づいて、適正露出となるシャッタースピード（露光時間）及び絞り値を設定する。
〈イメージセンサ駆動制御部〉
イメージセンサ駆動制御部１１６は、露出設定部１１４で設定されたシャッタースピードで露光されるように、イメージセンサ駆動部７２を介してイメージセンサ７０の駆動を制御する。
〈絞り制御部〉
絞り制御部１１８は、露出設定部１１４で設定された絞り値となるように、絞り駆動機構８４を介して、絞り４ｉを制御する。
〈背面モニタ表示制御部〉
背面モニタ表示制御部１２０は、ＬＣＤドライバ８ｄｒを介して、背面モニタ８の表示を制御する。たとえば、撮像により得られた画像データを背面モニタ８に表示する場合は、当該画像データを背面モニタ８に表示可能なデータ形式に変換して、背面モニタ８に出力する。
〈記憶制御部〉
記憶制御部１２２は、記憶部７８に対するデータの読み書きを制御する。撮像により得られた画像データは、記憶制御部１２２を介して記憶部７８に記憶される。また、記憶部７８に記憶された画像データを再生する場合は、記憶制御部１２２を介して記憶部７８から読み出される。
〈通信制御部〉
通信制御部１２４は、通信部８０を介して、外部機器との通信を制御する。
〈ファインダＬＣＤ表示制御部〉
ファインダＬＣＤ表示制御部１２６は、ファインダＬＣＤドライバ６２ｄｒを介して、ファインダＬＣＤ６２の表示を制御する。上記のように、ファインダＬＣＤ６２に表示される画像は、光学ファインダ像に重畳される。したがって、ファインダＬＣＤ表示制御部１２６は、重畳表示制御部としても機能する。
〈液晶シャッター駆動制御部〉
液晶シャッター駆動制御部１２８は、液晶シャッタードライバ６６ｄｒを介して、液晶シャッター６６の駆動を制御し、液晶シャッター６６を開閉させる。
《合成写真モード下でカメラマイコンが実現する機能》
後述するように、本実施の形態のデジタルカメラ１は、その撮像モードの一つとして合成写真モードを備える。合成写真モードは、ユーザーが選択した画像を貼り付けた画像を撮像するモードである。
図６は、合成写真モード下でカメラマイコンが実現する機能のブロック図である。
同図に示すように、カメラマイコン１００は、合成写真モードに設定されると、合成対象画像取得部１４０、レイアウト決定部１４２、合成対象画像加工部１４４、合成画像生成部１４６として機能する。
〈合成対象画像取得部〉
合成対象画像取得部１４０は、合成対象画像を取得する処理を行う。合成対象画像とは、撮像した画像に貼り付ける画像のことである。合成対象画像は、記憶部７８に記憶される。合成対象画像取得部１４０は、記憶部７８に記憶された合成対象画像を読み出し、読み出した合成対象画像を背面モニタ８に表示させて、合成に使用する１枚をユーザーに選択させる。具体的には、記憶部７８に記憶されている複数枚の合成対象画像を背面モニタ８に一覧表示させ、操作部６の操作で合成に使用する１枚をユーザーに選択させる。たとえば、十字ボタン４６の操作でカーソルを移動させ、ＭＥＮＵ／ＯＫボタン４８の操作で合成に使用する一枚を選択させる。あるいは、記憶部７８に記憶されている複数枚の合成対象画像を操作部６の操作に基づいて、一枚ずつ背面モニタ８に表示させ、合成に使用する一枚を選択させる。
〈レイアウト決定部〉
レイアウト決定部１４２は、操作部６の操作に基づいて、合成対象画像のレイアウトを決定する処理を行う。すなわち、選択した合成対象画像を画面内のどの位置に、どのサイズで配置するかを決定する処理を行う。位置の調整は、十字ボタン４６で行われ、サイズの調整は、リアコマンドダイヤル３６で行われる。
レイアウトの決定に際して、ファインダＬＣＤ表示制御部１２６は、合成対象画像をファインダＬＣＤ６２に表示させる。これにより、光学ファインダ像に重畳して合成対象画像が表示される。
図７は、重畳表示の概念図である。
図７（Ａ）は、重畳表示させない場合のファインダ内の表示を示している。同図に示すように、この場合、被写体Ａの像のみが観察される。
図７（Ｂ）は、ファインダＬＣＤ６２の画面表示を示している。同図に示すように、ファインダＬＣＤ６２には、合成対象画像ｂの他、ファインダ内表示として、撮像範囲を示す枠ｆ及び各種設定情報が表示される。各種設定情報とは、デジタルカメラ１の現在の設定等を示す情報であり、撮像モード、露出モード、シャッタースピード、絞り値、露出補正値、設定感度、撮像可能枚数、バッテリー残量等が、これに該当する。各種設定情報は、枠ｆの周囲の余白領域に表示される。
図７（Ｃ）は、重畳表示させた場合のファインダ内の表示を示している。同図に示すように、ファインダＬＣＤ６２に表示した画像が、光学ファインダ像に重畳して表示される。
合成対象画像の重畳表示中、十字ボタン４６が操作されると、その操作方向及び操作量に応じて、合成対象画像の位置が移動する。
図８は、合成対象画像の位置調整の概念図である。
同図に矢印で示すように、合成対象画像ｂは、画面内を上、下、左及び右の４方向に移動させることができる。この４方向は、十字ボタン４６の操作方向に一致する。すなわち、十字ボタン４６を上方向に操作すると、その操作量に応じて合成対象画像ｂが画面内を上方向に移動し、下方向に操作すると、その操作量に応じて合成対象画像ｂが画面内を下方向に移動する。また、十字ボタン４６を左方向に操作すると、その操作量に応じて合成対象画像ｂが画面内を左方向に移動し、右方向に操作すると、その操作量に応じて合成対象画像ｂが画面内を右方向に移動する。
また、合成対象画像の重畳表示中、リアコマンドダイヤル３６が操作されると、その操作方向及び操作量に応じて、合成対象画像ｂの表示サイズが切り換わる。
図９は、合成対象画像のサイズ調整の概念図である。同図（Ａ）は、合成対象画像ｂを縮小した場合を示しており、同図（Ｂ）は、合成対象画像ｂを拡大した場合を示している。
図９（Ａ）に示すように、リアコマンドダイヤル３６が、時計回りに回転操作されると、その操作量に応じて合成対象画像ｂが縮小される。
一方、図９（Ｂ）に示すように、リアコマンドダイヤル３６が、反時計回りに回転操作されると、その操作量に応じて合成対象画像ｂが拡大される。
なお、このように、合成対象画像ｂを移動させたり、サイズを換えたりすると、合成対象画像ｂが、ファインダ内表示（撮像範囲を示す枠ｆ及び各種設定情報）に重なってしまう場合がある。このような場合、ファインダＬＣＤ表示制御部１２６は、合成対象画像ｂが重なる領域におけるファインダ内表示の表示態様を変更する。
図１０は、ファインダ内表示の表示態様の変更の一例を示す図である。
同図に示す例では、合成対象画像ｂが重なる領域ｗにおいて、ファインダ内表示の表示色を反転表示させている。この他、合成対象画像ｂが重なる領域ｗにおいて、ファインダ内表示を消したり、輝度を変更したりすることもできる。
このように、合成対象画像ｂが重なる領域のファインダ内表示の表示態様を変更することにより、合成対象画像ｂの視認性を向上させることができる。
なお、ファインダ内表示を白等の明るい色で表示している場合には、ファインダ内表示の輝度を変更することが有効である。これにより、ファインダ内表示が明るすぎて、合成対象画像ｂの視認性が低下するのを有効に防止できる。
〈合成対象画像加工部〉
合成対象画像加工部１４４は、イメージセンサ７０で撮像される画像に基づいて、合成対象画像を加工する。加工は、（１）合成対象画像をぼかす加工、（２）合成対象画像の明るさを変更する加工、（３）合成対象画像の色調を変更する加工、が行われる。
（１）合成対象画像をぼかす加工
合成対象画像をぼかす加工では、被写体の合焦位置と合成対象画像が配置される位置との差分情報に基づき、合成対象画像をぼかす処理を行う。具体的には、まず、フォーカスエリアから合成対象画像が表示されている部分までの距離を取得する。
図１１は、距離の取得の概念図である。
同図は、被写体の顔に合焦している場合の例を示している。フォーカスエリアの位置は、ＡＦフレームＦの中心の位置として既定される。フォーカスエリアの位置は、被写体ａの合焦位置に相当する。合焦対象画像の位置は、合焦対象画像の重心の位置として既定される。したがって、フォーカスエリアから合成対象画像が表示されている部分までの距離は、ＡＦフレームＦの中心から合焦対象画像の重心の位置までの距離Ｄとして既定される。
いま、合成対象画像の重心の位置Ｐ１の座標を（ｘ１，ｙ１）、フォーカスエリアの位置Ｐ２の座標を（ｘ２,ｙ２）とすると、距離Ｄは、〔（ｘ２−ｘ１）２＋（ｙ２＋ｙ１）２〕１／２により算出される。
なお、合成対象画像の重心の位置座標Ｐ１（ｘ１，ｙ１）、及び、フォーカスエリアの位置座標Ｐ２（ｘ２,ｙ２）は、それぞれ撮像画像（イメージセンサ７０で撮像される画像）上での位置座標である。したがって、合成対象画像の重心の位置座標Ｐ１（ｘ１，ｙ１）については、撮像画像上での位置座標に変換される。すなわち、ファインダＬＣＤ６２に表示されている合成対象画像の位置が、撮像画像上では、どの位置に対応するかを計算して、合成対象画像の重心の位置座標Ｐ１（ｘ１，ｙ１）を取得する。
なお、上記の例では、合焦対象画像の重心の位置を合焦対象画像の位置としているが、合成対象画像の種類等に応じて適宜設定することがより好ましい。たとえば、合成対象画像が人物であるような場合には、その顔の位置を合成対象画像の位置とすることができる。
次に、取得した距離Ｄの情報（被写体の合焦位置と合成対象画像が配置される位置との差分情報）、及び、絞り値の情報に基づいて、ぼけ具合を計算する。ぼけ量Ｑは、たとえば、次式により算出する。
Ｑ＝〔（α×Ｄ）／（β×ＦＮｏ）〕×（γ／Ｒ）
ここで、α、β、γは係数、Ｄはフォーカスエリアから合成対象画像が表示されている部分までの距離、ＦＮｏは絞り値、ＲはファインダＬＣＤ６２の画面解像度である。
次に、算出したぼけ量Ｑが許容範囲内か否かを判定する。具体的には、算出したぼけ量Ｑが閾値以上か否かを判定し、許容範囲内か否かを判定する。算出したぼけ量Ｑが、閾値以上の場合は、許容範囲を超えると判定する。許容範囲を超える場合にのみぼけ加工を施す。
ぼけ加工は、算出されたぼけ量に基づいて実施される。すなわち、ぼけ量が多いほど、ぼかす量が多くされる。本実施の形態では、合成対象画像の解像度を落とすことで、合成対象画像をぼかす加工を行う。
図１２は、画像をぼかす加工の概念図である。
いわゆる平滑化により、画像の解像度を落として、画像をぼかす加工を行う。具体的には、処理対象枠として、（１＋２Ｑ）×（１＋２Ｑ）の枠を設定し、その枠内の全画素の画素値の平均値を処理対象画素（ｘ，ｙ）の画素値とする。たとえば、算出されたぼけ量Ｑが２の場合、処理対象枠ＦＣとして、５×５の枠を設定し、その枠内の全画素の画素値の平均値を処理対象画素（ｘ，ｙ）の画素値とする。これにより、ぼけ量に応じて解像度が落とされる。この他、処理対象画素（ｘ，ｙ）のＱ個隣までの画素の画素値の平均値を算出し、算出した値を処理対象画素（ｘ，ｙ）の画素値としてもよい。
図１３は、合成対象画像をぼかす加工の処理手順を示すフローチャートである。
まず、フォーカシング動作の有無を判定する（ステップＳ１）。すなわち、被写体に焦点を合わせる動作の有無を判定する。フォーカシング動作が行われた場合、フォーカスエリアから合成対象画像が表示されている部分までの距離Ｄを取得する（ステップＳ２）。次に、現在設定されている撮像レンズ４の絞り値ＦＮｏの情報を取得する（ステップＳ３）。次に、取得した距離Ｄ及び絞り値ＦＮｏの情報に基づいて、ぼけ量Ｑを算出する（ステップＳ４）。次に、算出したぼけ量Ｑが閾値以上か否かを判定する（ステップＳ５）。算出したぼけ量Ｑが、閾値未満の場合、ぼかす加工は行わず、処理を終了する。一方、算出したぼけ量Ｑが、閾値以上の場合、合成対象画像をぼかす加工を行う（ステップＳ６）。合成対象画像をぼかす加工は、算出したぼけ量Ｑに基づいて実施し、ぼけ量に応じて合成対象画像の解像度を落とすことにより行う。
（２）合成対象画像の明るさを変更する加工
合成対象画像の明るさを変更する加工では、合成対象画像が配置される位置の明るさに応じて、合成対象画像の明るさを変更する。具体的には、撮像画像内で合成対象画像が配置される位置の輝度と合成対象画像の輝度との差を算出し、その差に応じて合成対象画像の輝度を変更する。
図１４は、合成対象画像の明るさを変更する加工の処理手順を示すフローチャートである。
まず、撮像画像内で合成対象画像が配置される位置の輝度の情報を取得する（ステップＳ１１）。次に、取得した輝度と合成対象画像の輝度との差を算出する（ステップＳ１２）。次に、算出した輝度差が閾値以上か否かを判定する（ステップＳ１３）。輝度差が閾値未満の場合、明るさを変更する加工は行わず、処理を終了する。一方、輝度差が閾値以上の場合、輝度差に応じて合成対象画像の輝度（明るさ）を変更する（ステップＳ１４）。
（３）合成対象画像の色調を変更する加工
合成対象画像の色調を変更する加工では、撮像画像に対するホワイトバランスの補正量に応じて、合成対象画像の色調を変更する。具体的には、ニュートラル位置に対して閾値以上のホワイトバランス補正がかけられた場合に合成対象画像の色調が変更される。
図１５は、合成対象画像の色調を変更する加工の処理手順を示すフローチャートである。
まず、撮像画像に対するホワイトバランスの補正量の情報を取得する（ステップＳ２１）。次に、ニュートラル位置に対して閾値以上のホワイトバランス補正を実施しているか否か、取得したホワイトバランスの補正量の情報に基づいて、判定する（ステップＳ２２）。閾値以上のホワイトバランス補正を実施していない場合、色調を変更する加工は行わず、処理を終了する。一方、閾値以上のホワイトバランス補正を実施している場合、ニュートラル位置に対するホワイトバランス補正量に基づいて、合成対象画像の色調を変更する（ステップＳ２３）。
このように、合成対象画像加工部１４４は、イメージセンサ７０で撮像される画像に基づいて、合成対象画像を加工する。ファインダＬＣＤ表示制御部１２６は、加工後の合成対象画像をファインダＬＣＤ６２に表示させる。これにより、加工後の画像をファインダ装置１０で確認できる。
〈合成画像生成部〉
合成画像生成部１４６は、合成画像の生成処理を行う。具体的には、画像の記録指示に応じてイメージセンサ７０で撮像された画像を取得し、合成対象画像加工部１４４で加工された合成対象画像をレイアウト決定部１４２で決定されたレイアウトで合成して、合成画像を生成する。
［作用］
《通常の撮像の処理手順》
まず、通常の撮像の処理手順について説明する。
通常の撮像モードでは、ＯＶＦ、ＥＶＦ、背面モニタ８のいずれもが使用できる。ただし、実際に使用できるのは、選択した１つである。
ＯＶＦを選択した場合、ファインダＬＣＤ６２には、撮像範囲を示す枠及び設定情報が表示される。これにより、ファインダ接眼部１０ｂを覗いた際、光学ファインダ像に重畳して、撮像範囲を示す枠及び設定情報が表示される。
ＥＶＦを選択した場合、ファインダＬＣＤ６２には、イメージセンサ７０で撮像される画像がライブビューされる。ライブビュー画像は、所定の枠内に表示され、その枠の周囲の余白領域には設定情報が表示される。
背面モニタ８を選択した場合は、背面モニタ８にイメージセンサ７０で撮像される画像がライブビューされる。ライブビュー画像は、所定の枠内に表示され、その枠の周囲の余白領域には設定情報が表示される。
ＯＶＦ又はＥＶＦが選択されている状態で背面モニタ８に使用を切り換える場合は、ビューモードボタン３０を押す。同様に、背面モニタ８が選択されている状態でＯＶＦ又はＥＶＦに使用を切り換える場合は、ビューモードボタン３０を押す。これにより、使用する対象が切り換わる。ＯＶＦとＥＶＦとの切り換えは、ファインダ切換レバー２４の操作で行われる。
画像の記録は、シャッターボタン１４の操作で行われる。シャッターボタン１４は、いわゆる半押し及び全押しが可能な二段ストローク式のボタンで構成され、半押しで撮像準備が行われる。すなわち、ＡＥ、ＡＦ、ＡＷＢ（Auto White Balance）の各処理が行われる。半押し後、更にシャッターボタン１４を押し込んで全押しすると、画像の記録指示が行われ、画像の記録処理が行われる。すなわち、記録用の画像が取り込まれ、所要の信号処理が施されて、記憶部７８に記憶される。
《合成写真モードでの撮像の処理手順》
上記のように、本実施の形態のデジタルカメラ１は、その撮像モードの一つとして合成写真モードを備える。合成写真モードへの設定は、たとえば、メニュー画面で行われる。メニュー画面は、クイックメニューボタン５２又はＭＥＮＵ／ＯＫボタン４８を押すことにより呼び出される。以下、合成写真モードでの撮像の処理の手順について説明する。
図１６は、合成写真モードでの撮像の処理手順を示すフローチャートである。
まず、合成対象画像を選択する処理が行われる（ステップＳ３１）。上記のように、この処理は、合成対象画像取得部１４０で行われる。合成対象画像取得部１４０は、記憶部７８に記憶された合成対象画像を読み出し、読み出した合成対象画像を背面モニタ８に表示させて、合成に使用する１枚をユーザーに選択させる。
合成対象画像が選択されると、ファインダ装置１０のモードが、自動的にＯＶＦモードに設定される（ステップＳ３２）。すなわち、合成写真モードでは、ＯＶＦが使用される。
ファインダ装置１０のモードが、ＯＶＦモードに設定されると、図７（Ｂ）に示すように、合成対象画像が、ファインダＬＣＤ６２に表示される。これにより、図７（Ｃ）に示すように、合成対象画像が光学ファインダ像に重畳して表示される（ステップＳ３３）。この光学ファインダ像に重畳して表示させる合成対象画像は、必要に応じて加工処理が施される。すなわち、被写体の合焦位置と合成対象画像が配置される位置との差分情報に基づき、合成対象画像をぼかす処理、合成対象画像が配置される位置の明るさに応じて、合成対象画像の明るさを変更する処理、撮像画像に対するホワイトバランスの補正量に応じて、合成対象画像の色調を変更する処理が行われる。
図１７は、合成対象画像に対する画像加工の処理の手順を示すフローチャートである。
まず、ぼかす加工が行われる。まず、フォーカシング動作の有無を判定する（ステップＳ４１）。フォーカシング動作が行われた場合、フォーカスエリアから合成対象画像が表示されている部分までの距離Ｄを取得する（ステップＳ４２）。次に、現在設定されている撮像レンズ４の絞り値ＦＮｏの情報を取得する（ステップＳ４３）。次に、取得した距離Ｄ及び絞り値ＦＮｏの情報に基づいて、ぼけ量Ｑを算出する（ステップＳ４４）。次に、算出したぼけ量Ｑが閾値以上か否かを判定する（ステップＳ４５）。算出したぼけ量Ｑが、閾値未満の場合、ぼかす加工は行わず、次の明るさの加工に進む。一方、算出したぼけ量Ｑが、閾値以上の場合、合成対象画像をぼかす加工を行う（ステップＳ４６）。
次に、明るさを変更する加工が行われる。まず、撮像画像内で合成対象画像が配置される位置の輝度の情報を取得する（ステップＳ４７）。次に、取得した輝度と合成対象画像の輝度との差を算出する（ステップＳ４８）。次に、算出した輝度差が閾値以上か否かを判定する（ステップＳ４９）。輝度差が閾値未満の場合、明るさを変更する加工は行わず、次の色調の加工に進む。一方、輝度差が閾値以上の場合、輝度差に応じて合成対象画像の輝度（明るさ）を変更する（ステップＳ５０）。
次に、色調を変更する加工が行われる。まず、撮像画像に対するホワイトバランスの補正量の情報を取得する（ステップＳ５１）。次に、ニュートラル位置に対して閾値以上のホワイトバランス補正を実施しているか否か、取得したホワイトバランスの補正量の情報に基づいて、判定する（ステップＳ５２）。閾値以上のホワイトバランス補正を実施していない場合、色調を変更する加工は行わず、次のステップＳ５４に進む。一方、閾値以上のホワイトバランス補正を実施している場合、ニュートラル位置に対するホワイトバランス補正量に基づいて、合成対象画像の色調を変更する（ステップＳ５３）。
この後、画像の記録指示の有無が判定される（ステップＳ５４）。記録指示がない場合、ステップＳ４１に戻り、上記処理を繰り返し実行する。これにより、必要に応じて合成対象画像が加工処理される。
ユーザーは、ファインダ接眼部１０ｂから観察される画像を見て、合成対象画像のレイアウトを調整する（ステップＳ３４）。すなわち、十字ボタン４６を操作して、合成対象画像の表示位置を調整する。また、リアコマンドダイヤル３６を操作して、合成対象画像のサイズを調整する。
この後、シャッターボタン１４の全押しの有無が判定され、画像の記録指示の有無が判定される（ステップＳ３５）。
画像の記録が指示されると、記録用の画像が取得される（ステップＳ３６）。そして、その取得された画像に対して、合成処理が行われる（ステップＳ３７）。すなわち、ユーザーによって決定されたレイアウトで合成対象画像が貼り付けられ、合成画像が生成される。ここで、この撮像画像に貼り付けられる合成対象画像は、必要に応じて、加工処理が施された画像である。すなわち、被写体の合焦位置と合成対象画像が配置される位置との差分情報に基づき、合成対象画像をぼかす処理、合成対象画像が配置される位置の明るさに応じて、合成対象画像の明るさを変更する処理、撮像画像に対するホワイトバランスの補正量に応じて、合成対象画像の色調を変更する処理が行われた画像である。これにより、違和感のない自然な仕上がりの合成画像を取得できる。生成された合成画像は、記憶部７８に記憶される。
以上説明したように、本実施の形態のデジタルカメラ１によれば、合成対象画像が、光学ファインダ像に重畳して表示されるので、撮像の段階で所望のレイアウトの合成画像を生成できる。また、必要に応じて合成対象画像が加工処理されるので、違和感のない自然な仕上がりの合成画像を生成できる。加工処理等する場合であっても、合成処理を伴わないので、装置への処理負荷も低減できる。
◆◆変形例◆◆
［合成対象画像の取得］
上記実施の形態では、合成対象画像をデジタルカメラ１の内部から取得する構成としているが、外部から取得する構成とすることもできる。すなわち、通信部８０を介して外部のサーバと通信し、その外部のサーバから合成対象画像を取得する構成とすることもできる。また、インターネット情報を検索、閲覧する機能を備え、インターネット上で検索した画像を合成対象画像として取得する構成とすることもできる。これにより、取得可能な合成対象画像の数及び種類を拡大できる。
［操作部の構成］
上記実施の形態では、合成対象画像のレイアウトを決定する際、十字ボタン４６及びリアコマンドダイヤル３６の操作で合成対象画像のレイアウトを調整する構成としているが、合成対象画像のレイアウトを調整するための操作手段は、これに限定されるものではない。この他、たとえば、背面モニタ８にタッチパネルを備え、そのタッチパネルの操作によって、合成対象画像のレイアウトを調整する構成としてもよい。この場合、たとえば、画面上で指を動かした方向に合成対象画像を移動させる。また、画面上で二本の指を拡げる動作によって、合成対象画像のサイズを拡大させ、二本の指を縮める動作によって、合成対象画像のサイズを縮小させる。
［合成対象画像の加工］
上記実施の形態では、合成対象画像に対して、画像をぼかす加工、明るさを変更する加工、色調を変更する加工を行っているが、合成対象画像に対して行う加工は、これに限定されるものではない。他の公知の加工手法を採用できる。また、加工は、少なくとも一つ行われる構成であればよい。
また、上記実施の形態では、画像をぼかす加工として、画像の解像度を落とす処理を行っているが、画像をぼかす加工は、これに限定されるものではない。この他、公知の手法を採用できる。明るさ、色調についても、同様であり、公知の手法を採用できる。また、上記実施の形態では、距離及び絞り値に基づいて、ぼけ量を算出する構成としているが、ぼけ量を求めるは、これに限定されるものではない。
また、上記実施の形態では、自動で加工処理される構成としているが、ユーザーがマニュアルで加工できる構成としてもよい。たとえば、加工メニューを用意し、操作部６の操作によって、合成対象画像に各種加工を施せるようにしてもよい。これにより、よりユーザーの好みに近い合成画像を生成できる。
［撮像装置の構成］
上記実施の形態では、レンズ一体式のデジタルカメラに本発明を適用した場合を例に説明したが、本発明の適用は、これに限定されるものではない。ハイブリッド型のファインダ装置を備えた撮像装置であれば、同様に本発明を適用できる。
なお、ピント板の上に透過型のＬＣＤを備えることにより、一眼レフカメラのファインダでもハイブリッド型のファインダを構成できる。すなわち、ファインダ接眼部から観察される光学ファインダ像に所定の情報を重畳させることができる。
［その他］
上記実施の形態では、合成対象画像取得部、レイアウト決定部、合成対象画像加工部、重畳表示制御部、及び、合成画像生成部等の各機能をコンピュータで実現させているが、これらの機能を実現するためのハードウェア的な構成は、これに限定されるものではない。各種のプロセッサーで実現させることができる。各種のプロセッサーには、ソフトウェア（プログラム）を実行して各種の処理を行う処理部として機能する汎用的なプロセッサーであるＣＰＵ、ＦＰＧＡ（ＦＰＧＡ：Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサーであるＰＬＤ（ＰＬＤ：Programmable Logic Device）、ＡＳＩＣ（ＡＳＩＣ：Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサーである専用電気回路などが含まれる。
一つの処理部は、これら各種のプロセッサーのうちの一つで構成されていてもよいし、同種又は異種の二つ以上のプロセッサーで構成されていてもよい。たとえば、複数のＦＰＧＡで構成されてもよいし、ＣＰＵ及びＦＰＧＡの組み合わせで構成されてもよい。
また、複数の処理部を一つのプロセッサーで構成してもよい。複数の処理部を一つのプロセッサーで構成する例としては、第１に、クライアント、サーバなどのコンピュータに代表されるように、一つ以上のＣＰＵとソフトウェアとの組合せで一つのプロセッサーを構成し、このプロセッサーが複数の処理部として機能する形態がある。第２に、システムオンチップ（ＳｏＣ：System On Chip）などに代表されるように、複数の処理部を含むシステム全体の機能を一つのＩＣチップ（ＩＣ：Integrated Circuit）で実現するプロセッサーを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサーを一つ以上用いて構成される。
更に、これらの各種のプロセッサーのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路である。
１ デジタルカメラ
２ カメラボディ
４ 撮像レンズ
４ｆ フォーカスレンズ群
４ｉ 絞り
６ 操作部
８ 背面モニタ
８ｄｒ ＬＣＤドライバ
１０ ファインダ装置
１０ａ ファインダ窓
１０ｂ ファインダ接眼部
１２ 電源レバー
１４ シャッターボタン
１６ 第１ファンクションボタン
１８ 露出補正ダイヤル
２０ 感度ダイヤル
２２ フロントコマンドダイヤル
２４ ファインダ切換レバー
２６ 第２ファンクションボタン
２８ フォーカスモード切換レバー
３０ ビューモードボタン
３２ 測光モードボタン
３４ ＡＥロックボタン
３６ リアコマンドダイヤル
３８ フォーカスレバー
４０ 再生ボタン
４２ 消去ボタン
４４ バックボタン
４６ 十字ボタン
４８ ＭＥＮＵ／ＯＫボタン
５０ ＡＦロックボタン
５２ クイックメニューボタン
６０ ファインダ第１光学系
６０ａ 対物レンズ群
６０ｂ 接眼レンズ群
６２ ファインダＬＣＤ
６２ｄｒ ファインダＬＣＤドライバ
６４ ファインダ第２光学系
６４ａ ハーフプリズム
６４ａ１ 半透膜
６４ｂ ターゲットレンズ群
６６ 液晶シャッター
６６ｄｒ 液晶シャッタードライバ
７０ イメージセンサ
７２ イメージセンサ駆動部
７４ アナログ信号処理部
７６ デジタル信号処理部
７８ 記憶部
８０ 通信部
８２ フォーカスレンズ駆動機構
８４ 絞り駆動機構
１００ カメラマイコン
１１２ フォーカス制御部
１１４ 露出設定部
１１６ イメージセンサ駆動制御部
１１８ 絞り制御部
１２０ 背面モニタ表示制御部
１２２ 記憶制御部
１２４ 通信制御部
１２６ ファインダＬＣＤ表示制御部
１２８ 液晶シャッター駆動制御部
１４０ 合成対象画像取得部
１４２ レイアウト決定部
１４４ 合成対象画像加工部
１４６ 合成画像生成部
Ａ 被写体
Ｆ ＡＦフレーム
ＦＣ 処理対象枠
Ｌ 撮像レンズの光軸
Ｐ１ 合成対象画像の重心の位置
Ｐ２ フォーカスエリアの位置
ａ 被写体
ｂ 合成対象画像
ｆ 撮像範囲を示す枠
ｗ 領域
Ｓ１〜Ｓ６ 合成対象画像をぼかす加工の処理手順
Ｓ１１〜Ｓ１４ 合成対象画像の明るさを変更する加工の処理手順
Ｓ２１〜Ｓ２３ 合成対象画像の色調を変更する加工の処理手順
Ｓ３１〜Ｓ３７ 合成写真モードでの撮像の処理手順
Ｓ４１〜Ｓ５４ 合成対象画像に対する画像加工の処理の手順
合成画像を生成する機能を備えた撮像装置として、特許文献１には、光学ファインダの光路上に配置した透過型表示素子に合成対象画像を表示させることにより、撮像と同時に合成画像を生成できる撮像装置が提案されている。この撮像装置では、透過型表示素子上で合成対象画像の位置を調整することにより、撮像段階で合成画像のレイアウトを調整できる。
一方、特許文献２には、モニタにライブビュー表示される画像（ライブビュー画像）に合成対象画像を重畳表示させることにより、撮像と同時に合成画像を生成できる撮像装置が提案されている。この撮像装置においても、モニタ上で合成対象画像の位置を調整することにより、撮像段階で合成画像のレイアウトを調整できる。また、同文献には、ライブビュー画像の特性に応じて、合成対象画像の表示位置、大きさ、カラー及び輝度等を自動調整することが提案されている。
しかしながら、特許文献２のように、合成対象画像をライブビュー画像に重畳表示させる場合、リアルタイムに合成処理が必要となるため、装置への処理負荷が高くなる、という欠点がある。
また、上記実施の形態では、画像をぼかす加工として、画像の解像度を落とす処理を行っているが、画像をぼかす加工は、これに限定されるものではない。この他、公知の手法を採用できる。明るさ、色調についても、同様であり、公知の手法を採用できる。また、上記実施の形態では、距離及び絞り値に基づいて、ぼけ量を算出する構成としているが、ぼけ量を求める手法は、これに限定されるものではない。

Claims (11)

  1. 撮像レンズと、
    前記撮像レンズを通る光を受光して画像を撮像する撮像部と、
    操作部と、
    光学ファインダと、
    出力する情報を前記光学ファインダで観察される光学ファインダ像に重畳させて表示する重畳表示部と、
    合成対象画像を取得する合成対象画像取得部と、
    前記操作部の操作に基づいて、前記合成対象画像のレイアウトを決定するレイアウト決定部と、
    前記撮像部で撮像される画像に基づいて、前記合成対象画像を加工する合成対象画像加工部と、
    前記重畳表示部を制御して、前記合成対象画像加工部で加工された前記合成対象画像を前記レイアウト決定部で決定されたレイアウトで前記光学ファインダ像に重畳表示させる重畳表示制御部と、
    前記操作部による画像の記録指示に応じて前記撮像部で撮像された画像を取得し、前記合成対象画像加工部で加工された前記合成対象画像を前記レイアウト決定部で決定されたレイアウトで合成して合成画像を生成する合成画像生成部と、
    を備えた撮像装置。
  2. 前記合成対象画像加工部は、被写体の合焦位置と、前記合成対象画像が配置される位置との差分情報に基づき、前記合成対象画像をぼかす処理を行う、
    請求項１に記載の撮像装置。
  3. 前記合成対象画像加工部は、前記撮像レンズの絞り値に応じて、ぼかす量を変更する、
    請求項２に記載の撮像装置。
  4. 前記合成対象画像加工部は、前記合成対象画像をぼかす処理として、前記合成対象画像の解像度を変更する、
    請求項２又は３に記載の撮像装置。
  5. 前記合成対象画像加工部は、前記合成対象画像が配置される位置の明るさに応じて、前記合成対象画像の明るさを変更する、
    請求項１から４のいずれか１項に記載の撮像装置。
  6. 前記合成対象画像加工部は、前記撮像部で撮像される画像のホワイトバランスの補正量に応じて、前記合成対象画像の色調を変更する、
    請求項１から５のいずれか１項に記載の撮像装置。
  7. 前記重畳表示制御部は、更に、ファインダ内表示として、撮像装置の設定情報及び撮像範囲を示す枠の少なくとも一方を前記光学ファインダ像に重畳表示させ、前記合成対象画像が前記ファインダ内表示に重なる場合、前記ファインダ内表示の表示態様を変更する、
    請求項１から６のいずれか１項に記載の撮像装置。
  8. 前記重畳表示制御部は、前記合成対象画像が前記ファインダ内表示に重なる場合、前記ファインダ内表示の輝度を変更する、
    請求項７に記載の撮像装置。
  9. サーバと通信する通信部を更に備え、
    前記合成対象画像取得部は、前記通信部を介して前記サーバと通信し、前記サーバから前記合成対象画像を取得する、
    請求項１から８のいずれか１項に記載の撮像装置。
  10. 前記操作部は、タッチパネルを含み、
    前記レイアウト決定部は、前記タッチパネルの操作に基づいて、前記合成対象画像のレイアウトを決定する、
    請求項１から９のいずれか１項に記載の撮像装置。
  11. 前記合成対象画像加工部は、更に前記操作部の操作に基づいて、前記合成対象画像を加工する、
    請求項１から１０のいずれか１項に記載の撮像装置。
JP2019540813A 2017-09-07 2018-07-23 撮像装置 Active JP6934059B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017172326 2017-09-07
JP2017172326 2017-09-07
PCT/JP2018/027524 WO2019049532A1 (ja) 2017-09-07 2018-07-23 撮像装置

Publications (2)

Publication Number Publication Date
JPWO2019049532A1 true JPWO2019049532A1 (ja) 2020-10-29
JP6934059B2 JP6934059B2 (ja) 2021-09-08

Family

ID=65633888

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019540813A Active JP6934059B2 (ja) 2017-09-07 2018-07-23 撮像装置

Country Status (3)

Country Link
US (1) US10805545B2 (ja)
JP (1) JP6934059B2 (ja)
WO (1) WO2019049532A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013136601A1 (ja) * 2012-03-16 2013-09-19 富士フイルム株式会社 画像表示装置及びこの画像表示装置をファインダ装置として搭載した撮影装置並びに画像表示方法
JP2014131281A (ja) * 2012-12-28 2014-07-10 Samsung Electronics Co Ltd 合成イメージを撮影する撮影装置及びその方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6621524B1 (en) * 1997-01-10 2003-09-16 Casio Computer Co., Ltd. Image pickup apparatus and method for processing images obtained by means of same
JP3375852B2 (ja) * 1997-06-13 2003-02-10 三洋電機株式会社 ディジタルカメラ
JP2002171398A (ja) * 2000-12-04 2002-06-14 Konica Corp 画像処理方法及び電子カメラ
JP3946676B2 (ja) * 2003-08-28 2007-07-18 株式会社東芝 撮影画像処理装置及びその方法
JP4877242B2 (ja) * 2008-02-06 2012-02-15 ブラザー工業株式会社 画像処理装置および画像処理プログラム
JP2012090065A (ja) 2010-10-19 2012-05-10 Nikon Corp 撮像装置
CN104221362B (zh) * 2012-03-28 2017-09-12 富士胶片株式会社 摄像装置以及摄影辅助方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013136601A1 (ja) * 2012-03-16 2013-09-19 富士フイルム株式会社 画像表示装置及びこの画像表示装置をファインダ装置として搭載した撮影装置並びに画像表示方法
JP2014131281A (ja) * 2012-12-28 2014-07-10 Samsung Electronics Co Ltd 合成イメージを撮影する撮影装置及びその方法

Also Published As

Publication number Publication date
WO2019049532A1 (ja) 2019-03-14
JP6934059B2 (ja) 2021-09-08
US20200213521A1 (en) 2020-07-02
US10805545B2 (en) 2020-10-13

Similar Documents

Publication Publication Date Title
JP6873688B2 (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
JP4288612B2 (ja) 画像処理装置および方法、並びにプログラム
JP6512810B2 (ja) 撮像装置および制御方法とプログラム
US8760528B2 (en) Image capture apparatus and control method thereof
JP3675412B2 (ja) 撮像装置
US20140184870A1 (en) Imaging device, imaging method, and imaging program
JP5277873B2 (ja) 撮像装置、画像処理装置および画像処理方法
CN113395421B (zh) 图像处理设备、摄像设备、控制方法和存储介质
US7724297B2 (en) Imaging device having a display to display images captured by a plurality of image sensors with different display regions
JP7049163B2 (ja) 電子機器およびその制御方法、プログラム並びに記憶媒体
JP4853414B2 (ja) 撮像装置、画像処理装置およびプログラム
JP6833801B2 (ja) 撮像装置、撮像方法、プログラムおよび記録媒体
JP2020017807A (ja) 画像処理装置および画像処理方法、ならびに撮像装置
JP2019047365A (ja) 画像処理装置、画像処理装置の制御方法、撮像装置、プログラム
CN105323472B (zh) 测光装置及其控制方法
JP2021005761A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラム
JP6934059B2 (ja) 撮像装置
KR101812656B1 (ko) 디지털 촬영 장치 및 이의 제어 방법
JP7257768B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
JP7086774B2 (ja) 撮像装置、撮像方法およびプログラム
JP6590899B2 (ja) 撮像装置、撮像方法およびプログラム
JP5493273B2 (ja) 撮像装置、撮影方法及びプログラム
JP2007282063A (ja) デジタル一眼レフカメラ
JP2018050192A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP2023154269A (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200518

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210811

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210820

R150 Certificate of patent or registration of utility model

Ref document number: 6934059

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150