JP7229728B2 - Imaging device, its control method, and program - Google Patents

Imaging device, its control method, and program Download PDF

Info

Publication number
JP7229728B2
JP7229728B2 JP2018209094A JP2018209094A JP7229728B2 JP 7229728 B2 JP7229728 B2 JP 7229728B2 JP 2018209094 A JP2018209094 A JP 2018209094A JP 2018209094 A JP2018209094 A JP 2018209094A JP 7229728 B2 JP7229728 B2 JP 7229728B2
Authority
JP
Japan
Prior art keywords
image processing
photographing
parameter
angle
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018209094A
Other languages
Japanese (ja)
Other versions
JP2020077938A (en
Inventor
靖 穂積
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018209094A priority Critical patent/JP7229728B2/en
Publication of JP2020077938A publication Critical patent/JP2020077938A/en
Application granted granted Critical
Publication of JP7229728B2 publication Critical patent/JP7229728B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は、星空などの天体撮影技術に関する。 The present invention relates to astrophotography technology such as a starry sky.

近年、手軽に天体撮影をすることができる機能を搭載したデジタルカメラが流通している。例えば、星空を美しく撮れるようにカメラが自動で長秒時撮影を実施して星空の画像を得るモード(以後、星空夜景モードと呼ぶ)を有するものが提案されている。さらには、星空を所定の間隔で連続撮影し、それぞれの星空画像を合成して、星の軌跡を一枚の画像として得るモード(以後、星空軌跡モードと呼ぶ)を有するデジタルカメラも提案されている。 2. Description of the Related Art In recent years, digital cameras equipped with a function that enables easy astrophotography have been distributed. For example, a camera has been proposed that has a mode (hereinafter referred to as a starry sky night view mode) in which the camera automatically performs long-exposure photography to obtain an image of the starry sky so that the starry sky can be captured beautifully. Furthermore, a digital camera has been proposed that has a mode (hereinafter referred to as a star trail mode) in which the starry sky is continuously photographed at predetermined intervals, and the star trails are obtained as a single image by synthesizing the respective starry sky images. there is

また、このような星空を撮影する技術にあたって、星座の視認性の向上などを目的として、撮像した天体を強調して表示させる技術として、特許文献1が開示されている。 Further, in the technology of photographing such a starry sky, Japanese Patent Application Laid-Open No. 2002-200301 discloses a technique of emphasizing and displaying an imaged celestial body for the purpose of improving the visibility of constellations.

特開2012-89944号公報JP 2012-89944 A

しかしながら、上述のような星空撮影の例で言えば、画角内にある星の数によって、その画像の見栄えが大きく左右されていた。ズームレンズを搭載した撮像装置では、ズーム操作によって画角を変更することができるが、この画角を考慮して撮影画像を調整することは従来なされていなかった。 However, in the case of starry sky photography as described above, the appearance of the image is greatly influenced by the number of stars within the angle of view. In an image pickup apparatus equipped with a zoom lens, the angle of view can be changed by a zoom operation, but conventionally, adjustment of a captured image has not been made in consideration of this angle of view.

そこで本発明の目的は、上述のような星空などの点光源の撮影において、焦点距離に応じた画角の変更があったとしても大きな演出効果を得ることにある。 SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to obtain a large dramatic effect even if the angle of view is changed according to the focal length in photographing a point light source such as a starry sky as described above.

本発明に係る撮影装置は、星空の撮影が可能な撮影装置であって、撮影画角を特定する特定手段と、撮影された画像における星を検出する検出手段と、前記検出手段により検出された星に対して所定の画像処理を行う画像処理手段とを有し、前記画像処理手段は、ズームポジション情報を用いて前記所定の画像処理のためのパラメータを決め、前記特定手段により特定された撮影画角が第1の画角である場合、第1パラメータで前記所定の画像処理を行い、前記特定手段により特定された撮影画角が第1の画角よりも広い第2の画角である場合、第1パラメータと異なる第2のパラメータで前記所定の画像処理を行うことを特徴とする。 A photographing apparatus according to the present invention is a photographing apparatus capable of photographing a starry sky, and includes specifying means for specifying a photographing angle of view, detecting means for detecting stars in the photographed image, and stars detected by the detecting means. and image processing means for performing predetermined image processing on the stars, wherein the image processing means determines parameters for the predetermined image processing using zoom position information, and performs shooting specified by the specifying means. When the angle of view is the first angle of view, the predetermined image processing is performed with the first parameter, and the shooting angle of view specified by the specifying means is the second angle of view wider than the first angle of view. In this case, the predetermined image processing is performed using a second parameter different from the first parameter.

本発明によれば、星空などの点光源の撮影において、焦点距離に応じた画角の変更があったとしても大きな演出効果を得ることができる。 According to the present invention, when photographing a point light source such as a starry sky, a large dramatic effect can be obtained even if the angle of view is changed according to the focal length.

星空夜景モード撮影のフローチャート図Flowchart for shooting in starry sky nightscape mode 星空軌跡モード撮影のフローチャート図Flow chart for shooting in star trail mode デジタルカメラの機能構成を示すブロック図Block diagram showing the functional configuration of a digital camera 星空画像の縮小の一例を示す図A diagram showing an example of a reduced starry sky image 星空画像における領域検出を示す図Diagram showing region detection in a starry sky image 星空画像の一例を示す図(星空夜景)A diagram showing an example of a starry sky image (starry sky night view) 星空画像の一例を示す図(星空軌跡)A diagram showing an example of a starry sky image (star trail) ズームポジションと画質パラメータの対応表を示す図Diagram showing correspondence table between zoom position and image quality parameter ズームポジションと画質パラメータの対応表を示す図Diagram showing correspondence table between zoom position and image quality parameter ズームポジションと画質パラメータの対応表を示す図Diagram showing correspondence table between zoom position and image quality parameter

[第1の実施形態]
<撮像装置の構成>
図3は、本実施形態における撮像装置の一例であるデジタルカメラの構成例を示すブロック図である。本実施形態のデジタルカメラは、静止及び動画を撮影することのできるデジタルカメラである。なお、撮像装置のその他の例としては、いわゆるカメラ機能を有する携帯電話やタブレットデバイスの他、学術的、工業的に星空などを撮影し観測・分析するための装置やシステムも含まれる。したがって、実施形態ではデジタルカメラ単体で後述の機能を実現する例について説明するが、複数の装置が直接あるいはネットワークなどで間接的に接続されたシステムの一部の装置またはシステム全体で後述の機能を実現してもよい。
[First Embodiment]
<Structure of Imaging Device>
FIG. 3 is a block diagram showing a configuration example of a digital camera, which is an example of an imaging device according to this embodiment. The digital camera of this embodiment is a digital camera capable of capturing still images and moving images. Other examples of imaging devices include mobile phones and tablet devices having a so-called camera function, as well as devices and systems for photographing, observing, and analyzing the starry sky for academic and industrial purposes. Therefore, in the embodiments, an example in which a single digital camera implements the functions described later will be described. may be realized.

操作部101は、ユーザがデジタルカメラ100に対して各種コマンドを入力、設定するためのユーザインタフェースになる。例えば、入力デバイスとして、各種コマンド設定の機能を有するメカニカルなスイッチやボタンにより構成している。また、タッチパネル式の液晶等の表示デバイスに、同様の機能を有するボタンを形成して表示させることにより構成してもよい。操作部101は、電源のON/OFF、撮影条件や撮影モードの設定及び変更、撮影条件の確認、撮影済み画像の確認等で使用される。 An operation unit 101 serves as a user interface for the user to input and set various commands to the digital camera 100 . For example, the input device is composed of mechanical switches and buttons that have various command setting functions. Further, it may be configured by forming and displaying buttons having similar functions on a display device such as a touch panel type liquid crystal. An operation unit 101 is used for turning on/off the power, setting and changing imaging conditions and imaging modes, confirming imaging conditions, confirming images that have been photographed, and the like.

操作部101にはシャッタースイッチも含んでおり、シャッタースイッチの半押し状態の場合は第一のシャッタースイッチSW1、全押し状態の場合は第二のシャッタースイッチSW2として、システム制御部102に通知する。 The operation unit 101 also includes a shutter switch, and notifies the system control unit 102 of the first shutter switch SW1 when the shutter switch is half-pressed and the second shutter switch SW2 when the shutter switch is fully-pressed.

SW1の通知によりシステム制御部102に、後述するAF処理、AE処理等の開始を指示する。一方で、SW2では、一連の撮影処理動作の開始コマンドとしてシステム制御部102に指示する。一連の撮影処理動作とは、撮像素子103からの画像信号の読み出し、A/D変換、画像処理、任意の記録フォーマットへの変換処理を経て、画像記録部112への画像データ書き込み等の処理動作のことを指す。 The notification from SW1 instructs the system control unit 102 to start AF processing, AE processing, etc., which will be described later. On the other hand, SW2 instructs the system control unit 102 as a command to start a series of photographing processing operations. A series of shooting processing operations includes processing operations such as reading image signals from the image sensor 103, A/D conversion, image processing, conversion processing to an arbitrary recording format, and writing image data to the image recording unit 112. refers to

システム制御部102は、操作部101からの指示に応じてデジタルカメラ100の各部の動作を制御する。システム制御部102は一般的に、CPU、CPUが実行するプログラムを記憶するROM、及び、プログラムの読み込み用やワークエリア用としてのRAMのメモリ等から構成される。 A system control unit 102 controls operations of each unit of the digital camera 100 according to instructions from the operation unit 101 . The system control unit 102 generally includes a CPU, a ROM for storing programs executed by the CPU, and a RAM memory for reading the program and for a work area.

システム制御部102においては、画像処理部105から出力されるデジタル画像データから被写体輝度レベルを算出し、撮影モードに応じてシャッタースピード、及び、絞りの少なくとも一方を自動的に決定する自動露出制御(AE)処理を行う。 In the system control unit 102, the subject brightness level is calculated from the digital image data output from the image processing unit 105, and automatic exposure control ( AE) Processing.

露出機構108aは絞り、及び、メカニカルシャッターの機能を有する。この露出機構108aを用いて、システム制御部102から上述のAE処理結果の通知を受けたメカ駆動部108の制御による絞りとシャッタースピードで動作させることで、レンズ107aと撮像素子103の間の光路及び光量を確保することができる。これにより、上述のAE処理で求まる露出条件による被写体の撮像素子103への露光が可能になる。 The exposure mechanism 108a has functions of a diaphragm and a mechanical shutter. Using this exposure mechanism 108a, the optical path between the lens 107a and the image sensor 103 is controlled by operating at the aperture and shutter speed controlled by the mechanical driving unit 108, which receives notification of the AE processing result from the system control unit 102. And the amount of light can be secured. As a result, it becomes possible to expose the subject to the image sensor 103 under the exposure conditions obtained by the above-described AE processing.

また、システム制御部102は、レンズ駆動部107を用いてレンズ光学系107aのフォーカスレンズを駆動させ、画像処理部105が出力するデジタル画像データのコントラストの変化を検出し、これに基づいて自動合焦制御(AF)処理を行う。 Further, the system control unit 102 uses the lens driving unit 107 to drive the focus lens of the lens optical system 107a, detects changes in the contrast of the digital image data output from the image processing unit 105, and performs automatic matching based on this. Focus control (AF) processing is performed.

また、本実施形態の操作部101にはズーム機能を実施するためのズームレバー(不図示)も設けられている。このズームレバーを操作量と連動するズームポジションまでレンズ光学系107aの所定のズームレンズの移動を指示する信号がシステム制御部102に通知される。システム制御部102は、この信号に基づいてレンズ駆動部107を用いて、レンズ光学系107aのズームレンズを所望のズームポジションになるまで移動させる。以上のレンズ光学系107aの制御により、所望のズームポジションとなるレンズ配置、すなわち、所望の焦点距離による画角に設定して、撮影することができる。 Further, the operation unit 101 of this embodiment is also provided with a zoom lever (not shown) for performing a zoom function. The system control unit 102 is notified of a signal instructing the movement of a predetermined zoom lens of the lens optical system 107a to a zoom position that interlocks with the operation amount of the zoom lever. Based on this signal, the system control unit 102 uses the lens driving unit 107 to move the zoom lens of the lens optical system 107a to a desired zoom position. By controlling the lens optical system 107a as described above, it is possible to set the lens arrangement at a desired zoom position, that is, set the angle of view according to the desired focal length, and photograph.

また、システム制御部102は、ズームレンズのズームポジション情報を画像処理部105に通知し、この情報をもとに、後述の星空夜景モード撮影や星空軌跡モード撮影時の画像処理における各種設定に用いられる。 The system control unit 102 also notifies the image processing unit 105 of the zoom position information of the zoom lens, and based on this information, it is used for various settings in image processing during starry sky nightscape mode shooting and star trail mode shooting, which will be described later. be done.

また、システム制御部102は、設定ISO感度に応じたゲイン調整量をA/D変換部104へ通知する役割もある。設定ISO感度は、ユーザが設定した固定感度であってもよいし、システム制御部102がAE処理の結果に基づいて動的に設定したISO感度であってもよい。 The system control unit 102 also has a role of notifying the A/D conversion unit 104 of the gain adjustment amount according to the set ISO sensitivity. The set ISO sensitivity may be a fixed sensitivity set by the user, or may be an ISO sensitivity dynamically set by the system control unit 102 based on the result of AE processing.

さらに、システム制御部102は、フラッシュの設定を行ったり、上述のシステム制御部102からのAE処理結果によるシャッタースピードや撮影モードなどに応じて、本撮影時のフラッシュ部110の発光操作の要否を決定する。フラッシュの発光を決定した場合、システム制御部102はEF処理部109にフラッシュ発光実施を指示する。EF処理部109は、システム制御部102からフラッシュ発光実施の指示を受けると、フラッシュ部110を制御し、露出機構108のシャッターが開くタイミングでフラッシュ部110を発光させる。 Furthermore, the system control unit 102 performs flash settings, and determines whether or not the flash unit 110 needs to operate the flash unit 110 during actual shooting, depending on the shutter speed, shooting mode, etc., based on the AE processing result from the system control unit 102 described above. to decide. When flash emission is determined, the system control unit 102 instructs the EF processing unit 109 to perform flash emission. When the EF processing unit 109 receives an instruction to perform flash emission from the system control unit 102, the EF processing unit 109 controls the flash unit 110 so that the flash unit 110 emits light at the timing when the shutter of the exposure mechanism 108 opens.

撮像素子103は、CCDセンサ、CMOSセンサなどの光電変換デバイスであり、レンズ107a、露出機構108aを介して結像する被写体光学像を画素単位のアナログ電気信号(アナログ画像データ)に変換する。 The imaging element 103 is a photoelectric conversion device such as a CCD sensor or a CMOS sensor, and converts an optical image of a subject formed via a lens 107a and an exposure mechanism 108a into an analog electrical signal (analog image data) for each pixel.

A/D変換部104は、撮像素子103から出力されたアナログ画像データに対して、相関二重サンプリング、ゲイン調整、A/D変換等を実施しして、デジタル画像データとして出力する。適用するゲイン調整量(増幅率)はシステム制御部102から通知されることにより与えられ、ゲインを大きく設定すれば信号レベルも大きくなるが、反面、画像中に含まれるノイズ成分も大きくなる。 The A/D conversion unit 104 performs correlated double sampling, gain adjustment, A/D conversion, etc. on the analog image data output from the image sensor 103, and outputs the result as digital image data. The gain adjustment amount (amplification factor) to be applied is given by notification from the system control unit 102. If the gain is set high, the signal level increases, but on the other hand, the noise component contained in the image also increases.

画像処理部105は、A/D変換部104から出力されたデジタル画像データに対して、さまざまな画像処理を実施する。例えば、ホワイトバランス補正、エッジ強調処理、ノイズ除去処理、画素補間処理、ガンマ補正処理、色差信号生成などの画像処理(現像処理)を行い、処理済みデジタル画像データとしてYUV画像データを出力するなどの処理を行う。 An image processing unit 105 performs various image processing on the digital image data output from the A/D conversion unit 104 . For example, image processing (development processing) such as white balance correction, edge enhancement processing, noise removal processing, pixel interpolation processing, gamma correction processing, and color difference signal generation is performed, and YUV image data is output as processed digital image data. process.

また、画像処理部105は、各種撮影モードに対応した画像処理も実施する。本実施形態で説明する星空夜景モードや星空軌跡モードも撮影モードの1つであり、詳細は後述する。 The image processing unit 105 also performs image processing corresponding to various shooting modes. The starry sky night view mode and the starry sky trail mode described in this embodiment are also one of the shooting modes, and the details will be described later.

EVF表示部106はLCDなどの表示装置を含み、上述の画像処理部105による処理済みデジタル画像データに対し、不図示のD/A変換処理後の画像を表示させる。 The EVF display unit 106 includes a display device such as an LCD, and displays an image after D/A conversion processing (not shown) on the digital image data processed by the image processing unit 105 described above.

フォーマット変換部111は、画像処理部105から出力されたデジタル画像データに対し、例えばDCF(Design rule for Camera File System)に準拠した記録用のデータファイルを生成する。フォーマット変換部111は、データファイル生成の過程で、JPEG形式やMotion JPEG形式への符号化や、ファイルヘッダの生成などを行う。 The format conversion unit 111 generates a data file for recording based on, for example, DCF (Design rule for Camera File System) from the digital image data output from the image processing unit 105 . The format conversion unit 111 performs encoding to the JPEG format or Motion JPEG format, and generates a file header in the process of data file generation.

画像記録部112では、フォーマット変換部111で生成したデータファイルを、デジタルカメラ100の内蔵メモリや、デジタルカメラ100に装着されているリムーバブルメディアなどに記録する。 The image recording unit 112 records the data file generated by the format conversion unit 111 in a built-in memory of the digital camera 100, a removable medium attached to the digital camera 100, or the like.

外部接続部113は、デジタルカメラ100をPC(パーソナルコンピュータ)やプリンタといった外部装置に接続するためのインターフェースである。外部接続部113は、例えばUSB、IEEE1394などの一般的な規格に準拠して外部装置との通信を行って画像データ等の授受を行い、各外部機器の機能を活用する。 An external connection unit 113 is an interface for connecting the digital camera 100 to an external device such as a PC (personal computer) or a printer. The external connection unit 113 communicates with an external device in compliance with general standards such as USB and IEEE1394 to exchange image data and the like, and utilizes the functions of each external device.

次に、本実施形態のデジタルカメラ100の動作について説明する。 Next, the operation of the digital camera 100 of this embodiment will be described.

ユーザが操作部101の一つである電源スイッチ(不図示)をONにすると、システム制御部102はこれを検知し、デジタルカメラ100の各構成部に対し、不図示の電池やAC入力により電源を供給する。 When the user turns on a power switch (not shown), which is one of the operation units 101, the system control unit 102 detects this and powers each component of the digital camera 100 with a battery (not shown) or AC input. supply.

本実施形態のデジタルカメラ100は、電源が供給されるとEVF表示動作を開始するように構成されている。まず、電源が供給されると、露出機構108aに設けられたメカニカルシャッターが開き、撮像素子103が露光される。撮像素子103の各画素で蓄積した電荷を、予め定められたフレームレートで順次読み出し、A/D変換部104にアナログ画像データとして出力する。以上のように本実施形態では、EVF表示用の画像として、予め定められたフレームレートで順次読み出す、いわゆる電子シャッターを用いて連続して撮像することにより取得する。 The digital camera 100 of this embodiment is configured to start an EVF display operation when power is supplied. First, when power is supplied, a mechanical shutter provided in the exposure mechanism 108a is opened, and the image sensor 103 is exposed. The charge accumulated in each pixel of the image sensor 103 is sequentially read out at a predetermined frame rate, and output to the A/D converter 104 as analog image data. As described above, in the present embodiment, images for EVF display are obtained by continuously capturing images using a so-called electronic shutter, which sequentially reads out images at a predetermined frame rate.

A/D変換部104は、前述の通り、撮像素子103から出力されたアナログ画像データに対して、相関二重サンプリング、ゲイン調整、A/D変換等を行い、デジタル画像データとして出力する。ここで、ゲイン調整に関し、以下に記載する。 As described above, the A/D conversion unit 104 performs correlated double sampling, gain adjustment, A/D conversion, and the like on the analog image data output from the image sensor 103, and outputs the data as digital image data. Here, gain adjustment will be described below.

撮像素子103では、露光量によってそのアナログ電気信号の出力信号レベルが変化する。明るい被写体では露光量が増加するため出力信号レベルも大きいものとなり、一方、暗い被写体では露光量が減少するため出力信号レベルも小さいものとなる。以上のようなレベル変動が生じるアナログ電気信号をA/D変換部104に入力し、ゲイン調整をせずに出力した場合、出力されたデジタル電気信号もレベル変動が生じる。 In the imaging device 103, the output signal level of the analog electrical signal changes depending on the amount of exposure. For a bright subject, the exposure amount increases, so the output signal level also increases. On the other hand, for a dark subject, the exposure amount decreases, so the output signal level also decreases. When an analog electrical signal that causes level fluctuations as described above is input to the A/D converter 104 and is output without gain adjustment, the output digital electrical signal also undergoes level fluctuations.

これに対し、デジタルカメラでは一般的に、被写体の明るさ(アナログ電気信号の出力信号レベル)によらずA/D変換部104からのデジタル電気信号の出力信号レベルを一定に保つようなゲインが、被写体の明るさに応じて設定されている。 On the other hand, a digital camera generally has a gain that keeps the output signal level of the digital electric signal from the A/D converter 104 constant regardless of the brightness of the object (the output signal level of the analog electric signal). , is set according to the brightness of the subject.

以上のゲインは、撮影条件の一つであるISO感度の設定に応じて変化し、調整されるものである。つまり、被写体の明るい低ISO感度時よりも被写体の暗い高ISO感度時の方がゲインとしては高い値に設定する。このため、ノイズ成分としても、高ISO感度時の方が高ゲインによる増幅効果により、悪化することになる。 The gains described above are changed and adjusted according to the setting of the ISO sensitivity, which is one of the photographing conditions. That is, the gain is set to a higher value when the subject is dark and high ISO sensitivity than when the subject is bright and low ISO sensitivity. Therefore, the noise component is worse at high ISO sensitivity due to the amplification effect of high gain.

以上のようなA/D変換部104のゲイン設定に関係するISO感度の設定については、ユーザが設定した固定ISO感度であってもよいし、システム制御部102からのAE処理の結果に基づく動的な設定のISO感度であってもよい。 As for the setting of the ISO sensitivity related to the gain setting of the A/D conversion unit 104 as described above, the fixed ISO sensitivity set by the user may be used, or the dynamic ISO sensitivity based on the result of the AE processing from the system control unit 102 may be used. It may be an ISO sensitivity with a typical setting.

画像処理部105は、A/D変換部104から出力されたデジタル画像データに対してさまざまな処理を行い、画像処理済みデジタル画像データとして例えばYUV画像データを出力する。 The image processing unit 105 performs various processes on the digital image data output from the A/D conversion unit 104, and outputs, for example, YUV image data as image-processed digital image data.

本実施形態では、星空夜景モード撮影や星空軌跡モード撮影において、画角と相関のあるズームレンズ配置に応じて、画像処理部105の画像処理制御量を変更する仕組みがあり、この仕組みの詳細に関しては、後述する。 In this embodiment, there is a mechanism for changing the image processing control amount of the image processing unit 105 according to the zoom lens arrangement that is correlated with the angle of view in the starry sky night view mode shooting and the starry sky trail mode shooting. will be described later.

また、EVF表示部106は、画像処理部105が出力するデジタル画像データを用いて、不図示のD/A変換処理を行った画像を逐次表示している。 The EVF display unit 106 uses the digital image data output from the image processing unit 105 to sequentially display images that have undergone D/A conversion processing (not shown).

システム制御部102は、操作部101からSW1(第一のシャッタースイッチ、半押しの通知)の通知を受けない限り、上述のEVF表示処理の実行を繰り返す。 The system control unit 102 repeats execution of the above-described EVF display processing unless it receives notification of SW1 (first shutter switch, half-press notification) from the operation unit 101 .

システム制御部102がSW1の通知を受けると、通知を受けた時点で最新の撮像画像を用いてAF処理、AE処理を行い、合焦位置および露出条件を決定する。 When the system control unit 102 receives notification of SW1, it performs AF processing and AE processing using the latest captured image at the time of receiving the notification, and determines the in-focus position and exposure conditions.

システム制御部102は、操作部101からのSW1の通知が継続している間、SW2(第二のシャッタースイッチ、全押しの通知)の通知を受け取るまで、撮影動作をすることなく待機し続ける。一方で、SW2の通知を受ける前にSW1の通知が途絶えた場合には、システム制御部102はEVF表示処理を再開させるように動作する。 While the notification of SW1 from the operation unit 101 continues, the system control unit 102 continues waiting without performing the shooting operation until receiving the notification of SW2 (second shutter switch, full-press notification). On the other hand, if the notification of SW1 is interrupted before receiving the notification of SW2, the system control unit 102 operates to restart the EVF display processing.

SW2の通知を受けてからの本撮影処理では、SW1時のAF処理、AE処理を経た撮影条件で、撮像素子103上に被写体光学像を結像、及び、露光する。その後、撮像素子103からの画素単位のアナログ電気信号を、A/D変換部104でデジタル画像データに変換して、このデータを用いて画像処理部105で画像処理を行う。そして、この画像処理済みのデジタル画像データを、フォーマット変換部111によって記録用のデータファイル形式に変換し、画像記録部112により記録媒体に記録する。 In the actual photographing process after receiving the notification of SW2, an optical image of the subject is formed on the image sensor 103 and exposed under the photographing conditions after the AF process and AE process of SW1. After that, the analog electric signal for each pixel from the image sensor 103 is converted into digital image data by the A/D conversion unit 104, and the image processing unit 105 performs image processing using this data. Then, the format conversion unit 111 converts the image-processed digital image data into a data file format for recording, and the image recording unit 112 records it on a recording medium.

以上が、本実施形態で記すデジタルカメラにおける、構成、及び、基本動作である。次に、本発明で特徴的な、天体撮影モードに関して詳述する。 The above is the configuration and basic operation of the digital camera described in this embodiment. Next, the astrophotography mode, which is characteristic of the present invention, will be described in detail.

<天体撮影モードの概要>
本実施形態のデジタルカメラ100には、天体撮影モードとして、星を輝点として表現するための星空夜景モードと、星の日周運動を軌跡として表現するための星空軌跡モードとが用意されている。ユーザは操作部101を操作して、これらの天体撮影モードを選択することができる。ユーザがこの天体撮影モードを選択すると、システム制御部102がメモリにモード情報を書き込み、ユーザが選択したモードを記憶する。
<Overview of Astrophotography Mode>
The digital camera 100 of the present embodiment is provided with a starry sky night view mode for expressing stars as bright spots and a starry sky trajectory mode for expressing the diurnal motion of stars as trajectories as astrophotography modes. . The user can operate the operation unit 101 to select these astrophotography modes. When the user selects this astrophotography mode, the system control unit 102 writes mode information in the memory and stores the mode selected by the user.

図1、図2は、それぞれ、星空夜景モード、星空軌跡モードの動作フローをそれぞれ示したフローチャート図である。各ステップはシステム制御部102あるいはシステム制御部102の指示により各構成部で実行される。 FIGS. 1 and 2 are flow charts showing operation flows in the starry sky night view mode and the starry sky trail mode, respectively. Each step is executed by the system control unit 102 or each component according to an instruction from the system control unit 102 .

ユーザが操作部101のシャッタースイッチを押下し、反押し状態のSW1によるAF動作、AE動作を経て、全押し状態のSW2の通知をシステム制御部102が受ける。その後、システム制御部102のメモリに予め記憶された撮影モードを読み出し、撮影モードが天体撮影モードであれば、指定された天体撮影モード(星空夜景モード、または、星空軌跡モード)での撮影を行う。 The user presses the shutter switch of the operation unit 101, and the system control unit 102 receives the notification of SW2 in the full-press state through the AF operation and the AE operation by SW1 in the half-press state. After that, the photographing mode pre-stored in the memory of the system control unit 102 is read, and if the photographing mode is the astronomical photographing mode, photographing is performed in the designated astronomical photographing mode (starry sky night view mode or starry sky trail mode). .

メモリに記憶された天体撮影モードが星空夜景モードである場合、図1に示すフローで各構成部により処理が行われる。 When the astrophotography mode stored in the memory is the starry sky night view mode, each component performs processing according to the flow shown in FIG.

S101では、ユーザは画角を決めて予めズーム倍率を設定する。この時、画角と相関のあるズーム倍率情報(すなわち、ズームレンズのズームポジション情報)を、システム制御部102を経由して画像処理部105に通知し、後のS104の現像処理の際に用いる。詳細は後述する。 In S101, the user determines the angle of view and sets the zoom magnification in advance. At this time, the zoom magnification information (that is, the zoom position information of the zoom lens) correlated with the angle of view is notified to the image processing unit 105 via the system control unit 102, and is used in the development processing of S104 later. . Details will be described later.

S102では、AE動作による測光結果に基づいた絞り、シャッタースピード、ISO感度を設定し、S103では、S102で設定された露出制御に基づき静止画の撮影を行う。 In S102, the aperture, shutter speed, and ISO sensitivity are set based on the result of photometry by the AE operation, and in S103, a still image is shot based on the exposure control set in S102.

S106では、星空領域とそれ以外の領域とで判別する領域判別を行い、ここで出力される領域判別情報を後のS104の現像処理の際に用いて現像処理を行うが、詳細は後述する。 In S106, area discrimination is performed to discriminate between the starry sky area and other areas, and the area discrimination information output here is used in the subsequent development processing in S104 to perform development processing, which will be described in detail later.

そして、S104では撮影された画像に対して画像処理部105を使用して現像処理を行う。S104は本発明の特徴的な処理であるので、詳細は後述する。 Then, in S104, the image processing unit 105 is used to develop the photographed image. Since S104 is a characteristic process of the present invention, the details will be described later.

その後、S105でフォーマット変換部111により、画像処理部105で現像処理された画像に対し所定のフォーマットでデータファイルを生成し、デジタルカメラ100に装着されている記録媒体に画像データの書き込みを行う。星空夜景モードで撮影された従来の画像の一例を図7(a)、(b)に示す。 After that, in S105, the format conversion unit 111 generates a data file in a predetermined format for the image developed by the image processing unit 105, and writes the image data to the recording medium attached to the digital camera 100. 7A and 7B show examples of conventional images shot in the starry night view mode.

一方、システム制御部102のメモリに記憶されている撮影モードが星空軌跡モードの場合、図2のフローチャートにしたがい処理を実行する。S201でユーザは予め、ズーム倍率、及び、トータルの撮影時間を設定する。 On the other hand, when the shooting mode stored in the memory of the system control unit 102 is the star trail mode, the process is executed according to the flowchart of FIG. In S201, the user sets the zoom magnification and the total shooting time in advance.

ズーム倍率の扱いに関しては、星空夜景モードにおけるS101と同様に、画角と相関のあるズーム倍率情報は、システム制御部102を経由して画像処理部105に通知されて、後のS206の現像処理の際に用いられる。詳細は後述する。また、トータルの撮影時間に関しては、星の軌跡を長く写したいときには撮影時間を長い時間に設定し、星の軌跡を短く写したい場合は、撮影時間を短い時間に設定する。 Regarding the handling of the zoom magnification, as in S101 in the starry sky night view mode, the zoom magnification information correlated with the angle of view is notified to the image processing unit 105 via the system control unit 102, and the development processing in S206 is performed later. Used when Details will be described later. As for the total photographing time, the photographing time is set to a long time when the star trails are to be photographed for a long time, and the photographing time is set to be a short time when the star trails are to be photographed in a short time.

S202では、AE動作による測光結果に基づいた絞り、1回当りの撮影のシャッタースピード、ISO感度を設定し、S203では、S202で設定された露出制御と撮影設定に基づき静止画の撮影を連続して行う。 In S202, the aperture, shutter speed for each shot, and ISO sensitivity are set based on the photometric result of the AE operation. In S203, still image shooting is continued based on the exposure control and shooting settings set in S202. do.

S204では、撮影の2回目以降、前回までに撮影された画像との比較明合成処理を行う。撮影の1回目である場合、画像処理部105は比較明合成処理を行うためのメモリ上に撮影画像を保持して次に進む。S204では、前回までの撮影画像を合成した合成画像と、今回撮影された撮影画像とで比較明の合成処理を行う。 In S204, from the second time of photography onwards, lighten composition processing is performed with images that have been photographed up to the previous time. If it is the first time of photographing, the image processing unit 105 holds the photographed image in the memory for performing the lighten compositing process and proceeds to the next step. In S204, a comparatively bright synthesis process is performed on the synthesized image obtained by synthesizing the captured images up to the previous time and the captured image captured this time.

比較明合成処理は画像間で対応する画素同士の画素レベルを比較して、画素レベルが高い方を残す処理である。本実施形態では、ベイヤ配列で得られるRGBの信号の状態で合成を行うものとし、R、G、Bそれぞれの画素同士で画素レベルの比較を行う。しかし、これに限らず、RGB信号をYUV(輝度と色差)422信号などに変換してから画像間のYとUV信号をそれぞれ比較するなどしてもよい。 The lighten compositing process is a process of comparing the pixel levels of corresponding pixels between images and leaving the one with the higher pixel level. In this embodiment, synthesis is performed in the state of RGB signals obtained in the Bayer array, and the pixel levels of each of R, G, and B pixels are compared. However, the present invention is not limited to this, and Y and UV signals between images may be compared after converting RGB signals into YUV (luminance and color difference) 422 signals.

デジタルカメラ100による画角を固定した場合、星は日周運動で常に空を移動しているので、合成する画像間で星の位置は異なっている。このため比較明合成処理を行うことで、星の移動の連続した軌跡の画像として取得することができる。S205ではユーザが予め設定した時間が経過したかを判定するので、設定された時間に満たない場合はS203に戻り撮影・合成処理を繰り返し、設定された時間を超えているならば撮影を完了し、S206へ進む。 When the angle of view of the digital camera 100 is fixed, the stars are constantly moving in the sky due to diurnal motion, so the positions of the stars are different between the images to be synthesized. Therefore, by performing the lighten compositing process, it is possible to obtain an image of the trajectory of the continuous movement of the stars. In S205, it is determined whether or not the time set in advance by the user has elapsed. If the set time is not reached, the process returns to S203 to repeat the photographing/compositing process. , to S206.

S208では、前述の星空夜景モード撮影フローにおけるS106と同様、星空領域とそれ以外の領域とで判別する領域判別を行い、出力される領域判別情報を後のS206の現像処理の際に用いる。詳細は後述する。 In S208, as in S106 in the starry sky night view mode shooting flow described above, area discrimination is performed to discriminate between the starry sky area and other areas, and the output area discrimination information is used in the subsequent development processing in S206. Details will be described later.

S206では撮影された画像に対して画像処理部105を使用して現像処理を行う。S206は、前述の星空夜景モード撮影フローにおけるS104と同様の処理を行い、本発明の特徴的な処理であるので、詳細は後述する。 In S206, the image processing unit 105 is used to develop the captured image. S206 performs the same processing as S104 in the above-described starry sky night view mode shooting flow, and is a characteristic processing of the present invention, so the details will be described later.

その後、S207でフォーマット変換部111により、画像処理部105で現像処理された画像に対し所定のフォーマットでデータファイルを生成し、デジタルカメラ100に装着されている記録媒体に画像データの書き込みを行う。 After that, in S207, the format conversion unit 111 generates a data file in a predetermined format for the image developed by the image processing unit 105, and writes the image data to the recording medium attached to the digital camera 100.

以上の星空軌跡モード撮影フローにより、星の日周運動を表現した軌跡として、最終画像が生成される。星空軌跡モードで撮影された従来の画像の一例を図6(a)、(b)に示す。 A final image is generated as a trajectory expressing the diurnal motion of stars by the above starry sky trajectory mode photographing flow. An example of a conventional image captured in the star trail mode is shown in FIGS. 6(a) and 6(b).

以上が、本実施形態に搭載されている天体撮影モードの動作フローに関する説明であるが、以後は、動作フローのうち現像処理(S104、S206)、及びそれに関わる各ステップに関し詳述する。本実施形態では、この現像処理における画質パメラータをズーム倍率に応じて制御する。 The above is the description of the operation flow of the astrophotography mode installed in this embodiment. Hereinafter, the development processing (S104, S206) and related steps in the operation flow will be described in detail. In this embodiment, the image quality parameter in this development process is controlled according to the zoom magnification.

<現像処理>
現像処理(S104、S206)では、画像処理部105により、A/D変換部104から出力されたデジタル画像データに対して、さまざまな画像処理を実施する。例えば、ホワイトバランス補正、エッジ強調処理、ノイズ除去処理、画素補間処理、ガンマ補正処理、色差信号生成などの画像処理を行う。
<Development processing>
In development processing (S104, S206), the image processing unit 105 performs various image processing on the digital image data output from the A/D conversion unit 104. FIG. For example, it performs image processing such as white balance correction, edge enhancement processing, noise removal processing, pixel interpolation processing, gamma correction processing, and color difference signal generation.

これらの画像処理を実施する画像処理回路には、目標画質に対し撮影条件毎に最適に回路を動作させるための、画像処理回路に設定すべき設定値(いわゆる、画質パラメータ)がある。例えば、撮影ISO感度毎に最適なエッジ強調処理やノイズ除去処理のための画質パラメータが存在し、この画質パラメータを用いて画像処理を実施することにより、撮影ISO感度によらず、高画質な画像を取得することができる。 An image processing circuit that performs such image processing has setting values (so-called image quality parameters) to be set in the image processing circuit in order to operate the circuit optimally for each shooting condition with respect to the target image quality. For example, there are image quality parameters for optimum edge enhancement processing and noise removal processing for each shooting ISO sensitivity. can be obtained.

本実施形態においては、従来の天体撮影モード撮影時に必要な撮影条件(ISO感度、絞りなど)に加え、S101、S201で出力されるズームレンズのズームポジション情報も用いて、画質パラメータを決定する。 In this embodiment, image quality parameters are determined using the zoom position information of the zoom lens output in S101 and S201 in addition to the shooting conditions (ISO sensitivity, aperture, etc.) required for conventional astrophotography mode shooting.

そして、S103、S203の静止画撮影画像を用いて出力される、領域判別(S106、S208)からの領域判別情報に関しては、上述のズームポジション情報により導出された画質パラメータを適用すべき領域(星空領域)を特定するために用いる。このような領域判別により、星空領域以外の領域に対し、不必要な画像処理による過補正などの画質劣化を防ぐことができる。 Then, with respect to the area discrimination information from the area discrimination (S106, S208) output using the still image captured in S103, S203, the area (starry sky) to which the image quality parameter derived from the zoom position information should be applied. area). Such area discrimination can prevent image quality deterioration such as excessive correction due to unnecessary image processing for areas other than the starry sky area.

図4は、領域判別(S106、S208)における星空領域検出方法を説明した図である。左側は低倍ズーム時(画角が広角側)の夜空の撮影画像の模式図であり、右側は高倍ズーム時(画角が望遠側)の夜空の撮影画像の模式図である。また、上段は静止画撮影(S103、S203)で出力された撮影画像示しているのに対し、下段はこの画像を縮小した画像を示している。 FIG. 4 is a diagram explaining a method of detecting a starry sky area in area discrimination (S106, S208). The left side is a schematic diagram of a captured image of the night sky at low zoom (angle of view on the wide-angle side), and the right side is a schematic diagram of a captured image of the night sky at high zoom (angle of view on the telephoto side). In addition, the upper part shows the photographed image output in the still image photographing (S103, S203), while the lower part shows the reduced image of this image.

縮小の目的は静止画撮影画像から星が消えた画像を得ることであるから、その縮小率は星が消える程度に設定されることが望ましい。左側の広角画像の場合は1/a1で縮小し、右側の望遠画像の場合は1/a2で縮小することにより、星が消えることを表している。また、画角が低倍ズーム時の広角側よりは高倍ズーム時の望遠側の方が星の大きさは大きくなる傾向にあるため、a1<a2なる関係を有する。すなわち、ズーム倍率に応じて縮小率を変えており、高倍ズームほどより縮小する縮小率に設定する。 Since the purpose of reduction is to obtain an image in which the stars have disappeared from the photographed still image, it is desirable that the reduction ratio is set to such an extent that the stars disappear. The wide-angle image on the left side is reduced by 1/a1, and the telephoto image on the right side is reduced by 1/a2 to indicate that the stars disappear. Also, since the size of stars tends to be larger on the telephoto side when the angle of view is on the high-power zoom side than on the wide-angle side when the angle of view is on the low-power zoom side, there is a relationship of a1<a2. That is, the reduction ratio is changed according to the zoom magnification, and the higher the zoom ratio, the more reduction is set.

以上の縮小画像を用いて、さらに、エッジ検出などの処理を行い、エッジが検出されなかった領域を星空領域として領域判別する。図5は、上記縮小画像のエッジ検出結果(すなわち、星空領域検出結果)の例である。 Using the reduced image described above, processing such as edge detection is further performed, and an area in which no edge is detected is identified as a starry sky area. FIG. 5 shows an example of edge detection results (that is, starry sky area detection results) of the reduced image.

図5でも見られるが、星空領域以外にもエッジの検出がされていない領域が存在する場合があり、星空領域ではないにも関わらず、星空領域として誤判定する場合がある。このような誤判定を防止する方法として、撮像装置に内蔵される、不図示のジャイロセンサ出力などにより撮像装置の姿勢状態を検知し、画像のエッジ検出領域を境に上側を空領域、下側を非空領域とすれば、誤判定を防ぐことができる。 As can be seen in FIG. 5, there are cases where edges are not detected in areas other than the starry sky area, and there are cases where an area is erroneously determined to be a starry sky area even though it is not a starry sky area. As a method to prevent such an erroneous determination, the posture state of the imaging device is detected by the output of a gyro sensor (not shown) built in the imaging device, and the upper side of the edge detection area of the image is the sky area, and the lower side is the sky area. is a non-empty area, erroneous determination can be prevented.

以上のようにして、領域判別(S106、S208)から、星空領域検出結果を出力することができ、この結果を以後の現像処理(S104、S206)に用いる。 As described above, the starry sky area detection result can be output from the area determination (S106, S208), and this result is used in the subsequent development processing (S104, S206).

現像処理(S104、S206)では、前述したように、天体撮影モード撮影時に必要な絞り等の撮影条件に加え、S101、S201で出力されるズーム倍率に相当するズームポジション情報を用いて、画質パラメータを導出する。これらの画質パラメータは、各撮影条件、各出力情報毎に、演算もしくは対応表により導出して、各画像処理回路に設定して、所望の現像処理を行う。以下、ズームポジションを考慮した現像処理について詳述する。 In the development processing (S104, S206), as described above, image quality parameters are determined using zoom position information corresponding to the zoom magnification output in S101 and S201, in addition to shooting conditions such as aperture necessary for shooting in the astrophotography mode. to derive These image quality parameters are calculated or derived from correspondence tables for each shooting condition and output information, and set in each image processing circuit to perform desired development processing. The development processing considering the zoom position will be described in detail below.

本発明では、現像処理(S104、S206)時にズームポジション情報、及び、前述の星空領域検出結果を入力して、星空領域のみにズームポジションに応じた画質パラメータによる画像処理が適用される。一方で、星空領域と判定されなかった非星空領域については、従来通り、絞りなどの撮影条件のみによる画質パラメータで画像処理を行う。 In the present invention, zoom position information and the above-mentioned starry sky area detection result are input during development processing (S104, S206), and image processing is applied only to the starry sky area using image quality parameters according to the zoom position. On the other hand, for non-starry sky regions that have not been determined to be starry sky regions, image processing is performed using image quality parameters based only on imaging conditions such as aperture, as in the conventional art.

より具体的には、本実施形態では、領域判別(S106、S208)からの星空領域検出結果により、星空領域と非星空領域の判別が可能なマップを作成し、このマップを用いてそれぞれの領域に対しそれぞれの画質パラメータで画像処理を行う。その後、それぞれの画像処理後の画像を合成することにより、所望の天体撮影画像を得ることができる。 More specifically, in this embodiment, based on the starry sky area detection results from the area determination (S106, S208), a map is created that enables discrimination between the starry sky area and the non-starry sky area. , image processing is performed using each image quality parameter. After that, by synthesizing the images after each image processing, a desired astrophotography image can be obtained.

図8は、本実施形態におけるズームポジションに対するエッジ強調処理の各種画質パラメータの対応表である。このような対応付け情報を用いて、星空領域のみに対し、ズームポジション情報によるズームポジションから求まる画質パラメータでエッジ強調処理を行う。 FIG. 8 is a correspondence table of various image quality parameters for edge enhancement processing with respect to zoom positions in this embodiment. Using such correspondence information, edge enhancement processing is performed on only the starry sky region with the image quality parameter obtained from the zoom position based on the zoom position information.

本実施形態では、図8で示すような、シャープネス(鮮鋭度)を制御するための3種類の画質パラメータ「強さ」、「細かさ」、「閾値」が用意されている。 In this embodiment, as shown in FIG. 8, three types of image quality parameters "strength", "fineness", and "threshold" are prepared for controlling sharpness.

「強さ」は撮像入力画像のエッジに対する強調処理度合を制御するエッジ強調制御量に相当する画質パラメータであり、「1:弱、2:中、3:強」の3段階のレベルの画質パラメータを用意している。「強さ」に関しては、数値が大きい画質パラメータほどエッジとしての明瞭度は向上するが、ノイズの視認性も増すという弊害も生じる。 "Strength" is an image quality parameter corresponding to an edge enhancement control amount that controls the degree of enhancement processing for the edge of the captured input image, and is an image quality parameter with three levels of "1: weak, 2: medium, and 3: strong." are prepared. As for "strength", the larger the numerical value of the image quality parameter, the better the clarity of the edge, but there is also the problem that the visibility of noise also increases.

「細かさ」は撮像入力画像のエッジの幅を制御するエッジ幅制御量に相当する画質パラメータであり、「1:細い、2:中、3:太い」の3段階のレベルの画質パラメータを用意している。「細かさ」に関しては、数値が大きい画質パラメータほど、輪郭をかたどる線の幅が太いものになる。 "Fineness" is an image quality parameter equivalent to the edge width control amount that controls the edge width of the captured input image. are doing. As for "fineness", the larger the numerical value of the image quality parameter, the thicker the line forming the contour.

「閾値」は、撮像入力画像信号に対するベースクリッパのクリップ量を制御するベースクリップ制御量に相当する画質パラメータであり、「1:小、2:中、3:大」の3段階のレベルの画質パラメータを用意している。ベースクリップ制御量と呼ばれる閾値以下の画素値を有する画素は鮮鋭化処理の対象とならないため、ノイズが強調されることを防止できる。この閾値が大きいほど、ノイズの強調を防ぐ効果は高いが、代わりにノイズと同程度の低コントラストのエッジは強調されない。逆に閾値が小さいほど、低コントラストのエッジが検出できるようになるが、同程度のコントラストを有するノイズに対しても視認性が増してしまうという弊害も併せ持つ。 The "threshold" is an image quality parameter corresponding to the base clip control amount for controlling the clip amount of the base clipper for the captured input image signal. I have the parameters. Pixels having a pixel value less than or equal to a threshold, which is called a base clip control amount, are not subjected to sharpening processing, so noise can be prevented from being emphasized. The larger the threshold value, the more effective it is in preventing noise enhancement, but in return, the edge with the same low contrast as noise is not enhanced. Conversely, the smaller the threshold value, the more low-contrast edges can be detected, but it also has the disadvantage of increasing the visibility of noise having a similar contrast.

以上のような画質パラメータに対し、本実施形態では、図8に示すように、ズームポジションが広角ポジションの場合、(強さ、細かさ、閾値)=(1,3,3)としている。低倍ズームの広角側では、従来例の図7(a)に示すように星の大きさは小さく映る傾向にあり、特に高周波成分の星の画像が消滅する方向に天体画像が取得される傾向にある。そこで、本実施形態では、特に高周波成分に対し視認性が向上する「細かさ」=3という設定にしている。 For the above image quality parameters, in the present embodiment, as shown in FIG. 8, when the zoom position is the wide-angle position, (strength, fineness, threshold)=(1, 3, 3). On the wide-angle side of a low-power zoom, stars tend to appear smaller in size, as shown in FIG. 7(a) of the conventional example. It is in. Therefore, in the present embodiment, "fineness" is set to 3, which improves the visibility of high frequency components in particular.

一方、ズームポジションが望遠ポジションの場合、図8に示すように、(強さ、細かさ、閾値)=(3,2,1)としている。高倍ズームの望遠側では、図7(b)に示すように画角が狭まるため、撮像される星の数も減少する傾向にある。そこで、本実施形態では、コントラストの低い星に対しても現像画像として取得するために、「閾値」=1という設定にしている。また、「強さ」に関しても、低コントラストの星をより目立たせるために、「強さ」=3という設定にしている。 On the other hand, when the zoom position is the telephoto position, as shown in FIG. 8, (strength, fineness, threshold)=(3, 2, 1). On the telephoto side of the high-power zoom, the angle of view narrows as shown in FIG. 7B, so the number of captured stars tends to decrease. Therefore, in the present embodiment, "threshold" is set to 1 in order to obtain a developed image even for stars with low contrast. In addition, the "strength" is also set to "strength"=3 in order to make the low-contrast stars stand out more.

以上のようにして、天体撮影モードで星空を撮影することにより、ズーム倍率を変更することによる画角の変更があったとしても、星空夜景モード及び星空軌跡モードにおいて、星空の演出効果が十分な画像を得ることができる。 As described above, by photographing the starry sky in the astrophotography mode, even if the angle of view is changed by changing the zoom magnification, the starry sky rendering effect is sufficient in the starry sky nightscape mode and the starry sky trail mode. image can be obtained.

本実施形態では、星空の演出効果を十分に得るために、鮮鋭度の画質パラメータを用いたが、これに限るものではなく、星空の演出効果を制御できるものであれば良い。例えば、撮像入力画像の明度を制御する明度制御量や、撮像入力画像の彩度を制御する彩度制御量、撮像入力画像の色相を制御する色相制御量なども、本発明の画質パラメータとして用いることができる。 In this embodiment, the image quality parameter of sharpness is used in order to sufficiently obtain the effect of starry sky, but the present invention is not limited to this, and any parameter capable of controlling the effect of starry sky may be used. For example, the brightness control amount for controlling the brightness of the captured input image, the saturation control amount for controlling the saturation of the captured input image, the hue control amount for controlling the hue of the captured input image, etc. are also used as the image quality parameters of the present invention. be able to.

また、本実施形態では、図9、図10で示すようなズームポジションに対するエッジ強調処理の各種画質パラメータの対応表も用意している。 In this embodiment, correspondence tables of various image quality parameters for edge enhancement processing with respect to zoom positions as shown in FIGS. 9 and 10 are also prepared.

図9は、撮影画角内に星の数が少なかった場合に用いる対応表である。星空の演出効果が見込めないほどの星の数の状況で、例えば、図8の望遠ポジションの画質パラメータで現像処理した場合、「強さ」=3、「閾値」=1の影響でノイズだけが悪化する画像が得られる場合がある。これを避けるために、星の数が所定の数よりも少ないと判断した場合、図9の対応表の画質パラメータを設定して現像処理を実施し、ノイズの悪化を防止する。星の数の検出に関しては、領域判別(S106、S208)の際に用いた図4の上段の画像に対し、エッジ検出などを星空領域のみで行えばよい。図8の対応表を用いるか、図9の対応表を用いるかは、撮影画角内の星の数が予め保持している閾値よりも少ないか否かで判定すればよい。 FIG. 9 is a correspondence table used when the number of stars within the shooting angle of view is small. In a situation where the number of stars is so large that a starry sky effect cannot be expected, for example, when development processing is performed with the image quality parameters of the telephoto position in FIG. Deteriorating images may be obtained. In order to avoid this, when it is determined that the number of stars is less than a predetermined number, image quality parameters in the correspondence table of FIG. 9 are set and development processing is performed to prevent deterioration of noise. As for the detection of the number of stars, it suffices to perform edge detection and the like only in the starry sky region for the image in the upper row of FIG. 4 used in the region determination (S106, S208). Whether to use the correspondence table in FIG. 8 or the correspondence table in FIG. 9 may be determined by whether or not the number of stars within the shooting angle of view is smaller than a pre-stored threshold value.

一方、図10は、夕暮れ時に天体撮影モードで星空を撮影するときに用いる、ズームポジションに対するエッジ強調処理の各種画質パラメータの対応表である。夕暮れ時の星空は比較的明るいため、星の輝点としても、コントラストが低下することになる。そこで、撮像装置に搭載している時計機能などにより時刻を検出し、夕暮れ時と判定した場合に、図10の対応法の画質パラメータを設定して現像処理を実施する。これにより、低コントラストの星に対しても視認性の良好な星空撮影画像を取得することができる。 On the other hand, FIG. 10 is a correspondence table of various image quality parameters for edge enhancement processing with respect to zoom positions, which is used when photographing a starry sky in the astrophotography mode at dusk. Since the starry sky at dusk is relatively bright, the contrast of the luminous point of the star is reduced. Therefore, the time is detected by a clock function or the like installed in the imaging apparatus, and when it is determined that it is dusk, image quality parameters are set according to the corresponding method shown in FIG. 10 and development processing is performed. As a result, it is possible to obtain a starlit sky image with good visibility even for low-contrast stars.

以上のズームポジションに対する各種画質パラメータの対応表に関しては、上記に限るものではない。デジタルカメラ100に日付や温度、湿度、位置など、撮影における外部環境を検知できる機能を有し、その検知結果毎の対応表を予め搭載しておけば、様々な検知結果毎に最適な画質パラメータで天体撮影画像を取得することができる。 The above correspondence table of various image quality parameters for zoom positions is not limited to the above. If the digital camera 100 has a function that can detect the external environment for shooting such as date, temperature, humidity, and position, and a correspondence table for each detection result is installed in advance, the optimum image quality parameter for each detection result can be obtained. Astrophotography images can be obtained with

[他の実施形態]
上述の実施形態では、星空を撮影する場合について説明したが、本発明の適用範囲はこれには限定されない。例えば夜景や蛍の撮影など、暗い場所における点光源の撮影に本発明は適用可能である。
[Other embodiments]
In the above-described embodiment, the case of photographing the starry sky has been described, but the scope of application of the present invention is not limited to this. For example, the present invention can be applied to photographing a point light source in a dark place, such as photographing a night scene or fireflies.

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。 The present invention is also realized by executing the following processing. That is, the software (program) that realizes the functions of the above-described embodiments is supplied to a system or device via a network or various storage media, and the computer (or CPU, MPU, etc.) of the system or device reads the program. This is the process to be executed.

Claims (12)

星空の撮影が可能な撮影装置であって、
撮影画角を特定する特定手段と、
撮影された画像における星を検出する検出手段と、
前記検出手段により検出された星に対して所定の画像処理を行う画像処理手段とを有し、
前記画像処理手段は、ズームポジション情報を用いて前記所定の画像処理のためのパラメータを決め、前記特定手段により特定された撮影画角が第1の画角である場合、第1パラメータで前記所定の画像処理を行い、前記特定手段により特定された撮影画角が第1の画角よりも広い第2の画角である場合、第1パラメータと異なる第2のパラメータで前記所定の画像処理を行うことを特徴とする撮影装置。
A photographing device capable of photographing a starry sky,
a specifying means for specifying a shooting angle of view;
detection means for detecting stars in the captured image;
and image processing means for performing predetermined image processing on the stars detected by the detection means,
The image processing means determines a parameter for the predetermined image processing using the zoom position information, and when the photographing angle of view specified by the specifying means is a first angle of view, the predetermined and if the photographing angle of view specified by the specifying means is a second angle of view wider than the first angle of view, the predetermined image processing is performed with a second parameter different from the first parameter. A photographing device characterized by:
前記所定の画像処理はエッジを鮮鋭化する処理であることを特徴とする請求項1に記載の撮影装置。 2. The photographing apparatus according to claim 1, wherein said predetermined image processing is processing for sharpening edges. 前記所定の画像処理はエッジ強調処理であり、
前記第1のパラメータは前記第2のパラメータよりもエッジ強調の度合いを強くするパラメータであることを特徴とする請求項2に記載の撮影装置。
the predetermined image processing is edge enhancement processing;
3. The photographing apparatus according to claim 2, wherein said first parameter is a parameter for increasing the degree of edge enhancement more than said second parameter.
前記所定の画像処理はエッジ幅を制御する処理であり、
前記第1のパラメータは前記第2のパラメータよりも細いエッジ幅となるパラメータであることを特徴とする請求項2または3のいずれか1項に記載の撮影装置。
The predetermined image processing is processing for controlling edge width,
4. The photographing apparatus according to claim 2, wherein said first parameter is a parameter that provides an edge width narrower than said second parameter.
前記第1のパラメータ及び前記第2のパラメータは、前記エッジの鮮鋭化を行う画素値の閾値を示すパラメータであり、前記第1のパラメータは、前記第2のパラメータよりも小さいことを特徴とする請求項2乃至4のいずれか1項に記載の撮影装置。 The first parameter and the second parameter are parameters indicating thresholds of pixel values for sharpening the edge, and the first parameter is smaller than the second parameter. The photographing device according to any one of claims 2 to 4. 前記所定の画像処理は、明度、彩度、色相の少なくとも1つを制御する処理であることを特徴とする請求項1に記載の撮影装置。 2. The photographing apparatus according to claim 1, wherein said predetermined image processing is processing for controlling at least one of lightness, saturation, and hue. 前記特定手段は、ズームレンズのポジションに基づき前記撮影画角を特定することを特徴とする請求項1乃至6のいずれか1項に記載の撮影装置。 7. The photographing apparatus according to any one of claims 1 to 6, wherein said specifying means specifies said photographing angle of view based on a position of a zoom lens. 前記撮影画角と、前記所定の画像処理のパラメータとの対応付けを示す対応付け情報を保持する保持手段をさらに有し、
前記画像処理手段は、前記特定手段により特定された撮影画角と前記保持手段に保持された対応付けとに基づき、前記所定の画像処理のパラメータを決定することを特徴とする請求項1乃至7のいずれか1項に記載の撮影装置。
further comprising holding means for holding association information indicating association between the photographing angle of view and the predetermined image processing parameter;
8. The image processing means determines the parameters of the predetermined image processing based on the photographing angle of view specified by the specifying means and the association held in the holding means. The photographing device according to any one of Claims 1 to 3.
前記保持手段は、前記所定の画像処理のパラメータとの対応付けがそれぞれ異なる複数の対応付け情報を保持し、
前記特定手段により特定された撮影画角内の星の数に応じて、前記所定の画像処理に用いる対応付け情報が異なることを特徴とする請求項8に記載の撮影装置。
The holding means holds a plurality of pieces of association information each different in association with the predetermined image processing parameter,
9. The photographing apparatus according to claim 8, wherein the correspondence information used for the predetermined image processing differs according to the number of stars within the photographing angle of view specified by the specifying means.
撮影における外部環境に関する情報を検知する検知手段をさらに有し、
前記保持手段は、前記所定の画像処理のパラメータとの対応付けがそれぞれ異なる複数の対応付け情報を保持し、
前記検知手段により検知された外部環境に応じて、前記所定の画像処理に用いる対応付け情報が異なることを特徴とする請求項8に記載の撮影装置。
further comprising detection means for detecting information about the external environment in shooting,
The holding means holds a plurality of pieces of association information each different in association with the predetermined image processing parameter,
9. The photographing apparatus according to claim 8, wherein the association information used for said predetermined image processing differs according to the external environment detected by said detection means.
星空の撮影が可能な撮影装置の制御方法であって、
撮影画角を特定する特定工程と、
撮影された画像における星を検出する検出工程と、
前記検出工程で検出された星に対して所定の画像処理を行う画像処理工程とを有し、
前記画像処理工程では、ズームポジション情報を用いて前記所定の画像処理のためのパラメータを決め、前記特定工程で特定された撮影画角が第1の画角である場合、第1パラメータで前記所定の画像処理を行い、前記特定工程で特定された撮影画角が第1の画角よりも広い第2の画角である場合、第1パラメータと異なる第2のパラメータで前記所定の画像処理を行うことを特徴とする撮影装置の制御方法。
A control method for a photographing device capable of photographing a starry sky,
a specifying step of specifying a shooting angle of view;
a detection step of detecting stars in the captured image;
an image processing step of performing predetermined image processing on the stars detected in the detection step;
In the image processing step, parameters for the predetermined image processing are determined using the zoom position information, and if the photographing angle of view specified in the specifying step is the first angle of view, the predetermined and if the photographing angle of view specified in the specifying step is a second angle of view wider than the first angle of view, the predetermined image processing is performed with a second parameter different from the first parameter. A control method for an imaging device, characterized in that:
コンピュータを、請求項1乃至10のいずれか1項に記載の撮影装置の各手段として機能させるコンピュータが実行可能なプログラム。 A computer-executable program that causes a computer to function as each means of the photographing apparatus according to any one of claims 1 to 10.
JP2018209094A 2018-11-06 2018-11-06 Imaging device, its control method, and program Active JP7229728B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018209094A JP7229728B2 (en) 2018-11-06 2018-11-06 Imaging device, its control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018209094A JP7229728B2 (en) 2018-11-06 2018-11-06 Imaging device, its control method, and program

Publications (2)

Publication Number Publication Date
JP2020077938A JP2020077938A (en) 2020-05-21
JP7229728B2 true JP7229728B2 (en) 2023-02-28

Family

ID=70724451

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018209094A Active JP7229728B2 (en) 2018-11-06 2018-11-06 Imaging device, its control method, and program

Country Status (1)

Country Link
JP (1) JP7229728B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7254709B2 (en) 2017-03-15 2023-04-10 ツェットエフ、フリードリッヒスハーフェン、アクチエンゲゼルシャフト Apparatus and method for determining grade signals in vehicles

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220132889A (en) * 2021-03-24 2022-10-04 삼성전자주식회사 Electronic device including a plurality of cameras

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016081466A (en) 2014-10-22 2016-05-16 キヤノン株式会社 Image processing device, and image processing method and program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016081466A (en) 2014-10-22 2016-05-16 キヤノン株式会社 Image processing device, and image processing method and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7254709B2 (en) 2017-03-15 2023-04-10 ツェットエフ、フリードリッヒスハーフェン、アクチエンゲゼルシャフト Apparatus and method for determining grade signals in vehicles

Also Published As

Publication number Publication date
JP2020077938A (en) 2020-05-21

Similar Documents

Publication Publication Date Title
EP1689164B1 (en) Method and device for creating enhanced picture by means of several consecutive exposures
US7893984B2 (en) Image capturing apparatus, method of controlling the same, and program
JP4035543B2 (en) Imaging device
JP5366584B2 (en) Imaging apparatus, image processing method, and program
JP2009201094A (en) Imaging apparatus and imaging method
JP5223686B2 (en) Imaging apparatus and imaging method
US8593539B2 (en) Image processing apparatus and image processing method for performance white balance processing
JP2007174124A (en) Imaging apparatus and correction method
JP6827854B2 (en) Image processing equipment and methods, and imaging equipment
US8743239B2 (en) Image processing apparatus, control method thereof, and image-capturing apparatus
JP7229728B2 (en) Imaging device, its control method, and program
JP6192416B2 (en) Imaging apparatus, control method therefor, program, and storage medium
JP2010062802A (en) Imaging apparatus, imaging method, and computer readable recording medium storing program for executing the method
JP5948997B2 (en) Imaging apparatus and imaging method
JP5316923B2 (en) Imaging apparatus and program thereof
JP2012090041A (en) Image processing device, method, and program
JP2006217249A (en) Electronic camera, electronic camera system and program
JP2014143457A (en) HDR switching control method
US20130194456A1 (en) Imaging device
JP6353585B2 (en) Imaging apparatus, control method therefor, program, and storage medium
JP5159573B2 (en) Imaging apparatus and zoom control method
JP2005167465A (en) Digital camera and imaging method of digital camera
JP2015053652A (en) Imaging apparatus, and control method and control program for the same
JP2020043398A (en) Imaging device and control method thereof, program, and storage medium
JP5091734B2 (en) Imaging apparatus and imaging method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230215

R151 Written notification of patent or utility model registration

Ref document number: 7229728

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151