New! View global litigation for patent families

JP5772044B2 - Imaging device, imaging method and program - Google Patents

Imaging device, imaging method and program

Info

Publication number
JP5772044B2
JP5772044B2 JP2011031534A JP2011031534A JP5772044B2 JP 5772044 B2 JP5772044 B2 JP 5772044B2 JP 2011031534 A JP2011031534 A JP 2011031534A JP 2011031534 A JP2011031534 A JP 2011031534A JP 5772044 B2 JP5772044 B2 JP 5772044B2
Authority
JP
Grant status
Grant
Patent type
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011031534A
Other languages
Japanese (ja)
Other versions
JP2012170029A (en )
JP2012170029A5 (en )
Inventor
義裕 手島
義裕 手島
Original Assignee
カシオ計算機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Description

本発明は、撮像装置、撮像方法及びプログラムに関し、詳細には、暗い被写体などの撮影において複数の撮影画像を合成することができる撮像装置、撮像方法及びプログラムに関する。 The present invention relates to an imaging apparatus, an imaging method and a program, in particular, it relates to an imaging apparatus, an imaging method and a program capable of synthesizing multiple captured images in the photographing of a dark subject.

暗い被写体群、たとえば、夜空の星々をカメラで撮影しても、真っ暗な画像(写真)しか得られない。 Dark subject group, for example, after taking a night sky of stars and the camera, dark image (photo) can only be obtained. あまりにも星の光が弱く、CCD等の撮像デバイス(銀塩カメラの場合はフィルム)で光をとらえられないためである。 Too weak starlight, (in the case of silver halide camera film) imaging devices such as CCD is because not captured light at. このような場合は、一般的に長時間露光撮影(シャッタ速度を遅くして撮影すること)を行うが、手ぶれ防止のためのカメラ固定具(三脚)が必要であり、準備が面倒で手軽に行うことができなかった。 In such cases, it carried out generally long exposure shooting (be taken to slow down the shutter speed), but the camera fixture for the anti-shake (tripod) is necessary, ready cumbersome easily It could not be carried out.

固定具不要の暗所撮影技術としては、たとえば、下記の特許文献1に記載のもの(以下、従来技術)が知られている。 The dark cinematography fixtures required, for example, as described in Patent Document 1 described below (hereinafter, the prior art) is known. この従来技術では、手ぶれ限界を超えない露光時間(一般的には1/60秒以下のシャッタ速度)で複数枚の画像を連続的に撮像し、それらの画像を重ね合わせて合成する。 In this prior art, a plurality of images in the camera shake exposure time does not exceed the limit (typically shutter speed of less than 1/60 second in) continuously captured, synthesized by superimposing the images. 合成された被写体の明るさは、元画像(合成前の各画像)に写し込まれている被写体の明るさを合成枚数分だけ加算したものになる。 Brightness of the synthesized object becomes to the sum of brightness of the subject that are imprinted on the original image (the image before combining) by synthesis number of sheets. したがって、被写体を夜空の星々とした場合は、それらの星々を明るく写し出すことができ、しかも、長時間露光を行わないため、三脚等の固定具を必要とせず、思い立ったときにいつでも手軽に撮影を行うことができる。 Therefore, if you have a subject and the night sky of the stars, those stars and the bright Projects that can, moreover, because it is not done for a long time exposure, without the need for a fixed tool such as a tripod, easy picture-taking at any time when the Omoita' It can be performed.

特開2006−191305号公報 JP 2006-191305 JP

しかしながら、従来技術は、以下の問題点がある。 However, the prior art has the following problems.
夜空の星々の明るさは様々である。 The brightness of the night sky of stars and is different. 星の明るさは等級(実視等級)で表されており、1等星が最も明るく、6等星がかろうじて肉眼で見える程度の暗い星である。 Brightness of stars is represented by grades (visual magnitude), the brightest 1 mag star is a dark star enough to 6 mag star barely visible to the naked eye. また、望遠鏡を使えば6等星よりも暗い星々(7等星、8等星・・・・)も見ることができる。 In addition, dark stars and (7 mag stars, 8, etc. star ...) than 6, etc. stars if you use the telescope can also be seen.

さて、暗い星を肉眼や望遠鏡で見るとチカチカと瞬いて見える(または明るさが揺らいで見える)。 Well, (see some shaky or brightness) dark star a look when viewed with the naked eye and telescopes and flickering twinkled. これは、大気の揺らぎや大気中のチリの影響を受けるためである。 This is to receive the dust of influence in fluctuations and the atmosphere of the atmosphere. 暗い星ほどこの影響を大きく受ける。 The darker star affected by this increase.

従来技術の場合、チカチカと瞬く星をノイズとして排除してしまうことがあった。 If the prior art, there is that would eliminate the stars twinkling and flickering as noise. その理由を説明すると、従来技術では複数の画像を合成する際に、画像内に存在する特徴点の動きベクトルを算出し、その動きベクトルに基づいて合成すべき被写体であるか否かを判定しているが、その判定の際に「手ぶれに基づく動きベクトルとは方向または大きさが異なる動きベクトルを有する被写体を排除して合成しない」仕組み(同文献の段落〔0045〕参照)になっているからである。 To explain why, when the prior art for combining a plurality of images, calculates a motion vector of feature points present in the image, it is determined whether or not the object to be synthesized on the basis of the motion vector and that it has become "the motion vector based on the camera shake does not synthesize by eliminating object having a motion vector direction or magnitude is different" mechanism (see paragraph of this document [0045]) during the determination it is from. つまり、暗い星の瞬きは、この排除条件(手ぶれに基づく動きベクトルとは方向または大きさが異なる動きベクトル)に当てはまるためである。 In other words, blinking dark stars (direction or magnitude of the movement vector based on the camera shake different motion vector) The exclusion conditions in order to apply to.

かかる不都合は夜空の星だけに限らない。 Such an inconvenience is not limited only to the star of the night sky. 暗い被写体であって且つその明るさが時系列に変化する被写体の場合に生じやすい。 It tends to occur when and its brightness a dark object is subject to change in time series.

したがって、従来技術は、時系列に明るさが変化する被写体(上記の例では、チカチカと瞬く星を含む夜空の星々)を撮影する場合に不都合を招くという問題点がある。 Accordingly, the prior art, when (in the above example, the stars of the night sky, including the stars twinkling and flickering) subject to changes in brightness in sequence thereby leading to inconvenience when photographing a.

本発明は、このような問題点に鑑みてなされたものであり、その目的は、 明るさなどの状態が変化する被写体(たとえば、チカチカと瞬く星を含む夜空の星々) の撮影において複数の撮影画像を不都合なく合成して撮影できるようにすることにある。 The present invention has been made in view of such problems, and an object, the subject of varying conditions, such as brightness (e.g., the stars of the night sky, including the stars twinkling and flickering) a plurality of shooting in the shooting of It is to the so that can be taken by synthesizing without inconvenience images.

第1の発明は、複数の被写体を連続撮影する撮影手段と、前記連続撮影された複数枚の画像を合成出力する画像合成手段と、前記画像合成手段で画像の合成を行う際に、所定の基準に基づいて各画像内に存在する被写体の各々の合成を行うか否かを判定する判定手段と、撮影対象となる複数の被写体の各々の存在位置を示す位置情報を保持する情報保持手段と、を備え、前記判定手段は、前記撮影手段により連続撮影された複数の被写体の中に、予め決められた状態が変化する個別被写体が含まれている場合において、前記情報保持手段に保持されている位置情報を参照して前記複数の被写体の各々の画像内の位置を特定し、前記個別被写体に対応する位置情報が前記情報保持手段に含まれていた場合に、当該個別被写体を合成すべきもので The first invention includes an imaging means for continuously photographing a plurality of subjects, an image synthesizing means for synthesizing outputs a plurality of images in which the is continuously captured, when performing image synthesis with the image synthesizing means, predetermined judging means for judging whether or not to perform synthesis of each of the subject present in each image based on the reference, the information holding means for holding position information indicating a location of each of a plurality of subjects to be photographed subject , wherein the determining means in a plurality of the subject continuous shooting by the shooting means, when the predetermined condition contains individual subject to change, is held in the information holding means while referring to the positional information are to locate in each image of said plurality of subjects, if the position information corresponding to the individual subject is included in the information holding means, intended to be combined with the individual subject so ると判定することを特徴とする撮像装置、撮像方法、プログラムである。 Imaging apparatus, an imaging method, wherein the determining and that a program.
第2の発明は、複数の被写体を連続撮影する撮影手段と、前記連続撮影された複数枚の画像を合成出力する画像合成手段と、前記画像合成手段で画像の合成を行う際に、所定の基準に基づいて各画像内に存在する被写体の各々の合成を行うか否かを判定する判定手段と、撮影対象となる複数の被写体の各々に対応する情報を保持する情報保持手段とを備え、前記判定手段は、前記撮影手段により連続撮影された複数の被写体の中に、予め決められた状態が変化する個別被写体が含まれている場合において、前記個別被写体に対応する情報が前記情報保持手段に含まれていた場合に、当該個別被写体を合成すべきものであると判定し、前記情報保持手段は、前記予め決められた状態が変化する個別被写体に対応する情報のみを保持することを特 A second invention is a photographing means for continuously photographing a plurality of subjects, an image synthesizing means for synthesizing outputs a plurality of images in which the is continuously captured, when performing image synthesis with the image synthesizing means, predetermined comprising judging means for judging whether or not to perform synthesis of each of the subject present in each image based on the reference, and information holding means for holding information corresponding to each of a plurality of the subject to be the imaging target, It said determining means in a plurality of the subject continuous shooting by the shooting means, when the predetermined condition contains individual subject changes, the information corresponding to the individual subject the information holding means when contained in, and determined to be to be synthesized the individual subject, the information holding means, especially to retain only the information corresponding to the individual subject said predetermined conditions change とする撮像装置、撮像方法、プログラムである。 Imaging device, imaging method and a program.

本発明によれば、 複数の被写体を連続撮影して得られた複数の撮影画像を合成する場合に、所定の基準に基づいて各画像内に存在する被写体の各々を合成すべきか否かを判定するので、 例えば明るさなどの状態が変化する被写体であっても合成を支障なく行うことができる。 According to the present invention, when synthesizing a plurality of photographed images obtained by continuously photographing a plurality of subjects, determine whether or not to synthesize the respective subject present in each image based on predetermined criteria since, Ru can be performed without any trouble synthesis even subject to change conditions such as for example brightness.

デジタルカメラ1の外観図である。 It is an external view of the digital camera 1. デジタルカメラの内部ブロック図である。 It is an internal block diagram of a digital camera. 大容量記憶デバイス19の模式的な構造図である。 It is a schematic structural diagram of a mass storage device 19. データベース格納領域19bに格納されるデータベースの構造図である。 It is a structural diagram of a database stored in the database storage area 19b. 赤道座標系の概念図である。 It is a conceptual diagram of the equatorial coordinate system. 中央制御部43のコンピュータ(CPU43a)で実行される制御プログラムの要部フローを示す図である。 It is a diagram showing a main part flow of the control program executed by the computer (CPU 43a) of the central control unit 43. 画像合成処理(ステップS9)のサブルーチンフローを示す図である。 It is a diagram showing a subroutine flow of the image synthetic processing (step S9). データベース照合処理(ステップS16)のサブルーチンフローを示す図である。 It is a diagram showing a subroutine flow of database collation processing (step S16). 星座撮影の概念図である。 It is a conceptual diagram of the constellation shooting. 実施形態を適用した星座撮影の概念図である。 It is a conceptual diagram of a constellation shooting according to the embodiment.

以下、本発明の実施形態を、デジタルカメラへの適用を例にして、図面を参照しながら説明する。 Hereinafter, the embodiments of the present invention, the application to a digital camera as an example, with reference to the drawings.

図1は、デジタルカメラ1の外観図である。 Figure 1 is an external view of the digital camera 1. この図において、デジタルカメラ1は、たとえば、箱状薄形のカメラボディ2の前面に沈胴式または固定式のレンズ鏡筒3や、ストロボ発光窓4及びファインダ前面窓5などを配置すると共に、カメラボディ2の上面に電源スイッチ6及びシャッターボタン7などを配置しており、さらに、カメラボディ2の背面にファインダ後面窓8、撮影モード/再生モード切り換えスイッチ9、ズーム操作兼再生表示モード切替スイッチ10、MENUボタン11、上下左右方向移動ボタン12、SETボタン13、DISPボタン14及びタッチパネル15付の表示部16などを配置し、加えて、カメラボディ2の底面に蓋17を設け、この蓋17の内部にバッテリ18と、カード型メモリまたはカード型ハードディスクなどの大容量記憶デバイス1 In this figure, the digital camera 1, for example, collapsible on the front type or and fixed lens barrel 3 box-like thin camera body 2, with placing and strobe light emission window 4 and a finder front window 5, the camera and arranged such power switch 6 and a shutter button 7 on the upper surface of the body 2, further finder rear window 8 on the back of the camera body 2, shooting mode / playback mode switch 9, a zoom operation and reproduction display mode change-over switch 10 , MENU button 11, such as to place the vertical and horizontal movement button 12, SET button 13, DISP button 14 and a display unit 16 equipped with the touch panel 15, in addition, a lid 17 provided on the bottom surface of the camera body 2, the lid 17 internal to the battery 18, a large capacity, such as a card-type memory or a card type hard disk storage device 1 とを着脱可能な状態で実装している。 It has been implemented in the door a detachable state.

図2は、デジタルカメラの内部ブロック図である。 Figure 2 is an internal block diagram of a digital camera. この図において、デジタルカメラ1は、レンズ鏡筒3に収められた撮影レンズ20やズームレンズ21、フォーカスレンズ22及び絞り機構23などを含む光学系24と、この光学系24を介して取り込まれた被写体の像を撮像するCCDやCMOS等の二次元イメージセンサを含む撮像部25と、撮像部25から出力される画像信号に所要の画像処理(ガンマ補正等)を施す画像処理部26と、光学系24の絞り機構23を駆動する絞り駆動部27と、光学系24のフォーカスレンズ22を駆動するフォーカス駆動部28と、光学系24のズームレンズ21を駆動するズーム駆動部29と、各種キーやスイッチ及びボタン類(シャッターボタン7、撮影モード/再生モード切り換えスイッチ9、ズーム操作兼再生表示モード切替スイッチ1 In this figure, the digital camera 1 includes a lens barrel 3 matches was taking lens 20 and zoom lens 21, an optical system 24 including a focus lens 22 and the diaphragm mechanism 23, taken in through the optical system 24 an imaging unit 25 including a two-dimensional image sensor such as a CCD or CMOS that captures an image of a subject, an image processing unit 26 for performing predetermined image processing on the image signal output from the imaging unit 25 (the gamma correction, etc.), optical a diaphragm driver 27 to drive the diaphragm mechanism 23 of the system 24, a focus driver 28 for driving the focusing lens 22 of the optical system 24, a zoom driving unit 29 for driving the zoom lens 21 of the optical system 24, Ya various keys switches and buttons (shutter button 7, shooting mode / playback mode switch 9, a zoom operation and playback display mode switching switch 1 、MENUボタン11、上下左右方向移動ボタン12、SETボタン13、DISPボタン14等)を含む操作部30と、ストロボ発光窓4の裏側に取り付けられたストロボ発光部31及びストロボ駆動部32と、液晶ディスプレイパネル等からなる表示部16を駆動する表示駆動部33と、タッチパネル15のタッチ座標を取り込むタッチ座標入力部34と、大容量記憶デバイス19のデータ入出力を制御するデバイスデータ入出力部35と、デジタルカメラ1の現在位置を検出する、たとえば、GPS(Global Positioning System:全地球測位システム)受信部などの位置検出部36と、デジタルカメラ1の姿勢を検出する、たとえば、MI(Magneto−impedance Effect)センサなど , MENU button 11, a vertical and horizontal direction movement button 12, SET button 13, the operation unit 30 including a DISP button 14, etc.), a flash emitter 31 and a flash driver 32 attached to the rear side of the strobe light emitting window 4, a liquid crystal a display driving unit 33 for driving the display unit 16 composed of a display panel or the like, the touch coordinate input unit 34 to capture the touch coordinates of the touch panel 15, the device data output unit 35 for controlling data input and output of the mass storage device 19 , detects the current position of the digital camera 1, for example, GPS: a position detector 36 such as a (Global positioning system Global positioning system) receiving unit, to detect the attitude of the digital camera 1, for example, MI (Magneto-impedance Effect) sensor, or the like 姿勢検出部37と、必要に応じてパーソナルコンピュータ等の外部機器38との間のデータ入出力を仲介する外部入出力部39と、充電可能な電池(バッテリ18)やその電池の充電部40及び充電用外部端子41を含みデジタルカメラ1の各部の動作に必要な電力を発生する電源部42と、中央制御部43とを備える。 A posture detecting section 37, an external output unit 39 that mediates input and output of data between the external device 38 such as a personal computer as necessary, rechargeable battery (battery 18) or charging unit 40 and the battery a power supply unit 42 for generating electric power necessary for operation of each unit of the digital camera 1 includes a charging external terminal 41, and a central control unit 43.

中央制御部43は、コンピュータ(以下、CPU)43a、不揮発性メモリ(以下、ROM)43b、揮発性メモリ(以下、RAM)43c及び書き換え可能型不揮発性メモリ(以下、PROM)43dを備えており、ROM43bに予め格納されている制御プログラムや、PROM43dに予め又は任意に書き込まれるデータをRAM43cにロードしてCPU43aで実行することにより、つまり、プログラム制御方式によって、このデジタルカメラ1の各部の動作を統括制御するものであるが、この方式(プログラム制御方式)に限定されない。 Central control unit 43, a computer (hereinafter, CPU) 43a, a non-volatile memory (hereinafter, ROM) 43 b, a volatile memory (hereinafter, RAM) 43c and a rewritable nonvolatile memory (hereinafter, PROM) comprises a 43d , and pre-stored in a control program in ROM43b, by running in CPU43a loads the data to be written in advance or arbitrarily PROM43d to RAM43c, i.e., by the program control system, the operation of each unit of the digital camera 1 it is for overall control, but is not limited to this method (program controlled). その機能の全て又は一部をハードロジックで実現してもよい。 All or part of the functions may be realized by hardware logic.

さて、図示のデジタルカメラ1は、操作部30の撮影モード/再生モード切り換えスイッチ9が「撮影」位置にあるときに撮影モード(静止画又は動画撮影モード)で動作し、「再生」位置にあるときに再生モードで動作する。 Now, the digital camera 1 shown operates in the shooting mode (still image or moving image photographing mode) when the shooting mode / playback mode switch 9 of the operation unit 30 is in the "shooting" position, the "play" position operating in the playback mode at the time.

静止画又は動画撮影モードを選択した場合、撮像部25から周期的(毎秒数十フレーム)に出力される画像信号が、画像処理部26と中央制御部43及び表示駆動部33を経て表示部16に出力され、構図確認用のライブビュー画像(スルー画像ともいう)として継続的に表示される。 If you select a still image or a moving image photographing mode, an image signal output periodically (several tens of frames per second) from the imaging unit 25, the image processing unit 26 and the central control unit 43 and the display through the display driving section 33 section 16 is output to, is continuously displayed as a live view image for composition confirmation (also referred to as a through-the-lens image). 撮影者は、ライブビュー画像を見ながら所望の構図になるように撮影方向や撮像部25の画角(ズームレンズ21のズーム量)を調節し、所望の構図が得られたときにレリーズ操作(シャッターボタン7の押し下げ操作)を行う。 Photographer adjusts the angle of view of the imaging direction and the imaging unit 25 to the desired composition while viewing a live view image (zoom amount of the zoom lens 21), the release operation when the desired composition is obtained ( do the pushing down operation) of the shutter button 7.

そして、レリーズ操作に応答して、フォーカスレンズ22のAF(自動焦点)処理や絞り機構23のAE(自動露出)処理などが実行され、適正露出が得られたときに、撮像部25から高画質の画像信号が取り出される。 Then, in response to the release operation, the AE (such as automatic exposure) processing the execution of AF (autofocus) processing and diaphragm mechanism 23 of the focus lens 22, when the proper exposure is obtained, image quality from the imaging unit 25 image signal is taken out. 取り出された画像信号は、画像処理部26と中央制御部43及びデバイスデータ入出力部35を経て大容量記憶デバイス19に送られ、撮影済み画像として大容量記憶デバイス19に記録保存される。 Image signal taken out is passed through the image processing unit 26 and the central control unit 43 and the device data input-output unit 35 is sent to the mass storage device 19 and stored recorded in the mass storage device 19 as a photographed image.

一方、再生モードを選択した場合は、たとえば、直近に撮影された画像を大容量記憶デバイス19から読み出して表示部16に再生表示するか、あるいは、撮影済み画像の縮小画像を表示部16に一覧表示し、その一覧の中からユーザ操作によって選択された画像(ユーザが再生を希望する画像)の元画像を大容量記憶デバイス19から読み出して表示部16に再生表示する。 On the other hand, if you select the playback mode, for example, lists the image taken most recently or is reproduced and displayed on the display unit 16 reads out from the mass storage device 19, or, on the display unit 16 a reduced image of the captured image displayed, reproduced and displayed on the display unit 16 an original image of the selected image (image which the user desires to play) by a user operation is read from the mass storage device 19 from the list.

撮影モードには、冒頭で説明した固定具不要の暗所撮影モードが含まれている。 The shooting mode includes the fixed member unwanted dark photographing mode described in the beginning. すなわち、図示のデジタルカメラ1は、必要に応じ、手ぶれ限界を超えないシャッタ速度(一般的には1/60秒以下)で複数枚の画像を連続的に撮像し、それらの画像を重ね合わせて合成した合成画像を大容量記憶デバイス19に記録保存できるようになっている。 That is, the digital camera 1 shown, optionally, continuously capturing a plurality of images at a shutter speed that does not exceed the shake limit (typically less than 1/60 second), by superimposing these images the synthesized composite image has to be recorded and stored in the mass storage device 19.

合成された画像の被写体の明るさは、元画像(合成前の各画像)に写し込まれている被写体の明るさを加算したものになる。 The brightness of the object in the synthesized image is to the sum of brightness of the subject that are imprinted on the original image (the image before combining). したがって、たとえば、被写体を夜空の星々とした場合に、それらの星々を明るく写し出すことができる。 Thus, for example, when the subject and the night sky of stars and may Projects brighten their stars,. しかも、この暗所撮影モードでは、長時間露光を行わないため、三脚等の固定具が不要であり、思い立ったときにいつでも手軽に暗所撮影を行うことができる。 Moreover, in this dark shooting mode, because it is not done for a long time exposure, there is no need fixture, such as a tripod, can be carried out easily in the dark shooting at any time when the Omoita'.

しかしながら、夜空の星々のうち等級が大きい暗い星は、大気の影響を受けて時系列的な光の明滅(瞬きまたは揺らぎ)を生じるので、画像合成の際にノイズとして取り除かれてしまうことがある。 However, dark star grade larger of the night sky the stars, since results blinking of time-series light under the influence of atmospheric (blinking or fluctuation), there can thus be removed as noise at the time of image synthesis . たとえば、冒頭の従来技術(特許文献1)では、「手ぶれに基づく動きベクトルとは方向または大きさが異なる動きベクトルを有する被写体を排除して合成しない」仕組みになっているため、瞬く星が除外されてしまう。 For example, the prior art opening (Patent Document 1), since that is a "from the motion vector based on the camera shake does not synthesize by eliminating object having a motion vector direction or magnitude is different" mechanism, twinkling stars exclusion It would be.

したがって、実施形態の課題は、時系列に明るさが変化する被写体(たとえば、チカチカと瞬く星を含む夜空の星々)を不都合なく撮影でき、しかも、三脚等の固定具不要で撮影できるようにすることにあり、その究極のポイントは、所定のデータベースを参照して合成すべき被写体であるか否かを最終判断するようにしたことにある。 Accordingly, an object of the embodiment, when the subject brightness changes in sequence (e.g., the stars of the night sky, including the stars twinkling and flickering) can be taken without inconvenience and yet, to allow the fixture unnecessary photographing such as a tripod lies in its ultimate point is that the whether the object to be synthesized with reference to a predetermined database to final decision.

説明の便宜上、夜空の星々を一括りにして「被写体群」ということにし、その被写体群に含まれる各々の星のことを「個別被写体」ということにする。 For convenience of explanation, in the night sky stars are lumped together to be referred to as "object group", that of each of stars included in the object group will be referred to as "individual subject".

図3は、大容量記憶デバイス19の模式的な構造図である。 Figure 3 is a schematic structural diagram of a mass storage device 19. この図において、大容量記憶デバイス19には撮影済みの画像を記憶保存する領域(以下、画像保存領域19a)と、所定のデータベースを格納するための領域(以下、データベース格納領域19b)とが設けられている。 In this figure, the region in the mass storage device 19 that stores storing photographed images (hereinafter, image storage area 19a) and an area for storing a predetermined database (hereinafter, database storage area 19b) and is provided It is. なお、ここでは、データベース格納領域19bを大容量記憶デバイス19に設けるとしているが、これに限定されない。 Here, although the provision of the database storage area 19b in the mass storage device 19 is not limited thereto. 他の記憶要素、たとえば、中央制御部43のROM43bやPROM43dなどに設けてもよい。 Other storage elements, for example, may be provided such as ROM43b and PROM43d of the central control unit 43. CPU43aからアクセス可能な記憶空間であればよい。 It may be any accessible storage space from CPU43a.

図4は、データベース格納領域19bに格納されるデータベースの構造図である。 Figure 4 is a structural diagram of a database stored in the database storage area 19b. この図において、データベース44は、個別被写体名フィールド44aと座標フィールド44bとからなるレコードを行方向に多数配列した構造を有しており、個別被写体名フィールド44aには個別被写体の名前(ここでは各々の星の名前)が格納され、また、座標フィールド44bにはその個別被写体の位置座標(ここでは各々の星の天空座標)が格納されている。 In this figure, each database 44, is a record consisting of the individual subject name field 44a and coordinate field 44b has a number array structure in the row direction, the individual subject name field 44a where the name of the individual subject ( the name of the star) is stored, also the position coordinates of the individual subject to the coordinates field 44b (where the sky coordinates of each star) is stored.

ここで、天空座標の表し方(座標系)にはいくつかの種類がある。 Here, how to express the sky coordinates (coordinate system) There are several types. 日常的に用いられるのは地平座標系である。 The routinely used is a horizontal coordinate system. たとえば、我々が星を見た場合、「西のほうの空の低いところに月が見えている。」、「南の中天にオリオン座が昇っている。」、「松の湯の煙突のすぐ上に明るい星が見えている。」などのように表現する。 For example, if we looked at the stars, "the moon at a low empty towards the west are visible.", "Ascended the Orion in the south of Zhongtian.", "Pine of the hot water of the chimney are visible immediately bright stars above. "expressed as such.

この場合、「西のほう」、「南」、「松の湯」という部分で「方向」を表し、「低いところ」、「中天」、「煙突のすぐ上」という部分で「高さ」を表している。 In this case, "more of the West", "south", in the part called "pine hot water" represents the "direction", "low place", "Restless", in the part called "just above the chimney", "height" a represents. 地平座標系は、これらの表現とまったく同じ方法で星々の位置を表す座標系であるが、「西のほう」、「南」、「松の湯」、あるいは「低いところ」、「中天」、「煙突のすぐ上」といったあいまいなものではなく、基点を定めたうえで定量的に数値で表現するようにしたものである。 Horizon coordinate system is a coordinate system that represents the position of the stars and all these expressions in the same way, "more of the West", "South", "pine of hot water", or "low place", "Restless" , not ambiguous, such as "just above the chimney" is one which is adapted to represent a quantitative numerically in terms of defining the base point.

つまり、地平座標系は方位(Azimuth)と高度(Altitude)を表す2つの数値からなる座標系である。 In other words, horizontal coordinate system is a coordinate system consisting of two numbers representing the orientation (Azimuth) and altitude (Altitude). 方位は南を基点(0゜)とし、西回りに360゜までの数字で表す。 Orientation as a base point of the South (0 °), represented by the numbers in the 360 ​​DEG to the west around. 真西は90゜、真北が180゜、真東が270゜になる。 Leave 90 °, true north is 180 °, due east is 270 °. 高さは水平線を基点(0゜)とし、天頂(頭の真上)方向に+90゜まで、天底方向に−90゜までの数字で表す。 Height as a base point (0 °) to the horizontal line, at +90 DEG to the zenith (directly above the head) direction, expressed in numbers at -90 DEG to nadir direction.

したがって、上記の例をこの地平座標系を用いていい直すと、「方位85゜、高度10゜に月が見えている。」、「方位355゜、高度55゜にオリオン座が昇っている」、「方位265゜、高度13゜に明るい星が見えている。」となる。 Therefore, when the back refers using the horizontal coordinate system the above example, "azimuth 85 °, is visible advanced 10 ° month.", "Azimuth 355 °, ascended advanced 55 ° Orion" , the "azimuth 265 °, advanced 13 ° bright stars are visible.".

このように地平座標系は、感覚的で非常に分かりやすいが、時間の概念がないため、データベース44の座標情報としてふさわしくない。 Thus horizontal coordinate system is easy to understand sensuously very, because there is no concept of time, not suitable as coordinate information in the database 44. 星の位置は時間と共に変化するからである。 Position of the star is because the change over time. データベース44には、絶対位置を示す別の座標系(赤道座標系、黄道座標系、銀河座標系)を格納しなければならない。 The database 44, another coordinate system indicating the absolute position (equatorial coordinate system, ecliptic coordinate system, galactic coordinate system) must be stored.

図5は、赤道座標系の概念図である。 Figure 5 is a conceptual diagram of the equatorial coordinate system. 赤道座標系は星の絶対位置を表すために用いられる座標系であり、地球の自転を基準とした座標系である。 Equatorial coordinate system is a coordinate system used to represent the absolute position of the star, a coordinate system based on the earth's rotation. 星の絶対位置を「赤経(せきけい:αまたはR.A.=RightAscensionの略)」と「赤緯(せきい:δまたはDecl.=Declinationの略)」と呼ばれる2つの数値で表現する。 The absolute position of the stars "RA (Sekikei: alpha or R. A. = Abbreviation RightAscension)" and "Declination (Sekii: [delta] or Decl = Abbreviation Declination.)" Is expressed by two numbers, called . 概念的には、地球の自転軸を北に伸ばして天球と交わる点を「天の北極」とし、南に伸ばして天球と交わる点を「天の南極」とするとともに、地球上の経度線と緯度線をそのまま天球上に貼りつけたものと考えればよい。 Conceptually, the point of intersection with the celestial sphere extending the earth's rotation axis to the north is "celestial north pole", a point of intersection with the celestial sphere stretch to the south with the "celestial Antarctic", and longitude lines of the earth the lines of latitude as they may be considered as those pasted on the celestial sphere.

赤緯は赤道面を基点(0゜)とし、南(−)北(+)にそれぞれ90゜までの数値で表す。 Declination the equatorial plane as a base point (0 °), South (-) represents the Northern (+) numerically in each 90 DEG. 天の北極は+90゜、天の南極は−90゜になる。 Celestial Arctic +90 °, ceiling Antarctic becomes -90 °. 赤経は春分点(太陽が天の赤道を南側から北側へ横切る点)を基点(0゜=0時)にして東回りに測り、15゜=1時、15′=1分、15”=1秒として24時までの数値で表す。 RA is weighed in eastbound in the vernal equinox (sun that crosses the celestial equator from south to north) and the base point (time 0 ° = 0), at 15 ° = 1, 15 '= 1 min, 15 "= 1 seconds represented by a numerical value of up to 24 hours as.

赤経の基点(春分点)や、赤緯の基点(赤道面)は、歳差運動(地球の地軸の移動による首振り運動)や章動によってわずかずつ移動するため、その時点での見かけのものを視赤経・視赤緯(視位置)と呼び、変動分をならしたものを平均赤経・平均赤緯と呼ぶ。 Base and (equinox) of RA, base point (equatorial plane) of the declination, (oscillating motion due to the movement of the earth's earth axis) precession and to move little by little by nutation, as apparent at that time the Miakakei-Miakanuki (viewing position) and is referred to, referred to as the average ascension-average declination those leveling the variation. なお、1991年までは西暦1950.0年(B1950.0)に基づいた平均赤経と平均赤緯(1950年分点)が主に用いられていたが、1992年からは西暦2000.0年(J2000.0)に基づいたもの(2000年分点)に改められた。 It should be noted that, until 1991, the year 1950. 2.0 years average ascension and the average declination (1950 equinox) based on (B1950.0) but has been mainly used, the year 2000 from 1992. 0 years It was changed to those (2000 equinox) based on (J2000.0).

ここで、一例として、全天一の明るさを持つ恒星である「おおいぬ座のシリウス」の位置を2000年分点で表記すると次のようになる。 Here, as an example, if the position of a star with a brightness of all Tianyi "Canis Major Sirius" is referred to in the 2000 equinox is as follows.
J2000.0:α=6h45.2m,δ=−16.43′ J2000.0: α = 6h45.2m, δ = -16.43 '

したがって、シリウスの位置をデータベース44の座標フィールド44bに格納する場合は、図4に示すように、星名(シリウス)を個別被写体名フィールド44aに格納するとともに、座標フィールド44bに、赤経(α)サブフィールド44cと赤緯(δ)サブフィールド44dとを設け、赤経(α)サブフィールド44cに方位値(α=6h45.2m)を格納し、赤緯(δ)サブフィールド44dに高度値(δ=−16.43′)を格納すればよい。 Therefore, when storing the position of Sirius the coordinate field 44b of the database 44, as shown in FIG. 4, stores star name (Sirius) in individual subjects name field 44a, a coordinate field 44b, right ascension (alpha ) subfield 44c and declination ([delta]) provided the subfield 44d, right ascension (alpha) is stored azimuth value in the sub-field 44c of the (α = 6h45.2m), declination ([delta]) altitude value subfield 44d (δ = -16.43 ') may be stored.

これらの方位値(α=6h45.2m)や高度値(δ=−16.43′)は、赤道座標系におけるシリウスの絶対位置を表すから、この絶対位置に基づいて、ある時点(年月日及び時刻)におけるシリウスの視位置(視赤経・視赤緯)を割り出すことができる。 These orientation values ​​(α = 6h45.2m) and altitude value (δ = -16.43 '), since represents the absolute position of Sirius in the equatorial coordinate system, on the basis of the absolute position, some point (date it can be determined Sirius viewing position (Miakakei-Miakanuki) in and time).

データベース44に格納する座標系は、この赤道座標系に限らない。 Coordinate system and stored in the database 44 is not limited to this equatorial coordinate system. 絶対位置を表すための座標系であればよく、黄道座標系や銀河座標系であってもよい。 May be a coordinate system for representing the absolute position may be ecliptic coordinate system or galactic coordinate system.

図6は、中央制御部43のコンピュータ(CPU43a)で実行される制御プログラムの要部フローを示す図である。 Figure 6 is a diagram showing a main part flow of the control program executed by the computer of the central control unit 43 (CPU 43a). 図示のフローは、デジタルカメラ1の全体動作を統括する制御プログラムのうち撮影モード部分を抜き出したものであって、特に、遠方にある暗い被写体群を撮影する際の制御部分を抜粋したものである。 Flow shown, there is an extracted photographing mode portion of the control program which controls the overall operation of the digital camera 1, in particular, is an extract control part when capturing a dark subject group in far .

このフローの実行条件は、「撮影モード」であって、撮影対象の被写体群が「暗く」、且つ、「遠くにある」場合である。 Execution condition of this flow, a "photographing mode", "dark" subject group of the taking target, and a case where "in the distance." この条件に当てはまる撮影を行うときに、図示のフローを自動実行してもよいし、あるいは、撮影者に手動選択させるようにしてもよい。 When performing photographing fit this condition, to the flow shown it may be automatically executed, or may be allowed to manually select photographer.

上記の実行条件に当てはまる被写体の一例は夜空の星である。 An example of an object that apply to the above execution conditions are star night sky. 星の光は相当弱く、しかも、ほぼ無限遠の遠い距離にあるからである。 Star of light is considerably weaker, moreover, is because in the far distance almost infinite. したがって、以降では、上記の実行条件に当てはまる被写体群を「夜空の星」として説明する。 Accordingly, the following describes the object groups that apply to the above execution condition as "night sky star". ただし、これに限定されないことはもちろんである。 However, it is of course not limited to this. 暗く、且つ、遠くにある被写体群であればよい。 Dark, and it may be a subject group in the distance.

このフローでは、まず、被写体群の明るさ(露出)を判定する(ステップS1)。 In this flow determines, first, the brightness of the object groups (exposure) (Step S1). 被写体群が明るい場合は通常の撮影処理を実行(ステップS2)するが、暗い場合は、まず、シャッタ速度を手ぶれ限界速度(一般的に1/60秒程度)に設定(ステップS3)するとともに、撮像部25の感度(いわゆるISO感度)を上限まで高め(ステップS4)、その後、撮影者のシャッタ操作に応答して複数枚の画像を連続撮影(連写ともいう)する(ステップS5)。 Performing a normal photographing process if the subject group is bright (step S2) Suruga, if dark, first, the set (Step S3) to the limit speed camera shake the shutter speed (typically about 1/60 second), enhance the sensitivity of the imaging unit 25 (the so-called ISO sensitivity) to the upper limit (step S4), and then continuously photographing a plurality of images in response to the photographer of the shutter operation (also referred to as continuous shooting) (step S5).

一般的な暗所撮影ではストロボを発光するが、このフローではストロボの発光は行わない。 Although a typical dark photographing Use of the flash is not performed strobe light emission in this flow. 撮影対象の被写体群が遠方にあるからであり、たとえ、ストロボを発光しても被写体群まで光が届かないからである。 Is because the subject group to be imaged is in the distance, for example, because not reach the light to the object group also flash discharges.

次いで、撮影方向、撮影画角、現在位置及び現在日時を取得する(ステップS6〜ステップS8)。 Then, the photographing direction, photographing angle, and obtains the current position and the current time and date (step S6~ step S8). 撮影方向は被写体群の方向、つまり、レンズ鏡筒3の光軸の方向であり、この方向は姿勢検出部37の検出結果から割り出すことができる。 Direction of the photographing direction is subject group, i.e., a direction of the optical axis of the lens barrel 3, the direction can be determined from the detection result of the posture detection section 37. また、撮影画角は光学系24の撮影画角であり、この撮影画角はズームレンズ21のズーム位置から割り出すことができる。 The imaging angle is the imaging angle of the optical system 24, the imaging angle may be determined from the zoom position of the zoom lens 21. 現在位置は撮影位置であり、この撮影位置は位置検出部36の検出結果から割り出すことができる。 A current position photographing position, the photographing position can be determined from the detection result of the position detection unit 36. さらに、現在日時は撮影日時であり、この日時はCPU43aの時計機能(日付と時刻を発生する機能;OSの基本機能の一つである)から割り出すことができる。 Moreover, the current date and time are the shooting date and time, the date and time clock function of CPU 43a; can be determined from (function for generating a date and time, which is one of the OS basic functions).

撮影方向、撮影画角、現在位置及び現在日時を取得すると、次に、画像合成処理(ステップS9)を実行した後、画像合成処理によって得られた合成画像を大容量記憶デバイス19に記録保存し(ステップS10)、必要であれば、確認用のプレビュー画像を表示部16に表示してから、フローを終了する。 Photographing direction, photographing angle, acquires the current position and the current date and time, then, after performing the image combining process (step S9), and record and save the synthesized image obtained by the image synthesizing process in the mass storage device 19 (step S10), and if necessary, display on the display unit 16 a preview image for confirmation, and ends the flow.

図7は、画像合成処理(ステップS9)のサブルーチンフローを示す図である。 Figure 7 is a diagram showing a subroutine flow of the image synthetic processing (step S9). このフローでは、まず、撮影枚数変数iに初期値1をセットし(ステップS11)、次いで、図6のステップS5で連続撮影された複数枚の画像のうちのi枚目の画像とi+1枚目の画像から特徴点を抽出する(ステップS12)。 In this flow, first, set the initial value 1 to the number of shots variable i (step S11), and then, i th image and the (i + 1) -th of the plurality of images which are continuously captured in step S5 in FIG. 6 extracting feature points from the image (step S12). 特徴点は、画像の境目や角といった特徴を点化したもののことをいう。 Feature point refers to characteristics such as boundary and corners of the image obtained by epilepsy. 色彩が大きく変わる、濃淡の濃い部分、輪郭といったものなども特徴点になる。 Colors vary greatly, the dark part of the shade, even such things like contour becomes the feature point.

次に、i枚目の画像とi+1枚目の画像の特徴点の動きベクトルを算出する(ステップS13)。 Then, it calculates a motion vector of a feature point of the i-th image and the (i + 1) th image (step S13). 動きベクトルは、基準画像(ここではi枚目の画像)の特徴と似ている特徴が注目画像(ここではi+1枚目の画像)の何処にあるかをベクトルを用いて示したもののことをいう。 Motion vector refers to those features that are similar to features of the illustrated target image using vector where to find the (here i + 1 th image) (images of the i-th in this case) reference image .

全ての特徴点について動きベクトルを算出すると、次いで、それらの特徴点が合成すべきものであるか否かを判定する(ステップS14)。 After calculating the motion vector for all feature points, then it determines whether those feature points are those to be synthesized (step S14). 合成すべき特徴点とは、動きベクトル0の特徴点(画像間の動きがない特徴点)、または、動きベクトルの方向と動きの量に一定の相関性が見られる特徴点のことをいう。 The feature point to be synthesized, a feature point motion vector 0 (the motion has no characteristic point between the images), or refers to a certain correlation characteristic points found in the amount of direction and motion of the motion vector. たとえば、夜空の星々は、地球の自転に伴い、天の北極(南半球では天の南極)を中心にした円に沿って移動するが、撮影時間に相当する短い時間で見た場合、動きベクトル0の特徴点とみなすことができるので、夜空の星々は合成すべき特徴点になる。 For example, night sky the stars are due to the earth's rotation, when (in the southern hemisphere celestial Antarctica) celestial north pole is to move along a circle centered on the, viewed in a short time corresponding to the imaging time, the motion vector 0 it can be regarded as a feature point, sky of stars and will feature point to be synthesized.

一方、合成すべきでない特徴点は、動きベクトルに一定の相関性が見られないもののことをいう。 On the other hand, feature points that should not be synthesized, it refers to what is not observed certain correlation motion vector. 具体的には、(1)i枚目の画像とi+1枚目の画像のいずれか一方にしか現れない特徴点、あるいは、(2)双方に現れる特徴点であっても、その動きベクトルと他の動きベクトルとが明らかに異なる特徴点のことをいう。 Specifically, (1) the feature point does not appear in only one of i-th image and the (i + 1) th image, or (2) be a characteristic point appearing in both the motion vectors and other and a motion vector refers to a different feature points clear of. (1)の典型例は、i枚目の画像とi+1枚目の画像の撮影周期に同期して明滅する光であり、(2)の典型例は、たとえば、走行中の自動車のヘッドライト55などである。 Typical examples of (1) is a light flashing in synchronism with the shooting period of the i-th image and the (i + 1) th image, typical examples include, for example, headlights 55 of vehicle traveling in (2) and the like.

ここで、冒頭の従来技術(特許文献1)のように、合成すべき特徴点を「動きベクトル」だけで判定した場合は、これらの(1)、(2)の特徴点(明滅光や自動車のヘッドライト55)を一律に「合成すべきでない」と判定してしまう。 Here, as in the prior art (Patent Document 1) at the beginning, if the feature point to be synthesized is determined by only "motion vector", of (1), feature point (blinking light or vehicle (2) the headlight 55) of uniformly result in a determination of "should not be combined." 夜空の星々を撮影する場合、自動車のヘッドライト55は合成対象から排除してもかまわないが、明滅光については、必ずしも排除すべき特徴点(合成すべきでない特徴点)とはいい切れない。 If you want to shoot a night sky of stars and, headlight 55 of the vehicle but may be eliminated from the synthesis target, for the blinking light, not be to say that the feature point necessarily to be excluded (feature points that should not be combined). 瞬く星(6等星などの暗い星)かもしれないからである。 Twinkling star (dark star, such as 6, etc. stars) because it may be.

そこで、実施形態では、この段階における「合成すべきでない特徴点」の判定を“仮”の判定とし、最終的な判定をデータベース照合によって行うことにした(ステップS16)。 Therefore, in the embodiment, it was decided to perform the determination of the determining "temporary" in "feature points that should not be synthesized" in this stage, the final determination by the database verification (step S16). このデータベース照合処理については後で詳しく説明する。 This database collation process will be described in detail later.

特徴点の判定(ステップS14)及びデータベース照合処理(ステップS16)による特徴点の最終判定を行うと、次に、合成すべきと判定された特徴点を残してi枚目の画像とi+1枚目の画像を合成する(ステップS15)。 Determination of characteristic points (step S14) and database matching process is performed for the final determination of the characteristic points by (step S16), and then leaving the determined feature points to be combined i-th image and the (i + 1) th synthesizing the image (step S15). この合成処理においては、各画像毎に、一定の相関性があると認められた動きベクトルの方向と動きの量に応じて位置合わせを行ってから合成する。 In this synthesis process, for each image, synthesized from performing alignment according to the amount of direction and movement of the recognized motion vector and there is a certain correlation. 次に、撮影枚数変数iを+1して(ステップS17)、「i>imax」であるか否かを判定する(ステップS18)。 Then, the number of shots variable i is incremented by one (step S17), determines whether or not "i> imax" (step S18). imaxは、図6のステップS5における連続撮影枚数である。 imax is a number of consecutive shots at step S5 in FIG. 6. 「i>imax」でない場合は、まだ、合成対象の画像が残っていると判断して、再びステップS12以降を実行し、「i>imax」である場合は、全ての画像の合成を完了したと判断して、図6のステップS10に進む。 If not "i> imax" is still, it is determined that the remaining images to be synthesized is executed again after step S12, if "i> imax" completed the synthesis of all of the image and the process proceeds to step S10 in FIG. 6.

図8は、データベース照合処理(ステップS16)のサブルーチンフローを示す図である。 Figure 8 is a diagram showing a subroutine flow of database collation processing (step S16). このフローでは、まず、図6のステップS6で求めておいた撮影方向に基づいて各特徴点(図7のステップS14で合成すべきでないと仮判定された各特徴点)の座標を星座の座標系に変換する(ステップS21)。 This flow initially, coordinates the constellation coordinates of (the feature points are temporarily determined not to be synthesized in the step S14 in FIG. 7) each feature point based on the imaging direction that has been determined in step S6 in FIG. 6 converting the system (step S21). 星座の座標系はデータベース44の座標系(赤道座標系)である。 Coordinate system constellation is a coordinate system of the database 44 (equatorial coordinate system). 次いで、合成すべきでないと仮判定された特徴点に対応する星をデータベース44から検索し(ステップS22)、該当する星(個別被写体)が検索されたか否かを判定する(ステップS23)。 Then, a star and the corresponding should not be combined with the provisional decision feature points searched from the database 44 (step S22), and determines whether the corresponding star (individual subject) is retrieved (step S23).

たとえば、注目特徴点の座標がα=6h45.2m,δ=−16.43′である場合、その特徴点に対応する星としてデータベース44から「シリウス」が検索される。 For example, the coordinates of the feature point is α = 6h45.2m, if it is δ = -16.43 ', "Sirius" is retrieved from the database 44 as a star corresponding to the feature point. この場合は、該当する星(個別被写体)が検索されたので、その特徴点を「合成すべき特徴点」として最終判定(ステップS24)した後、図7のステップS15に進む。 In this case, since the corresponding star (individual subject) is searched, after the final determination (step S24) the characteristic points as a "feature point to be synthesized", the flow proceeds to step S15 in FIG. 7. 一方、注目特徴点の座標に該当する星(個別被写体)がデータベース44から検索されなかった場合は、その特徴点を「合成しない特徴点」として最終判定(ステップS25)した後、図7のステップS15に進む。 On the other hand, after Star corresponding to the coordinates of the feature point (individual subject) is if it was not retrieved from the database 44, which was finally determined (step S25) the characteristic points as a "feature point not Synthesis", Step 7 proceed to S15.

図9は、星座撮影の概念図である。 FIG. 9 is a conceptual view of a constellation shooting. (a)に示すように、表示部16のライブビュー画像には、天空の星々(星45〜51)や遠方の家屋52、53が表示されており、さらに、走行中の車両54のヘッドライト55の明かりが表示されている。 As shown (a), on the live view image on the display unit 16, heavenly stars, and (stars 45-51) and distant houses 52, 53 is displayed, further, a vehicle headlight 54 traveling 55 lights are displayed.

家屋52、53の窓から漏れる光と天空の星々(星45〜51)の多くは一定の明るさを保っているが、いくつかの星は6等星またはそれに近い等級の暗い星であり、大気の影響を受けて瞬いている(明滅している)。 Many windows light and sky of stars leaking from people houses 52 and 53 (stars 45-51) are kept constant brightness, several stars are faint stars of near mag star or 6 grades, and twinkles under the influence of the atmosphere (flashing). 今、星50をそのような瞬きを持つ個別被写体とすると、この星50は、上記の(1)に相当する。 Assuming that individual subjects having such blinking star 50, the star 50 corresponds to (1) above. また、車両54のヘッドライト55は明るさ一定であるが、ライブビュー画像の左から右方向へと移動する特異な動きをする個別被写体であるから、この車両54のヘッドライト55は、上記の(2)に相当する。 Further, the headlight 55 of the vehicle 54 is a brightness constant, because it is the individual subject to a specific motion moving from left of the live view image to the right direction, the headlight 55 of the vehicle 54, the corresponding to the (2).

(b)に示すように、冒頭の従来技術(特許文献1)を適用した場合は、星50と車両54のヘッドライト55がともに排除された合成画像が作られる。 (B), the case of applying the prior art (Patent Document 1) at the beginning, the composite image headlight 55 of the star 50 and the vehicle 54 are both eliminated is made. 星50は、i枚目の画像とi+1枚目の画像のいずれか一方にしか現れない特徴点になるからであり、また、車両54のヘッドライト55は、その動きベクトルと他の動きベクトルとが明らかに異なる特徴点になるからである。 Star 50 is because become feature points appear only in one of the i-th image and the (i + 1) th image, also, the headlight 55 of the vehicle 54 includes a motion vector and another motion vector This is because become different feature points clear.

夜空の星座を撮影する場合、車両54のヘッドライト55の排除は好ましいものの、星50の排除は被写体の消失になるので避けなければならない。 When shooting constellations night sky, although elimination of the headlight 55 of the vehicle 54 is preferred, elimination of star 50 should be avoided since the disappearance of the subject. 本実施形態では、データベース44を参照して明滅する特徴点を合成すべきものであるか否かを最終判定する。 In this embodiment, the final determines whether or not to be synthesized characteristic points flashing refers to database 44. 具体的には、その特徴点の位置座標をデータベース44の座標系(赤道座標系)に変換し(図8のステップS21)、該当する座標の星(個別被写体)がデータベース44に登録されているか否かを判定(図8のステップS23)して、登録されていれば当該特徴点を合成し(図8のステップS24)、登録されていなければ当該特徴点を合成しない(図8のステップS25)。 Specifically, by converting the position coordinates of the feature point coordinates of the database 44 in (equatorial coordinate system) (step S21 in FIG. 8), or star corresponding coordinates (individual subject) has been registered in the database 44 whether the determination (step S23 in FIG. 8) that (step S24 in FIG. 8) if it is registered to synthesize the feature point, does not synthesize the feature point if it is not registered (step S25 in FIG. 8 ).

このようにすることにより、明滅する星50を排除せずに合成画像に含めることができ、夜空の星座を意図したとおりに撮影することができる。 By this way, it can be included without eliminating the star 50 to blink in the composite image can be photographed as intended constellations of the night sky.

図10は、実施形態を適用した星座撮影の概念図である。 Figure 10 is a conceptual diagram of a constellation shooting according to the embodiment. (a)に示すように、天空56の任意位置Pxに光軸を合わせて所定の画角で構図を調整した場合、ライブビュー画像57には天空56に散らばる多数の星(○印)のうちのいくつかが含まれる。 As shown in (a), when adjusting the composition at a predetermined angle to match the optical axis to an arbitrary position Px sky 56, a number of stars scattered in the sky 56 (○ mark) is a live view image 57 It included some of. 構図内の星々をT1〜T7で示すことにする。 A star in the composition people to be shown in T1~T7. ライブビュー画像57の横方向は天空56の赤経、縦方向は赤緯に対応し、天空56の様子は現在の日時(季節と時刻)と撮影場所によって決まる。 The horizontal direction of the sky 56 right ascension of the live view image 57, and the vertical direction corresponds to the declination, state of the sky 56 the current date and time (season and time) and determined by the shooting location. T1〜T7の各々の座標はデータベース44に格納されており、たとえば、T6をシリウスとした場合、T6の赤経(α=6h45.2m)と赤緯(δ=−16.43′)がデータベース44に格納されている。 Each of the coordinates of T1~T7 are stored in the database 44, for example, when the T6 and Sirius, T6 of right ascension (α = 6h45.2m) and declination (δ = -16.43 ') database They are stored in 44.

この図10と前出の図9を見比べると、瞬く星50の位置にT6が存在している。 When compare to Figure 9 the previous and FIG. 10, there are T6 at the position of twinkling stars 50. このため、図7のステップS14で、星50が「合成すべきでない」と仮に判定されたとしても、図8のステップS23で、「データベース44に該当する星(T6)が存在する」と判定されるから、この瞬く星50については、最終的に「合成すべき」と判定される(図8のステップS24)こととなり、結局のところ、図10(b)に示すように、構図内の全ての星45〜51をもれなく含む合成画像を生成出力することができる。 Therefore, the determination in step S14 in FIG. 7, even star 50 is tentatively determined as "not to be synthesized" in step S23 in FIG. 8, the "exists star (T6) corresponding to the database 44 ' since the, for the twinkle star 50 will eventually become possible is determined to be "to be synthesized" (step S24 in FIG. 8), after all, as shown in FIG. 10 (b), the composition within the a composite image including without exception all star 45-51 can be generated output.

なお、以上の実施形態では、星座撮影を例にしたが、これに限定されない。 In the above embodiments, although the constellations taken example, but is not limited thereto. 時系列に明るさが変化する暗い被写体群の撮影用途であればよい。 It may be a photographic applications dark subject groups of varying brightness in time series. 少なくとも、当該用途のデータベースを備えていればよい。 At least, it is sufficient that includes a database of the applications. また、以上の実施形態では、デジタルカメラ1への適用を例にしたが、たとえば、カメラ付の携帯電話機や携帯情報端末などの電子機器であってもよい。 Further, in the above embodiment, although the application to the digital camera 1 as an example, for example, may be an electronic device such as a mobile phone or a portable information terminal with a camera.

また、以上の実施形態では、データベース44に全ての被写体の情報を格納するとしているが、これに限定されない。 In the above embodiment, although the store information of all the objects in the database 44 is not limited to this. 画像合成の対象から排除される可能性がある被写体の情報だけを格納してもよい。 Only it may store information of an object that might be excluded from the object of image synthesis. これは、たとえば、夜空の星々を被写体群とした場合、その被写体群に含まれる明るい星については、図7のステップS14で「合成すべき被写体」と判定されるので、データベース44に格納する必要がなく、むしろ、データベース44には、図7のステップS14で「合成すべきでない被写体」と仮判定される可能性がある暗い星(6等星など)の情報だけを格納しておけばよいからである。 This, for example, when the night sky stars and the subject group, for bright stars included in the object group, since it is determined that "the subject to be synthesized" in step S14 in FIG. 7, to be stored in the database 44 no, rather, the database 44, it is sufficient to store only information of faint stars that may be provisionally determined as "object which should not be synthesized" in step S14 in FIG. 7 (6 mag star, etc.) it is from. このようにすると、データベース44のサイズを小さくしてデータ量を削減できるから好ましい。 Thus, it preferred because it reduces the amount of data by reducing the size of the database 44.
また、以上の実施形態では、合成すべき特徴点でないと判断された場合にデータベースと照合することで、星の瞬きなどが排除されないようにしたが、合成すべき特徴点であると判断された場合にデータベースと照合して、データベースと一致しない特徴点を排除するようにしてもよい。 In the above embodiment, by matching the database if it is found not to be a feature point to be synthesized, but such star blinking was prevented excluded, it is determined to be feature points to be synthesized If against the database may be eliminated feature points that do not match the database. すなわち、図7のステップS16(データベース照合処理)と同じ処理を、ステップS14のYES判定とステップS15との間に入れてもよい。 That is, the same processing as step S16 in FIG. 7 (database collation processing) may be inserted between the YES determination and the step S15 in step S14.

以上、本発明のいくつかの実施形態を説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。 Having thus described several embodiments of the present invention, the invention is not limited thereto, is intended to include the invention and the scope of their equivalents are described in the claims.
以下に、本件出願の特許請求の範囲に記載された発明を付記する。 Hereinafter, note the invention described in the claims of the present application.

(付記1) (Note 1)
請求項1に記載の発明は、任意の撮影方向に存在する被写体群を任意の場所且つ任意の撮影画角で連続撮影する撮影手段と、 According to one aspect of the present invention, a photographing means for continuously shooting a subject group optionally present in the imaging direction anywhere and any shooting angle,
前記連続撮影された複数枚の画像を合成出力する画像合成手段と、 An image synthesizing means for synthesizing outputs an image of a plurality of said being continuously captured,
前記撮影方向を取得する方向取得手段と、 And direction obtaining means for obtaining the shooting direction,
前記任意の場所の位置を現在位置として取得する位置取得手段と、 A position acquisition means for acquiring a position of the arbitrary location as the current position,
前記撮影画角を取得する画角取得手段と、 And angle obtaining means for obtaining the imaging angle of view,
前記被写体群に含まれる個別被写体に関する座標情報を保持する情報保持手段と、 And information holding means for holding the coordinate information about the individual subjects included in the subject group,
前記画像合成手段で画像の合成を行う際に、前記方向取得手段によって取得された撮影方向、前記位置取得手段によって取得された現在位置及び前記画角取得手段によって取得された撮影画角を手掛かりに前記情報保持手段に保持されている情報を参照して前記個別被写体の各々の合成を行うか否かを判定する判定手段と を備えたことを特徴とする撮像装置である。 When performing image synthesis with the image synthesizing means, the photographing direction obtained by the direction obtaining means, the photographing field angle acquired by the current position and the angle acquisition means acquired by the position acquiring means clues an imaging apparatus characterized by comprising determination means for determining whether the reference to the information held in said information holding means for synthesizing each of the individual subject.
請求項1に記載の発明によれば、被写体に関する座標情報を参照して合成すべきか否かを判定するので、たとえば、チカチカと瞬く星を含む夜空の星々を不都合なく撮影でき、しかも、三脚等の固定具不要で手軽に撮影できる。 According to the invention described in claim 1, since the decision whether to synthesized with reference to the coordinate information about the object, for example, it can be taken without inconvenience the night sky stars and including the stars twinkling and flickering, moreover, tripod of the fixture unnecessary and can be easily taken.

(付記2) (Note 2)
請求項2に記載の発明は、前記判定手段は、前記撮影方向、前記現在位置及び前記撮影画角を手掛かりに前記情報保持手段に保持されている情報を参照して画像内における前記個別被写体の各々の位置を算出し、各画像内に存在する被写体が、前記算出された位置と合致する位置に存在するか否かに応じて合成の可否を判定する第1の判定手段を含むことを特徴とする請求項1に記載の撮像装置である。 Invention according to claim 2, wherein the determining means, the photographing direction, of the individual subjects in the current position and the photographing field angle by referring to the information held in the information holding means as a clue in the image calculating a respective position, subject present in each image, characterized in that it comprises first determining means for determining whether the synthesis depending on whether or not present at a position consistent with the calculated position an image pickup apparatus according to claim 1,.

(付記3) (Note 3)
請求項3に記載の発明は、画像内に存在する複数の被写体の各々について、各画像間での移動方向および移動量を示す動きベクトルを算出する算出手段と、 According to a third aspect of the invention, for each of a plurality of subjects existing in the image, and calculating means for calculating a motion vector indicating a movement direction and the movement amount between the images,
複数の被写体の間で一定の相関性のある動きベクトルを特定する特定手段と、 Specifying means for specifying a motion vector with a certain correlation between a plurality of objects,
を更に備え、 Further comprising a,
前記画像合成手段は、前記特定手段により特定された動きベクトルに応じて各画像の位置合わせを行って合成し、 The image synthesizing means, synthesizing and performing the alignment of the images according to the motion vector specified by the specifying means,
前記判定手段は、前記特定手段により特定された動きベクトルと、個々の被写体の動きベクトルとの差に応じて合成の可否を判定する第2の判定手段を含むことを特徴とする請求項2に記載の撮像装置である。 The determining means includes a motion vector specified by the specifying means, in claim 2, characterized in that it comprises a second judging means for judging whether the synthesized according to the difference between the motion vector of each object an image pickup apparatus according.

(付記4) (Note 4)
請求項4に記載の発明は、前記判定手段は、前記連続撮影で得られた複数の画像の全てに存在する被写体か一部だけに存在する被写体かに応じて合成の可否を判断する第2の判定手段を含むことを特徴とする請求項2に記載の撮像装置である。 Invention according to claim 4, wherein the determining means, second determining whether the synthesis depending on whether an object exists only on the object or part to be present in all of the plurality of images obtained by the continuous shooting an image pickup apparatus according to claim 2, characterized in that it comprises a determination unit.

(付記5) (Note 5)
請求項5に記載の発明は、前記判定手段は、前記第1の判定手段により合成を行わないと判定された画像内の被写体に対して、更に前記第2の判定手段による判定を行って最終的な合成の可否を判断することを特徴とする請求項3または請求項4に記載の撮像装置である。 Invention of claim 5, wherein the determining means, the subject of the first determination means by the image determined not to perform synthesis, further performs determination by said second determination means final an image pickup apparatus according to claim 3 or claim 4, characterized in that to determine whether the synthesis.

(付記6) (Note 6)
請求項6に記載の発明は、前記判定手段は、前記第1の判定手段により合成を行うと判定された画像内の被写体に対して、更に前記第2の判定手段による判定を行って最終的な合成の可否を判断することを特徴とする請求項3または請求項4に記載の撮像装置である。 The invention according to claim 6, wherein the determining means, the subject in the image is determined to perform the synthesis by the first determination means, eventually further performs determination by said second determination means an image pickup apparatus according to claim 3 or claim 4, characterized in that to determine whether the Do synthesis.

(付記7) (Note 7)
請求項7に記載の発明は、前記被写体群は、時系列的に明るさが変化する個別被写体を含み、 The invention according to claim 7, wherein the object group includes a individual subjects time series manner brightness changes,
前記判定手段は、当該明るさが変化する個別被写体に対応する情報が前記情報保持手段に含まれていた場合に、当該明るさが変化する個別被写体を合成すべきものであると判定することを特徴とする請求項1に記載の撮像装置である。 Said determining means determining means determines that if the information corresponding to the individual subjects to which the brightness changes is included in the information holding means, is intended to be synthesized the individual subjects to which the brightness changes an image pickup apparatus according to claim 1,.
請求項7に記載の発明によれば、時系列に明るさが変化する被写体、たとえば、チカチカと瞬く星を含む夜空の星々を不都合なく撮影できる。 According to the invention described in claim 7, subject to change in brightness in time series, for example, it can be photographed without inconvenience the night sky stars and including the stars twinkling and flickering.

(付記8) (Note 8)
請求項8に記載の発明は、前記被写体群は夜空の星々であって、前記判定手段は、当該夜空の星々のうち暗い星に対応する情報が前記情報保持手段に含まれていた場合に、当該暗い星を合成すべき被写体であると判定することを特徴とする請求項7に記載の撮像装置である。 The invention according to claim 8, wherein the object group is a night sky the stars, the determining means, when the information corresponding to the faint stars out of 5 of the sky s is included in the information holding means, an image pickup apparatus according to claim 7, wherein determining that the a subject to be synthesized the faint stars.
請求項8に記載の発明によれば、チカチカと瞬く星を含む夜空の星々を不都合なく撮影できる。 According to the invention of claim 8, it can be photographed without inconvenience the night sky stars and including the stars twinkling and flickering.

(付記9) (Note 9)
請求項9に記載の発明は、前記被写体群は、時系列的に明るさが変化する個別被写体を含み、 The invention according to claim 9, wherein the object group includes a individual subjects time series manner brightness changes,
前記情報保持手段は、当該明るさが変化する個別被写体に対応する情報のみを保持することを特徴とする請求項1に記載の撮像装置である。 It said information holding means is an imaging apparatus according to claim 1, characterized in that retaining only the information corresponding to the individual subjects to which the brightness changes.
請求項9に記載の発明によれば、情報保持手段の情報量を少なくすることができる。 According to the invention described in claim 9, it is possible to reduce the amount of information holding means.

(付記10) (Note 10)
請求項10記載の発明は、任意の撮影方向に存在する被写体群を任意の場所且つ任意の撮影画角で連続撮影する撮影工程と、 The invention of claim 10 wherein includes a photographing step of continuously shooting a subject group optionally present in the imaging direction anywhere and any shooting angle,
前記連続撮影された複数枚の画像を合成出力する画像合成工程と、 An image synthesizing step of synthesizing outputs an image of a plurality of said being continuously captured,
前記撮影方向を取得する方向取得工程と、 The direction obtaining step for obtaining the shooting direction,
前記任意の場所の位置を現在位置として取得する位置取得工程と、 A position acquisition step of acquiring a position of the arbitrary location as the current position,
前記撮影画角を取得する画角取得工程と、 And angle obtaining step of obtaining the imaging angle of view,
前記被写体群に含まれる個別被写体に関する座標情報を保持する情報保持工程と、 An information holding step of holding the coordinate information about the individual subjects included in the subject group,
前記画像合成工程で画像の合成を行う際に、前記方向取得工程によって取得された撮影方向、前記位置取得工程によって取得された現在位置及び前記画角取得工程によって取得された撮影画角を手掛かりに前記情報保持工程で保持されている情報を参照して前記個別被写体の各々の合成を行うか否かを判定する判定工程と を含むことを特徴とする撮像方法である。 When performing image synthesis with the image synthesizing process, the photographing direction obtained by the direction obtaining step, the imaging angle obtained by the obtaining current position and the angle obtaining process by the position obtaining step clue is an imaging method characterized in that referring to the information held by the information holding step includes a determination step of determining whether to perform the synthesis of each of the individual subject.
請求項10に記載の発明によれば、請求項1と同様に、被写体に関する座標情報を参照して合成すべきか否かを判定するので、たとえば、チカチカと瞬く星を含む夜空の星々を不都合なく撮影でき、しかも、三脚等の固定具不要で手軽に撮影できる。 According to the invention described in claim 10, similarly to claim 1, since the decision whether to synthesized with reference to the coordinate information about the object, for example, without disadvantages of the night sky stars and including the stars twinkling and flickering shooting can be, moreover, can be easy picture-taking unnecessary fixture such as a tripod.

(付記11) (Note 11)
請求項11記載の発明は、撮像装置のコンピュータに、 The invention of claim 11 wherein the the computer of the imaging device,
任意の撮影方向に存在する被写体群を任意の場所且つ任意の撮影画角で連続撮影する撮影手段、 Imaging means for continuous shooting anywhere and any shooting angle of an object group existing in any shooting direction,
前記連続撮影された複数枚の画像を合成出力する画像合成手段、 Image synthesizing means for synthesizing outputs an image of a plurality of said being continuously captured,
前記撮影方向を取得する方向取得手段、 Direction obtaining means for obtaining the shooting direction,
前記任意の場所の位置を現在位置として取得する位置取得手段、 Position acquisition means for acquiring a position of the arbitrary location as the current position,
前記撮影画角を取得する画角取得手段、 Angle acquisition means for acquiring the imaging angle of view,
前記被写体群に含まれる個別被写体に関する座標情報を保持する情報保持手段、 Information storage means for storing coordinate information about the individual subjects included in the subject group,
前記画像合成手段で画像の合成を行う際に、前記方向取得手段によって取得された撮影方向、前記位置取得手段によって取得された現在位置及び前記画角取得手段によって取得された撮影画角を手掛かりに前記情報保持手段に保持されている情報を参照して前記個別被写体の各々の合成を行うか否かを判定する判定手段 としての機能を与えることを特徴とするプログラムである。 When performing image synthesis with the image synthesizing means, the photographing direction obtained by the direction obtaining means, the photographing field angle acquired by the current position and the angle acquisition means acquired by the position acquiring means clues is a program characterized by giving a function as a determination means for determining whether or not by referring to the information held in said information holding means for synthesizing each of the individual subject.
請求項11に記載の発明によれば、請求項1と同様に、被写体に関する座標情報を参照して合成すべきか否かを判定するので、たとえば、チカチカと瞬く星を含む夜空の星々を不都合なく撮影でき、しかも、三脚等の固定具不要で手軽に撮影できる。 According to the invention described in claim 11, similarly to claim 1, since the decision whether to synthesized with reference to the coordinate information about the object, for example, without disadvantages of the night sky stars and including the stars twinkling and flickering shooting can be, moreover, can be easy picture-taking unnecessary fixture such as a tripod.

1 撮像装置 25 撮像部(撮影手段) 1 imaging apparatus 25 imaging section (photographing means)
36 位置検出部(位置取得手段) 36 position detection unit (position acquisition unit)
37 姿勢検出部(方向取得手段) 37 the posture detecting section (direction obtaining means)
43 中央制御部(画像合成手段、画角取得手段、判定手段、第1の判定手段、算出手段、特定手段、第2の判定手段) 43 central control unit (image synthesizing means, angle acquisition means, determining means, first determination means, calculation means, specifying means, second determination means)
43a CPU(コンピュータ) 43a CPU (computer)
44 データベース(情報保持手段) 44 database (information holding means)

Claims (13)

  1. 複数の被写体を連続撮影する撮影手段と、 And imaging means for continuously photographing a plurality of subjects,
    前記連続撮影された複数枚の画像を合成出力する画像合成手段と、 An image synthesizing means for synthesizing outputs an image of a plurality of said being continuously captured,
    前記画像合成手段で画像の合成を行う際に、所定の基準に基づいて各画像内に存在する被写体の各々の合成を行うか否かを判定する判定手段と、 When performing image synthesis with the image synthesizing means, determination means for determining whether to perform the synthesis of each of the subject present in each image based on a predetermined criterion,
    撮影対象となる複数の被写体の各々の存在位置を示す位置情報を保持する情報保持手段と、 And information holding means for holding position information indicating a location of each of a plurality of the subject to be the imaging target,
    を備え、 Equipped with a,
    前記判定手段は、前記撮影手段により連続撮影された複数の被写体の中に、予め決められた状態が変化する個別被写体が含まれている場合において、前記情報保持手段に保持されている位置情報を参照して前記複数の被写体の各々の画像内の位置を特定し、前記個別被写体に対応する位置情報が前記情報保持手段に含まれていた場合に、当該個別被写体を合成すべきものであると判定する ことを特徴とする撮像装置。 Said determining means in a plurality of the subject continuous shooting by the shooting means, when the predetermined condition contains individual subject to change, the location information held in said information holding means Referring to identify the location within each image of said plurality of subjects, if the position information corresponding to the individual subject is included in the information holding means, and is intended to be synthesized the individual subject determination imaging apparatus characterized by.
  2. 前記予め決められた状態が変化する個別被写体は、時系列的に明るさが変化する被写体である ことを特徴とする請求項1に記載の撮像装置。 The imaging apparatus according to claim 1, wherein the individual subject-determined state changes in advance, time series brightness is subject to change.
  3. 前記撮影手段により連続撮影される複数の被写体は夜空の星々であり、 A plurality of subjects that are successively captured by the imaging means is a night sky the stars,
    前記予め決められた状態が変化する個別被写体は、当該夜空の星々のうち暗い星である ことを特徴とする請求項2に記載の撮像装置。 Individual subject said predetermined condition is changed, the image pickup apparatus according to claim 2, characterized in that the faint stars out of 5 of the sky s.
  4. 前記連続撮影時の撮影方向を取得する方向取得手段と、 And direction obtaining means for obtaining the imaging direction at the time of the continuous shooting,
    前記連続撮影時の現在位置を取得する位置取得手段と、 A position obtaining means for obtaining the current position at the time of the continuous shooting,
    を更に備え、 Further comprising a,
    前記判定手段は、前記方向取得手段によって取得された撮影方向及び前記位置取得手段によって取得された現在位置を手掛かりに前記情報保持手段に保持されている位置情報を参照して前記複数の被写体の各々の画像内の位置を算出し、各画像内に存在する被写体が、前記算出された位置と合致する位置に存在するか否かに応じて合成の可否を判定する第1の判定手段を含むことを特徴とする請求項1乃至3のいずれかに記載の撮像装置。 The determination means, each of said plurality of subjects with reference to position information held in said information holding means current position acquired clues by the photographing direction and the position obtaining unit obtained by the direction obtaining means calculating a position in the image, it subjects existing in each image, comprising first determining means for determining whether the synthesis depending on whether or not present at a position consistent with the calculated position imaging device according to any one of claims 1 to 3, wherein.
  5. 前記判定手段は、 It said determination means,
    前記複数の被写体の各々について、前記連続撮影で得られた複数の画像の全てに存在する被写体か一部だけに存在する被写体かに応じて合成の可否を判断する第2の判定手段を含み、 For each of said plurality of objects includes a second determination unit for determining whether it is possible to synthesize, depending on whether an object exists only on the object or part to be present in all of the plurality of images obtained by the continuous shooting,
    前記第1の判定手段により合成を行わないと判定された画像内の被写体に対して、更に前記第2の判定手段による判定を行って最終的な合成の可否を判断する ことを特徴とする請求項4に記載の撮像装置。 Claims, characterized in that determining the first the subject in the image is determined not to perform combining by determining means further of the second determination means according performing determination final synthesized propriety the imaging apparatus according to claim 4.
  6. 前記連続撮影時の撮影画角を取得する画角取得手段を更に備え、 Further comprising a field angle obtaining means for obtaining the shooting angle at the time of the continuous shooting,
    前記判定手段は、前記方向取得手段によって取得された撮影方向、前記位置取得手段によって取得された現在位置及び前記画角取得手段によって取得された撮影画角を手掛かりに前記情報保持手段に保持されている位置情報を参照して前記複数の被写体の各々の画像内の位置を算出し、各画像内に存在する被写体が、前記算出された位置と合致する位置に存在するか否かに応じて合成の可否を判定することを特徴とする請求項4または5に記載の撮像装置。 Said determining means, said photographing direction obtained by the direction obtaining means, held in the information holding means photographing field angle acquired by the current position and the angle acquisition means acquired by the position acquiring means clues while referring to the positional information are to calculate the location within each image of the plurality of subjects, subject present in each image, the synthesis depending on whether or not present at a position consistent with the calculated position the imaging apparatus according to claim 4 or 5, wherein the determining of whether.
  7. 複数の被写体を連続撮影する撮影手段と、 A photographing means for continuously photographing a plurality of subjects,
    前記連続撮影された複数枚の画像を合成出力する画像合成手段と、 An image synthesizing means for synthesizing outputs an image of a plurality of said being continuously captured,
    前記画像合成手段で画像の合成を行う際に、所定の基準に基づいて各画像内に存在する被写体の各々の合成を行うか否かを判定する判定手段と、 When performing image synthesis with the image synthesizing means, judging means for judging whether or not to perform synthesis of the respective subject present in each image based on a predetermined criterion,
    撮影対象となる複数の被写体の各々に対応する情報を保持する情報保持手段と を備え、 And an information holding means for holding information corresponding to each of a plurality of the subject to be the imaging target,
    前記判定手段は、前記撮影手段により連続撮影された複数の被写体の中に、予め決められた状態が変化する個別被写体が含まれている場合において、前記個別被写体に対応する情報が前記情報保持手段に含まれていた場合に、当該個別被写体を合成すべきものであると判定し、 It said determining means in a plurality of the subject continuous shooting by the shooting means, when the predetermined condition contains individual subject changes, the information corresponding to the individual subject the information holding means when contained in, and determined to be to be synthesized the individual subject,
    前記情報保持手段は、前記予め決められた状態が変化する個別被写体に対応する情報のみを保持する ことを特徴とする撮像装置。 It said information holding means, image pickup apparatus characterized by retaining only the information corresponding to the individual subject said predetermined condition is changed.
  8. 前記画像合成手段は、前記判定手段の判定結果に従って前記複数の被写体の各々を選択的に合成することを特徴とする請求項1乃至7のいずれかに記載の撮像装置。 The image synthesizing means, the imaging device according to any one of claims 1 to 7, wherein the selectively combining each of the plurality of subjects according to the determination result of said determining means.
  9. 画像内に存在する複数の被写体の各々について、各画像間での移動方向および移動量を示す動きベクトルを算出する算出手段と、 For each of a plurality of subjects existing in the image, and calculating means for calculating a motion vector indicating a movement direction and the movement amount between the images,
    複数の被写体の間で一定の相関性のある動きベクトルを特定する特定手段と、 Specifying means for specifying a motion vector with a certain correlation between a plurality of objects,
    を更に備え、 Further comprising a,
    前記画像合成手段は、前記特定手段により特定された動きベクトルに応じて各画像の位置合わせを行って合成し、 The image synthesizing means, synthesizing and performing the alignment of the images according to the motion vector specified by the specifying means,
    前記判定手段は、前記特定手段により特定された動きベクトルと、個々の被写体の動きベクトルとの差に応じて合成の可否を判定する第2の判定手段を含むことを特徴とする請求項1乃至8のいずれかに記載の撮像装置。 The determining means includes a motion vector specified by the specifying means, to claim 1, characterized in that it comprises a second judging means for judging whether the synthesized according to the difference between the motion vector of each object imaging device according to any one of 8.
  10. 複数の被写体を連続撮影する撮影工程と、 An imaging step of continuously shooting a plurality of subjects,
    前記連続撮影された複数枚の画像を合成出力する画像合成工程と、 An image synthesizing step of synthesizing outputs an image of a plurality of said being continuously captured,
    前記画像合成工程で画像の合成を行う際に、所定の基準に基づいて各画像内に存在する被写体の各々の合成を行うか否かを判定する判定工程と、 When performing image synthesis with the image synthesizing step, a determination step of determining whether to perform the synthesis of each of the subject present in each image based on a predetermined criterion,
    を含み、 It includes,
    前記判定工程は、前記撮影工程により連続撮影された複数の被写体の中に、予め決められた状態が変化する個別被写体が含まれている場合において、撮影対象となる複数の被写体の各々の存在位置を示す位置情報を保持する情報保持手段に保持されている位置情報を参照して前記複数の被写体の各々の画像内の位置を特定し、前記個別被写体に対応する位置情報が前記情報保持手段に含まれていた場合に、当該個別被写体を合成すべきものであると判定する を含むことを特徴とする撮像方法。 The determination step, in a plurality of the subject continuous shooting by the shooting process, in the case where the predetermined condition contains individual subject to change, the location of each of a plurality of objects to be photographed subject Referring to the identified plurality of positions in each image of a subject, the location information corresponding to the individual subject the information holding means position information held in the information holding means for holding position information indicating a If there's an imaging method which comprises determining the like should be synthesized the individual subject.
  11. 撮像装置のコンピュータに、 The computer of the imaging device,
    複数の被写体を連続撮影する撮影手段、 Imaging means for continuously photographing a plurality of subjects,
    前記連続撮影された複数枚の画像を合成出力する画像合成手段、 Images synthesizing means for synthesizing outputs images of a plurality of said being continuously captured,
    前記画像合成手段で画像の合成を行う際に、所定の基準に基づいて各画像内に存在する被写体の各々の合成を行うか否かを判定する判定手段、 Wherein when performing image synthesis with the image synthesizing means, determining means for determining whether to perform the synthesis of each of the subject present in each image based on a predetermined criterion,
    撮影対象となる複数の被写体の各々の存在位置を示す位置情報を保持する情報保持手段、 Information holding means for holding position information indicating a location of each of a plurality of the subject to be the imaging target,
    として機能させ、 To function as,
    前記判定手段は、前記撮影手段により連続撮影された複数の被写体の中に、予め決められた状態が変化する個別被写体が含まれている場合において、前記情報保持手段に保持されている位置情報を参照して前記複数の被写体の各々の画像内の位置を特定し、前記個別被写体に対応する位置情報が前記情報保持手段に含まれていた場合に、当該個別被写体を合成すべきものであると判定する ことを特徴とするプログラム。 Said determining means in a plurality of the subject continuous shooting by the shooting means, when the predetermined condition contains individual subject to change, the location information held in said information holding means Referring to identify the location within each image of said plurality of subjects, if the position information corresponding to the individual subject is included in the information holding means, and is intended to be synthesized the individual subject determination program which is characterized in that.
  12. 複数の被写体を連続撮影する撮影工程と、 An imaging step of continuously shooting a plurality of subjects,
    前記連続撮影された複数枚の画像を合成出力する画像合成工程と、 An image synthesizing step of synthesizing outputs an image of a plurality of said being continuously captured,
    前記画像合成工程で画像の合成を行う際に、所定の基準に基づいて各画像内に存在する被写体の各々の合成を行うか否かを判定する判定工程と、 When performing image synthesis with the image synthesizing step, a determination step of determining whether to perform the synthesis of each of the subject present in each image based on a predetermined criterion,
    を含み、 It includes,
    前記判定工程は、前記撮影工程により連続撮影された複数の被写体の中に、予め決められた状態が変化する個別被写体が含まれている場合において、前記個別被写体に対応する情報が、撮影対象となる複数の被写体の各々に対応する情報を保持する情報保持手段に含まれていた場合に、当該個別被写体を合成すべきものであると判定し、 The determination step, in a plurality of the subject continuous shooting by the shooting process, in the case where the predetermined condition contains individual subject changes, information corresponding to the individual subjects, and the imaging target when contained in the information holding means for holding a plurality of information corresponding to each of the subject as, determining that those to be synthesized the individual subject,
    前記情報保持手段は、前記予め決められた状態が変化する個別被写体に対応する情報のみを保持する ことを特徴とする撮像方法。 Said information holding means, the imaging method characterized by retaining only the information corresponding to the individual subject said predetermined condition is changed.
  13. 撮像装置のコンピュータに、 The computer of the imaging device,
    複数の被写体を連続撮影する撮影手段、 Imaging means for continuously photographing a plurality of subjects,
    前記連続撮影された複数枚の画像を合成出力する画像合成手段、 Images synthesizing means for synthesizing outputs images of a plurality of said being continuously captured,
    前記画像合成手段で画像の合成を行う際に、所定の基準に基づいて各画像内に存在する被写体の各々の合成を行うか否かを判定する判定手段、 Wherein when performing image synthesis with the image synthesizing means, determining means for determining whether to perform the synthesis of each of the subject present in each image based on a predetermined criterion,
    撮影対象となる複数の被写体の各々に対応する情報を保持する情報保持手段、 Information holding means for holding information corresponding to each of a plurality of the subject to be the imaging target,
    として機能させ、 To function as,
    前記判定手段は、前記撮影手段により連続撮影された複数の被写体の中に、予め決められた状態が変化する個別被写体が含まれている場合において、前記個別被写体に対応する情報が前記情報保持手段に含まれていた場合に、当該個別被写体を合成すべきものであると判定し、 It said determining means in a plurality of the subject continuous shooting by the shooting means, when the predetermined condition contains individual subject changes, the information corresponding to the individual subject the information holding means when contained in, and determined to be to be synthesized the individual subject,
    前記情報保持手段は、前記予め決められた状態が変化する個別被写体に対応する情報のみを保持する ことを特徴とするプログラム。 It said information holding means, program characterized by holding only the information corresponding to the individual subject said predetermined condition is changed.
JP2011031534A 2011-02-17 2011-02-17 Imaging device, imaging method and program Active JP5772044B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011031534A JP5772044B2 (en) 2011-02-17 2011-02-17 Imaging device, imaging method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011031534A JP5772044B2 (en) 2011-02-17 2011-02-17 Imaging device, imaging method and program

Publications (3)

Publication Number Publication Date
JP2012170029A true JP2012170029A (en) 2012-09-06
JP2012170029A5 true JP2012170029A5 (en) 2014-02-20
JP5772044B2 true JP5772044B2 (en) 2015-09-02

Family

ID=46973670

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011031534A Active JP5772044B2 (en) 2011-02-17 2011-02-17 Imaging device, imaging method and program

Country Status (1)

Country Link
JP (1) JP5772044B2 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4282113B2 (en) * 1998-07-24 2009-06-17 オリンパス株式会社 Imaging apparatus and an imaging method, and a recording medium recording an image pickup program
JP4050498B2 (en) * 2001-11-07 2008-02-20 オリンパス株式会社 Image synthesis device
JP2006279135A (en) * 2005-03-28 2006-10-12 Nec Corp Starry-sky photographic device camera and method for photographing starry sky and program
JP2007089087A (en) * 2005-09-26 2007-04-05 Casio Comput Co Ltd Astronomical object imaging device

Also Published As

Publication number Publication date Type
JP2012170029A (en) 2012-09-06 application

Similar Documents

Publication Publication Date Title
US20090175609A1 (en) Using a captured background image for taking a photograph
US20050122405A1 (en) Digital cameras and methods using GPS/time-based and/or location data to provide scene selection, and dynamic illumination and exposure adjustment
US20070065137A1 (en) Photographic device, method of processing information, and program
US20090160970A1 (en) Remote determination of image-acquisition settings and opportunities
US20070122129A1 (en) Image pickup device, method of controlling image pickup device, and recording medium
US20100195912A1 (en) Imaging device, image composition and display device, and image composition method
US6552744B2 (en) Virtual reality camera
US20100103251A1 (en) Digital camera having an image mover
JP2003344891A (en) Automatic photographing mode setting camera
JP2004080359A (en) Digital camera and photographing system
US20100134641A1 (en) Image capturing device for high-resolution images and extended field-of-view images
JP2007074031A (en) Imaging device, and image processing apparatus and method therefor
JP2002314851A (en) Photographing apparatus
US20010048815A1 (en) Imaging device
US20060062433A1 (en) Image sensing apparatus and control method thereof
US20130050507A1 (en) Recipe Based Real-time Assistance for Digital Image Capture and Other Consumer Electronics Devices
WO2005124594A1 (en) Automatic, real-time, superimposed labeling of points and objects of interest within a view
US7656451B2 (en) Camera apparatus and imaging method
JP2002175315A (en) Image annotation server, method for image annotation service, image collation device, electronic camera, telephoto optical equipment, and recording medium
US20070098238A1 (en) Imaging methods, imaging systems, and articles of manufacture
JP2010063052A (en) Image capturing apparatus and method, and program
JP2008017223A (en) Imaging apparatus, guide display method of imaging apparatus, and program
JP2009060339A (en) Electronic camera
US20070098380A1 (en) Systems and methods for improved autofocus in digital imaging systems
US7936384B2 (en) Image taking system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131227

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150330

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150615

R150 Certificate of patent or registration of utility model

Ref document number: 5772044

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150