JP5772044B2 - Imaging apparatus, imaging method, and program - Google Patents
Imaging apparatus, imaging method, and program Download PDFInfo
- Publication number
- JP5772044B2 JP5772044B2 JP2011031534A JP2011031534A JP5772044B2 JP 5772044 B2 JP5772044 B2 JP 5772044B2 JP 2011031534 A JP2011031534 A JP 2011031534A JP 2011031534 A JP2011031534 A JP 2011031534A JP 5772044 B2 JP5772044 B2 JP 5772044B2
- Authority
- JP
- Japan
- Prior art keywords
- subjects
- image
- unit
- shooting
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、撮像装置、撮像方法及びプログラムに関し、詳細には、暗い被写体などの撮影において複数の撮影画像を合成することができる撮像装置、撮像方法及びプログラムに関する。 The present invention relates to an imaging apparatus, an imaging method, and a program, and more particularly, to an imaging apparatus, an imaging method, and a program that can synthesize a plurality of captured images in shooting a dark subject or the like .
暗い被写体群、たとえば、夜空の星々をカメラで撮影しても、真っ暗な画像(写真)しか得られない。あまりにも星の光が弱く、CCD等の撮像デバイス(銀塩カメラの場合はフィルム)で光をとらえられないためである。このような場合は、一般的に長時間露光撮影(シャッタ速度を遅くして撮影すること)を行うが、手ぶれ防止のためのカメラ固定具(三脚)が必要であり、準備が面倒で手軽に行うことができなかった。 Even if a dark subject group, for example, stars in the night sky, is photographed with a camera, only a dark image (photograph) can be obtained. This is because the light of the stars is so weak that it cannot be captured by an imaging device such as a CCD (film in the case of a silver salt camera). In such cases, long exposure photography (shooting with a slow shutter speed) is generally performed, but a camera fixing tool (tripod) is necessary to prevent camera shake, making preparations cumbersome and easy. Could not do.
固定具不要の暗所撮影技術としては、たとえば、下記の特許文献1に記載のもの(以下、従来技術)が知られている。この従来技術では、手ぶれ限界を超えない露光時間(一般的には1/60秒以下のシャッタ速度)で複数枚の画像を連続的に撮像し、それらの画像を重ね合わせて合成する。合成された被写体の明るさは、元画像(合成前の各画像)に写し込まれている被写体の明るさを合成枚数分だけ加算したものになる。したがって、被写体を夜空の星々とした場合は、それらの星々を明るく写し出すことができ、しかも、長時間露光を行わないため、三脚等の固定具を必要とせず、思い立ったときにいつでも手軽に撮影を行うことができる。 As a dark place imaging technique that does not require a fixture, for example, a technique described in Patent Document 1 (hereinafter, a conventional technique) is known. In this conventional technique, a plurality of images are continuously captured with an exposure time that does not exceed the camera shake limit (generally, a shutter speed of 1/60 seconds or less), and these images are superimposed and synthesized. The brightness of the synthesized subject is obtained by adding the brightness of the subject imaged in the original image (each image before synthesis) by the number of synthesized images. Therefore, if the subject is stars in the night sky, they can be projected brightly, and because they are not exposed for long periods of time, they do not require a tripod or other fixtures, and can be taken easily whenever you think of them. It can be performed.
しかしながら、従来技術は、以下の問題点がある。
夜空の星々の明るさは様々である。星の明るさは等級(実視等級)で表されており、1等星が最も明るく、6等星がかろうじて肉眼で見える程度の暗い星である。また、望遠鏡を使えば6等星よりも暗い星々(7等星、8等星・・・・)も見ることができる。
However, the prior art has the following problems.
The brightness of stars in the night sky varies. The brightness of a star is represented by a grade (actual visual grade), where the 1st magnitude star is the brightest and the 6th magnitude star is barely visible to the naked eye. If you use a telescope, you can also see stars that are darker than 6th stars (7th, 8th, etc ...).
さて、暗い星を肉眼や望遠鏡で見るとチカチカと瞬いて見える(または明るさが揺らいで見える)。これは、大気の揺らぎや大気中のチリの影響を受けるためである。暗い星ほどこの影響を大きく受ける。 Now, when you look at a dark star with the naked eye or a telescope, it looks blinking (or the brightness appears to fluctuate). This is because it is affected by atmospheric fluctuations and dust in the atmosphere. Darker stars are more affected by this effect.
従来技術の場合、チカチカと瞬く星をノイズとして排除してしまうことがあった。その理由を説明すると、従来技術では複数の画像を合成する際に、画像内に存在する特徴点の動きベクトルを算出し、その動きベクトルに基づいて合成すべき被写体であるか否かを判定しているが、その判定の際に「手ぶれに基づく動きベクトルとは方向または大きさが異なる動きベクトルを有する被写体を排除して合成しない」仕組み(同文献の段落〔0045〕参照)になっているからである。つまり、暗い星の瞬きは、この排除条件(手ぶれに基づく動きベクトルとは方向または大きさが異なる動きベクトル)に当てはまるためである。 In the case of the prior art, a flickering star may be excluded as noise. Explaining the reason, when combining a plurality of images, the conventional technique calculates a motion vector of a feature point existing in the image, and determines whether or not the subject is to be combined based on the motion vector. However, in the determination, it is a mechanism (see paragraph [0045] of the same document) that “excludes a subject having a motion vector whose direction or size is different from the motion vector based on camera shake”. Because. That is, the blinking of a dark star is applicable to this exclusion condition (a motion vector having a direction or magnitude different from that of a motion vector based on camera shake).
かかる不都合は夜空の星だけに限らない。暗い被写体であって且つその明るさが時系列に変化する被写体の場合に生じやすい。 Such inconvenience is not limited to stars in the night sky. This is likely to occur when the subject is a dark subject and the brightness of the subject changes in time series.
したがって、従来技術は、時系列に明るさが変化する被写体(上記の例では、チカチカと瞬く星を含む夜空の星々)を撮影する場合に不都合を招くという問題点がある。 Therefore, the conventional technique has a problem that it causes inconvenience when photographing a subject whose brightness changes in time series (in the above example, stars in the night sky including flickering stars).
本発明は、このような問題点に鑑みてなされたものであり、その目的は、明るさなどの状態が変化する被写体(たとえば、チカチカと瞬く星を含む夜空の星々)の撮影において複数の撮影画像を不都合なく合成して撮影できるようにすることにある。 The present invention has been made in view of such a problem, and an object of the present invention is to perform a plurality of shootings in shooting a subject whose state such as brightness changes (for example, stars in the night sky including flickering stars and blinking stars). It is to the so that can be taken by synthesizing without inconvenience images.
第1の発明は、複数の被写体を連続撮影する撮影手段と、前記連続撮影された複数枚の画像を合成出力する画像合成手段と、前記画像合成手段で画像の合成を行う際に、所定の基準に基づいて各画像内に存在する被写体の各々の合成を行うか否かを判定する判定手段と、撮影対象となる複数の被写体の各々の存在位置を示す位置情報を保持する情報保持手段と、を備え、前記判定手段は、前記撮影手段により連続撮影された複数の被写体の中に、予め決められた状態が変化する個別被写体が含まれている場合において、前記情報保持手段に保持されている位置情報を参照して前記複数の被写体の各々の画像内の位置を特定し、前記個別被写体に対応する位置情報が前記情報保持手段に含まれていた場合に、当該個別被写体を合成すべきものであると判定することを特徴とする撮像装置、撮像方法、プログラムである。
第2の発明は、複数の被写体を連続撮影する撮影手段と、前記連続撮影された複数枚の画像を合成出力する画像合成手段と、前記画像合成手段で画像の合成を行う際に、所定の基準に基づいて各画像内に存在する被写体の各々の合成を行うか否かを判定する判定手段と、撮影対象となる複数の被写体の各々に対応する情報を保持する情報保持手段とを備え、前記判定手段は、前記撮影手段により連続撮影された複数の被写体の中に、予め決められた状態が変化する個別被写体が含まれている場合において、前記個別被写体に対応する情報が前記情報保持手段に含まれていた場合に、当該個別被写体を合成すべきものであると判定し、前記情報保持手段は、前記予め決められた状態が変化する個別被写体に対応する情報のみを保持することを特徴とする撮像装置、撮像方法、プログラムである。
According to a first aspect of the present invention, there is provided a photographing means for continuously photographing a plurality of subjects, an image composition means for combining and outputting the plurality of continuously photographed images, and a predetermined image when the image composition means performs composition of the images. Determining means for determining whether or not to synthesize each of the subjects existing in each image based on the reference; and information holding means for holding position information indicating each of the plurality of subjects to be photographed. The determination means is held by the information holding means when a plurality of subjects continuously photographed by the photographing means include individual subjects whose predetermined state changes. The position of each of the plurality of subjects in the image is specified with reference to the position information, and the position information corresponding to the individual subject is included in the information holding unit, and the individual subjects should be combined so Imaging apparatus, an imaging method, wherein the determining and that a program.
According to a second aspect of the present invention, there is provided a photographing unit that continuously shoots a plurality of subjects, an image synthesizing unit that synthesizes and outputs a plurality of images that are continuously photographed, A determination unit that determines whether or not to synthesize each of the subjects existing in each image based on a reference; and an information holding unit that holds information corresponding to each of a plurality of subjects to be imaged. In the case where an individual subject whose predetermined state changes is included in the plurality of subjects continuously photographed by the photographing unit, the determination unit includes information corresponding to the individual subject as the information holding unit. The information holding means holds only information corresponding to the individual subject whose predetermined state changes. Imaging device, imaging method and a program.
本発明によれば、複数の被写体を連続撮影して得られた複数の撮影画像を合成する場合に、所定の基準に基づいて各画像内に存在する被写体の各々を合成すべきか否かを判定するので、例えば明るさなどの状態が変化する被写体であっても合成を支障なく行うことができる。 According to the present invention, when combining a plurality of captured images obtained by continuously capturing a plurality of subjects , it is determined whether or not each of the subjects existing in each image should be combined based on a predetermined criterion. since, Ru can be performed without any trouble synthesis even subject to change conditions such as for example brightness.
以下、本発明の実施形態を、デジタルカメラへの適用を例にして、図面を参照しながら説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings, taking application to a digital camera as an example.
図1は、デジタルカメラ1の外観図である。この図において、デジタルカメラ1は、たとえば、箱状薄形のカメラボディ2の前面に沈胴式または固定式のレンズ鏡筒3や、ストロボ発光窓4及びファインダ前面窓5などを配置すると共に、カメラボディ2の上面に電源スイッチ6及びシャッターボタン7などを配置しており、さらに、カメラボディ2の背面にファインダ後面窓8、撮影モード/再生モード切り換えスイッチ9、ズーム操作兼再生表示モード切替スイッチ10、MENUボタン11、上下左右方向移動ボタン12、SETボタン13、DISPボタン14及びタッチパネル15付の表示部16などを配置し、加えて、カメラボディ2の底面に蓋17を設け、この蓋17の内部にバッテリ18と、カード型メモリまたはカード型ハードディスクなどの大容量記憶デバイス19とを着脱可能な状態で実装している。
FIG. 1 is an external view of the
図2は、デジタルカメラの内部ブロック図である。この図において、デジタルカメラ1は、レンズ鏡筒3に収められた撮影レンズ20やズームレンズ21、フォーカスレンズ22及び絞り機構23などを含む光学系24と、この光学系24を介して取り込まれた被写体の像を撮像するCCDやCMOS等の二次元イメージセンサを含む撮像部25と、撮像部25から出力される画像信号に所要の画像処理(ガンマ補正等)を施す画像処理部26と、光学系24の絞り機構23を駆動する絞り駆動部27と、光学系24のフォーカスレンズ22を駆動するフォーカス駆動部28と、光学系24のズームレンズ21を駆動するズーム駆動部29と、各種キーやスイッチ及びボタン類(シャッターボタン7、撮影モード/再生モード切り換えスイッチ9、ズーム操作兼再生表示モード切替スイッチ10、MENUボタン11、上下左右方向移動ボタン12、SETボタン13、DISPボタン14等)を含む操作部30と、ストロボ発光窓4の裏側に取り付けられたストロボ発光部31及びストロボ駆動部32と、液晶ディスプレイパネル等からなる表示部16を駆動する表示駆動部33と、タッチパネル15のタッチ座標を取り込むタッチ座標入力部34と、大容量記憶デバイス19のデータ入出力を制御するデバイスデータ入出力部35と、デジタルカメラ1の現在位置を検出する、たとえば、GPS(Global Positioning System:全地球測位システム)受信部などの位置検出部36と、デジタルカメラ1の姿勢を検出する、たとえば、MI(Magneto−impedance Effect)センサなどの姿勢検出部37と、必要に応じてパーソナルコンピュータ等の外部機器38との間のデータ入出力を仲介する外部入出力部39と、充電可能な電池(バッテリ18)やその電池の充電部40及び充電用外部端子41を含みデジタルカメラ1の各部の動作に必要な電力を発生する電源部42と、中央制御部43とを備える。
FIG. 2 is an internal block diagram of the digital camera. In this figure, the
中央制御部43は、コンピュータ(以下、CPU)43a、不揮発性メモリ(以下、ROM)43b、揮発性メモリ(以下、RAM)43c及び書き換え可能型不揮発性メモリ(以下、PROM)43dを備えており、ROM43bに予め格納されている制御プログラムや、PROM43dに予め又は任意に書き込まれるデータをRAM43cにロードしてCPU43aで実行することにより、つまり、プログラム制御方式によって、このデジタルカメラ1の各部の動作を統括制御するものであるが、この方式(プログラム制御方式)に限定されない。その機能の全て又は一部をハードロジックで実現してもよい。
The
さて、図示のデジタルカメラ1は、操作部30の撮影モード/再生モード切り換えスイッチ9が「撮影」位置にあるときに撮影モード(静止画又は動画撮影モード)で動作し、「再生」位置にあるときに再生モードで動作する。
The illustrated
静止画又は動画撮影モードを選択した場合、撮像部25から周期的(毎秒数十フレーム)に出力される画像信号が、画像処理部26と中央制御部43及び表示駆動部33を経て表示部16に出力され、構図確認用のライブビュー画像(スルー画像ともいう)として継続的に表示される。撮影者は、ライブビュー画像を見ながら所望の構図になるように撮影方向や撮像部25の画角(ズームレンズ21のズーム量)を調節し、所望の構図が得られたときにレリーズ操作(シャッターボタン7の押し下げ操作)を行う。
When the still image or moving image shooting mode is selected, an image signal output periodically (several tens of frames per second) from the
そして、レリーズ操作に応答して、フォーカスレンズ22のAF(自動焦点)処理や絞り機構23のAE(自動露出)処理などが実行され、適正露出が得られたときに、撮像部25から高画質の画像信号が取り出される。取り出された画像信号は、画像処理部26と中央制御部43及びデバイスデータ入出力部35を経て大容量記憶デバイス19に送られ、撮影済み画像として大容量記憶デバイス19に記録保存される。
Then, in response to the release operation, AF (automatic focus) processing of the
一方、再生モードを選択した場合は、たとえば、直近に撮影された画像を大容量記憶デバイス19から読み出して表示部16に再生表示するか、あるいは、撮影済み画像の縮小画像を表示部16に一覧表示し、その一覧の中からユーザ操作によって選択された画像(ユーザが再生を希望する画像)の元画像を大容量記憶デバイス19から読み出して表示部16に再生表示する。
On the other hand, when the playback mode is selected, for example, the most recently captured image is read from the large-
撮影モードには、冒頭で説明した固定具不要の暗所撮影モードが含まれている。すなわち、図示のデジタルカメラ1は、必要に応じ、手ぶれ限界を超えないシャッタ速度(一般的には1/60秒以下)で複数枚の画像を連続的に撮像し、それらの画像を重ね合わせて合成した合成画像を大容量記憶デバイス19に記録保存できるようになっている。
The shooting mode includes a dark place shooting mode that does not require a fixture described at the beginning. That is, the illustrated
合成された画像の被写体の明るさは、元画像(合成前の各画像)に写し込まれている被写体の明るさを加算したものになる。したがって、たとえば、被写体を夜空の星々とした場合に、それらの星々を明るく写し出すことができる。しかも、この暗所撮影モードでは、長時間露光を行わないため、三脚等の固定具が不要であり、思い立ったときにいつでも手軽に暗所撮影を行うことができる。 The brightness of the subject of the synthesized image is obtained by adding the brightness of the subject that is captured in the original image (each image before synthesis). Therefore, for example, when the subject is stars in the night sky, these stars can be projected brightly. In addition, in this dark place shooting mode, since a long exposure is not performed, a fixing tool such as a tripod is unnecessary, and it is possible to easily take a dark place whenever it comes to mind.
しかしながら、夜空の星々のうち等級が大きい暗い星は、大気の影響を受けて時系列的な光の明滅(瞬きまたは揺らぎ)を生じるので、画像合成の際にノイズとして取り除かれてしまうことがある。たとえば、冒頭の従来技術(特許文献1)では、「手ぶれに基づく動きベクトルとは方向または大きさが異なる動きベクトルを有する被写体を排除して合成しない」仕組みになっているため、瞬く星が除外されてしまう。 However, dark stars with a large magnitude among the stars in the night sky are affected by the atmosphere and cause time-series light flickering (blinks or fluctuations), so they may be removed as noise during image composition. . For example, in the prior art (Patent Document 1) at the beginning, since a mechanism that “excludes a subject having a motion vector whose direction or magnitude is different from a motion vector based on camera shake is not synthesized”, a star is excluded. Will be.
したがって、実施形態の課題は、時系列に明るさが変化する被写体(たとえば、チカチカと瞬く星を含む夜空の星々)を不都合なく撮影でき、しかも、三脚等の固定具不要で撮影できるようにすることにあり、その究極のポイントは、所定のデータベースを参照して合成すべき被写体であるか否かを最終判断するようにしたことにある。 Therefore, the problem of the embodiment is that a subject whose brightness changes in time series (for example, stars in the night sky including flickering stars) can be photographed without inconvenience, and can be photographed without using a fixture such as a tripod. In particular, the ultimate point is that a final determination is made as to whether or not the subject is to be synthesized with reference to a predetermined database.
説明の便宜上、夜空の星々を一括りにして「被写体群」ということにし、その被写体群に含まれる各々の星のことを「個別被写体」ということにする。 For convenience of explanation, the stars in the night sky are collectively referred to as “subject group”, and each star included in the subject group is referred to as “individual subject”.
図3は、大容量記憶デバイス19の模式的な構造図である。この図において、大容量記憶デバイス19には撮影済みの画像を記憶保存する領域(以下、画像保存領域19a)と、所定のデータベースを格納するための領域(以下、データベース格納領域19b)とが設けられている。なお、ここでは、データベース格納領域19bを大容量記憶デバイス19に設けるとしているが、これに限定されない。他の記憶要素、たとえば、中央制御部43のROM43bやPROM43dなどに設けてもよい。CPU43aからアクセス可能な記憶空間であればよい。
FIG. 3 is a schematic structural diagram of the
図4は、データベース格納領域19bに格納されるデータベースの構造図である。この図において、データベース44は、個別被写体名フィールド44aと座標フィールド44bとからなるレコードを行方向に多数配列した構造を有しており、個別被写体名フィールド44aには個別被写体の名前(ここでは各々の星の名前)が格納され、また、座標フィールド44bにはその個別被写体の位置座標(ここでは各々の星の天空座標)が格納されている。
FIG. 4 is a structural diagram of a database stored in the database storage area 19b. In this figure, the
ここで、天空座標の表し方(座標系)にはいくつかの種類がある。日常的に用いられるのは地平座標系である。たとえば、我々が星を見た場合、「西のほうの空の低いところに月が見えている。」、「南の中天にオリオン座が昇っている。」、「松の湯の煙突のすぐ上に明るい星が見えている。」などのように表現する。 Here, there are several types of representation (coordinate system) of sky coordinates. The horizon coordinate system is used on a daily basis. For example, when we look at the stars, "The moon is visible in the lower part of the sky in the west.", "The Orion is rising in the middle of the south." A bright star can be seen right above. "
この場合、「西のほう」、「南」、「松の湯」という部分で「方向」を表し、「低いところ」、「中天」、「煙突のすぐ上」という部分で「高さ」を表している。地平座標系は、これらの表現とまったく同じ方法で星々の位置を表す座標系であるが、「西のほう」、「南」、「松の湯」、あるいは「低いところ」、「中天」、「煙突のすぐ上」といったあいまいなものではなく、基点を定めたうえで定量的に数値で表現するようにしたものである。 In this case, “West”, “South”, “Matsunoyu” represents “direction”, and “Low”, “Central sky”, “Just above the chimney” “Height” Represents. The horizon coordinate system is a coordinate system that expresses the positions of stars in exactly the same way as these representations, but “West”, “South”, “Matsu no Yu”, “Low”, “Central” It is not an ambiguous thing, "just above the chimney", but a numerical value is expressed quantitatively after setting a base point.
つまり、地平座標系は方位(Azimuth)と高度(Altitude)を表す2つの数値からなる座標系である。方位は南を基点(0゜)とし、西回りに360゜までの数字で表す。真西は90゜、真北が180゜、真東が270゜になる。高さは水平線を基点(0゜)とし、天頂(頭の真上)方向に+90゜まで、天底方向に−90゜までの数字で表す。 That is, the horizon coordinate system is a coordinate system composed of two numerical values representing an azimuth (Azimuth) and an altitude (Altitude). The direction is represented by numbers up to 360 ° in the west direction with the south as the base point (0 °). The true west is 90 °, the true north is 180 °, and the true east is 270 °. The height is represented by a number up to + 90 ° in the zenith (directly above the head) direction and up to −90 ° in the nadir direction, with the horizontal line being the base point (0 °).
したがって、上記の例をこの地平座標系を用いていい直すと、「方位85゜、高度10゜に月が見えている。」、「方位355゜、高度55゜にオリオン座が昇っている」、「方位265゜、高度13゜に明るい星が見えている。」となる。
Therefore, when the above example is re-applied using this horizon coordinate system, the moon is visible at an azimuth of 85 ° and an altitude of 10 °, and the Orion is rising at an azimuth of 355 ° and an altitude of 55 °. , “A bright star is visible at azimuth 265 ° and
このように地平座標系は、感覚的で非常に分かりやすいが、時間の概念がないため、データベース44の座標情報としてふさわしくない。星の位置は時間と共に変化するからである。データベース44には、絶対位置を示す別の座標系(赤道座標系、黄道座標系、銀河座標系)を格納しなければならない。
As described above, the horizon coordinate system is sensuous and very easy to understand. However, since there is no concept of time, the coordinate system of the
図5は、赤道座標系の概念図である。赤道座標系は星の絶対位置を表すために用いられる座標系であり、地球の自転を基準とした座標系である。星の絶対位置を「赤経(せきけい:αまたはR.A.=RightAscensionの略)」と「赤緯(せきい:δまたはDecl.=Declinationの略)」と呼ばれる2つの数値で表現する。概念的には、地球の自転軸を北に伸ばして天球と交わる点を「天の北極」とし、南に伸ばして天球と交わる点を「天の南極」とするとともに、地球上の経度線と緯度線をそのまま天球上に貼りつけたものと考えればよい。 FIG. 5 is a conceptual diagram of the equator coordinate system. The equatorial coordinate system is a coordinate system used to represent the absolute position of the star, and is a coordinate system based on the rotation of the earth. The absolute position of the star is expressed by two numerical values called “red meridian (cushion: abbreviation of α or R.A. = RightAscension)” and “declination (cuff: abbreviation of δ or Decl. = Declination)”. . Conceptually, the point that extends the earth's rotation axis to the north and intersects with the celestial sphere is called the `` celestial north pole '', the point that extends to the south and intersects with the celestial sphere is called `` the celestial south pole '', and It can be thought that the latitude line is pasted on the celestial sphere.
赤緯は赤道面を基点(0゜)とし、南(−)北(+)にそれぞれ90゜までの数値で表す。天の北極は+90゜、天の南極は−90゜になる。赤経は春分点(太陽が天の赤道を南側から北側へ横切る点)を基点(0゜=0時)にして東回りに測り、15゜=1時、15′=1分、15”=1秒として24時までの数値で表す。 The declination is expressed in numerical values up to 90 ° in the south (-) and north (+) respectively, with the equator plane being the base point (0 °). The celestial north pole is + 90 ° and the celestial south pole is -90 °. The red longitude is measured from the Equinox (the point where the sun crosses the celestial equator from the south to the north) from the base (0 ° = 0 o'clock), 15 ° = 1 o'clock, 15 ′ = 1 min, 15 ″ = 1 Expressed in seconds up to 24:00.
赤経の基点(春分点)や、赤緯の基点(赤道面)は、歳差運動(地球の地軸の移動による首振り運動)や章動によってわずかずつ移動するため、その時点での見かけのものを視赤経・視赤緯(視位置)と呼び、変動分をならしたものを平均赤経・平均赤緯と呼ぶ。なお、1991年までは西暦1950.0年(B1950.0)に基づいた平均赤経と平均赤緯(1950年分点)が主に用いられていたが、1992年からは西暦2000.0年(J2000.0)に基づいたもの(2000年分点)に改められた。 The base point of the ecliptic (Equinox) and the base point of the declination (equatorial plane) move little by little due to precession movement (swing movement caused by the movement of the earth's earth's axis) and chapter movement. Is referred to as the visual ascension / declination (visual position), and the variation is referred to as the average ascension / average declination. Until 1991, the mean red longitude and mean declination (1950 minutes) based on the year 1950.0 AD (B1950.0) were mainly used. (J2000.0) based on (2000).
ここで、一例として、全天一の明るさを持つ恒星である「おおいぬ座のシリウス」の位置を2000年分点で表記すると次のようになる。
J2000.0:α=6h45.2m,δ=−16.43′
Here, as an example, the position of “Sirius of the Great Sagittarius”, which is a star with the brightness of all the sky, is expressed in 2000 as follows.
J2000.0: α = 6h45.2m, δ = -16.43 ′
したがって、シリウスの位置をデータベース44の座標フィールド44bに格納する場合は、図4に示すように、星名(シリウス)を個別被写体名フィールド44aに格納するとともに、座標フィールド44bに、赤経(α)サブフィールド44cと赤緯(δ)サブフィールド44dとを設け、赤経(α)サブフィールド44cに方位値(α=6h45.2m)を格納し、赤緯(δ)サブフィールド44dに高度値(δ=−16.43′)を格納すればよい。
Therefore, when storing the position of Sirius in the coordinate
これらの方位値(α=6h45.2m)や高度値(δ=−16.43′)は、赤道座標系におけるシリウスの絶対位置を表すから、この絶対位置に基づいて、ある時点(年月日及び時刻)におけるシリウスの視位置(視赤経・視赤緯)を割り出すことができる。 These azimuth values (α = 6h45.2m) and altitude values (δ = −16.43 ′) represent the absolute position of Sirius in the equator coordinate system. And Sirius' visual position (visual acupuncture and declination) at the time) can be determined.
データベース44に格納する座標系は、この赤道座標系に限らない。絶対位置を表すための座標系であればよく、黄道座標系や銀河座標系であってもよい。
The coordinate system stored in the
図6は、中央制御部43のコンピュータ(CPU43a)で実行される制御プログラムの要部フローを示す図である。図示のフローは、デジタルカメラ1の全体動作を統括する制御プログラムのうち撮影モード部分を抜き出したものであって、特に、遠方にある暗い被写体群を撮影する際の制御部分を抜粋したものである。
FIG. 6 is a diagram showing a main part flow of a control program executed by the computer (
このフローの実行条件は、「撮影モード」であって、撮影対象の被写体群が「暗く」、且つ、「遠くにある」場合である。この条件に当てはまる撮影を行うときに、図示のフローを自動実行してもよいし、あるいは、撮影者に手動選択させるようにしてもよい。 The execution condition of this flow is a case where the “shooting mode” is set and the subject group to be photographed is “dark” and “distant”. When shooting that satisfies this condition, the illustrated flow may be automatically executed, or the photographer may be manually selected.
上記の実行条件に当てはまる被写体の一例は夜空の星である。星の光は相当弱く、しかも、ほぼ無限遠の遠い距離にあるからである。したがって、以降では、上記の実行条件に当てはまる被写体群を「夜空の星」として説明する。ただし、これに限定されないことはもちろんである。暗く、且つ、遠くにある被写体群であればよい。 An example of a subject that meets the above execution conditions is a star in the night sky. This is because the light of stars is quite weak, and is far away at almost infinity. Therefore, hereinafter, the subject group that satisfies the above-described execution condition will be described as a “night sky star”. However, it is needless to say that the present invention is not limited to this. It is sufficient if the subject group is dark and far away.
このフローでは、まず、被写体群の明るさ(露出)を判定する(ステップS1)。被写体群が明るい場合は通常の撮影処理を実行(ステップS2)するが、暗い場合は、まず、シャッタ速度を手ぶれ限界速度(一般的に1/60秒程度)に設定(ステップS3)するとともに、撮像部25の感度(いわゆるISO感度)を上限まで高め(ステップS4)、その後、撮影者のシャッタ操作に応答して複数枚の画像を連続撮影(連写ともいう)する(ステップS5)。 In this flow, first, the brightness (exposure) of the subject group is determined (step S1). If the subject group is bright, normal shooting processing is executed (step S2). If the subject group is dark, first, the shutter speed is set to the camera shake limit speed (generally about 1/60 seconds) (step S3). The sensitivity of the imaging unit 25 (so-called ISO sensitivity) is increased to the upper limit (step S4), and then a plurality of images are continuously shot (also referred to as continuous shooting) in response to the shutter operation of the photographer (step S5).
一般的な暗所撮影ではストロボを発光するが、このフローではストロボの発光は行わない。撮影対象の被写体群が遠方にあるからであり、たとえ、ストロボを発光しても被写体群まで光が届かないからである。 In general dark place shooting, a strobe is emitted, but in this flow, the strobe is not emitted. This is because the subject group to be photographed is far away, and even if the flash is emitted, the light does not reach the subject group.
次いで、撮影方向、撮影画角、現在位置及び現在日時を取得する(ステップS6〜ステップS8)。撮影方向は被写体群の方向、つまり、レンズ鏡筒3の光軸の方向であり、この方向は姿勢検出部37の検出結果から割り出すことができる。また、撮影画角は光学系24の撮影画角であり、この撮影画角はズームレンズ21のズーム位置から割り出すことができる。現在位置は撮影位置であり、この撮影位置は位置検出部36の検出結果から割り出すことができる。さらに、現在日時は撮影日時であり、この日時はCPU43aの時計機能(日付と時刻を発生する機能;OSの基本機能の一つである)から割り出すことができる。
Next, the shooting direction, shooting angle of view, current position, and current date and time are acquired (steps S6 to S8). The shooting direction is the direction of the subject group, that is, the direction of the optical axis of the
撮影方向、撮影画角、現在位置及び現在日時を取得すると、次に、画像合成処理(ステップS9)を実行した後、画像合成処理によって得られた合成画像を大容量記憶デバイス19に記録保存し(ステップS10)、必要であれば、確認用のプレビュー画像を表示部16に表示してから、フローを終了する。
Once the shooting direction, the shooting angle of view, the current position, and the current date and time are acquired, the image synthesis process (step S9) is executed, and then the synthesized image obtained by the image synthesis process is recorded and saved in the
図7は、画像合成処理(ステップS9)のサブルーチンフローを示す図である。このフローでは、まず、撮影枚数変数iに初期値1をセットし(ステップS11)、次いで、図6のステップS5で連続撮影された複数枚の画像のうちのi枚目の画像とi+1枚目の画像から特徴点を抽出する(ステップS12)。特徴点は、画像の境目や角といった特徴を点化したもののことをいう。色彩が大きく変わる、濃淡の濃い部分、輪郭といったものなども特徴点になる。
FIG. 7 is a diagram showing a subroutine flow of the image composition process (step S9). In this flow, first, an
次に、i枚目の画像とi+1枚目の画像の特徴点の動きベクトルを算出する(ステップS13)。動きベクトルは、基準画像(ここではi枚目の画像)の特徴と似ている特徴が注目画像(ここではi+1枚目の画像)の何処にあるかをベクトルを用いて示したもののことをいう。 Next, motion vectors of feature points of the i-th image and the i + 1-th image are calculated (step S13). The motion vector is a vector that indicates where the feature similar to the feature of the reference image (here, the i-th image) is located in the target image (here, the i + 1-th image). .
全ての特徴点について動きベクトルを算出すると、次いで、それらの特徴点が合成すべきものであるか否かを判定する(ステップS14)。合成すべき特徴点とは、動きベクトル0の特徴点(画像間の動きがない特徴点)、または、動きベクトルの方向と動きの量に一定の相関性が見られる特徴点のことをいう。たとえば、夜空の星々は、地球の自転に伴い、天の北極(南半球では天の南極)を中心にした円に沿って移動するが、撮影時間に相当する短い時間で見た場合、動きベクトル0の特徴点とみなすことができるので、夜空の星々は合成すべき特徴点になる。
Once motion vectors have been calculated for all feature points, it is then determined whether or not those feature points are to be synthesized (step S14). The feature point to be synthesized is a feature point of motion vector 0 (a feature point having no motion between images) or a feature point having a certain correlation between the direction of the motion vector and the amount of motion. For example, the stars in the night sky move along a circle centered on the celestial North Pole (the celestial South Pole in the Southern Hemisphere) as the Earth rotates, but when viewed in a short time corresponding to the shooting time, the
一方、合成すべきでない特徴点は、動きベクトルに一定の相関性が見られないもののことをいう。具体的には、(1)i枚目の画像とi+1枚目の画像のいずれか一方にしか現れない特徴点、あるいは、(2)双方に現れる特徴点であっても、その動きベクトルと他の動きベクトルとが明らかに異なる特徴点のことをいう。(1)の典型例は、i枚目の画像とi+1枚目の画像の撮影周期に同期して明滅する光であり、(2)の典型例は、たとえば、走行中の自動車のヘッドライト55などである。
On the other hand, feature points that should not be synthesized are those that do not show a certain correlation in motion vectors. Specifically, (1) a feature point that appears only in one of the i-th image and i + 1-th image, or (2) a feature point that appears in both of the motion vector and other This is a feature point that is clearly different from the motion vector. A typical example of (1) is light that blinks in synchronization with the imaging cycle of the i-th image and the (i + 1) -th image, and a typical example of (2) is, for example, a
ここで、冒頭の従来技術(特許文献1)のように、合成すべき特徴点を「動きベクトル」だけで判定した場合は、これらの(1)、(2)の特徴点(明滅光や自動車のヘッドライト55)を一律に「合成すべきでない」と判定してしまう。夜空の星々を撮影する場合、自動車のヘッドライト55は合成対象から排除してもかまわないが、明滅光については、必ずしも排除すべき特徴点(合成すべきでない特徴点)とはいい切れない。瞬く星(6等星などの暗い星)かもしれないからである。
Here, when the feature points to be synthesized are determined only by the “motion vector” as in the prior art (Patent Document 1) at the beginning, these feature points (1) and (2) (flashing light and automobile) The headlights 55) are uniformly determined not to be combined. When shooting stars in the night sky, the
そこで、実施形態では、この段階における「合成すべきでない特徴点」の判定を“仮”の判定とし、最終的な判定をデータベース照合によって行うことにした(ステップS16)。このデータベース照合処理については後で詳しく説明する。 Therefore, in the embodiment, the determination of “feature points that should not be combined” at this stage is determined as “provisional”, and the final determination is performed by database collation (step S16). This database collation process will be described in detail later.
特徴点の判定(ステップS14)及びデータベース照合処理(ステップS16)による特徴点の最終判定を行うと、次に、合成すべきと判定された特徴点を残してi枚目の画像とi+1枚目の画像を合成する(ステップS15)。この合成処理においては、各画像毎に、一定の相関性があると認められた動きベクトルの方向と動きの量に応じて位置合わせを行ってから合成する。次に、撮影枚数変数iを+1して(ステップS17)、「i>imax」であるか否かを判定する(ステップS18)。imaxは、図6のステップS5における連続撮影枚数である。「i>imax」でない場合は、まだ、合成対象の画像が残っていると判断して、再びステップS12以降を実行し、「i>imax」である場合は、全ての画像の合成を完了したと判断して、図6のステップS10に進む。 After the feature point determination (step S14) and the final determination of the feature point by the database collation process (step S16), the i-th image and the i + 1-th image are then left with the feature points determined to be combined. Are synthesized (step S15). In this synthesis process, each image is synthesized after being aligned in accordance with the direction of the motion vector and the amount of motion recognized as having a certain correlation. Next, the photographed number variable i is incremented by 1 (step S17), and it is determined whether or not “i> imax” (step S18). imax is the number of continuous shots in step S5 of FIG. If it is not “i> imax”, it is determined that there is still an image to be combined, and step S12 and subsequent steps are executed again. If “i> imax”, all the images are combined. And the process proceeds to step S10 in FIG.
図8は、データベース照合処理(ステップS16)のサブルーチンフローを示す図である。このフローでは、まず、図6のステップS6で求めておいた撮影方向に基づいて各特徴点(図7のステップS14で合成すべきでないと仮判定された各特徴点)の座標を星座の座標系に変換する(ステップS21)。星座の座標系はデータベース44の座標系(赤道座標系)である。次いで、合成すべきでないと仮判定された特徴点に対応する星をデータベース44から検索し(ステップS22)、該当する星(個別被写体)が検索されたか否かを判定する(ステップS23)。 FIG. 8 is a diagram showing a subroutine flow of the database collation process (step S16). In this flow, first, the coordinates of each feature point (each feature point tentatively determined not to be synthesized in step S14 in FIG. 7) based on the shooting direction obtained in step S6 in FIG. Conversion into a system (step S21). The coordinate system of the constellation is the coordinate system of the database 44 (equatorial coordinate system). Next, a star corresponding to the feature point tentatively determined not to be combined is searched from the database 44 (step S22), and it is determined whether or not the corresponding star (individual subject) has been searched (step S23).
たとえば、注目特徴点の座標がα=6h45.2m,δ=−16.43′である場合、その特徴点に対応する星としてデータベース44から「シリウス」が検索される。この場合は、該当する星(個別被写体)が検索されたので、その特徴点を「合成すべき特徴点」として最終判定(ステップS24)した後、図7のステップS15に進む。一方、注目特徴点の座標に該当する星(個別被写体)がデータベース44から検索されなかった場合は、その特徴点を「合成しない特徴点」として最終判定(ステップS25)した後、図7のステップS15に進む。
For example, when the coordinates of the feature point of interest are α = 6h45.2m, δ = −16.43 ′, “Sirius” is searched from the
図9は、星座撮影の概念図である。(a)に示すように、表示部16のライブビュー画像には、天空の星々(星45〜51)や遠方の家屋52、53が表示されており、さらに、走行中の車両54のヘッドライト55の明かりが表示されている。
FIG. 9 is a conceptual diagram of constellation shooting. As shown to (a), the sky view stars (stars 45-51) and the
家屋52、53の窓から漏れる光と天空の星々(星45〜51)の多くは一定の明るさを保っているが、いくつかの星は6等星またはそれに近い等級の暗い星であり、大気の影響を受けて瞬いている(明滅している)。今、星50をそのような瞬きを持つ個別被写体とすると、この星50は、上記の(1)に相当する。また、車両54のヘッドライト55は明るさ一定であるが、ライブビュー画像の左から右方向へと移動する特異な動きをする個別被写体であるから、この車両54のヘッドライト55は、上記の(2)に相当する。
Many of the light and sky stars (stars 45-51) leaking from the windows of the
(b)に示すように、冒頭の従来技術(特許文献1)を適用した場合は、星50と車両54のヘッドライト55がともに排除された合成画像が作られる。星50は、i枚目の画像とi+1枚目の画像のいずれか一方にしか現れない特徴点になるからであり、また、車両54のヘッドライト55は、その動きベクトルと他の動きベクトルとが明らかに異なる特徴点になるからである。
As shown in (b), when the conventional technology at the beginning (Patent Document 1) is applied, a composite image is created in which both the
夜空の星座を撮影する場合、車両54のヘッドライト55の排除は好ましいものの、星50の排除は被写体の消失になるので避けなければならない。本実施形態では、データベース44を参照して明滅する特徴点を合成すべきものであるか否かを最終判定する。具体的には、その特徴点の位置座標をデータベース44の座標系(赤道座標系)に変換し(図8のステップS21)、該当する座標の星(個別被写体)がデータベース44に登録されているか否かを判定(図8のステップS23)して、登録されていれば当該特徴点を合成し(図8のステップS24)、登録されていなければ当該特徴点を合成しない(図8のステップS25)。
When photographing a constellation in the night sky, it is preferable to eliminate the
このようにすることにより、明滅する星50を排除せずに合成画像に含めることができ、夜空の星座を意図したとおりに撮影することができる。
In this way, the blinking
図10は、実施形態を適用した星座撮影の概念図である。(a)に示すように、天空56の任意位置Pxに光軸を合わせて所定の画角で構図を調整した場合、ライブビュー画像57には天空56に散らばる多数の星(○印)のうちのいくつかが含まれる。構図内の星々をT1〜T7で示すことにする。ライブビュー画像57の横方向は天空56の赤経、縦方向は赤緯に対応し、天空56の様子は現在の日時(季節と時刻)と撮影場所によって決まる。T1〜T7の各々の座標はデータベース44に格納されており、たとえば、T6をシリウスとした場合、T6の赤経(α=6h45.2m)と赤緯(δ=−16.43′)がデータベース44に格納されている。
FIG. 10 is a conceptual diagram of constellation shooting to which the embodiment is applied. As shown in (a), when the composition is adjusted at a predetermined angle of view by aligning the optical axis with the arbitrary position Px of the
この図10と前出の図9を見比べると、瞬く星50の位置にT6が存在している。このため、図7のステップS14で、星50が「合成すべきでない」と仮に判定されたとしても、図8のステップS23で、「データベース44に該当する星(T6)が存在する」と判定されるから、この瞬く星50については、最終的に「合成すべき」と判定される(図8のステップS24)こととなり、結局のところ、図10(b)に示すように、構図内の全ての星45〜51をもれなく含む合成画像を生成出力することができる。
Comparing FIG. 10 and FIG. 9 above, T6 exists at the position of the
なお、以上の実施形態では、星座撮影を例にしたが、これに限定されない。時系列に明るさが変化する暗い被写体群の撮影用途であればよい。少なくとも、当該用途のデータベースを備えていればよい。また、以上の実施形態では、デジタルカメラ1への適用を例にしたが、たとえば、カメラ付の携帯電話機や携帯情報端末などの電子機器であってもよい。
In the above embodiment, constellation photography is taken as an example, but the present invention is not limited to this. It may be used for photographing a dark subject group whose brightness changes in time series. It is sufficient that at least a database for the application is provided. Moreover, although application to the
また、以上の実施形態では、データベース44に全ての被写体の情報を格納するとしているが、これに限定されない。画像合成の対象から排除される可能性がある被写体の情報だけを格納してもよい。これは、たとえば、夜空の星々を被写体群とした場合、その被写体群に含まれる明るい星については、図7のステップS14で「合成すべき被写体」と判定されるので、データベース44に格納する必要がなく、むしろ、データベース44には、図7のステップS14で「合成すべきでない被写体」と仮判定される可能性がある暗い星(6等星など)の情報だけを格納しておけばよいからである。このようにすると、データベース44のサイズを小さくしてデータ量を削減できるから好ましい。
また、以上の実施形態では、合成すべき特徴点でないと判断された場合にデータベースと照合することで、星の瞬きなどが排除されないようにしたが、合成すべき特徴点であると判断された場合にデータベースと照合して、データベースと一致しない特徴点を排除するようにしてもよい。すなわち、図7のステップS16(データベース照合処理)と同じ処理を、ステップS14のYES判定とステップS15との間に入れてもよい。
In the above embodiment, information on all subjects is stored in the
Further, in the above embodiment, when it is determined that the feature point is not to be synthesized, collation with the database is performed so as not to eliminate a blink of a star or the like, but it is determined to be a feature point to be synthesized. In some cases, the database may be checked against feature points that do not match the database. That is, the same process as step S16 (database collation process) in FIG. 7 may be inserted between the YES determination in step S14 and step S15.
以上、本発明のいくつかの実施形態を説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本件出願の特許請求の範囲に記載された発明を付記する。
As mentioned above, although several embodiment of this invention was described, this invention is not limited to these, The invention described in the claim, and its equal range are included.
The invention described in the claims of the present application will be appended below.
(付記1)
請求項1に記載の発明は、任意の撮影方向に存在する被写体群を任意の場所且つ任意の撮影画角で連続撮影する撮影手段と、
前記連続撮影された複数枚の画像を合成出力する画像合成手段と、
前記撮影方向を取得する方向取得手段と、
前記任意の場所の位置を現在位置として取得する位置取得手段と、
前記撮影画角を取得する画角取得手段と、
前記被写体群に含まれる個別被写体に関する座標情報を保持する情報保持手段と、
前記画像合成手段で画像の合成を行う際に、前記方向取得手段によって取得された撮影方向、前記位置取得手段によって取得された現在位置及び前記画角取得手段によって取得された撮影画角を手掛かりに前記情報保持手段に保持されている情報を参照して前記個別被写体の各々の合成を行うか否かを判定する判定手段と
を備えたことを特徴とする撮像装置である。
請求項1に記載の発明によれば、被写体に関する座標情報を参照して合成すべきか否かを判定するので、たとえば、チカチカと瞬く星を含む夜空の星々を不都合なく撮影でき、しかも、三脚等の固定具不要で手軽に撮影できる。
(Appendix 1)
The invention according to
Image synthesizing means for synthesizing and outputting a plurality of images taken continuously;
Direction acquisition means for acquiring the shooting direction;
Position acquisition means for acquiring the position of the arbitrary place as a current position;
An angle of view acquisition means for acquiring the shooting angle of view;
Information holding means for holding coordinate information related to individual subjects included in the subject group;
When synthesizing images by the image synthesizing unit, the shooting direction acquired by the direction acquiring unit, the current position acquired by the position acquiring unit, and the shooting angle of view acquired by the angle of view acquiring unit are used as clues. An image pickup apparatus comprising: a determination unit that determines whether to synthesize each individual subject with reference to information held in the information holding unit.
According to the first aspect of the present invention, since it is determined whether or not to synthesize with reference to the coordinate information about the subject, for example, stars in the night sky including a flickering star and a blinking star can be photographed without inconvenience, and a tripod or the like can be taken. You can shoot easily without the need for fixtures.
(付記2)
請求項2に記載の発明は、前記判定手段は、前記撮影方向、前記現在位置及び前記撮影画角を手掛かりに前記情報保持手段に保持されている情報を参照して画像内における前記個別被写体の各々の位置を算出し、各画像内に存在する被写体が、前記算出された位置と合致する位置に存在するか否かに応じて合成の可否を判定する第1の判定手段を含むことを特徴とする請求項1に記載の撮像装置である。
(Appendix 2)
According to a second aspect of the present invention, the determination unit refers to the information held in the information holding unit with the shooting direction, the current position, and the shooting angle of view as clues. 1st determination means which calculates each position and determines whether composition is possible according to whether a subject existing in each image exists in a position that matches the calculated position is included. The imaging apparatus according to
(付記3)
請求項3に記載の発明は、画像内に存在する複数の被写体の各々について、各画像間での移動方向および移動量を示す動きベクトルを算出する算出手段と、
複数の被写体の間で一定の相関性のある動きベクトルを特定する特定手段と、
を更に備え、
前記画像合成手段は、前記特定手段により特定された動きベクトルに応じて各画像の位置合わせを行って合成し、
前記判定手段は、前記特定手段により特定された動きベクトルと、個々の被写体の動きベクトルとの差に応じて合成の可否を判定する第2の判定手段を含むことを特徴とする請求項2に記載の撮像装置である。
(Appendix 3)
The invention according to
A specifying means for specifying a motion vector having a certain correlation among a plurality of subjects;
Further comprising
The image synthesizing unit performs synthesis by aligning each image according to the motion vector specified by the specifying unit,
The determination unit includes a second determination unit that determines whether or not composition is possible according to a difference between a motion vector specified by the specifying unit and a motion vector of each subject. It is an imaging device of description.
(付記4)
請求項4に記載の発明は、前記判定手段は、前記連続撮影で得られた複数の画像の全てに存在する被写体か一部だけに存在する被写体かに応じて合成の可否を判断する第2の判定手段を含むことを特徴とする請求項2に記載の撮像装置である。
(Appendix 4)
According to a fourth aspect of the present invention, in the second aspect, the determination unit determines whether or not the composition can be performed depending on whether the subject is present in all or a part of the plurality of images obtained by the continuous shooting. The imaging apparatus according to
(付記5)
請求項5に記載の発明は、前記判定手段は、前記第1の判定手段により合成を行わないと判定された画像内の被写体に対して、更に前記第2の判定手段による判定を行って最終的な合成の可否を判断することを特徴とする請求項3または請求項4に記載の撮像装置である。
(Appendix 5)
According to a fifth aspect of the present invention, the determination unit further performs a determination by the second determination unit for a subject in the image that is determined not to be combined by the first determination unit. The imaging apparatus according to
(付記6)
請求項6に記載の発明は、前記判定手段は、前記第1の判定手段により合成を行うと判定された画像内の被写体に対して、更に前記第2の判定手段による判定を行って最終的な合成の可否を判断することを特徴とする請求項3または請求項4に記載の撮像装置である。
(Appendix 6)
According to a sixth aspect of the present invention, the determination unit further performs determination by the second determination unit on the subject in the image determined to be combined by the first determination unit, and finally performs the determination. The imaging apparatus according to
(付記7)
請求項7に記載の発明は、前記被写体群は、時系列的に明るさが変化する個別被写体を含み、
前記判定手段は、当該明るさが変化する個別被写体に対応する情報が前記情報保持手段に含まれていた場合に、当該明るさが変化する個別被写体を合成すべきものであると判定することを特徴とする請求項1に記載の撮像装置である。
請求項7に記載の発明によれば、時系列に明るさが変化する被写体、たとえば、チカチカと瞬く星を含む夜空の星々を不都合なく撮影できる。
(Appendix 7)
In the invention according to
The determination unit determines that the individual subject whose brightness changes should be combined when the information holding unit includes information corresponding to the individual subject whose brightness changes. The imaging apparatus according to
According to the seventh aspect of the present invention, a subject whose brightness changes in time series, for example, stars in the night sky including a flickering star and a blinking star can be photographed without inconvenience.
(付記8)
請求項8に記載の発明は、前記被写体群は夜空の星々であって、前記判定手段は、当該夜空の星々のうち暗い星に対応する情報が前記情報保持手段に含まれていた場合に、当該暗い星を合成すべき被写体であると判定することを特徴とする請求項7に記載の撮像装置である。
請求項8に記載の発明によれば、チカチカと瞬く星を含む夜空の星々を不都合なく撮影できる。
(Appendix 8)
According to an eighth aspect of the present invention, when the subject group is stars in the night sky, and the determination unit includes information corresponding to a dark star among the stars in the night sky, the information holding unit includes: The imaging apparatus according to
According to the eighth aspect of the present invention, it is possible to photograph stars in the night sky including a flickering and blinking star without any inconvenience.
(付記9)
請求項9に記載の発明は、前記被写体群は、時系列的に明るさが変化する個別被写体を含み、
前記情報保持手段は、当該明るさが変化する個別被写体に対応する情報のみを保持することを特徴とする請求項1に記載の撮像装置である。
請求項9に記載の発明によれば、情報保持手段の情報量を少なくすることができる。
(Appendix 9)
According to a ninth aspect of the present invention, the subject group includes individual subjects whose brightness changes in time series,
The imaging apparatus according to
According to the ninth aspect of the present invention, the information amount of the information holding means can be reduced.
(付記10)
請求項10記載の発明は、任意の撮影方向に存在する被写体群を任意の場所且つ任意の撮影画角で連続撮影する撮影工程と、
前記連続撮影された複数枚の画像を合成出力する画像合成工程と、
前記撮影方向を取得する方向取得工程と、
前記任意の場所の位置を現在位置として取得する位置取得工程と、
前記撮影画角を取得する画角取得工程と、
前記被写体群に含まれる個別被写体に関する座標情報を保持する情報保持工程と、
前記画像合成工程で画像の合成を行う際に、前記方向取得工程によって取得された撮影方向、前記位置取得工程によって取得された現在位置及び前記画角取得工程によって取得された撮影画角を手掛かりに前記情報保持工程で保持されている情報を参照して前記個別被写体の各々の合成を行うか否かを判定する判定工程と
を含むことを特徴とする撮像方法である。
請求項10に記載の発明によれば、請求項1と同様に、被写体に関する座標情報を参照して合成すべきか否かを判定するので、たとえば、チカチカと瞬く星を含む夜空の星々を不都合なく撮影でき、しかも、三脚等の固定具不要で手軽に撮影できる。
(Appendix 10)
The invention according to
An image synthesizing step of synthesizing and outputting the plurality of images taken continuously;
A direction acquisition step of acquiring the shooting direction;
A position acquisition step of acquiring the position of the arbitrary place as a current position;
An angle of view acquisition step of acquiring the shooting angle of view;
An information holding step for holding coordinate information related to individual subjects included in the subject group;
When synthesizing images in the image composition step, the shooting direction acquired by the direction acquisition step, the current position acquired by the position acquisition step, and the shooting angle of view acquired by the angle of view acquisition step are used as clues. A determination step of determining whether to synthesize each of the individual subjects with reference to the information held in the information holding step.
According to the tenth aspect of the present invention, as in the first aspect, it is determined whether or not to synthesize with reference to the coordinate information regarding the subject. For example, the night sky stars including the flickering star and the blinking star can be obtained without inconvenience. You can shoot, and you can easily shoot without the need for a tripod or other fixture.
(付記11)
請求項11記載の発明は、撮像装置のコンピュータに、
任意の撮影方向に存在する被写体群を任意の場所且つ任意の撮影画角で連続撮影する撮影手段、
前記連続撮影された複数枚の画像を合成出力する画像合成手段、
前記撮影方向を取得する方向取得手段、
前記任意の場所の位置を現在位置として取得する位置取得手段、
前記撮影画角を取得する画角取得手段、
前記被写体群に含まれる個別被写体に関する座標情報を保持する情報保持手段、
前記画像合成手段で画像の合成を行う際に、前記方向取得手段によって取得された撮影方向、前記位置取得手段によって取得された現在位置及び前記画角取得手段によって取得された撮影画角を手掛かりに前記情報保持手段に保持されている情報を参照して前記個別被写体の各々の合成を行うか否かを判定する判定手段
としての機能を与えることを特徴とするプログラムである。
請求項11に記載の発明によれば、請求項1と同様に、被写体に関する座標情報を参照して合成すべきか否かを判定するので、たとえば、チカチカと瞬く星を含む夜空の星々を不都合なく撮影でき、しかも、三脚等の固定具不要で手軽に撮影できる。
(Appendix 11)
The invention according to
Photographing means for continuously photographing a subject group existing in an arbitrary photographing direction at an arbitrary place and an arbitrary photographing angle of view;
Image synthesizing means for synthesizing and outputting a plurality of images taken continuously;
Direction acquisition means for acquiring the shooting direction;
Position acquisition means for acquiring the position of the arbitrary location as a current position;
An angle of view acquisition means for acquiring the shooting angle of view;
Information holding means for holding coordinate information related to individual subjects included in the subject group;
When synthesizing images by the image synthesizing unit, the shooting direction acquired by the direction acquiring unit, the current position acquired by the position acquiring unit, and the shooting angle of view acquired by the angle of view acquiring unit are used as clues. The program is characterized by providing a function as a determination unit that determines whether or not to synthesize each individual subject with reference to information stored in the information storage unit.
According to the eleventh aspect of the invention, as in the first aspect, it is determined whether or not to synthesize with reference to the coordinate information about the subject. You can shoot, and you can easily shoot without the need for a tripod or other fixture.
1 撮像装置
25 撮像部(撮影手段)
36 位置検出部(位置取得手段)
37 姿勢検出部(方向取得手段)
43 中央制御部(画像合成手段、画角取得手段、判定手段、第1の判定手段、算出手段、特定手段、第2の判定手段)
43a CPU(コンピュータ)
44 データベース(情報保持手段)
1
36 position detector (position acquisition means)
37 Attitude detection unit (direction acquisition means)
43 Central control unit (image composition means, angle of view acquisition means, determination means, first determination means, calculation means, identification means, second determination means)
43a CPU (computer)
44 Database (information holding means)
Claims (13)
前記連続撮影された複数枚の画像を合成出力する画像合成手段と、
前記画像合成手段で画像の合成を行う際に、所定の基準に基づいて各画像内に存在する被写体の各々の合成を行うか否かを判定する判定手段と、
撮影対象となる複数の被写体の各々の存在位置を示す位置情報を保持する情報保持手段と、
を備え、
前記判定手段は、前記撮影手段により連続撮影された複数の被写体の中に、予め決められた状態が変化する個別被写体が含まれている場合において、前記情報保持手段に保持されている位置情報を参照して前記複数の被写体の各々の画像内の位置を特定し、前記個別被写体に対応する位置情報が前記情報保持手段に含まれていた場合に、当該個別被写体を合成すべきものであると判定する
ことを特徴とする撮像装置。 Photographing means for continuously photographing a plurality of subjects;
Image synthesizing means for synthesizing and outputting a plurality of images taken continuously;
A determination unit that determines whether or not to synthesize each of the subjects existing in each image based on a predetermined criterion when the image is synthesized by the image synthesis unit;
Information holding means for holding position information indicating the position of each of a plurality of subjects to be imaged;
With
In the case where an individual subject whose predetermined state changes is included in the plurality of subjects continuously photographed by the photographing unit, the determination unit obtains position information retained in the information retaining unit. The position of each of the plurality of subjects in the image is identified with reference, and when the information holding unit includes position information corresponding to the individual subjects, it is determined that the individual subjects should be combined. An imaging apparatus characterized by:
ことを特徴とする請求項1に記載の撮像装置。 The imaging apparatus according to claim 1, wherein the individual subject whose predetermined state changes is a subject whose brightness changes in time series.
前記予め決められた状態が変化する個別被写体は、当該夜空の星々のうち暗い星である
ことを特徴とする請求項2に記載の撮像装置。 The plurality of subjects continuously photographed by the photographing means are stars in the night sky,
The imaging apparatus according to claim 2, wherein the individual subject whose predetermined state changes is a dark star among the stars in the night sky.
前記連続撮影時の現在位置を取得する位置取得手段と、
を更に備え、
前記判定手段は、前記方向取得手段によって取得された撮影方向及び前記位置取得手段によって取得された現在位置を手掛かりに前記情報保持手段に保持されている位置情報を参照して前記複数の被写体の各々の画像内の位置を算出し、各画像内に存在する被写体が、前記算出された位置と合致する位置に存在するか否かに応じて合成の可否を判定する第1の判定手段を含むことを特徴とする請求項1乃至3のいずれかに記載の撮像装置。 Direction acquisition means for acquiring a shooting direction during the continuous shooting;
Position acquisition means for acquiring a current position at the time of continuous shooting;
Further comprising
The determination unit refers to the position information held in the information holding unit with the shooting direction acquired by the direction acquisition unit and the current position acquired by the position acquisition unit as a clue. A first determination unit that calculates a position in the image and determines whether or not a subject is present in each image according to whether or not the subject exists in a position that matches the calculated position. The imaging apparatus according to claim 1, wherein:
前記複数の被写体の各々について、前記連続撮影で得られた複数の画像の全てに存在する被写体か一部だけに存在する被写体かに応じて合成の可否を判断する第2の判定手段を含み、
前記第1の判定手段により合成を行わないと判定された画像内の被写体に対して、更に前記第2の判定手段による判定を行って最終的な合成の可否を判断する
ことを特徴とする請求項4に記載の撮像装置。 The determination means includes
For each of the plurality of subjects, including a second determination unit that determines whether or not the composition can be performed depending on whether the subject is present in all of the plurality of images obtained by the continuous shooting or only a part of the subject.
The determination by the second determination unit is further performed on the subject in the image determined not to be combined by the first determination unit to determine whether or not the final combination is possible. Item 5. The imaging device according to Item 4.
前記判定手段は、前記方向取得手段によって取得された撮影方向、前記位置取得手段によって取得された現在位置及び前記画角取得手段によって取得された撮影画角を手掛かりに前記情報保持手段に保持されている位置情報を参照して前記複数の被写体の各々の画像内の位置を算出し、各画像内に存在する被写体が、前記算出された位置と合致する位置に存在するか否かに応じて合成の可否を判定することを特徴とする請求項4または5に記載の撮像装置。 An angle-of-view acquisition means for acquiring an angle of view at the time of continuous shooting;
The determination unit is held in the information holding unit with the shooting direction acquired by the direction acquisition unit, the current position acquired by the position acquisition unit, and the shooting angle of view acquired by the view angle acquisition unit as clues. The position of each of the plurality of subjects in the image is calculated with reference to the position information, and synthesis is performed according to whether or not the subject existing in each image exists at a position that matches the calculated position. 6. The imaging apparatus according to claim 4, wherein whether or not it is possible is determined.
前記連続撮影された複数枚の画像を合成出力する画像合成手段と、
前記画像合成手段で画像の合成を行う際に、所定の基準に基づいて各画像内に存在する被写体の各々の合成を行うか否かを判定する判定手段と、
撮影対象となる複数の被写体の各々に対応する情報を保持する情報保持手段と
を備え、
前記判定手段は、前記撮影手段により連続撮影された複数の被写体の中に、予め決められた状態が変化する個別被写体が含まれている場合において、前記個別被写体に対応する情報が前記情報保持手段に含まれていた場合に、当該個別被写体を合成すべきものであると判定し、
前記情報保持手段は、前記予め決められた状態が変化する個別被写体に対応する情報のみを保持する
ことを特徴とする撮像装置。 Photographing means for continuously photographing a plurality of subjects;
Image synthesizing means for synthesizing and outputting a plurality of images taken continuously;
A determination unit that determines whether or not to synthesize each of the subjects existing in each image based on a predetermined criterion when the image is synthesized by the image synthesis unit;
Information holding means for holding information corresponding to each of a plurality of subjects to be photographed,
In the case where an individual subject whose predetermined state changes is included in the plurality of subjects continuously photographed by the photographing unit, the determination unit includes information corresponding to the individual subject as the information holding unit. If it is included, the individual subject should be determined to be synthesized,
The information holding unit holds only information corresponding to an individual subject whose predetermined state changes.
複数の被写体の間で一定の相関性のある動きベクトルを特定する特定手段と、
を更に備え、
前記画像合成手段は、前記特定手段により特定された動きベクトルに応じて各画像の位置合わせを行って合成し、
前記判定手段は、前記特定手段により特定された動きベクトルと、個々の被写体の動きベクトルとの差に応じて合成の可否を判定する第2の判定手段を含むことを特徴とする請求項1乃至8のいずれかに記載の撮像装置。 Calculating means for calculating a motion vector indicating a moving direction and a moving amount between the images for each of a plurality of subjects existing in the image;
A specifying means for specifying a motion vector having a certain correlation among a plurality of subjects;
Further comprising
The image synthesizing unit performs synthesis by aligning each image according to the motion vector specified by the specifying unit,
2. The determination unit according to claim 1, further comprising a second determination unit that determines whether or not the composition can be performed according to a difference between a motion vector specified by the specification unit and a motion vector of each subject. The imaging apparatus according to any one of 8.
前記連続撮影された複数枚の画像を合成出力する画像合成工程と、
前記画像合成工程で画像の合成を行う際に、所定の基準に基づいて各画像内に存在する被写体の各々の合成を行うか否かを判定する判定工程と、
を含み、
前記判定工程は、前記撮影工程により連続撮影された複数の被写体の中に、予め決められた状態が変化する個別被写体が含まれている場合において、撮影対象となる複数の被写体の各々の存在位置を示す位置情報を保持する情報保持手段に保持されている位置情報を参照して前記複数の被写体の各々の画像内の位置を特定し、前記個別被写体に対応する位置情報が前記情報保持手段に含まれていた場合に、当該個別被写体を合成すべきものであると判定する
を含むことを特徴とする撮像方法。 A shooting process for continuously shooting a plurality of subjects;
An image synthesizing step of synthesizing and outputting the plurality of images taken continuously;
A determination step of determining whether or not to combine each of the subjects existing in each image based on a predetermined reference when combining the images in the image combining step;
Including
In the determination step, in the case where an individual subject whose predetermined state changes is included in the plurality of subjects continuously photographed in the photographing step, the respective positions of the plurality of subjects to be photographed The position information stored in the information holding means for holding the position information indicating the position of each of the plurality of subjects in the image is specified, and the position information corresponding to the individual subject is stored in the information holding means. If it is included, it is determined that the individual subject is to be synthesized.
複数の被写体を連続撮影する撮影手段、
前記連続撮影された複数枚の画像を合成出力する画像合成手段、
前記画像合成手段で画像の合成を行う際に、所定の基準に基づいて各画像内に存在する被写体の各々の合成を行うか否かを判定する判定手段、
撮影対象となる複数の被写体の各々の存在位置を示す位置情報を保持する情報保持手段、
として機能させ、
前記判定手段は、前記撮影手段により連続撮影された複数の被写体の中に、予め決められた状態が変化する個別被写体が含まれている場合において、前記情報保持手段に保持されている位置情報を参照して前記複数の被写体の各々の画像内の位置を特定し、前記個別被写体に対応する位置情報が前記情報保持手段に含まれていた場合に、当該個別被写体を合成すべきものであると判定する
ことを特徴とするプログラム。 In the computer of the imaging device,
Shooting means for continuously shooting a plurality of subjects,
Image synthesizing means for synthesizing and outputting a plurality of images taken continuously;
A determination unit that determines whether or not to synthesize each of the subjects existing in each image based on a predetermined reference when the image is synthesized by the image synthesis unit;
Information holding means for holding position information indicating the position of each of a plurality of subjects to be imaged;
Function as
In the case where an individual subject whose predetermined state changes is included in the plurality of subjects continuously photographed by the photographing unit, the determination unit obtains position information retained in the information retaining unit. The position of each of the plurality of subjects in the image is identified with reference, and when the information holding unit includes position information corresponding to the individual subjects, it is determined that the individual subjects should be combined. A program characterized by
前記連続撮影された複数枚の画像を合成出力する画像合成工程と、
前記画像合成工程で画像の合成を行う際に、所定の基準に基づいて各画像内に存在する被写体の各々の合成を行うか否かを判定する判定工程と、
を含み、
前記判定工程は、前記撮影工程により連続撮影された複数の被写体の中に、予め決められた状態が変化する個別被写体が含まれている場合において、前記個別被写体に対応する情報が、撮影対象となる複数の被写体の各々に対応する情報を保持する情報保持手段に含まれていた場合に、当該個別被写体を合成すべきものであると判定し、
前記情報保持手段は、前記予め決められた状態が変化する個別被写体に対応する情報のみを保持する
ことを特徴とする撮像方法。 A shooting process for continuously shooting a plurality of subjects;
An image synthesizing step of synthesizing and outputting the plurality of images taken continuously;
A determination step of determining whether or not to combine each of the subjects existing in each image based on a predetermined reference when combining the images in the image combining step;
Including
In the determination step, when an individual subject whose predetermined state changes is included in a plurality of subjects continuously photographed in the photographing step , information corresponding to the individual subject is determined as a subject to be photographed. If the information holding means for holding information corresponding to each of a plurality of subjects, it is determined that the individual subjects should be combined,
The imaging method according to claim 1, wherein the information holding unit holds only information corresponding to the individual subject whose predetermined state changes.
複数の被写体を連続撮影する撮影手段、
前記連続撮影された複数枚の画像を合成出力する画像合成手段、
前記画像合成手段で画像の合成を行う際に、所定の基準に基づいて各画像内に存在する被写体の各々の合成を行うか否かを判定する判定手段、
撮影対象となる複数の被写体の各々に対応する情報を保持する情報保持手段、
として機能させ、
前記判定手段は、前記撮影手段により連続撮影された複数の被写体の中に、予め決められた状態が変化する個別被写体が含まれている場合において、前記個別被写体に対応する情報が前記情報保持手段に含まれていた場合に、当該個別被写体を合成すべきものであると判定し、
前記情報保持手段は、前記予め決められた状態が変化する個別被写体に対応する情報のみを保持する
ことを特徴とするプログラム。
In the computer of the imaging device,
Shooting means for continuously shooting a plurality of subjects,
Image synthesizing means for synthesizing and outputting a plurality of images taken continuously;
A determination unit that determines whether or not to synthesize each of the subjects existing in each image based on a predetermined reference when the image is synthesized by the image synthesis unit;
Information holding means for holding information corresponding to each of a plurality of subjects to be imaged;
Function as
In the case where an individual subject whose predetermined state changes is included in the plurality of subjects continuously photographed by the photographing unit, the determination unit includes information corresponding to the individual subject as the information holding unit. If it is included, the individual subject should be determined to be synthesized,
The information holding means holds only information corresponding to an individual subject whose predetermined state changes.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011031534A JP5772044B2 (en) | 2011-02-17 | 2011-02-17 | Imaging apparatus, imaging method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011031534A JP5772044B2 (en) | 2011-02-17 | 2011-02-17 | Imaging apparatus, imaging method, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012170029A JP2012170029A (en) | 2012-09-06 |
JP2012170029A5 JP2012170029A5 (en) | 2014-02-20 |
JP5772044B2 true JP5772044B2 (en) | 2015-09-02 |
Family
ID=46973670
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011031534A Expired - Fee Related JP5772044B2 (en) | 2011-02-17 | 2011-02-17 | Imaging apparatus, imaging method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5772044B2 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4282113B2 (en) * | 1998-07-24 | 2009-06-17 | オリンパス株式会社 | IMAGING DEVICE, IMAGING METHOD, AND RECORDING MEDIUM CONTAINING IMAGING PROGRAM |
JP4050498B2 (en) * | 2001-11-07 | 2008-02-20 | オリンパス株式会社 | Image synthesizer |
JP2006279135A (en) * | 2005-03-28 | 2006-10-12 | Nec Corp | Starry-sky photographic device camera and method for photographing starry sky and program |
JP2007089087A (en) * | 2005-09-26 | 2007-04-05 | Casio Comput Co Ltd | Astronomical object imaging device |
-
2011
- 2011-02-17 JP JP2011031534A patent/JP5772044B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012170029A (en) | 2012-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105594191B (en) | Imaging device, image processing device, and image processing method | |
US20170163918A1 (en) | Image capturing device and method | |
JP5742465B2 (en) | Astronomical auto tracking imaging method and astronomical auto tracking imaging device | |
CN101909152B (en) | Imaging device | |
JP5590121B2 (en) | Astronomical tracking method and camera | |
JP6257377B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
CN103907340A (en) | Image generation device and image generation method | |
JP2007089087A (en) | Astronomical object imaging device | |
CN104469136A (en) | Imaging Apparatus, Imaging Method And Recording Medium | |
CN112261294B (en) | Shooting method and device and electronic equipment | |
CN101315509B (en) | Imaging apparatus | |
KR102131369B1 (en) | Method and apparatus for composing images of celestial bodies | |
CN102164244B (en) | Image shooting device | |
JP2015118213A (en) | Image processing apparatus, imaging apparatus including the same, image processing method, program, and storage medium | |
JP5772044B2 (en) | Imaging apparatus, imaging method, and program | |
JP2012089960A (en) | Camera equipped with camera shake preventing mechanism | |
JP2003296329A (en) | Information providing device, information providing method and information processing program | |
CN112887619A (en) | Shooting method and device and electronic equipment | |
US9420192B2 (en) | Image pickup apparatus, and image correction method | |
JP3569097B2 (en) | Imaging device and digital still camera | |
US11899195B2 (en) | Information technology based astronomical telescope system | |
JP2012227717A (en) | Display device, display program, and display method | |
JP5663682B2 (en) | Imaging apparatus and imaging method | |
JP2015213338A (en) | Imaging apparatus | |
CN102761703A (en) | Display device and display program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131227 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140821 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140826 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150330 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150513 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150615 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5772044 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |