JP6736282B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP6736282B2 JP6736282B2 JP2015223666A JP2015223666A JP6736282B2 JP 6736282 B2 JP6736282 B2 JP 6736282B2 JP 2015223666 A JP2015223666 A JP 2015223666A JP 2015223666 A JP2015223666 A JP 2015223666A JP 6736282 B2 JP6736282 B2 JP 6736282B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- locus
- trajectory
- unit
- comparative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 94
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000000034 method Methods 0.000 claims description 116
- 230000000052 comparative effect Effects 0.000 claims description 99
- 239000002131 composite material Substances 0.000 claims description 91
- 230000008569 process Effects 0.000 claims description 82
- 239000000203 mixture Substances 0.000 claims description 81
- 238000001514 detection method Methods 0.000 claims description 66
- 238000000605 extraction Methods 0.000 claims description 24
- 239000000654 additive Substances 0.000 claims description 19
- 230000000996 additive effect Effects 0.000 claims description 19
- 230000015572 biosynthetic process Effects 0.000 claims description 15
- 238000003786 synthesis reaction Methods 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 10
- 230000001133 acceleration Effects 0.000 claims description 7
- 230000005484 gravity Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 description 26
- 230000002194 synthesizing effect Effects 0.000 description 24
- 238000007689 inspection Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 241000254158 Lampyridae Species 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 230000001186 cumulative effect Effects 0.000 description 6
- 238000010191 image analysis Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000000470 constituent Substances 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- WFDDMRRZEHUPCP-UHFFFAOYSA-N Nc1ccc(Sc2ccc(Sc3ccc(N)cc3)s2)cc1 Chemical compound Nc1ccc(Sc2ccc(Sc3ccc(N)cc3)s2)cc1 WFDDMRRZEHUPCP-UHFFFAOYSA-N 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
- G06V20/47—Detecting features for summarising video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/80—Recognising image objects characterised by unique random patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Studio Devices (AREA)
- Camera Data Copying Or Recording (AREA)
- Image Processing (AREA)
Description
近年市販されているデジタルカメラでは連続的に撮影した複数コマの画像に対して、デジタルカメラ内での画像処理機能や、撮影後にPC(Personal Computer)を用いた画像処理ソフトによる画像合成機能を用いて加算合成や比較明合成処理を施して、上述した光の軌跡を撮影した1枚の写真として合成する方法が行われている。
たとえば、特許文献1では、連続的に撮影した複数コマの画像に比較明合成処理を施し、光の軌跡を撮影できるカメラが提案されている。このカメラは、PCなどを用いて撮影後に合成処理を行うことに比べて、カメラが撮影をしながら自動で合成処理を行うため、簡単に光の軌跡を撮影することができる。一方、PCによって撮影後に合成処理を行う場合には、合成するコマ数を変更して合成することで好みの長さの軌跡が写った写真に合成したり、カメラに内蔵された画像処理プログラムにはない様々な画像処理機能を使用することができ、詳細な画質調整で撮影者の好みに合った写真を生成することができる。
以下に添付図面を参照して、この発明に係る画像処理装置の実施の形態を詳細に説明にする。以下に示す実施形態は本発明の画像処理装置を用いたデジタルカメラに適用した例である。
(第1実施形態)
まず、本実施形態に係るデジタルカメラの構成について図1を用いて説明する。図1はデジタルカメラ内部のブロック図を示したものである。本発明のデジタルカメラ1は撮像部12、操作部10、表示部11、画像処理部14、記録部15、制御部13を有する。撮像部12は、図示はしないが、レンズ、シャッター、撮像素子から構成される。レンズは撮像素子に被写体像を結像する撮影光学系である。また、レンズの内部には絞り機構を備えており、絞り機構により絞り開口量を調節することによって、撮像素子に入射する光量を調節する。シャッターはレンズと撮像素子の間に配置されており、シャッターの開閉状態を切り替えることにより撮像素子への光の遮光、入射の制御、および入射時間(シャッター速度)を制御する。撮像素子はCCDイメージセンサやCMOSイメージセンサであり、2次元状に配置された多数の画素に入射した光学像を、個々の画素毎にその光の強さに応じた電気信号(映像信号)に変換する。そしてこの個々の画素毎に対応する電気信号をデジタル出力値に変換して、画像データとして出力する。操作部10は、図示はしないが各種の釦や操作メニューを選択するダイヤル操作部や、表示部11に一体に構成されたタッチパネルなどによる操作入力手段であり、撮影者がデジタルカメラ1を操作するための入力IF(インターフェイス)に相当する。表示部11は液晶パネルや有機EL(Electro Luminescence)ディスプレイであって、デジタルカメラの操作メニューや、ライブビュー撮影時におけるライブビュー画像の表示、および撮影画像を再生表示する。画像処理部14は画像合成部16と画像分析部17と画素アドレス置き換え部18と現像処理部19を備える。画像合成部16は撮像部12で撮影された複数コマの画像データや、記録部15に保存された複数コマの画像データを合成処理し、合成処理後の画像データである合成画像データを生成する。画像合成部16は、複数の画像合成処理を行う手段を含むものであって、具体的には、比較明合成部161、比較暗合成部163、加算合成部162、平均合成部164を備える。
比較明合成部161は合成する複数コマの画像データに対して、それぞれの同じアドレスの画素データの出力を比較して、比較により一番大きい画素データの出力を合成後の画像データの画素出力とする合成処理を施す。(画素出力が等しい場合はその出力を合成後の画像データとする。)
比較暗合成部163は合成する複数コマの画像データに対して、それぞれの同じアドレスの画素データの出力を比較して、比較により一番小さい画素データの出力を合成後の画像データの画素出力とする合成処理を施す。(画素出力が等しい場合はその出力を合成後の画像データとする。)
加算合成部162は合成する複数コマの画像データに対して、それぞれの同じアドレスの画素データを加算した値を合成後の画像データの画素出力とする合成処理を施す。
平均合成部164は合成する複数コマの画像データに対して、それぞれの同じアドレスの画素データを平均した値を合成後の画像データの画素出力とする合成処理を施す。
また画素アドレス置き換え部18は、後述する画像分析部17の分析結果によって、合成前の画像データ(撮像部12から逐次取得される画像データに相当)または画像合成部16が生成した合成後の画像データから、不要な光の軌跡を背景の画素出力に置き換える処理を施す。詳しい動作については後述する。
(第1実施形態の作用説明)
次に、本発明のデジタルカメラの動作について図2から図6を用いて説明する。本実施の形態の動作シーケンスは、連続的に撮像部12から画像データを撮影して、撮影した複数コマの画像データを合成する連続撮影モードが選択されている場合の動作を示している。まず制御部13の指示によって撮像部12が連続撮影を開始し、撮像部12から画像データが読み出され、読み出された画像データは、画像データ記録部151に保存される(S1)。
次に制御部13は、撮像部12から読み出されたNコマ目の画像が連続撮影開始後2コマ目以降の撮影画像データか否かを判定する(S2)。S2の判定処理において、もし撮影画像データが1コマ目の画像データであれば(NO)、次の処理として、2コマ目以降の画像データが読み出されるまで以降(S3,S7以降)の処理は行わない。(再度上述S1の処理に戻る)。一方、撮像部12から2コマ目以降の画像データが読み出されると(YES)、次の処理は、画像処理部14において以降のS401〜S51またはS405〜S52の処理とS7〜S53の処理を並行して実施する。
まずS3〜S51及びS3〜S52の動作について説明する。まずS3の処理で、読み出された画像が2コマ目であったとき(YES)は、1コマ目の画像について、画素アドレス抽出部171で明るい画素アドレスを抽出する。具体的にはあるスレッシュレベル以上の出力となる画素の画素アドレスを抽出する(S401)。ここでスレッシュレベルは撮影者が操作部10を介して指定しても良いし、または、カメラ内で事前に設定された初期値を使用しても良い。S401の処理では、明るい画素アドレスの抽出は例えば2次元状に配列された画素出力データについて一番左上の画素から検査を開始し、右側に順次検査をしていく。そして、1行目の検査が終了したら、次の行について同様に左端の画素から順次検査をしていき、最後の画素アドレスである一番下の行の右端の画素まで、全画素について検査する。さらに、最後の画素アドレスまで検査が完了すると(S402)、2コマ目の画像データについてS401及びS402と同様の処理で明るい画素アドレスを抽出する(S403、S404)。次に、1コマ目、2コマ目の画像データそれぞれについて、抽出された画素アドレスについてグループ割付部172で、グループ割付処理を行う(S51)。
ここで、グループ割付処理(S51)の詳細な動作シーケンスを、図3を用いて説明する。まず抽出された複数の明るい画素アドレスの中で、座標がもっとも小さい画素アドレスにグループG1を割り付ける(S31)。(具体的にはX座標が最も小さいアドレスについて、Xアドレスが同じ画素が複数ある場合は、さらにY座標が小さいものを優先して割付処理を行っていくようにする)。次に、グループG1に割付けた画素アドレスの上下左右及び斜めの隣接画素について、グループ割付けがまだされておらず、抽出された明るい画素があるかを探索する(S32)。
S32の探索処理において、隣接画素に明るい画素があった場合(S33:YES)、この隣接画素にも同じグループG1を割り付ける(S35)。次の処理として、グループ割付されていない明るい画素が残っているか否かを判定処理する(S36)。この判定処理において、グループ割付されていない明るい画素がある場合(S36:NO)は、再度S32の処理に戻り、引き続きG1を割付けた明るい画素の上下左右斜めの隣接画素について、まだグループ割付けをされていない明るい画素があるかを検査する(S32)。この検査処理において、まだグループ割付けをされていない明るい画素がある場合については(S33:YES)、その画素アドレスにグループG1を割り付ける。一方S33の検査処理において、隣接する画素がない場合は(S33:NO)、まだグループ割付けをされていない明るい画素アドレスのうち、X座標がもっとも小さい画素アドレスに、新たなグループとしてグループG2を割り付ける処理に移行する(グループG1の次はグループG2、Gmの後はGm+1を割り付けていく(mは1以上の正数) )(S34)。G2についてもG1同様にG2に割り付けた画素アドレスの隣接画素についてグループ割付けをまだされておらず、明るい画素があるかを検査する。このようにして、抽出された明るい画素アドレス全てについてグループ割付けを行う。全ての抽出された明るい画素アドレスについてグループ割付けが完了したところで(S36:YES)、グループ割付処理が完了する。
ここで比較暗合成処理について説明する。比較暗合成とは、合成する複数の画像データの同じアドレスの出力を比較して、もっとも小さい出力を合成後の画素出力とする画像合成方法である。
N-1コマ目の画像データのアドレス( x , y )の画素出力をN-1( x , y)
Nコマ目とN-1コマ目の画像データを比較暗合成した合成画像データのアドレス( x , y )の画素出力をN〜N-1 compD( x , y)とすると、比較暗合成処理は数式1で表せる。
N〜N-1 compD( x , y) = min [ N( x , y) , N-1( x , y) ]
ここで、min [ a , b ] は数値a及び数値bのうち、小さい方の値を出力する関数と定義する。
次に比較暗合成画像N〜N-1 compD( x , y)について画素アドレス抽出部171で明るい画素を抽出する(S407)。具体的には所定のスレッシュレベル以上の出力となる画素の画素アドレスを抽出する。ここでスレッシュレベルはS401、S403、S405の処理で用いる値と同じ値を用いても良いし、撮影者が操作部10を通して指定した値を用いても良いし、または、カメラ内で事前に設定された値を使用しても良い。次にS402、S404、S406同様に、画像の左上から検査を開始して、最後の画素となる画像の右下までについて明るい画素か否かを検査する。検査が完了する(S408:YES)と、比較暗合成画像N〜N-1 compD( x , y)の明るい画素について、グループ割付部172でS51、S52及び図3で示した方法と同様の方法でグループ割付けを行う(S53)。
次に、Nコマ目の画像と、比較暗合成画像N〜N-1 compD( x , y)についてグループ割付けした各グループを光の軌跡として、軌跡分析部174で軌跡の移動速度を分析し、軌跡検出部173で移動速度の速いものと遅いもの(動きのないものを含む)と、を検出する(S8)。具体的な方法を、図4を用いて説明する。
ここで、Nコマ目の画像についてグループ割付けした各グループを、
G1-N, G2-N, G3-N, G4-N, G5-N,・・・,Gm-N (mは1以上の整数、NはNコマ目を示す)
ここで、NとN-1コマ目の比較暗合成画像についてグループ割付けした各グループを、
G1-NcompD,G2-NcompD, G3-NcompD, ・・・,Gl-NcompD (lは1以上の整数)
と定義する。
まず、N=2つまり2コマ目の処理であった場合は(S41:YES)、1コマ目の画像データと2コマ目の画像データを比較明合成部161で合成した比較明合成画像データまたは、加算合成部162で合成した加算合成画像データをNコマ目の画像データとして以降の処理を行う(S42)。3コマ目以降の処理であった場合には(S41:NO)、合成を行っていないNコマ目の画像データを処理する。
次に、軌跡分析部174でNコマ目の最初のグループG1-Nに含まれる画素アドレスについて、比較暗合成画像の全ての抽出グループ(G1-NcompD〜Gl-NcompD)の何れかの画素アドレスを含んでいるかを分析する(S44)。ここで、比較暗合成画像データで抽出された明るい画素のグループの画素アドレスを含んでいるという分析結果が得られた場合(S44:YES)は、このグループG1-Nをを軌跡検出部173で低速で移動する軌跡“低速度軌跡“であると検出する(S45)。
一方S44の検査処理において、比較暗合成画像の抽出グループの画素アドレスを含んでいないと分析された場合(S44:NO)は、このグループG1-Nを軌跡検出部173で高速で移動する軌跡“高速度軌跡“であると検出する(S46)。この方法で低速または高速で移動する軌跡と検出する理由については後述する。次のグループG2-Nの画素アドレスについて同様に比較暗合成画像データの全ての抽出グループの何れかの画素アドレスを含んでいるかを検査する(S44)。この検査をNコマ目の全てのグループについて実施し、”低速度軌跡”または”高速度軌跡”のいずれかとして検出する。Nコマ目の最後のグループまで検出を終えると(S47:YES)、次の処理に移行する。
次にNコマ目画像データの各グループGl-N(lは1以上の整数)について、“高速度軌跡“に検出されているかどうかを検査する(S48)。 S48の検査処理において、”高速度軌跡”に検出された(S48:YES)画素グループの画素アドレスをNコマ目画像データの置き換え画素アドレスとして画素アドレス記録部152に登録する(S49)
一方、S48の検査処理において、“低速度軌跡“に検出されている画素グループについては特に登録せずに次の画素グループの検査を行う(S410以降の処理に移行)。この処理では詳細は後述するが、S48の検査処理において、”高速度軌跡”に検出された高速で移動する光の軌跡(飛行機などの軌跡)を最終的な合成画像から除外する対象として、画素アドレスを画素アドレス記録部152に登録する。Nコマ目の画像データの最後のグループまで検査を終了したら(S410:YES)、軌跡の検出を終了する。
ここで、N=2の場合には、1コマ目と2コマ目の画像データの合成画像データをNコマ目の画像として処理する旨説明したが、1コマ目、2コマ目のそれぞれの画像データそれぞれについて、軌跡分析、検出処理を行い、置き換え画素アドレスの登録を行ってもよい。
ここで、比較暗合成画像データのグループを含んでいると低速度で移動する軌跡であると判断する理由について図5を用いて説明する。例えば星の軌跡(図5-aのST)を撮影中に飛行機の光の軌跡(図5-aのAP)が写りこんだ場合を例示する。図5-aと図5-bは連写して撮影したN-1コマ目とNコマ目の画像を示している。一般的に地球の自転による星の移動と比べて飛行機の移動速度は速い。また、デジタルカメラで連写撮影した場合にはN-1コマ目の撮影終了とNコマ目の撮影開始までに撮影を行っていない未露光期間が発生する。
具体的には、N-1コマ目撮影終了後に一度メカシャッタを閉じて、Nコマ目の撮影開始時に開く動作を行うため、メカシャッタを閉じて、撮影をしていない期間が約0.1sec程度発生し、これが未露光期間となる。
ここで画像図5-cに写った飛行機の軌跡が写った部分を拡大して表示した図5-dと、星の光の軌跡が写った部分を拡大して表示した図5-eに示す。さらに図5-d、図5-eには、仮想的にN-1コマ目、Nコマ目に写るそれぞれの光の軌跡を表示する。まず図5-dのN-1コマ目に写る飛行機の軌跡AP-N-1、Nコマ目に写る飛行機の軌跡AP-Nでは、飛行機は早く移動するため、未露光期間によって、AP-N-1とAP-Nの間に軌跡の途切れ部分が発生する。
一方、図5-eでは星の移動は非常にゆっくり移動するためN-1コマ目に写る星の軌跡ST-N-1とNコマ目に写る星の軌跡ST-Nの間は途切れることなく、重複する部分ST-compDが発生する。N-1コマ目とNコマ目の画像データを比較暗合成すると図5-fに示すように、飛行機の軌跡については背景の夜空の明るさが反映されるため、軌跡が写らない。
一方、星の軌跡についてはN-1コマ目とNコマ目の星の軌跡のうち重複する部分(ST-compD)が明るい点として写る。星の軌跡について重複しない部分については、比較暗合成すると背景の夜空の明るさが反映される。このようにして、移動速度の遅い星の軌跡については、比較暗合成すると軌跡の重複部分が明るく写る。一方、移動速度の速い飛行機の光の軌跡は写らない。
図4に示した軌跡の検出は、この現象を利用して、比較暗合成画像データに写った明るい画素のグループ(つまりN-1コマ目とNコマ目の軌跡の重複部分)を含む明るい画素グループを低速度で移動する軌跡(星の軌跡やその他移動しない明るい被写体)、それ以外のグループを高速で移動する軌跡(飛行機など光の軌跡)として検出している。
次に登録した合成画像データを作成する(図2のS9)。合成画像データを生成する処理の詳細なシーケンスを図6で説明する。まず、2コマ目の画像データの処理であった場合(S61:YES)は、
1コマ目の各画素アドレスと画素アドレス記録部152に記録された1コマ目と2コマ目の合成画像について登録した置き換え画素アドレスを比較処理し、各画素アドレスが置き換え画素アドレスと一致するか否かを検査する(S621)。この検査処理の結果、両者のアドレスが一致する画素は画素アドレス置き換え部18にて、この画素の出力を1コマ目と2コマ目の比較暗合成画像1〜2 compD( x , y)の同じ画素アドレスの出力に置き換える(S622)。次に、画素アドレス記録部152に登録した全ての置き換え画素アドレスの置き換えが完了したら(S623:YES)、2コマ目の画像データについてもS621〜S623と同様にして置き換え画素アドレスの画素出力の置き換えを行う(S631〜633)。次に、画素アドレス記録部152に登録した全ての置き換え画素アドレスの置き換えが完了したら(S633)、次の処理に移行する。画素出力の置き換えをした1コマ目の画像データと2コマ目の画像データを合成する(S65)。ここで合成とは、光の軌跡を合成画像の残すための合成処理であって、加算合成部162による加算合成処理や比較明合成部161による比較明合成処理を行うものである。合成方法の詳細については後述する。合成が完了すると合成画像データを累積合成画像データとして画像データ記録部151に記録し、次のコマ(N=3)との合成に使用する。
次に、N≧3つまり3コマ目以降(S61:NO)の処理について説明する。Nコマ目の各画素アドレスと画素アドレス記録部152に記録されたNコマ目の置き換え画素アドレスが一致するか否かを比較する(S642)。この比較処理の結果、両者のアドレスが一致する場合は、画素アドレス置き換え部18にて、この画素の出力をNコマ目とN-1コマ目の比較暗合成画像N〜N-1 compD( x , y)の同じ画素アドレスの出力に置き換える(S642)。
次に、画素アドレス記録部152に登録した全ての置き換え画素アドレスの置き換えが完了したら(S643:YES)、次の処理に移行する。画素出力の置き換えをしたNコマ目の画像データと画像データ記録部151に保存された1コマ目からN-1コマ目までの累積合成画像データを合成する(S66)。ここでの合成とは、S65同様に加算合成または比較明合成である。合成が完了すると合成画像データを累積合成画像データとして画像データ記録部151に保存し、次のコマ(N+1)との合成に使用する。
ここで、加算合成と比較明合成について詳細を説明する。加算合成とは合成する複数の画像データの同じアドレスの画素出力を加算した出力を合成後の画素出力とする合成方法であって、背景の明るさも含めて画像全体が合成する毎に明るくしていく処理であり、合成する枚数を調節することで光の軌跡の長さと合わせて画像全体の明るさを調整することができる。
具体的には、Hコマ目の画像データのアドレス( x , y )の画素出力をH( x , y)
H-1コマ目とHコマ目の加算合成画像データのアドレス( x , y )の画素出力をH〜H-1compS(x,y)とすると、加算合成は数式2で表せる。
H〜H-1compS(x,y) = H-1(x,y) + H(x,y)
比較明合成とは合成する複数の画像データの同じアドレスの画素出力の大小を比較し、大きい方の出力を合成後の画素出力とする合成方法である。比較明合成の合成処理を用いると、合成前の各コマを同じ露出で撮影すれば、合成するコマ数が増えても各コマで明るさの変わらない背景部分の明るさはそのままで、光の軌跡だけが延びていく。この合成処理では、加算合成とは異なり、背景の明るさを気にすることなく、好みの長さの光の軌跡を撮影できる合成方法である。
具体的には、Hコマ目とH-1コマ目の比較明合成画像データのアドレス( x , y )の画素出力をH〜H-1compB(x,y)とすると、数式3で表せる。
H〜H-1compB(x,y) = max [ H-1(x,y) , H(x,y) ]
ただし、max[a,b] は、数値aと数値bで大きい方の値を出力とする関数と定義する。
合成処理手段として、加算合成を行うか、比較明合成を行うかまたはその両方を並行して同時に行うかは撮影者が操作部10を介して設定することができるようにカメラに制御プログラムを記録部15に記録しておく。
例えば1コマ目からNコマ目までの各画像データを画像データ記録部151に保存すれば、撮影終了後に好きな画像データを選択して合成することができるため、撮影者の好みの合成画像データが生成できる。また、合成途中の画像データを記録しておけば撮影後に好みの軌跡の長さの合成画像データを選択することができる。一方、1コマ目からNコマ目までの合成画像データのみを記録する場合には、記録部に記録するデータ量を小さくすることができ、例えば撮影の途中でメモリ容量が足りなくなるなどの問題が発生しなくなる。
Hコマ目とH-1コマ目の平均合成画像データのアドレス( x , y )の画素出力をH〜H-1compA(x,y)とすると、数式4で表せる。
H〜H-1compA(x,y) = ave[ H-1(x,y) , H(x,y) ]
ただし、ave[ a , b ] は、数値aと数値bの平均値を出力とする関数と定義する。
Nコマ目とN-1コマ目の平均出力で置き換えることで、光の軌跡よりも背景の明るさに近い出力で置き換えをすることができるので飛行機の光の軌跡を目立たなくすることができ、比較暗合成画像と同様に飛行機の光の軌跡を合成画像から除外する効果がある。例えば、画像合成部16をASIC(Application Specific Integrated Circuit)などの内部回路の書き換えが不可能なICを用いてデジタルカメラを構成する必要がある場合に、使用するASICが平均合成処理には対応しているが、比較暗合成には対応していない場合などには、ASICに機能搭載している平均合成処理で置き換え画素アドレスの置き換え処理を行うことが可能になる。
このように、本実施形態においては、光の軌跡の移動速度によって、高速で移動する光の軌跡と低速度で移動する光の軌跡を検出することができる。また、検出した光の軌跡について、高速に移動する光の軌跡に相当する画素アドレスを背景の明るさに置き換えることにより、合成画像データから高速に移動する軌跡を除外することができる。
例えば、Iコマ毎(例えばIは2以上の整数)に、Iコマの画像データの比較暗合成画像データを用いて、Iコマの比較明合成画像データまたは加算合成画像データについての軌跡の検出を行い、画素アドレスの置き換えを行うようにしても良い。このようにすることで、一コマ毎に処理を行う場合に比べて、処理の回数を減らすことができるので、デジタルカメラ内の各部の駆動回数を減らして電池の消耗を低減することができたり、検出処理、画像合成処理が連写撮影の処理に間に合わず、処理が行えなくなる(Nコマ目の合成処理が終わる前にN+1コマ目が読み出され、N+1コマの処理が間に合わなくなる)といった場合に、処理が間に合うようにすることができる。
またIを撮影した全コマ数とすることもできる。この場合には全コマの撮影が完了したところで、全コマの比較暗合成画像データと比較明合成画像データまたは加算合成画像データで軌跡を検出し、画素アドレスの置き換え処理を行うことでもより少ない処理回数で同様の効果を奏する。
(第2実施形態)
以下に添付図面を参照して、実施形態2に係る画像処理装置をデジタルカメラに適用した例を説明する。なお実施形態1と同じ構成、処理についてはその説明を省略する。
(第2実施形態の構成説明)
まず、実施形態2のデジタルカメラの構成について図7を用いて説明する。本実施形態においては、軌跡分析部174に速度・方向検出部1741を備えている。詳しい動作については後述するが、速度・方向検出部1741は、画像データに写った光の軌跡の移動速度、移動方向などの情報を分析する。この分析結果に基づいて軌跡検出部173によって軌跡を検出することが本実施例の特徴となる。
次に図8から図11を用いて本実施例に係るデジタルカメラの機能および動作について説明する。まず、図8を用いて動作シーケンスを説明する。本実施形態は実施例1の動作(図2のフローチャート)と同様に連続的に撮影した複数コマの画像データを順次合成していく。本実施形態は、第1実施形態と異なる点は、後述に示す軌跡の速度、方向を分析する処理(S83)が含まれる点である。まず撮像部12から画像が読み出されると(S1)、実施例1と同様に、各画素出力に対して所定のスレッシュレベル以上の明るい画素を抽出する(S81)。全ての画素について抽出が完了すると(S82:YES)、グループ割付部172にて、抽出した明るい画素アドレスの隣接する画素同士のグループを割り付ける(S6)。グループの割付が全ての画素について完了すると、各グループについて速度・方向検出部1741にて移動速度または移動方向を分析する(S83)。具体的にこの分析処理は、例えば、図9に示すように明るい画素のグループGR*(*はグループの番号を示す1以上の整数)について、その長さLe-GR*を軌跡の移動速度として数値化する。この数値化を全てのグループについて行い、統計処理を施して、軌跡の長さが長い方がより移動速度が速い軌跡であるとして図10-aのように軌跡の速度に対する頻度をヒストグラム化する。ここで例えば、図9に示すように星の軌跡ST、飛行機の軌跡AP、ビルの窓の明かりBLなどの明るい画素の複数のグループが画像に(図9には数個で示しているが、非常にたくさんの星の軌跡やビルの明かり、飛行機が)写っているとすると、図10-aのようにヒストグラムには、ビルの窓などの小さく輝く点はhist-BL、星の軌跡hist-STはそれよりも長く(速く移動する)、さらに軌跡の長い(速く移動する)飛行機の軌跡はhist-APという様に、軌跡の移動速度に対応して異なる長さで頻度の高い領域が発生する。
次に、分析した各グループについて軌跡検出部173で軌跡を検出する(S84)。図10-aのビルの窓の輝点と星の軌跡の発生頻度が最大になる長さの間にスレッシュレベルTh-1、星の軌跡と飛行機の軌跡の発生頻度が最大になる長さの間にスレッシュレベルTh-2を設定すると、
Th1よりも短いグループ:ビルなどの小さな輝点(固定軌跡)
Th1以上、Th2未満の長さのグループ:星の軌跡(ゆっくり移動する軌跡)
Th2よりも長いグループ:飛行機の軌跡(早く移動する軌跡)
と検出することができる。ここで、Th1、Th2はカメラで事前に設定した値を使用しても良いし、撮影者が操作部10を通して、任意に値を設定しても良い。例えば、図10-aのヒストグラムを表示部11に表示し、撮影者はそのヒストグラム分布を見ながらTh1、Th2を指定しても良い。
S84による軌跡検出部173が行う検出処理は、このスレッシュレベルを使用して、軌跡を検出していく。S84の具体的な処理シーケンスは図11の示すフローチャートにて示す。
まず、グループG*-Nの移動速度(長さ)が所定のスレッシュレベル以上であるか否かを判定する(S111)。S111の判定処理において、グループG*-Nの長さが例えばTh2以上であれば(S111:YES)、置き換え画素アドレスに登録する処理をする(S112)。一方S111の判定処理において、グループG*-Nの長さが例えばTh2未満であれば(S111:NO)該当グループは、置き換え画素アドレスに登録する処理をせずに、次の判定処理ステップ(S113)に移行する。S113の判定処理では、全てのグループについて登録を完了したか否かを判定し、全てのグループについて登録を完了したら(S113:YES)、軌跡の検出を完了する。
(第2実施形態の効果説明)
このように本実施形態では、明るい画素のグループについてその移動速度(長さ)や方向などの情報を検出し、統計処理を行う。この統計処理結果に基く統計分布を用いてグループを検出し、検出結果を用いて、一部の光の軌跡を合成画像から除外することができる。
なお、本実施例では、一コマ毎に軌跡の検出、合成処理を行う方法について説明したが、実施例1と同様にこれに限られない。例えば、Iコマ毎(例えばIは2以上の整数)に、Iコマの画像データの比較暗合成画像データを用いて、Iコマの比較明合成画像データまたは加算合成画像データについての軌跡の検出を行い、画素アドレスの置き換えを行うようにしても良い。
またスレッシュレベルは、本実施形態では一例としての2つの値(Th1,Th2)を設定する例を示した。ただし2つの値のみでなく、さらに多くのスレッシュレベルを設定できるようにしてもよい。これによりさらに細かい軌跡の検出が可能となる。
以下に比較暗合成画像を用いて、軌跡の長さを検出する作用を示す。例えば、図12-aに示すように星などのようにゆっくりと移動するN-1コマ目の光の軌跡LT-N-1とNコマ目の光の軌跡LT-Nを比較暗合成すると重複する部分LTcompD-N-1・Nのみが明るく残り、それ以外の部分は背景の夜空と同じ明るさになる。ここで、LTcompD-N-1・Nの画素アドレスを端点として、LTcompD-N-1・Nの画素アドレスを含まず、LT-Nに含まれる画素アドレスで、LTcompD-N-1・N から一番遠い画素までの長さを検出することで、Nコマ目の光の軌跡LT-Nの長さLe-LT-Nを求めることができる。
一方図12-bは移動しない建物などの明るい画素のグループBLを示している。このグループBLはN-1コマ目もNコマ目も移動することなく明るく移るため、比較暗合成しても大きさ、明るさが変わらない。つまりグループBLおよびその隣接画素については、比較暗合成画像データでは抽出されず、Nコマ目の画像データでは抽出される画素がないため、軌跡の長さは0となり、移動しない明るい画素のグループであると検出することができる。このような方法でグループを検出することで、移動する明るい画素グループの他に、移動しない明るい画素グループについても検出することができる。この軌跡分析方法を実施例1または上述の実施例2の方法と組み合わせることで、移動しない光(例えば背景として写った街灯や建物の灯り)、低速度で移動する光の軌跡(星や蛍)、高速度で移動する光の軌跡(飛行機や、人工衛星)と、さらに詳細に光の軌跡を検出することができるようになる。
(第3実施形態)
以下に添付図面を参照して、実施形態3に係る画像処理装置をデジタルカメラに適用した例を説明する。実施形態3では、撮影時にGPS等で検出した情報をもとにして、撮影画像に写る星の軌跡の移動速度、移動方向を算出し、画像に写る光の軌跡が星か星以外かを分析することで軌跡を検出する。なお実施例1、2と同じ構成、処理についてはその説明を省略する。
(第3実施形態の構成説明)
実施形態3のデジタルカメラの基本的な構成は実施形態1、2と同様であるが、軌跡分析部174の構成及び機能が異なる。実施形態3に係る軌跡分析部174の内部構成は、図14を用いて説明する。軌跡分析部174は実施形態2同様に記録部15に保存された画像データとグループ割付けされた画素のアドレス情報が速度・方向検出部1741に入力される。長さ・方向検出部1741は実施形態2と同様の方法で、各グループの長さ及び方向を検出する。検出した各グループの長さ及び方向の情報は、軌跡分析部174内の速度・方向比較部1406と軌跡検出部173に送られる。また軌跡分析部174は、GPS検出部1402、地磁気検出部1403、加速度検出部1404及び天体軌跡算出部1405を備えている。
GPS検出部1403はGPS(Global Positioning System)情報の受信装置であって、カメラの撮影時の緯度情報を検出し、天体軌跡算出部1405に出力する。地磁気検出部1403は地磁気センサであって、撮影時のカメラが東西南北のどの方位を向いているかの情報を天体軌跡算出部1405に出力する。加速度検出部1404は加速度センサを備え、加速度センサによって検出する重力加速度の値および方向によって撮影時にカメラが重力方向(上下の方向)に対してどちら向いているかの情報を天体軌跡算出部1405に出力する。天体軌跡算出部1405はこれらの撮影時の緯度、カメラが向いている方角、方向(東西南北及び上下方向)の情報から、撮影画角内で星がどの方向に移動するかを算出する。さらに天体軌跡算出部1405は記録部15より撮影時の撮影情報として、レンズの焦点距離、シャッター速度を入手することで、撮像面上つまり撮影した画像データにおいて星の移動する長さ及び方向を算出する。このようにして、撮影した画像上で星の(移動速度)長さ及び移動方向を算出する。
次に、軌跡検出部173が行う具体的な検出方法としては、例えば、まず星の軌跡に相当すると検出されたグループは“軌跡2“(図14の1409)に、星以外の軌跡については、速度・方向検出部1741の結果を元に、移動しない明るい画素のグループは”固定軌跡(図14の1407) “に、移動する軌跡を星以外の軌跡として”軌跡1(図14の1408) “として検出し、記録部に各グループの画素アドレスを記録する。
(第3実施形態の効果説明)
このように、本実施例では実際の画像データに写る星の移動方向、移動速度を算出して、精度高く星の移動軌跡を検出することができる。本実施形態のように、実施形態2の軌跡分析、検出手段と組み合わせたり、さらには、実施形態1の軌跡検出手段と組み合わせて軌跡を検出することで、星以外の軌跡をさらに検出することができる。すなわち、本実施形態では、合成画像データから不要な軌跡、必要な軌跡を選別して、不要な軌跡は写らないように、必要な軌跡は合成画像データに写るように画像データを合成することができる。本実施形態による具体的な効果として、例えば、図15のように北極星POLが写るように撮影を行う場合でも、星とその他の被写体とを検出することができる。これは、北極星は移動しないので、どれだけシャッター速度を伸ばしても、また合成コマ数を増やしても移動しない。したがって前述実施形態2の手段で軌跡を検出すると、北極星は星の軌跡ではなく、動かない明るい画素として検出されてしまう。ところが、本実施形態3の方法を用いれば、天体軌跡算出部14によって画像上の各位置における、星の移動方向、移動量を算出できるので、動かない北極星も検出することができ、北極星も星であるとして正確に検出することができるようになる。
以上説明したように、本発明の各実施形態や変形例の画像処理装置において、複数コマの画像データを合成して光の軌跡を撮影した写真を生成する際に、画像データに写った様々な光の軌跡を検出することができる。この検出結果にもとづいてデジタルカメラや、PCの画像処理プログラムによって様々な光の軌跡が写った画像データから自動的に不要な光の軌跡を除去したり、光の軌跡が写っていない合成画像に必要な光の軌跡を加えるといった画像処理を行うことができる。
また、軌跡の検出結果を用いて、合成画像からデジタルカメラの撮影者や画像処理装置の利用者が、撮影中または撮影後に、手動操作で検出した光の軌跡毎に合成画像データから除去する処理を行ったり、または合成画像データに加える処理を行ったり、軌跡毎に独立して明るさや色などの画質の調整を行うことができるようになる
さらには、軌跡の検出結果を合成画像データとともに表示すれば(例えば特定の軌跡のみを反転表示などをさせて視認しやすくするようにすれば)、本画像処理装置の利用者は合成画像データに写った各軌跡の検出した結果を、画像データを見ながら併せて把握できる。これにより、上述した軌跡ごとに異なる処理が行いやすくなり、また画像を見ながら再度軌跡の検出を行うためにスレッシュレベルを変更し、再度軌跡を検出させることもできるようになり、さらに自由度の高い画像合成、画像処理が可能になる。
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
Claims (8)
- 複数の画素値より構成される画像データの中で連続的に所定値以上となる領域を軌跡として抽出する軌跡抽出部と、
上記軌跡抽出部で抽出された上記軌跡の移動状態を判別する軌跡判別部と、
上記軌跡判別部で判別された移動状態にもとづいて、上記軌跡の種類を検出する軌跡検出部を備え、
上記軌跡抽出部は、上記画像データに写った輝点の移動に基づく軌跡を抽出し、
上記軌跡判別部は、上記輝点の移動速度または移動方向の少なくとも一つに相当する上記移動状態を判別し、
少なくとも2コマ以上の画像データを比較暗合成する比較暗合成部を更に備え、
上記軌跡抽出部は、上記画像データ及び上記比較暗合成部で合成した比較暗合成画像データについてそれぞれ上記所定値以上となる領域を軌跡として抽出し、
上記軌跡判別部は、上記画像データについて抽出した軌跡が、上記比較暗合成画像データについて抽出した軌跡の画素アドレスを含むか否かによって、上記画像データの軌跡の移動状態を判別し、
上記軌跡検出部は、上記軌跡判別部の判別結果にもとづいて、上記画像データについて上記軌跡抽出部で抽出した軌跡のうち、上記比較暗合成画像データについて上記軌跡抽出部で抽出した軌跡の画素アドレスを含む軌跡を低速移動軌跡として、上記比較暗合成画像データについて上記軌跡抽出部で抽出した軌跡の画素アドレスを含まない軌跡を高速移動軌跡として、軌跡の種類を検出することを特徴とする画像処理装置。 - 上記軌跡判別部は上記軌跡の形状から、移動速度または移動方向の少なくとも一つを検出する速度・方向検出部を備え、上記検出された移動速度または移動方向の少なくとも一つに基づいて上記軌跡の移動状態を判別し、
上記軌跡検出部は、上記軌跡判別部の判別結果にもとづいて、軌跡の種類を検出することを特徴とする請求項1記載の画像処理装置。 - 上記軌跡判別部は上記軌跡の形状から、移動速度または移動方向の少なくとも一つを検出する速度・方向検出部と、
上記画像データ取得時のGPS情報を検出するGPS検出部と、
上記画像データ取得時の方位情報を検出する地磁気検出部と、
上記画像データ取得時の重力方向に対する方向を検出する加速度検出部と、
上記GPS情報及び上記方位情報及び上記重力方向に対する方向とデータ取得時の撮影情報にもとづいて、天体の軌跡を算出する天体軌跡算出部と、
上記軌跡判別部の検出結果と上記天体軌跡算出部の算出結果を比較する速度・方向比較部とを備え、
上記軌跡判別部は上記速度・方向比較部の比較結果にもとづいて、軌跡の移動状態を判別し、
上記軌跡検出部は、上記軌跡判別部の判別結果に基づいて、軌跡の種類を天体の軌跡、または天体に該当しない軌跡のいずれかであると検出することを特徴とする請求項1記載の画像処理装置。 - 少なくとも2コマ以上の画像データを比較明合成して比較明合成画像データを生成する比較明合成部または加算合成して加算合成画像データを生成する加算合成部の少なくとも何れか一つと、
少なくとも2コマ以上の画像データを比較暗合成して比較暗合成画像データを生成する比較暗合成部または平均合成して平均合成画像データを生成する平均合成部の少なくとも何れか一つを備え、
上記軌跡検出部で検出した上記天体に該当しない軌跡の画素アドレスを置き換え画素アドレスとし、
上記画像データまたは上記比較明合成画像データまたは上記加算合成画像データの上記置き換え画素アドレスの画素値を、上記比較暗合成画像データまたは上記平均合成画像データの上記置き換え画素アドレスの画素値と置き換えることを特徴とする請求項3に記載の画像処理装置。 - 少なくとも2コマ以上の画像データを比較明合成して比較明合成画像データを生成する比較明合成部または加算合成して加算合成画像データを生成する加算合成部の少なくとも何れか一つと、
少なくとも2コマ以上の画像データを比較暗合成して比較暗合成画像データを生成する比較暗合成部または平均合成して平均合成画像データを生成する平均合成部の少なくとも何れか一つを備え、
上記軌跡検出部で検出した上記低速移動軌跡の画素アドレスを置き換え画素アドレスとし、
上記比較暗合成画像データまたは上記平均合成画像データの上記置き換え画素アドレスの画素値を上記画像データまたは上記比較明合成画像データまたは上記加算合成画像データの上記置き換え画素アドレスの画素値と置き換えることを特徴とする請求項1に記載の画像処理装置。 - 少なくとも2コマ以上の画像データを比較明合成して比較明合成画像データを生成する比較明合成部または加算合成して加算合成画像データを生成する加算合成部の少なくとも何れか一つと、
少なくとも2コマ以上の画像データを比較暗合成して比較暗合成画像データを生成する比較暗合成部または平均合成して平均合成画像データを生成する平均合成部の少なくとも何れか一つを備え、
上記軌跡検出部で検出した上記高速移動軌跡の画素アドレスを置き換え画素アドレスとし、
上記画像データまたは上記比較明合成画像データまたは上記加算合成画像データの上記置き換え画素アドレスの画素値を、上記比較暗合成画像データまたは上記平均合成画像データの上記置き換え画素アドレスの画素値と置き換えることを特徴とする請求項1に記載の画像処理装置。 - 複数の画素値より構成される画像データの連続的に所定値以上となる領域を軌跡として抽出する軌跡抽出ステップと、
上記軌跡抽出ステップで抽出した上記軌跡に対して、移動状態を判別する軌跡判別ステップと、
上記軌跡判別ステップにより判別された移動状態にもとづいて、上記軌跡の種類を検出する処理を行う軌跡検出ステップを備え、
上記軌跡抽出ステップは、上記画像データに写った輝点の移動に基づき軌跡を抽出し、
上記軌跡判別ステップは、上記輝点の移動速度または移動方向の少なくとも一つに相当する上記移動状態を判別し、
少なくも2コマ以上の画像データを比較暗合成して比較暗合成画像データを生成する比較暗合成ステップを更に備え、
上記軌跡抽出ステップは、上記画像データ及び上記比較暗合成画像データについてそれぞれ所定値以上となる領域を軌跡として抽出し、
上記軌跡判別ステップは、上記画像データについて抽出した軌跡が、上記比較暗合成画像データについて抽出した軌跡の画素アドレスを含むか否かによって、上記画像データの軌跡の移動状態を判別し、
上記軌跡検出ステップは、上記判別された軌跡の移動状態にもとづいて、上記画像データについて抽出した軌跡のうち、上記比較暗合成画像データについて抽出した軌跡の画素アドレスを含む軌跡を低速移動軌跡として、上記比較暗合成画像データについて抽出した軌跡の画素アドレスを含まない軌跡を高速移動軌跡として、軌跡の種類を検出する
ことを特徴とする画像処理方法。 - 少なくとも2コマ以上の画像データを比較明合成して比較明合成画像データを生成する比較明合成処理または加算合成して加算合成画像データを生成する加算合成処理の少なくとも何れか一つの合成処理を行う第1の合成処理ステップと、
少なくとも2コマ以上の画像データを比較暗合成して比較暗合成画像データを生成する比較暗合成処理または平均合成して平均合成画像データを生成する平均合成処理の少なくとも何れか一つの合成処理を行う第2の合成処理ステップと、
上記軌跡検出ステップで検出した上記高速移動軌跡の画素アドレスを置き換え画素アドレスとする置き換え画素アドレス登録ステップと、
上記画像データまたは上記比較明合成画像データまたは上記加算合成画像データの上記置き換え画素アドレスの画素値を、上記比較暗合成画像データまたは上記平均合成画像データの上記置き換え画素アドレスの画素値と置き換える処理をする置き換え処理ステップとを有することを特徴とする請求項7記載の画像処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015223666A JP6736282B2 (ja) | 2015-11-16 | 2015-11-16 | 画像処理装置及び画像処理方法 |
US15/340,165 US10102442B2 (en) | 2015-11-16 | 2016-11-01 | Image-processing device and image-processing method |
CN201611025050.0A CN107071228A (zh) | 2015-11-16 | 2016-11-15 | 图像处理装置和图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015223666A JP6736282B2 (ja) | 2015-11-16 | 2015-11-16 | 画像処理装置及び画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017092839A JP2017092839A (ja) | 2017-05-25 |
JP2017092839A5 JP2017092839A5 (ja) | 2018-12-20 |
JP6736282B2 true JP6736282B2 (ja) | 2020-08-05 |
Family
ID=58691212
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015223666A Active JP6736282B2 (ja) | 2015-11-16 | 2015-11-16 | 画像処理装置及び画像処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10102442B2 (ja) |
JP (1) | JP6736282B2 (ja) |
CN (1) | CN107071228A (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019106647A (ja) * | 2017-12-13 | 2019-06-27 | キヤノン株式会社 | 画像処理装置及び方法、及び撮像装置 |
JP7148428B2 (ja) * | 2019-02-08 | 2022-10-05 | オリンパス株式会社 | 撮像装置および撮像方法 |
US11688045B2 (en) * | 2019-11-12 | 2023-06-27 | Owen M. Dugan | Methods and apparatus for removing satellite trails from images |
US11756304B2 (en) | 2020-06-29 | 2023-09-12 | Owen M. Dugan | Methods and apparatus for removing satellite trails from images and/or fitting trail wobble |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1484042A (zh) * | 2003-07-03 | 2004-03-24 | 上海交通大学 | 红外图像序列中缓动弱小目标的能量投影检测方法 |
JP4461937B2 (ja) * | 2003-09-30 | 2010-05-12 | セイコーエプソン株式会社 | 低解像度の複数の画像に基づく高解像度の画像の生成 |
JP2007089087A (ja) * | 2005-09-26 | 2007-04-05 | Casio Comput Co Ltd | 天体撮像装置 |
JP4894213B2 (ja) * | 2005-09-29 | 2012-03-14 | カシオ計算機株式会社 | 撮影装置、およびプログラム |
JP5654223B2 (ja) * | 2009-09-11 | 2015-01-14 | 古野電気株式会社 | 画像処理装置、これを搭載したレーダ装置、画像処理方法及び画像処理プログラム |
CN102081800B (zh) * | 2011-01-06 | 2012-07-25 | 西北工业大学 | 空间微弱运动目标检测方法 |
JP5895409B2 (ja) | 2011-09-14 | 2016-03-30 | 株式会社リコー | 撮像装置 |
JP6034740B2 (ja) * | 2013-04-18 | 2016-11-30 | オリンパス株式会社 | 撮像装置および撮像方法 |
JP6257377B2 (ja) * | 2014-02-25 | 2018-01-10 | オリンパス株式会社 | 撮像装置および撮像装置の制御方法 |
-
2015
- 2015-11-16 JP JP2015223666A patent/JP6736282B2/ja active Active
-
2016
- 2016-11-01 US US15/340,165 patent/US10102442B2/en active Active
- 2016-11-15 CN CN201611025050.0A patent/CN107071228A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN107071228A (zh) | 2017-08-18 |
JP2017092839A (ja) | 2017-05-25 |
US10102442B2 (en) | 2018-10-16 |
US20170140239A1 (en) | 2017-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8472671B2 (en) | Tracking apparatus, tracking method, and computer-readable storage medium | |
TWI516116B (zh) | 用於數位成像中之自動影像俘獲控制之系統及方法 | |
JP5897475B2 (ja) | 輝度及び動きからの捕捉条件の選択 | |
CN109068058B (zh) | 超级夜景模式下的拍摄控制方法、装置和电子设备 | |
KR101906316B1 (ko) | 화이트 밸런스 제어를 행하는 화상처리장치, 그 제어 방법 및 촬상장치 | |
US20190058821A1 (en) | Image capture device with stabilized exposure or white balance | |
JP6736282B2 (ja) | 画像処理装置及び画像処理方法 | |
EP2043361A1 (en) | Electronic camera | |
CN108353134B (zh) | 使用多重曝光传感器的拍摄装置及其拍摄方法 | |
US8810667B2 (en) | Imaging device | |
JP2016516378A (ja) | ゴーストのない高ダイナミックレンジ画像の生成 | |
JP6460721B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US9684988B2 (en) | Imaging device, image processing method, and recording medium | |
JP2016076869A (ja) | 撮像装置、撮影方法、およびプログラム | |
US11838648B2 (en) | Image processing device, imaging apparatus, image processing method, and program for determining a condition for high dynamic range processing | |
KR20240024821A (ko) | 개선된 장면 무결성을 위한 시간적 필터링 재시작 | |
JP2014179920A (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
US9922410B2 (en) | Image processing apparatus and image processing method | |
JP2006023339A (ja) | 撮像装置 | |
JP6039471B2 (ja) | 撮像装置およびその制御方法 | |
JP2010130314A (ja) | 撮像装置 | |
WO2017071560A1 (zh) | 图片处理方法及装置 | |
JP2008180840A (ja) | 撮影装置 | |
JP2017130106A (ja) | データ処理装置、撮像装置、およびデータ処理方法 | |
US11558542B1 (en) | Event-assisted autofocus methods and apparatus implementing the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20180309 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181107 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190813 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190819 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200302 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200420 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200508 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200601 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200612 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200701 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200715 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6736282 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |