JP5423319B2 - Imaging device, optical device, and program - Google Patents
Imaging device, optical device, and program Download PDFInfo
- Publication number
- JP5423319B2 JP5423319B2 JP2009250337A JP2009250337A JP5423319B2 JP 5423319 B2 JP5423319 B2 JP 5423319B2 JP 2009250337 A JP2009250337 A JP 2009250337A JP 2009250337 A JP2009250337 A JP 2009250337A JP 5423319 B2 JP5423319 B2 JP 5423319B2
- Authority
- JP
- Japan
- Prior art keywords
- noise
- signal
- change
- shooting
- determination unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
本発明は、音信号からノイズを周波数領域で減算する撮影装置、光学装置、及びプログラムに関する。 The present invention relates to a photographing apparatus, an optical apparatus, and a program for subtracting noise from a sound signal in a frequency domain.
音信号から、モータ駆動によるノイズを周波数領域で減算することで、その音信号に発生したノイズを低減させる撮影装置が、特許文献1に開示されている。 Japanese Patent Application Laid-Open No. 2004-151867 discloses a photographing apparatus that reduces noise generated in a sound signal by subtracting noise due to motor driving from the sound signal in the frequency domain.
ところで、ノイズには、モータの駆動開始等に振幅が大きく瞬間的に発生するノイズと、そのノイズに続いて、モータが駆動している期間に定常的に発生するノイズとがある。そして、特許文献1に開示された撮影装置は、振幅が大きく瞬間的に発生するノイズと、モータが駆動している期間に定常的に発生するノイズとを区別せずにノイズ低減処理を実行していたため、振幅が大きく瞬間的に発生するノイズを低減させることができないという問題があった。
By the way, noise includes noise that has a large amplitude at the start of driving of the motor and the like, and noise that occurs steadily during the period when the motor is driven, following the noise. The imaging apparatus disclosed in
本発明は、音信号のノイズを低減させることができる撮影装置、光学装置、及びプログラムを提供することを課題とする。 It is an object of the present invention to provide an imaging device, an optical device, and a program that can reduce noise in a sound signal.
本発明は、上記の課題を解決するためになされたものであり、光学系による像を撮影する撮影部と、音波を電気信号に変換するマイクと、撮影状態を検出するセンサにより検出されたセンサ信号、及び、撮影を制御するための制御信号のうち少なくとも一方を検出する信号検出部と、前記センサ信号及び前記制御信号のうち少なくとも一方を用いて、撮影動作に変化があるか否かを判断する判断部と、前記判断部が撮影動作に変化があると判断したときと、前記判断部が撮影動作に変化があると判断しないときとで、前記電気信号のノイズを低減させる処理を異ならせるノイズ処理部とを含むことを特徴とする撮影装置である。 The present invention has been made to solve the above-described problem, and is a sensor detected by a photographing unit that photographs an image by an optical system, a microphone that converts sound waves into an electrical signal, and a sensor that detects a photographing state. A signal detection unit that detects at least one of a signal and a control signal for controlling shooting and at least one of the sensor signal and the control signal is used to determine whether or not there is a change in shooting operation And a process for reducing noise of the electrical signal is different between when the determination unit determines that there is a change in the shooting operation and when the determination unit does not determine that there is a change in the shooting operation. An imaging apparatus including a noise processing unit.
また、本発明は、光学系による像を形成する光学系と、音波を電気信号に変換するマイクと、撮影状態を検出するセンサにより検出されたセンサ信号、及び、撮影を制御するための制御信号のうち少なくとも一方を検出する信号検出部と、前記センサ信号及び前記制御信号のうち少なくとも一方を用いて、撮影動作に変化があるか否かを判断する判断部と、前記判断部が撮影動作に変化があると判断したときと、前記判断部が撮影動作に変化があると判断しないときとで、前記電気信号のノイズを低減させる処理を異ならせるノイズ処理部とを含むことを特徴とする光学装置である。 The present invention also provides an optical system that forms an image by an optical system, a microphone that converts sound waves into an electrical signal, a sensor signal that is detected by a sensor that detects a shooting state, and a control signal for controlling shooting. A signal detection unit that detects at least one of the sensor signal, a determination unit that determines whether there is a change in the shooting operation using at least one of the sensor signal and the control signal, and the determination unit that performs the shooting operation An optical system comprising: a noise processing unit that makes a process for reducing noise of the electrical signal different when it is determined that there is a change and when the determination unit does not determine that there is a change in a shooting operation. Device.
また、本発明は、コンピュータに、撮影時に取得された音響信号、及び、撮影状態を検出するセンサにより検出されたセンサ信号及び撮影を制御するための制御信号のうち少なくとも一方を受け取る入力手順と、前記センサ信号及び前記制御信号のうち少なくとも一方を用いて、撮影動作に変化があったか否かを判断する判断手順と、撮影動作に変化があったと判断したときと、前記判断部が撮影動作に変化があったと判断しないときとで、前記音響信号のノイズを低減させる処理を異ならせるノイズ処理手順とを実行させるためのプログラムである。 Further, the present invention provides an input procedure for receiving at least one of an acoustic signal acquired at the time of shooting, a sensor signal detected by a sensor that detects a shooting state, and a control signal for controlling shooting in a computer, Using at least one of the sensor signal and the control signal, a determination procedure for determining whether or not there is a change in the shooting operation, and when the determination unit determines that there is a change in the shooting operation, the determination unit changes to the shooting operation This is a program for executing a noise processing procedure for different processing for reducing noise of the acoustic signal when it is not determined that there has been.
本発明によれば、音信号のノイズを好適に低減し得る撮影装置、光学装置、及びプログラムを提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the imaging device, optical apparatus, and program which can reduce suitably the noise of a sound signal can be provided.
[第1の実施形態]
本発明の第1の実施形態について図面を参照して詳細に説明する。図1には、撮像装置の構成を示すブロック図が示されている。撮像装置(撮影装置)100は、光学系による像を撮像(撮影)し、得られた画像データを記憶媒体200に記憶させる。また、撮像装置100は、収音された音からノイズを低減させ、得られた音信号を記憶媒体200に記憶させる。
[First embodiment]
A first embodiment of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing the configuration of the imaging apparatus. The imaging device (imaging device) 100 captures (captures) an image by an optical system and stores the obtained image data in the storage medium 200. Further, the
撮像装置100は、撮像部110と、画像処理部140と、表示部150と、バッファメモリ130と、操作部180と、記憶部160と、CPU(Central Processing Unit)190と、マイク230と、音信号処理部240と、低減処理部250と、通信部170を備える。
The
撮像部110は、光学系111と、撮像素子119と、A/D(Analog/Digital)変換部120とを備え、設定された撮像条件(例えば絞り値、露出値等)に従って、CPU190により制御される。また、撮像部110は、光学系111による光学像を撮像素子119に結像させて、A/D変換部120によってデジタル信号に変換された当該光学像に基づく画像データを生成する。
The
光学系111は、ズームレンズ114と、焦点調整レンズ(以下、「AF(Auto Focus)レンズ」という)112と、手振れ補正レンズ(以下、「VR(Vibration Reduction)レンズ」という)113と、レンズ駆動部116と、ズームエンコーダ115と、AFエンコーダ117と、像ぶれ補正部118を備える。光学系111は、ズームレンズ114、AFレンズ112、及びVRレンズ113を通過した入射光を、撮像素子119の受光面に導いて、光学像を形成する。なお、光学系111は、撮像装置100に取り付けられて一体とされていてもよいし、撮像装置100に着脱可能に取り付けられてもよい。
The optical system 111 includes a
ズームエンコーダ115は、撮影状態として、ズームレンズ114の駆動方向を検出し、ズームレンズ114の駆動方向に応じた信号を、センサ信号としてCPU190に出力する。ここで、ズームレンズ114の駆動方向に応じた信号とは、ズームレンズ114が、光学系111内において停止されている状態、無限端方向に駆動されている状態(ズームレンズ114を駆動するためのモータ、カム等が、例えば、時計回り(CW)に回転)、又は至近端方向に駆動されている状態(ズームレンズ114を駆動するためのモータ、カム等が、例えば、反時計回り(CCW)に回転)のいずれかの状態にあることを示す信号であってもよい。すなわち、ズームレンズ114の駆動方向の検出とは、ズームレンズ114を駆動するためのモータ、カム等の回転方向の検出であってもよい。なお、このズームレンズ114を駆動するためのモータ、カム等は、レンズ駆動部116に備えられてもよい。また、ズームエンコーダ115は、検出したズームレンズ114の駆動方向及び駆動量に基づいて、ズームレンズ114の位置を表わすズームポジションを検出し、センサ信号としてCPU190に出力する。
The
AFエンコーダ117は、撮影状態として、AFレンズ112の駆動方向を検出し、AFレンズ112の駆動方向に応じた信号を、センサ信号としてCPU190に出力する。ここで、AFレンズ112の駆動方向に応じた信号とは、AFレンズ112が、光学系111内において停止されている状態、無限端方向に駆動されている状態(AFレンズ112を駆動するためのモータ、カム等が、例えば、時計回り(CW)に回転)、又は至近端方向に駆動されている状態(AFレンズ112を駆動するためのモータ、カム等が、例えば、反時計回り(CCW)に回転)のいずれかの状態にあることを示す信号であってもよい。すなわち、AFレンズ112の駆動方向の検出とは、AFレンズ112を駆動するためのモータ、カム等の回転方向の検出であってもよい。なお、このAFレンズ112を駆動するためのモータ、カム等は、レンズ駆動部116に備えられてもよい。また、AFエンコーダ117は、検出したAFレンズ112の駆動方向及び駆動量に基づいて、AFレンズ112の位置を表わすフォーカスポジションを検出し、センサ信号としてCPU190に出力する。
The
像ぶれ補正部118は、撮影状態として、光学系111による像のぶれを検出し、センサ信号としてCPU190に出力する。そして、像ぶれ補正部118は、後述するCPU190から入力される制御信号に基づいて、当該ぶれを打ち消す方向にVRレンズ113を駆動する。なお、像ぶれ補正部118は、VRレンズ113の位置を検出し、センサ信号としてCPU190に出力してもよい。
The image
レンズ駆動部116は、後述するCPU190から入力される制御信号に基づいて、AFレンズ112及びズームレンズ114の位置を制御する。レンズ駆動部116は、撮影において駆動されるアクチュエータを備える。ここで、撮影において駆動されるアクチュエータとは、例えば、AFレンズ112及びズームレンズ114などを駆動するモータであってもよい。そして、このアクチュエータは、撮像装置100、又は撮像装置100から着脱可能な光学系(レンズ鏡筒)のいずれかに備えられてもよい。
The
撮像素子119は、例えば、光電変換面を備え、その受光面に結像した光学像を電気信号に変換して、A/D変換部120に出力する。
The
また、撮像素子119は、操作部180を介して撮影指示を受け付けた際に得られる画像データを、静止画又は動画の画像データとして、A/D変換部120を介して記憶媒体200に記憶させる。一方、撮像素子119は、操作部180を介して撮像指示を受け付けていない状態において、連続的に得られる画像データをスルー画データとして、A/D変換部120を介してCPU190及び表示部150に出力する。
Further, the
A/D変換部120は、撮像素子119によって変換された電気信号をデジタル化して、デジタル信号である画像データをバッファメモリ部130に出力する。
The A /
操作部180は、例えば、電源スイッチ、シャッタボタン、マルチセレクタ(十字キー)、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、操作入力に応じた信号をCPU190に出力する。
The
画像処理部140は、記憶部160に記憶されている画像処理条件を参照して、バッファメモリ部130に一時的に記憶されている画像データに対して、画像処理をする。画像処理された画像データは、通信部170を介して記憶媒体200に記憶される。なお、画像処理部140は、記憶媒体200に記憶されている画像データに対して、画像処理をしてもよい。
The
表示部150は、例えば液晶ディスプレイであって、撮像部100によって得られた画像データ、及び操作画面等を表示する。
The
バッファメモリ部130は、撮像部110によって撮像された画像データを、一時的に記憶する。また、バッファメモリ部130は、マイク230が収音した音に応じた音信号を、一時的に記憶する。
The
マイク230は、音を収音し、その音波を電気信号(アナログ信号)に変換して出力する。すなわち、マイク230は、収音した音に応じた音信号(以下、「マイク出力信号」という)を、音信号処理部240を介してバッファメモリ部130に出力する。
The
そして、マイク出力信号には、動作部が発した音によって、衝撃音ノイズ又は駆動音ノイズの少なくとも一方が重畳される可能性がある。ここでいう動作部とは、一例としては、上述したズームレンズ114、VRレンズ113、AFレンズ112、または、操作部180のことであり、撮像装置100が備える構成のうち、動作することにより、または、動作されることにより、音が生じる(または、音が生じる可能性がある)構成である。
Then, there is a possibility that at least one of the impact sound noise and the drive sound noise is superimposed on the microphone output signal due to the sound generated by the operation unit. An example of the operation unit referred to here is the
また、この動作部とは、撮像装置100が備えている構成のうち、動作することにより生じた音、または、動作されることにより生じた音が、マイク230により収音される(または、収音される可能性のある)構成である。
In addition, the operation unit refers to a sound generated by the operation or a sound generated by the operation of the configuration of the
また、ここでいう駆動音ノイズとは、動作部が動作している区間(期間)に、マイク出力信号に定常的に発生するノイズである。また、衝撃音ノイズとは、撮影動作に変化がある場合に、すなわち、動作部の動作開始、動作終了、動作方向の反転、又は動作部が操作された場合に、駆動音ノイズよりも振幅が大きく、瞬間的にマイク出力信号に発生するノイズである。 The driving sound noise here is noise that is constantly generated in the microphone output signal during the period (period) in which the operating unit is operating. In addition, the impact sound noise has an amplitude larger than that of the drive sound noise when there is a change in the shooting operation, that is, when the operation unit starts, ends, reverses the operation direction, or the operation unit is operated. It is a large and instantaneous noise generated in the microphone output signal.
例えば、衝撃音ノイズは、光学系111が備えるギア(不図示)が噛み合うことにより発生するノイズであってもよい。また、衝撃音ノイズは、例えば、ズームレンズ114の移動範囲を制限する端部に、ズームレンズ114の機構が当たることにより発生するノイズであってもよい。
For example, the impact sound noise may be noise generated when a gear (not shown) included in the optical system 111 is engaged. Further, the impact noise noise may be, for example, noise generated when the mechanism of the
記憶部160は、CPU190によってシーン判定の際に参照される判定条件や、シーン判定によって判断されたシーン毎に対応付けられた撮像条件等を記憶する。
The
また、記憶部160は、特定の音情報を含む信号(以下、「推定ノイズ信号」という)と、動作部とを対応づけて、予め記憶する。ここで、特定の音情報とは、例えば、予め録音された駆動音ノイズの波形情報あってもよい。そして、推定ノイズ信号は、フーリエ変換された信号であってもよい。
In addition, the
音信号処理部240は、マイク230が出力したマイク出力信号をデジタル化し、バッファメモリ部130に記憶させる。
The sound
CPU190は、撮像装置全体を制御するが、一例としては、設定された撮像条件(例えば絞り値、露出値等)に従って、撮像部110を制御する。また、CPU190は、撮ズームエンコーダ115から入力されるズームポジション、および、AFエンコーダ117から入力されるフォーカスポジションと、操作部180から入力される操作入力に基づいて、ズームエンコーダ115およびAFエンコーダ117の位置を制御する制御信号を生成する。CPU190は、この制御信号に基づいて、レンズ駆動部116を介してズームエンコーダ115およびAFエンコーダ117の位置を制御する。
The
また、このCPU190は、検出部191を備える。この検出部191は、撮像装置100が備える動作部が動作するタイミングを検出する。そして、検出部191は、動作部を動作させる制御信号に基づいて、動作部が動作するタイミングを検出してもよい。この制御信号とは、動作部を動作させる駆動部に対して、動作部を動作させるようにする制御信号、または、この駆動部を駆動させる制御信号である。
The
たとえば、検出部191は、ズームレンズ114、VRレンズ113、又はAFレンズ112を駆動させるために、レンズ駆動部116若しくは像ぶれ補正部118に入力される制御信号に基づいて、又はCPU190で生成される制御信号に基づいて、動作部が動作するタイミングを検出してもよい。
また、CPU190が制御信号を生成する場合に、検出部191は、CPU190内部で実行される処理やコマンドに基づいて、動作部が動作するタイミングを検出してもよい。
また、検出部191は、操作部180から入力されるズームレンズ114、または、AFレンズ112を駆動させることを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。
For example, the
Further, when the
The
また、この検出部191は、動作部が動作されたことを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。
The
たとえば、検出部191は、ズームエンコーダ115又はAFエンコーダ117の出力に基づいて、ズームレンズ114又はAFレンズ112が駆動されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
また、検出部191は、像ぶれ補正部118からの出力に基づいて、VRレンズ113が駆動されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
また、この検出部191は、操作部180からの入力に基づいて、操作部180が操作されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
For example, the
The
The
そして、検出部191は、撮像装置100が備える動作部が動作するタイミングを検出し、このタイミングを示す信号を、低減処理部250の後述する判断部251に出力する。
Then, the
次に、低減処理部250の詳細について説明する。
低減処理部250は、判断部251を備える。判断部251は、タイミングを示す信号に基づいて、撮影動作に変化があるか否かを判断する。そして、低減処理部250は、判断部251が撮影動作に変化があると判断したときと、判断部251が撮影動作に変化があると判断しないときとで、衝撃音ノイズ及び駆動音ノイズを低減させる処理を異ならせる。例えば、判断部251は、タイミングを示す信号に基づいて、衝撃音が発生していると判断できるとき、撮影動作に変化があると判断してもよい。また、判断部251は、タイミングを示す信号に基づいて、定常音が発生していると判断できるとき、撮影動作に変化がない、と判断してもよい。また、判断部251は、タイミングを示す情報に基づいて、撮影動作をしていないと判断できるとき、又は、衝撃音も定常音も発生していないと判断できるとき、ノイズが発生していない、と判断してもよい。
Next, details of the
The
具体的には、低減処理部250は、その判断により異ならせる処理として、衝撃音ノイズに対しては、時間領域でノイズ低減処理を実行することで、衝撃音ノイズを低減させる。一方、駆動音ノイズに対しては、例えばスペクトル減算法により、周波数領域でノイズ低減処理を実行することで、駆動音ノイズを低減させる。そして、低減処理部250は、ノイズが低減されたマイク出力信号を、ノイズ減算処理信号(音データ)として通信部170に出力する。
Specifically, the
通信部170は、カードメモリ等の取り外しが可能な記憶媒体200と接続され、この記憶媒体200への情報(画像データ、及びノイズ減算処理信号等)の書込み、読み出し、あるいは消去を行う。
The
記憶媒体200は、撮像装置100に対して着脱可能に接続される記憶部であって、例えば、撮像部100によって生成された画像データ、及びノイズ減算処理信号等を記憶する。なお、記憶媒体200は、撮像装置100と一体であってもよい。
The storage medium 200 is a storage unit that is detachably connected to the
次に、動作部が動作するタイミングの一例として、AFレンズ112が動作するタイミングと、マイク出力信号に発生する衝撃音ノイズ及び駆動音ノイズとの関係について説明する。 Next, as an example of the timing at which the operating unit operates, the relationship between the timing at which the AF lens 112 operates and the impact sound noise and drive sound noise generated in the microphone output signal will be described.
図2には、AFエンコーダの出力の一例と、マイク出力信号に発生した衝撃音ノイズ及び駆動音ノイズの一例が示されている。図2(A)及び(B)の横軸は、時刻を示す。図2(A)の縦軸は、AFエンコーダの出力として、AFレンズ112の駆動方向を示す。すなわち、動作部としてのAFレンズ112が、光学系111内において停止、無限端方向に駆動(AFレンズ112を駆動するためのモータ、カム等が、例えば、時計回り(CW)に回転)、又は至近端方向に駆動(AFレンズ112を駆動するためのモータ、カム等が、例えば、反時計回り(CCW)に回転)のいずれかの状態にあることを示す。また、図2(B)の縦軸は、マイク230が出力したマイク出力信号を示す。
FIG. 2 shows an example of the output of the AF encoder and an example of the impact sound noise and the drive sound noise generated in the microphone output signal. The horizontal axes in FIGS. 2A and 2B indicate time. The vertical axis in FIG. 2A indicates the driving direction of the AF lens 112 as the output of the AF encoder. That is, the AF lens 112 as the operation unit stops in the optical system 111 and is driven in an infinite direction (a motor, a cam or the like for driving the AF lens 112 is rotated clockwise (CW), for example), or This indicates that it is in any state of driving in the direction of the closest end (a motor, a cam or the like for driving the AF lens 112 rotates counterclockwise (CCW), for example). The vertical axis in FIG. 2B indicates a microphone output signal output from the
例えば、時刻t1において、AFレンズ112を駆動するためのモータ、カム等が、停止から時計回りの回転に変化(駆動開始)したとする(図2(A)を参照)。これに起因して、マイク出力信号に衝撃音ノイズが発生し、それに続いて、駆動音ノイズが発生していることが、図2(B)に示されている。そして、AFレンズ112を駆動するためのモータ、カム等が回転(駆動)を続けて、時刻t2で停止(駆動終了)したとする。これにより、時刻t2において、衝撃音ノイズが発生していることが、図2(B)に示されている。 For example, it is assumed that a motor, a cam, and the like for driving the AF lens 112 are changed from a stop to a clockwise rotation (drive start) at time t1 (see FIG. 2A). FIG. 2B shows that, due to this, impact sound noise is generated in the microphone output signal, and subsequently drive sound noise is generated. Then, it is assumed that a motor, a cam, and the like for driving the AF lens 112 continue to rotate (drive) and stop (drive end) at time t2. Thereby, it is shown in FIG. 2B that the impact sound noise is generated at time t2.
さらに、例えば、時刻t3において、AFレンズ112を駆動するためのモータ、カム等が、停止から時計回りの回転に変化(駆動開始)したとする(図2(A)を参照)。これに起因して、時刻t3において、マイク出力信号に衝撃音ノイズが発生し、それに続いて、駆動音ノイズが発生していることが、図2(B)に示されている。そして、AFレンズ112を駆動するためのモータ、カム等が回転(駆動)を続けて、時刻t4で回転方向(駆動方向)が反転したとする。これにより、時刻t4において、衝撃音ノイズが発生していることが、図2(B)に示されている。さらに、AFレンズ112を駆動するためのモータ、カム等が回転(駆動)を続けて、時刻t5で停止(駆動終了)したとする。これにより、時刻t5において、衝撃音ノイズが発生していることが、図2(B)に示されている。 Furthermore, for example, at time t3, it is assumed that the motor, cam, and the like for driving the AF lens 112 change (start driving) from the stop to the clockwise rotation (see FIG. 2A). As a result, at time t3, it is shown in FIG. 2B that impact sound noise is generated in the microphone output signal and subsequently drive noise is generated. Then, it is assumed that the motor, cam, and the like for driving the AF lens 112 continue to rotate (drive), and the rotation direction (drive direction) is reversed at time t4. As a result, it is shown in FIG. 2B that impact noise is generated at time t4. Furthermore, it is assumed that a motor, a cam, and the like for driving the AF lens 112 continue to rotate (drive) and stop (drive end) at time t5. Thereby, it is shown in FIG. 2B that the impact sound noise is generated at time t5.
図2に示された一例のように、AFレンズ112による衝撃音ノイズ及び駆動音ノイズは、AFレンズ112が動作するタイミング(t1,t2,t3,t4,t5)に同期して発生する。そして、検出部191は、AFレンズ112が動作するタイミング(t1,t2,t3,t4,t5)を検出し、このタイミングを示す信号を、判断部251に出力する。さらに、判断部251は、このタイミングを示す信号に基づいて、そのタイミング(t1,t2,t3,t4,t5)で撮影動作に変化があったと判断する。同様に、判断部251は、タイミングを示す信号に基づいて、時刻t1〜t2、t3〜t4、t4〜t5に駆動音ノイズ(定常音)が発生し、撮影動作に変化がない旨の判断をする。同様に、判断部251は、タイミングを示す信号に基づいて、時刻t2〜t3に駆動停止しており(撮影動作をしていない)、ノイズが発生していない旨の判断をする。
As in the example shown in FIG. 2, the impact noise noise and the driving noise noise generated by the AF lens 112 are generated in synchronization with the timing (t1, t2, t3, t4, t5) at which the AF lens 112 operates. The
次に、ノイズ低減処理の詳細を説明する。
以下、第1の実施形態において、マイク230に収音された音(マイク出力信号)には、基本周期があるものとする。そして、マイク230に収音された音に基本周期がない場合については、第2の実施形態に後述する。以下、検出部191が検出したタイミングが、動作部が動作を開始したタイミングである場合について、説明する。
Next, details of the noise reduction processing will be described.
Hereinafter, in the first embodiment, it is assumed that the sound (microphone output signal) collected by the
図3には、制御信号の波形の一例が示されている。ここで、制御信号は、時刻t1からレベルが上昇している。このような場合、検出部191は、例えば、制御信号のレベルが上昇した時刻t1を、動作部の動作開始時刻t1とする。また、図4には、マイク出力信号(周期音)に発生した衝撃音ノイズ及び駆動音ノイズの一例が示されている。そして、図3と同様に、時刻t1において、マイク出力信号に衝撃音ノイズが発生している。さらに、時刻t1より後において、動作部が動作している区間には、マイク出力信号に駆動音ノイズが発生している。
FIG. 3 shows an example of the waveform of the control signal. Here, the level of the control signal has increased since time t1. In such a case, the
低減処理部250は、検出部191が検出したタイミングを含む区間(以下、「区間A」という。図2(A)のタイミングt1,t2,t3,t4,t5を参照。)のマイク出力信号(時間軸に対して規定された信号)を、時間領域で除去する。例えば、低減処理部250は、区間Aのマイク出力信号を時間領域で除去するために、区間Aのマイク出力信号の値を、全て「0」(無音)にする。
The
図5には、区間Aのマイク出力信号を、時間領域で除去した一例が示されている。以下、区間Aの終了点を時刻tcとする。ここで、低減処理部250は、除去する区間の長さを、マイク出力信号の基本周期の整数倍としてもよい。このようにすれば、図6を用いて後述する信号補間処理において、除去する区間の長さが、その区間に補間される信号の波長の整数倍となるので、信号補間処理を容易にすることができる。
FIG. 5 shows an example in which the microphone output signal in section A is removed in the time domain. Hereinafter, the end point of the section A is defined as time tc. Here, the
本実施例では、説明を簡単にするために、マイク出力信号の振幅が値「0」となっている時刻から、振幅が再び値「0」となっている時刻までの時間を、マイク出力信号の基本周期とする方法を用いた。そして、低減処理部250は、マイク出力信号の振幅が値「0」となっている時刻から、振幅が再び値「0」となっている時刻までの区間、又はその区間の整数倍の区間を除去してもよい。このようにすれば、図6を用いて後述する信号補間処理において、補間された信号と、その前後の信号とが振幅「0」で連続するので、信号の不連続点を作らないようにすることができる。
In the present embodiment, for the sake of simplicity of explanation, the time from the time when the amplitude of the microphone output signal is “0” to the time when the amplitude is again “0” is expressed as the microphone output signal. The basic period method was used. Then, the
なお、音の基本周期を求める方法としては、自己相関関数法、ケプストラム法等がある。この自己相関関数法は、音信号の自己相関関数のピークを検出して、基本周期を求める方法である。また、ケプストラム法は、音信号のスペクトルの対数を逆フーリエ変換して求めたケプストラムのピークを検出して、基本周期を求める方法である。 As a method for obtaining the fundamental period of sound, there are an autocorrelation function method, a cepstrum method, and the like. This autocorrelation function method is a method for obtaining a fundamental period by detecting a peak of an autocorrelation function of a sound signal. The cepstrum method is a method for obtaining a fundamental period by detecting a peak of a cepstrum obtained by inverse Fourier transform of a logarithm of a spectrum of a sound signal.
図6には、区間Aに、当該区間より前のマイク出力信号を補間した一例が示されている。低減処理部250は、区間Aに、当該区間より前のマイク出力信号を補間する(信号補間処理)。ここで、区間Aに補間されるマイク出力信号の区間(以下、「区間B」という)は、区間Aと同じ長さの区間であって、区間Aより前に位置する区間である。例えば、低減処理部250は、区間Aの直前に位置する区間を、区間Bとしてもよい。そして、低減処理部250は、区間Bのマイク出力信号を、区間Aに補間する。これにより、低減処理部250は、区間Aのノイズを時間領域で除去する。
FIG. 6 shows an example in which the microphone output signal before the section is interpolated in the section A. The
次に、低減処理部250は、駆動音ノイズの発生している区間(時刻tc以降で、動作部が動作している区間。図2(A)のタイミングt1〜t2,t3〜t4,t4〜t5を参照。)に対しては、例えばスペクトル減算法により、マイク出力信号を周波数に対して規定された信号として、周波数領域でノイズ低減処理を実行することで、駆動音ノイズを低減させる。図7には、マイク出力信号から衝撃音ノイズ及び駆動音ノイズが低減されたノイズ低減処理信号の一例が示されている。なお、低減処理部250は、区間Aに対しても、例えばスペクトル減算法により、周波数領域でノイズ低減処理を実行してもよい。
Next, the
そして、低減処理部250は、マイク出力信号から衝撃音ノイズ及び駆動音ノイズが低減されたマイク出力信号を、ノイズ減算処理信号(音データ)として通信部170に出力する。これにより、ノイズ減算処理信号は、記憶媒体200に記憶される。
Then, the
なお、検出部191が検出したタイミングが、動作部が動作を終了したタイミングである場合、低減処理部250は、動作部が動作を終了したタイミングを含む区間のマイク出力信号を、動作部が動作を開始したタイミングを含む区間に対する場合と同様に、時間領域で除去する。そして、低減処理部250は、当該除去された区間より後の区間のマイク出力信号を、除去された区間に補間する。さらに、低減処理部250は、例えばスペクトル減算法によって、周波数領域でノイズ低減処理を実行することで、駆動音ノイズを低減させる。なお、ノイズが発生していないと判断部251により判断された時刻t2〜t3については、低減処理部250は、ノイズ低減処理を行わなくてもよい。
When the timing detected by the
<減算係数について>
低減処理部250は、予め定められた区間を信号処理の単位として、ノイズの減算処理を実行する。ここで、予め定められた区間は、信号処理の単位(フレーム)であって、一定の間隔で繰り返される区間であってもよい。そして、これらの予め定められた区間は、他の予め定められた区間と半分ずつ順にオーバーラップしていてもよい。
<About subtraction coefficient>
The
そして、低減処理部250は、予め定められた区間ごとにマイク出力信号を窓関数で重み付けする。さらに、低減処理部250は、窓関数で重み付けされたマイク出力信号から、推定ノイズを周波数領域で減算することで、マイク出力信号に発生したノイズを低減させる。
Then, the
ここで、区間の一部のみにノイズが発生している場合、その区間に対して、推定ノイズをそのまま減算してしまうと、ノイズを低減し過ぎてしまう場合がある。このため、低減処理部250は、推定ノイズを減算係数で重み付けし、重み付けされた推定ノイズを、窓関数で重み付けされたマイク出力信号から周波数領域で減算してもよい。そして、予め定められた区間に対応する減算係数は、その区間に対応する窓関数と、区間Aの終了点である時刻tcとの相対位置に応じて、次のように定められる。
Here, when noise is generated only in a part of the section, if the estimated noise is directly subtracted from the section, the noise may be excessively reduced. For this reason, the
以下、窓関数は、一例として、ハニング窓(ハニングウィンドウ)関数であるとして説明する。図8〜10には、区間Aの終了点である時刻tcと、窓関数との位置関係の一例が示されている。この時刻tcは、図5及び6に示された時刻tcである。そして、図8〜10において、予め定められた区間T1〜T4に対応する窓関数を、それぞれ窓関数W1〜W4とする。 Hereinafter, the window function will be described as an example of a Hanning window function. 8 to 10 show an example of the positional relationship between the time tc, which is the end point of the section A, and the window function. This time tc is the time tc shown in FIGS. 8 to 10, window functions corresponding to predetermined sections T1 to T4 are defined as window functions W1 to W4, respectively.
例えば、図8に示された例であれば、区間T1が時刻tcを含まず、かつ、時刻tcより前に位置する場合、区間T1に対応する減算係数は、この相対位置に応じて、定められてもよい。また、区間T2が時刻tcを含む場合、区間T2に対応する減算係数は、区間T2における、窓関数W2の面積と、時刻tc以降の窓関数W2の面積(図8の斜線部分)との比に基づいて、定められてもよい。区間T3に対応する減算係数も、同様である(図9を参照)。また、図10において、区間T4が時刻tcを含まず、かつ、時刻tcより後に位置する場合、区間T4に対応する減算係数は、この相対位置に応じて、定められてもよい。 For example, in the example shown in FIG. 8, when the section T1 does not include the time tc and is positioned before the time tc, the subtraction coefficient corresponding to the section T1 is determined according to this relative position. May be. When the section T2 includes the time tc, the subtraction coefficient corresponding to the section T2 is a ratio between the area of the window function W2 in the section T2 and the area of the window function W2 after the time tc (shaded portion in FIG. 8). May be determined based on The same applies to the subtraction coefficient corresponding to the section T3 (see FIG. 9). In FIG. 10, when the section T4 does not include the time tc and is located after the time tc, the subtraction coefficient corresponding to the section T4 may be determined according to the relative position.
なお、減算係数は、検出部191が動作部の動作開始タイミングを検出した場合と同様に、検出部191が動作部の動作終了タイミングを検出した場合にも、窓関数と時刻tcとの相対位置に応じて、定められてもよい。
Note that the subtraction coefficient is the relative position between the window function and the time tc when the
図11には、このようにして定められた減算係数の一例が示されている。図8〜10に示された例であれば、例えば、区間T1に対応する減算係数は、値「0」と、区間T2に対応する減算係数は、値「0.3」と、区間T3に対応する減算係数は、値「0.9」と、区間T4に対応する減算係数は、値「1」になる。なお、これらの値は、一例である。 FIG. 11 shows an example of the subtraction coefficient thus determined. In the example shown in FIGS. 8 to 10, for example, the subtraction coefficient corresponding to the section T1 is the value “0”, the subtraction coefficient corresponding to the section T2 is the value “0.3”, and the section T3 The corresponding subtraction coefficient is the value “0.9”, and the subtraction coefficient corresponding to the section T4 is the value “1”. Note that these values are examples.
[第2の実施形態]
本発明の第2の実施形態について図面を参照して詳細に説明する。第2の実施形態では、マイク230に収音された音(マイク出力信号)に基本周期がない点が、第1の実施例と異なる。以下、第1の実施形態との相違点のみ説明する。
[Second Embodiment]
A second embodiment of the present invention will be described in detail with reference to the drawings. The second embodiment is different from the first embodiment in that the sound (microphone output signal) collected by the
図12には、マイク出力信号(非周期音)に発生した衝撃音ノイズ及び駆動音ノイズの一例が示されている。図12において、検出部191は、動作部が動作を開始したことにより、動作部の動作開始を示すタイミングを検出したとする。そして、図12には、このタイミングを含む区間Tcにおいて、マイク出力信号に衝撃音ノイズが発生していることが示されている。さらに、衝撃音ノイズが発生した後であって、動作部が動作している区間には、マイク出力信号に駆動音ノイズが発生していることが示されている。また、区間Tcの直前の区間であって、長さが「区間Tc+(区間Tf)×2」である区間T5が示されている。ここで、区間Tc及びTfのそれぞれの長さは、予め定められていてもよい。
FIG. 12 shows an example of impact sound noise and drive sound noise generated in the microphone output signal (non-periodic sound). In FIG. 12, it is assumed that the
まず、低減処理部250は、マイク出力信号から区間Tcを除去する。図13には、時間領域で区間Tcを除去した後のマイク出力信号の一例が示されている。さらに、低減処理部250は、区間Tcの直前の区間であって、長さが「区間Tc+(区間Tf)×2」である区間T5の中点が、区間Tcの中点と一致するように、区間T5のマイク出力信号を複製する。図14には、このように複製されたマイク出力信号の一例が示されている。
First, the
そして、低減処理部250は、時間領域で区間Tcを除去した後のマイク出力信号(図13を参照)と、複製されたマイク出力信号(図14を参照)とをクロスフェードさせることで、両信号を連続的に接続する。
Then, the
図15には、クロスフェードにおける重み付けの一例が示されている。図15に示されている実線は、時間領域で区間Tcを除去した後のマイク出力信号(図13を参照)に対する重み付けを示す。一方、破線は、複製されたマイク出力信号(図14を参照)に対する重み付けを示す。低減処理部250は、このような重み付けでクロスフェードさせることで、両信号を連続的に接続してもよい。
FIG. 15 shows an example of weighting in crossfading. The solid line shown in FIG. 15 shows the weighting for the microphone output signal (see FIG. 13) after removing the section Tc in the time domain. On the other hand, the broken line indicates the weighting for the duplicated microphone output signal (see FIG. 14). The
次に、低減処理部250は、駆動音ノイズの発生している区間(区間Tc以降で、動作部が動作している区間)に対しては、第1の実施例と同様に、例えばスペクトル減算法により、周波数領域でノイズ低減処理を実行することで、駆動音ノイズを低減させる。図16には、マイク出力信号から衝撃音ノイズ及び駆動音ノイズが低減されたノイズ低減処理信号の一例が示されている。
Next, the
このようにすれば、撮像装置(撮影装置)は、その判断により異ならせる処理として、衝撃音ノイズを時間領域で低減させ、衝撃音ノイズが低減されたマイク出力信号をクロスフェードさせるので、マイク出力信号に基本周期がない場合でも、駆動音ノイズばかりでなく衝撃音ノイズを低減させることができる。 In this way, the imaging device (imaging device) reduces the impact sound noise in the time domain and crossfades the microphone output signal in which the impact sound noise is reduced as a process to be varied depending on the judgment. Even when the signal has no fundamental period, not only driving noise but also impact noise can be reduced.
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.
例えば、検出部191は、ズームレンズ114が光学系111内を移動することにより、ズームレンズ114の移動範囲を制限する端部に当たるタイミングを、ズームレンズ114の移動量に基づいて推定してもよい。これにより、検出部191は、ズームレンズ114の移動範囲を制限する端部に当たることにより発生する衝撃音ノイズの発生タイミングを、推定することができる。
For example, the
また、例えば、検出部191は、タイミングを示す信号と、マイク出力信号とを併用して、動作部が動作するタイミングを検出してもよい。例えば、衝撃音ノイズは、高周波数成分を含むため、検出部191は、マイク出力信号を高域通過フィルタに通し、通過したマイク出力信号のパワーの強弱に基づいて、動作部が動作するタイミングを検出してもよい。
For example, the
また、例えば、光学系111が撮像装置100に着脱可能である場合、マイク230、音信号処理部240、又は低減処理部250のいずれかは、光学系(レンズ等)による像を形成する光学系111を備えた光学装置(例えば、レンズ鏡筒)に備えられてもよい。
Further, for example, when the optical system 111 is detachable from the
また、例えば、低減処理部250は、区間Aのマイク出力信号の値を全て「0」にする処理を省いて、区間Aのマイク出力信号を区間Bのマイク出力信号で置換してもよい。
For example, the
また、例えば、低減処理部250は、マイク出力信号に対して、SNG(Spectral Noise Gating)処理を実行してもよい。
In addition, for example, the
また、例えば、減算係数は、窓関数における面積比によらず、例えば、区間における時刻tcの位置に応じて定められてもよい。 For example, the subtraction coefficient may be determined according to the position of the time tc in the section, for example, without depending on the area ratio in the window function.
また、例えば、低減処理部250は、検出部191が検出したタイミングに対して、予め定められた遅延時間を加算し、これにより得られたタイミングを含む区間のマイク出力信号を、時間領域で除去してもよい。
Further, for example, the
なお、上記の説明においては、低減処理部250が、マイク230により収音された音信号に対して信号処理する場合について説明したが、本実施形態による上述した低減処理部250の処理は、このようにリアルタイムに収音された音信号に対してのみ適用されるものではない。
In the above description, the case where the
たとえば、既に録音されている音信号に対しても、この音信号と関連付けて、この音信号を録音した装置が備えている動作部が動作することを示すタイミングが、たとえば、記憶媒体200などの記憶部に記録されている場合にも、本実施形態による低減処理部250は、上述した信号処理を同様に、実行することができる。
For example, for a sound signal that has already been recorded, the timing indicating that the operation unit of the device that has recorded the sound signal is operated in association with the sound signal. Even when recorded in the storage unit, the
また、検出部191、判断部251、又は低減処理部250による手順であって、図2〜16を用いて上述した手順を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OS(Operating System)や周辺機器等のハードウェアを含むものであってもよい。
Further, the procedure by the
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。 Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used. The “computer-readable recording medium” means a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, etc. This is a storage device.
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
Further, the “computer-readable recording medium” refers to a volatile memory (for example, DRAM (Dynamic) in a computer system serving as a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. Random Access Memory)) that holds a program for a certain period of time is also included.
The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
The program may be for realizing a part of the functions described above.
Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
100…撮像装置、110…撮像部、190…CPU、191…検出部、170…通信部、200…記憶媒体、230…マイク、240…音信号処理部、250…低減処理部、251…判断部
DESCRIPTION OF
Claims (12)
音波を電気信号に変換するマイクと、
撮影状態を検出するセンサにより検出されたセンサ信号、及び、撮影を制御するための制御信号のうち少なくとも一方を検出する信号検出部と、
前記センサ信号及び前記制御信号のうち少なくとも一方を用いて撮影動作に変化があるか否かを判断し、撮影動作の開始及び撮影動作の終了のうち少なくとも一方を判断する判断部と、
前記判断部が撮影動作に変化があると判断したときと前記判断部が撮影動作に変化があると判断しないときとで前記電気信号のノイズを低減させる処理を切替え、前記判断部が撮影動作に変化があると判断した場合には、撮影動作の変化によって生じた一時的なノイズを除去するため、前記電気信号に時間領域でノイズ低減処理を行い、前記判断部が撮影動作に変化があると判断しない場合には、定常的に発生するノイズを除去するため、前記電気信号に周波数領域でノイズ低減処理を行うノイズ処理部とを含み、
前記ノイズ処理部は、前記判断部が撮影動作に変化があると判断し、前記判断部が撮影動作の開始を判断する場合には、撮影動作の開始があった前の前記電気信号に基づいて、前記一時的なノイズを含む前記電気信号に対して時間領域でノイズ低減処理を行い、前記判断部が撮影動作の終了を判断する場合には、撮影動作が終了された後の前記電気信号に基づいて、前記一時的なノイズを含む前記電気信号に対して時間領域でノイズ低減処理を行う
ことを特徴とする撮影装置。 A photographing unit for photographing an image by an optical system;
A microphone that converts sound waves into electrical signals;
A signal detection unit for detecting at least one of a sensor signal detected by a sensor for detecting a shooting state and a control signal for controlling shooting;
And at least one of determining whether there is a change in the shade operation shooting using a determining section for determining at least one of the end of the start and the photographing operation of the photographing operation of the sensor signal and the control signal,
The process of reducing noise of the electrical signal is switched between when the determination unit determines that there is a change in the shooting operation and when the determination unit does not determine that there is a change in the shooting operation. When it is determined that there is a change, in order to remove temporary noise caused by the change in the shooting operation, noise reduction processing is performed on the electrical signal in the time domain, and the determination unit has a change in the shooting operation. If not, including a noise processing unit that performs noise reduction processing in the frequency domain on the electrical signal in order to remove noise that occurs regularly,
The noise processing unit determines that there is a change in the shooting operation by the determination unit, and when the determination unit determines the start of the shooting operation , based on the electric signal before the start of the shooting operation. , have rows noise reduction processing in the time domain to the electrical signal including the temporary noise, when the determination unit determines completion of the photographing operation, the electric signal after the photographing operation is terminated And a noise reduction process in the time domain for the electrical signal including the temporary noise .
音波を電気信号に変換するマイクと、
撮影状態を検出するセンサにより検出されたセンサ信号、及び、撮影を制御するための制御信号のうち少なくとも一方を検出する信号検出部と、
前記センサ信号及び前記制御信号のうち少なくとも一方を用いて撮影動作に変化があるか否かを判断し、撮影動作の開始及び撮影動作の終了のうち少なくとも一方を判断する判断部と、
前記判断部が撮影動作に変化があると判断したときと前記判断部が撮影動作に変化があると判断しないときとで前記電気信号のノイズを低減させる処理を切替え、前記判断部が撮影動作に変化があると判断した場合には、撮影動作の変化によって生じた一時的なノイズを除去するため、時間軸に対して規定された信号として前記電気信号にノイズ低減処理を行い、前記判断部が撮影動作に変化があると判断しない場合には、定常的に発生するノイズを除去するため、周波数に対して規定された信号として前記電気信号にノイズ低減処理を行うノイズ処理部とを含み、
前記ノイズ処理部は、前記判断部が撮影動作に変化があると判断し、前記判断部が撮影動作の開始を判断する場合には、撮影動作に変化があった前の前記電気信号に基づいて、時間軸に対して規定された信号として前記一時的なノイズを含む前記電気信号に対してノイズ低減処理を行い、前記判断部が撮影動作の終了を判断する場合には、撮影動作が終了された後の前記電気信号に基づいて、時間軸に対して規定された信号として前記一時的なノイズを含む前記電気信号に対してノイズ低減処理を行う
ことを特徴とする撮影装置。 A photographing unit for photographing an image by an optical system;
A microphone that converts sound waves into electrical signals;
A signal detection unit for detecting at least one of a sensor signal detected by a sensor for detecting a shooting state and a control signal for controlling shooting;
A determination unit that determines whether or not there is a change in the shooting operation using at least one of the sensor signal and the control signal, and that determines at least one of a start of the shooting operation and an end of the shooting operation ;
The process of reducing noise of the electrical signal is switched between when the determination unit determines that there is a change in the shooting operation and when the determination unit does not determine that there is a change in the shooting operation. When it is determined that there is a change, in order to remove the temporary noise caused by the change in the shooting operation, the electric signal is subjected to noise reduction processing as a signal defined with respect to the time axis, and the determination unit In the case where it is not determined that there is a change in the shooting operation, a noise processing unit that performs noise reduction processing on the electrical signal as a signal defined with respect to frequency in order to remove noise that occurs constantly,
The noise processing unit determines that there is a change in the shooting operation by the determination unit, and when the determination unit determines the start of the shooting operation , based on the electrical signal before the change in the shooting operation. When the electrical signal including the temporary noise as a signal defined with respect to the time axis is subjected to noise reduction processing and the determination unit determines the end of the shooting operation, the shooting operation is ended. A noise reduction process is performed on the electrical signal including the temporary noise as a signal defined with respect to a time axis based on the electrical signal after the current .
前記電気信号を周波数に対して規定された信号としてノイズ低減処理を行うことを特徴とする撮影装置。 3. The imaging device according to claim 1, wherein the noise processing unit performs noise reduction processing on a time domain including a time when it is determined that there is a change in imaging operation in the electrical signal. rear,
An imaging apparatus, wherein noise reduction processing is performed using the electrical signal as a signal defined with respect to frequency.
前記判断部は、衝撃音を生じさせる撮影動作の変化があるか否かを判断することを特徴とする撮影装置。 It is an imaging device given in any 1 paragraph of Claims 1-3,
The determination unit is configured to determine whether or not there is a change in a photographing operation that causes an impact sound.
前記判断部が判断する撮影動作の変化は、撮影において駆動されるアクチュエータの動作変化、撮影者が操作可能な操作部の動作変化のうち少なくとも一方であることを特徴とする撮影装置。 It is an imaging device given in any 1 paragraph of Claims 1-4,
The imaging device change determined by the determination unit is at least one of an operation change of an actuator driven in imaging and an operation change of an operation unit operable by a photographer.
前記判断部は、前記電気信号を用いて撮影動作に変化があるか否かを判断することを特徴とする撮影装置。 An imaging apparatus according to any one of claims 1 to 5, wherein
The determination unit determines whether there is a change in a shooting operation using the electrical signal.
前記判断部は、動作部の動作の開始、及び、動作部の動作の終了の少なくとも一方について判断し、
前記ノイズ処理部は、前記判断部が動作部の動作の開始であると判断したとき、動作部の動作の開始前の前記電気信号を用いてノイズ低減処理を行い、前記判断部が動作部の動作の終了であると判断したとき、動作部の動作の終了後の前記電気信号を用いてノイズ低減処理を行うことを特徴とする撮影装置。 It is an imaging device given in any 1 paragraph of Claims 1-6,
The determination unit determines at least one of the start of operation of the operation unit and the end of operation of the operation unit,
When the determination unit determines that the operation of the operation unit is started, the noise processing unit performs a noise reduction process using the electrical signal before the operation of the operation unit is started. When it is determined that the operation is finished, a noise reduction process is performed using the electric signal after the operation of the operation unit is finished.
前記ノイズ処理部は、前記判断部が撮影動作に変化があると判断したタイミングに対して、予め定められた時間を加算することにより得られたタイミングを含む区間に収まる一時的なノイズを除去する
ことを特徴とする撮影装置。 It is an imaging device given in any 1 paragraph of Claims 1-7,
The noise processing unit removes temporary noise that falls within an interval including a timing obtained by adding a predetermined time to the timing at which the determination unit determines that there is a change in the shooting operation. An imaging apparatus characterized by that.
前記信号検出部は、前記センサ信号及び前記制御信号の少なくとも一方に基づいて、前記光学系における移動範囲を制限する端部により発生する一時的なノイズの発生タイミングを推定し、
前記判断部は、前記撮影動作に変化があるか否かを、推定された前記発生タイミングに基づいて判断することを特徴とする撮影装置。 It is an imaging device given in any 1 paragraph of Claims 1-8,
The signal detection unit estimates a generation timing of temporary noise generated by an end portion that limits a moving range in the optical system based on at least one of the sensor signal and the control signal.
The determination unit determines whether there is a change in the photographing operation based on the estimated generation timing.
前記ノイズ処理部は、時間領域で所定区間を除去した前記電気信号に対する重み付けと複製された前記電気信号に対する重み付けとに基づいて、前記所定区間を除去した前記電気信号と前記複製された電気信号とを連続的に接続することを特徴とする撮影装置。 It is an imaging device given in any 1 paragraph of Claims 1-9,
The noise processing unit is configured to weight the electrical signal from which the predetermined section is removed in the time domain and the weight to the replicated electrical signal, and to remove the electrical signal from the predetermined section and the replicated electrical signal. Are continuously connected to each other.
音波を電気信号に変換するマイクと、
撮影状態を検出するセンサにより検出されたセンサ信号、及び、撮影を制御するための制御信号のうち少なくとも一方を検出する信号検出部と、
前記センサ信号及び前記制御信号のうち少なくとも一方を用いて撮影動作に変化があるか否かを判断し、撮影動作の開始及び撮影動作の終了のうち少なくとも一方を判断する判断部と、
前記判断部が撮影動作に変化があると判断したときと前記判断部が撮影動作に変化があると判断しないときとで前記電気信号のノイズを低減させる処理を切替え、前記判断部が
撮影動作に変化があると判断した場合には、撮影動作の変化によって生じた一時的なノイズを除去するため、前記電気信号に時間領域でノイズ低減処理を行い、前記判断部が撮影動作に変化があると判断しない場合には、定常的に発生するノイズを除去するため、前記電気信号に周波数領域でノイズ低減処理を行うノイズ処理部とを含み、
前記ノイズ処理部は、前記判断部が撮影動作に変化があると判断し、前記判断部が撮影動作の開始を判断する場合には、撮影動作の開始があった前の前記電気信号に基づいて、前記一時的なノイズを含む前記電気信号に対して時間領域でノイズ低減処理を行い、前記判断部が撮影動作の終了を判断する場合には、撮影動作が終了された後の前記電気信号に基づいて、前記一時的なノイズを含む前記電気信号に対して時間領域でノイズ低減処理を行う
ことを特徴とする光学装置。 An optical system for forming an image by the optical system;
A microphone that converts sound waves into electrical signals;
A signal detection unit for detecting at least one of a sensor signal detected by a sensor for detecting a shooting state and a control signal for controlling shooting;
A determination unit that determines whether or not there is a change in the shooting operation using at least one of the sensor signal and the control signal, and that determines at least one of a start of the shooting operation and an end of the shooting operation ;
The process of reducing noise of the electrical signal is switched between when the determination unit determines that there is a change in the shooting operation and when the determination unit does not determine that there is a change in the shooting operation. When it is determined that there is a change, in order to remove temporary noise caused by the change in the shooting operation, noise reduction processing is performed on the electrical signal in the time domain, and the determination unit has a change in the shooting operation. If not, including a noise processing unit that performs noise reduction processing in the frequency domain on the electrical signal in order to remove noise that occurs regularly,
The noise processing unit determines that there is a change in the shooting operation by the determination unit, and when the determination unit determines the start of the shooting operation , based on the electric signal before the start of the shooting operation. , have rows noise reduction processing in the time domain to the electrical signal including the temporary noise, when the determination unit determines completion of the photographing operation, the electric signal after the photographing operation is terminated Based on the above , the optical apparatus performs noise reduction processing in the time domain on the electrical signal including the temporary noise .
撮影時に取得された音響信号としての電気信号、及び、撮影状態を検出するセンサにより検出されたセンサ信号及び撮影を制御するための制御信号のうち少なくとも一方を受け取る入力手順と、
前記センサ信号及び前記制御信号のうち少なくとも一方を用いて撮影動作に変化があったか否かを判断し、撮影動作の開始及び撮影動作の終了のうち少なくとも一方を判断する判断手順と、
撮影動作に変化があったと判断したときと撮影動作に変化があったと判断しないときとで前記電気信号のノイズを低減させる処理を切替え、撮影動作に変化があると判断した場合には、撮影動作の変化によって生じた一時的なノイズを除去するため、前記電気信号に時間領域でノイズ低減処理を行い、撮影動作に変化があると判断しない場合には、定常的に発生するノイズを除去するため、前記電気信号に周波数領域でノイズ低減処理を行う際、撮影動作に変化があると判断し、撮影動作の開始を判断する場合には、撮影動作に変化があった前の前記電気信号に基づいて、前記一時的なノイズを含む前記電気信号に対して時間領域でノイズ低減処理を行い、撮影動作の終了を判断する場合には、撮影動作が終了された後の前記電気信号に基づいて、前記一時的なノイズを含む前記電気信号に対して時間領域でノイズ低減処理を行うノイズ処理手順と
を実行させるためのプログラム。 On the computer,
An input procedure for receiving at least one of an electrical signal as an acoustic signal acquired at the time of shooting, a sensor signal detected by a sensor that detects a shooting state, and a control signal for controlling shooting;
A determination procedure for determining whether or not a shooting operation has changed using at least one of the sensor signal and the control signal, and determining at least one of a start of the shooting operation and an end of the shooting operation ;
Switch the process to reduce the noise of the electric signal between when it is judged that there is a change in the shooting operation and when it is not judged that there is a change in the shooting operation, and when it is determined that there is a change in the shooting operation, In order to remove the temporary noise caused by the change in the time, the electric signal is subjected to noise reduction processing in the time domain, and if it is not determined that there is a change in the shooting operation, the noise generated regularly is removed. when the noise reduction processing in the frequency domain to the electrical signal, shooting is determined that a shadow operation there is a change, in the case of determining the start of the photographing operation, the electrical signal before there is a change in the photographing operation based on, have rows noise reduction processing in the time domain to the electrical signal including the temporary noise, when determining the termination of the imaging operation, based on the electric signal after the photographing operation is terminated Z Te, a program for executing the noise processing procedure for performing noise reduction processing in the time domain to the electrical signal including the temporary noise.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009250337A JP5423319B2 (en) | 2009-10-30 | 2009-10-30 | Imaging device, optical device, and program |
US12/913,907 US8698911B2 (en) | 2009-10-28 | 2010-10-28 | Sound recording device, imaging device, photographing device, optical device, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009250337A JP5423319B2 (en) | 2009-10-30 | 2009-10-30 | Imaging device, optical device, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011097419A JP2011097419A (en) | 2011-05-12 |
JP5423319B2 true JP5423319B2 (en) | 2014-02-19 |
Family
ID=44113850
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009250337A Expired - Fee Related JP5423319B2 (en) | 2009-10-28 | 2009-10-30 | Imaging device, optical device, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5423319B2 (en) |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3885438B2 (en) * | 1999-12-16 | 2007-02-21 | ソニー株式会社 | Audio signal processing method and audio signal processing apparatus |
JP4499240B2 (en) * | 2000-03-23 | 2010-07-07 | 富士通株式会社 | Signal processing filter system |
US20040032509A1 (en) * | 2002-08-15 | 2004-02-19 | Owens James W. | Camera having audio noise attenuation capability |
JP4466384B2 (en) * | 2005-01-19 | 2010-05-26 | カシオ計算機株式会社 | Electronic camera, noise reduction device, and noise reduction method |
JP4448464B2 (en) * | 2005-03-07 | 2010-04-07 | 日本電信電話株式会社 | Noise reduction method, apparatus, program, and recording medium |
JP2006270591A (en) * | 2005-03-24 | 2006-10-05 | Nikon Corp | Electronic camera, data reproducing device and program |
JP2006279185A (en) * | 2005-03-28 | 2006-10-12 | Casio Comput Co Ltd | Imaging apparatus, and sound recording method and program |
JP2008053802A (en) * | 2006-08-22 | 2008-03-06 | Sony Corp | Recorder, noise removing method, and noise removing device |
JP4816334B2 (en) * | 2006-08-29 | 2011-11-16 | カシオ計算機株式会社 | Noise reduction device, imaging device, noise reduction method, and program |
JP2008197209A (en) * | 2007-02-09 | 2008-08-28 | Nikon Corp | Camera |
-
2009
- 2009-10-30 JP JP2009250337A patent/JP5423319B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011097419A (en) | 2011-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8698911B2 (en) | Sound recording device, imaging device, photographing device, optical device, and program | |
JP5529635B2 (en) | Audio signal processing apparatus and audio signal processing method | |
JP2006270591A (en) | Electronic camera, data reproducing device and program | |
US8860822B2 (en) | Imaging device | |
US20040032509A1 (en) | Camera having audio noise attenuation capability | |
JP5024470B2 (en) | Imaging apparatus, signal processing apparatus, and recording medium | |
JP4826402B2 (en) | Recording device, noise removal method, noise removal device | |
JP6369612B2 (en) | Sound processing apparatus and sound processing program | |
JP5361398B2 (en) | Imaging device | |
JP5435082B2 (en) | Noise reduction processing device, camera, and noise reduction processing program | |
JP5278477B2 (en) | Signal processing apparatus, imaging apparatus, and signal processing program | |
JP5423319B2 (en) | Imaging device, optical device, and program | |
KR20120057526A (en) | Imaging apparatus and audio processing apparatus | |
JP5428762B2 (en) | Imaging apparatus and program | |
JP2013117585A (en) | Imaging unit, information processing unit and control method thereof, program, and sound processing unit | |
JP2010028281A (en) | Camera, noise elimination method and noise elimination program | |
JP5158054B2 (en) | Recording device, imaging device, and program | |
JP2011205527A (en) | Imaging apparatus, method and program | |
JP2014022953A (en) | Signal processing device, image pickup device, and noise reduction processing method and program | |
JP5377073B2 (en) | Imaging apparatus, blur repair method, and program | |
JP5736839B2 (en) | Signal processing apparatus, imaging apparatus, and program | |
JP2008052772A (en) | Recording device, noise eliminating method, and noise eliminating device | |
JP2011095305A (en) | Sound recording device, imaging device and program | |
JP2013178456A (en) | Signal processor, camera and signal processing program | |
JP2013178458A (en) | Signal processing device and signal processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110608 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121016 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130827 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131009 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131029 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131111 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5423319 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |