JP6223176B2

JP6223176B2 - 画像処理装置及び撮像信号の処理方法

Info

Publication number: JP6223176B2
Application number: JP2013269330A
Authority: JP
Inventors: 卓草薙
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-12-26
Filing date: 2013-12-26
Publication date: 2017-11-01
Anticipated expiration: 2033-12-26
Also published as: JP2015126370A

Description

本発明は、画像処理装置及び撮像信号の処理方法に関し、特に、巡回型のノイズ低減処理において、撮像センサの露光時間を変更したときにメモリに格納する映像信号の処理に関する。

画像処理機能を有するデジタルビデオカメラ等の撮像装置において被写体の光学像を電気信号に変換する撮像センサ（イメージセンサ）のダイナミックレンジは、人間の視覚のダイナミックレンジと比べると極めて狭い。そこで、撮像装置には、撮影時のダイナミックレンジを拡大するために自動露出（Auto-Exposure、以下「ＡＥ」と記す）機能が搭載されており、例えば、下記（１）〜（３）の方法を組み合わせることでＡＥ機能を実現している。

（１）結像光学系と撮像センサとの間に光学的な絞りを設け、絞りを開閉することにより撮像センサへ照射される光量を制御する方法、
（２）センサ制御により露光時間を調整する（所謂、電子シャッタ）方法、
（３）撮像センサから出力された映像信号に対するゲインを制御する方法。

一般的に、被写体が暗い場合には、先ず、絞りを開いて光量を確保する。そして、絞りを全開にしても光量が不足する場合には、露光時間を長くして光量を確保し、露光時間が撮影のフレームレートで定まる撮影間隔に達した場合にはゲインを上げる。ここで、ゲインは、高くになるにしたがってノイズが増幅されてしまうため、画質を考慮してゲインの上限が決められる。より暗い被写体を撮影する場合には、撮影のフレームレートを落とし、露光時間を延長するスローシャッタ機能が用いられる。

また、低照度下の撮影では、映像信号にゲインをかけることによるノイズの増幅に対して、巡回フィルタを用いたノイズリダクション（以下「巡回型ＮＲ」と記す）が行われる。巡回型ＮＲは、メモリに格納された１フレーム期間以上前の画像との相関を利用してノイズを低減する処理であり、スローシャッタ機能と組み合わせることで、低照度下の撮影における画質改善が行われている（例えば、特許文献１参照）。

特開２００１−６９３９８号公報

しかしながら、上記特許文献１に記載された技術でスローシャッタ撮影を行った場合、トップフィールドとボトムフィールドのうちの一方のフィールドの映像信号しか取り込まない。そのため、映像信号を取り込まなかった期間では、以前に読み出した一方のフィールドから他方のフィールドの映像信号を生成しており、このような映像信号の処理を行った場合には、垂直方向の解像感が低下してしまうという問題がある。

本発明は、スローシャッタ撮影時の垂直方向の解像感の低下を抑えることができる技術を提供することを目的とする。

本発明に係る画像処理装置は、所定時間ごとに撮像センサへの露光を行い、前記撮像センサに結像した光学像を撮像信号に変換する撮像手段により得られた撮像信号を記憶する記憶手段と、前記撮像センサから読み出された撮像信号のノイズを、前記記憶手段に記憶された１フレーム期間以上前の撮像信号に基づいて低減させる巡回型のノイズ低減手段と、前記撮像手段により得られた撮像信号を、前記撮像手段の露光時間が所定時間以下である場合には、前記記憶手段にインタレース方式のフィールド撮像信号として記憶し、前記撮像手段の露光時間が前記所定時間を超える場合には、前記記憶手段にプログレッシブ方式のフレーム撮像信号として記憶する制御手段と、前記撮像手段の露光時間が前記所定時間以下から前記所定時間を超えるように変更された最初のフレーム期間で、前記記憶手段に記憶された前記１フレーム期間以上前のフィールド撮像信号に基づき前記ノイズ低減手段に入力するフレーム撮像信号を生成する生成手段とを備えることを特徴とする。

本発明に係る画像処理装置では、巡回型のノイズ低減処理のために記憶する撮像信号を、露光時間が所定時間以下のとき（通常撮影時）にはインタレース方式のフィールド撮像信号とし、露光時間が所定時間を超えるとき（スローシャッタ撮影時）にはプログレッシブ方式のフレーム撮像信号とする。これにより、スローシャッタ撮影時の垂直方向の解像感の低下を抑えることができるようになる。

本発明の実施形態に係るデジタルビデオカメラの概略構造を示すブロック図である。図１のデジタルビデオカメラが備えるフレームメモリの構成とインターレース信号の格納方法を模式的に示す図である。図１のデジタルビデオカメラでインタレース方式の動画撮影を行う場合のタイミングチャートである。図１のデジタルビデオカメラでのインタレース方式の動画撮影中にスローシャッター機能を有効にした場合のタイミングチャートである。

以下、本発明の実施形態について添付図面を参照して説明する。ここでは、本発明の実施形態に係る画像処理装置として撮像装置であるデジタルビデオカメラを取り上げることとする。但し、本発明に係る画像処理装置はこれに限定されるものではなく、本発明は、撮像センサを用いて動画撮影を行う機能を有する各種の電子機器、例えば、デジタルスチルカメラ、カメラ付き移動携帯端末等に適用することができる。また、本発明は、デジタルビデオカメラやデジタルスチルカメラで撮影された動画を、記憶媒体やネットワークを介して読み出し、読み出した動画に対して画像処理を行うパーソナルコンピュータやサーバー等に適用することもできる。

図１は、本発明の実施形態に係るデジタルビデオカメラの概略構造を示すブロック図である。デジタルビデオカメラ１００は、レンズユニット１０１、撮像センサ１０２、アナログフロントエンド（以下「ＡＦＥ」と記す）１０３、センサ制御部１０４、カメラ信号処理部１０５及び位相制御部１０６を備える。また、デジタルビデオカメラ１００は、メモリ制御部１０７、フレームメモリ１０８、システム制御部１０９、操作部１１０、ＲＯＭ１１１、巡回型ＮＲ処理部１１２、ＩＰ変換部１１３、解像度変換部１１４、外部出力部１１５及び内部バス１１６を備える。

レンズユニット１０１は、集光のための固定レンズ群、変倍レンズ群、絞り及び補正レンズ群により構成される。なお、補正レンズ群は、変倍レンズ群の動きで移動した結像位置を補正する補正機能と焦点調節を行う機能を備える。撮像センサ１０２は、具体的には、ＣＭＯＳセンサやＣＣＤセンサ等のイメージセンサであり、レンズユニット１０１により撮像面に結像された光学像を電気信号に変換する。

ＡＦＥ１０３は、撮像センサ１０２を駆動して映像信号を読み出し、映像信号のサンプル・ホールドと増幅、デジタル信号への変換を行う。センサ制御部１０４は、内部に同期信号発生回路を有しており、システム制御部１０９の要求に応じて同期信号発生回路から所定の周期で同期信号を発生させる。また、センサ制御部１０４は、同期信号を基準にして、撮像センサ１０２に電荷の蓄積開始タイミングと読み出しタイミングを供給する。こうして撮像センサ１０２に供給される蓄積開始タイミングと読み出しタイミングとで定まる所定時間ごとに撮像センサ１０２への露光が行われることになる。

カメラ信号処理部１０５は、ＡＦＥ１０３から入力された映像信号に対して、色分離処理、アパーチャ処理、ガンマ処理等を施して、輝度信号や色差信号を生成する。位相制御部１０６は、カメラ信号処理部１０５から取得したプログレッシブ信号をトップフィールド又はボトムフィールドのインタレース信号に変換して出力する。メモリ制御部１０７はフレームメモリ１０８への撮像信号（映像信号、画像信号）の書き込みと読み出しを制御する。フレームメモリ１０８は、複数のフレームからなるメモリであり、その詳細については図２を参照して後述する。システム制御部１０９は、内部バス１１６を介して各ブロック（各部）に接続されており、各ブロックの制御を行う。

操作部１１０は、ユーザによる操作の対象となるズームレバーや動画撮影開始／終了ボタン、撮影条件設定ボタン等の各種ボタンやスイッチ、映像表示部としても機能するタッチパネル等を備える。操作部１１０が操作されると、ユーザの指示である操作内容（入力内容）がシステム制御部１０９へ伝達され、システム制御部１０９はユーザの指示に応じてデジタルビデオカメラ１００での各種動作や処理を実行する。

ＲＯＭ１１１には、システム制御部１０９がデジタルビデオカメラ１００での各種動作を制御するための制御プログラムや、各種処理を実行するための演算プログラムが格納されている。巡回型ＮＲ処理部１１２は、撮像センサ１０２から出力されて所定の処理が施された映像信号と、フレームメモリ１０８に格納された１フレーム期間以上前の画像データとの相関を利用して巡回型のノイズ低減処理を行う。ＩＰ変換部１１３は、インタレース信号をプログレッシブ信号に変換する。より詳しくは、ＩＰ変換部１１３は、入力されるトップフィールド及びボトムフィールドのインタレース方式の映像信号からフレームの映像信号を生成し、プログレッシブ方式の映像信号として出力する。

解像度変換部１１４は、映像信号の解像度変換を行う。具体的には、解像度変換部１１４は、システム制御部１０９の指示に従い、フレームメモリ１０８からインタレース信号を読み込み、フィールド内補間を行い、プログレッシブ信号に変換し、巡回型ＮＲ処理部１１２等の映像信号を処理するブロックに出力する。外部出力部１１５は、映像信号を扱うブロックの出力やフレームメモリに格納されている映像信号を外部に出力する。内部バス１１６は、各部を接続して、制御信号や映像信号等の各種信号を伝達する。

次に、フレームメモリ１０８とメモリ制御部１０７について詳細に説明する。図２（ａ）は、フレームメモリ１０８の構成を模式的に示す図である。フレームメモリ１０８は複数のフレームを有しており、本実施形態では、第１フレーム２０１、第２フレーム２０２及び第３フレーム２０３の３つのフレームを有するものとするが、これに限られず、２つ以上あればよい。第１フレーム２０１、第２フレーム２０２及び第３フレーム２０３はそれぞれ、一時的なデータの保存場所として使用され、本実施形態では、映像信号がラスタイメージの画像データとして格納される。

図２（ｂ）は、フレームメモリ１０８に対するインタレース信号の格納方法を第１フレーム２０１を例にして模式的に示す図である。第１フレーム２０１に対してインタレース信号におけるトップフィールドの映像信号は偶数ラインに格納され、ボトムフィールドの映像信号は奇数ラインに格納される。ここで、第１フレーム２０１において、画像データは先頭の行を０行目とし、偶数ラインとしている。フレームメモリ１０８の各フレームに対してインタレース信号の書き込み及び読み出しが行われるときには、システム制御部１０９からどのフレームのどちらのフィールドにアクセスするかが指示される。メモリ制御部１０７は、指示された情報に基づき、映像信号を読み書きする位置を決定する。

次に、デジタルビデオカメラ１００でインタレース方式での動画撮影を行う際の、デジタルビデオカメラ１００の各部の動作と撮像信号処理方法について説明する。図３は、デジタルビデオカメラ１００によりインタレース方式での動画撮影を行う場合のタイミングチャートである。

動画撮影時には、レンズユニット１０１を通過した光は、撮像センサ１０２の撮像面上に結像し、撮像面の光学像が所定時間ごとに電気信号に変換される。撮像センサ１０２から出力された電気信号は、ＡＦＥ１０３により、増幅された後にデジタル信号へ変換される。ＡＦＥ１０３から出力されたデジタル信号は、カメラ信号処理部１０５において色変換処理され、例えば、ＹＣＣ（４：２：２）フォーマットの画像データに変換される。こうして得られたＹＣＣ画像データは、位相制御部１０６によりプログレッシブ方式からインタレース方式の映像信号に変換されて、巡回型ＮＲ処理部１１２に入力される。巡回型ＮＲ処理部１１２は、入力された映像信号とフレームメモリ１０８に格納された１フレーム期間以上前の画像データとの相関に基づいて巡回型ＮＲ処理を行い、フレームメモリ１０８に書き出す。

図３のタイミングチャートにおいて、垂直同期信号はセンサ制御部１０４でフレームレートにしたがって生成され、その周期である垂直同期期間（以下「フレーム期間」という）は１６．６ｍｓｅｃ（１／６０ｓｅｃ）であるとする。垂直同期信号の負のパルスが発生するタイミングに同期させて、撮像センサ１０２から映像信号（撮像信号）の読み出しが行われる。

Ｎの期間で撮像センサ１０２から読み出された映像信号は、前述した動画撮影時の説明の通りに処理されて、巡回型ＮＲ処理部１１２に入力される（図３中の巡回型ＮＲフィルタ入力）。このとき、巡回型ＮＲ処理部１１２には、２フレーム期間前に巡回型ＮＲ処理部１１２が第１フレーム２０１のトップフィールドに書き込んだ画像データも入力される。巡回型ＮＲ処理部１１２は、これらの２つ映像信号の差分が小さくなるように２つの映像信号を重み付け加算する巡回型ＮＲ処理を行い、映像信号を出力する。出力された映像信号は、フィールド撮像信号として、メモリ制御部１０７により、フレームメモリ１０８の第２フレーム２０２のトップフィールドに書き込まれる（図３中のＮの期間での巡回型ＮＲフィルタ出力）。

インタレース方式の動画に対して巡回型ＮＲ処理を行うときには、同じフィールドの画像データを使って巡回処理を行うために、２フィールド前の画像データを用いる。Ｎの期間でフレームメモリ１０８内の第２フレーム２０２に書き込まれた画像データは、Ｎ＋１の期間で外部出力部１１５に出力される。

次に、インタレース方式での動画撮影中に露光時間（撮像センサ１０２において光学像を電気信号に変換する所定時間）を所定時間よりも長くなるように変更したときの動作について説明する。所定時間とは、垂直同期期間ごとに映像信号の読み出しを行うことができる上限の露光時間であり、露光時間がこの所定時間を超えると、垂直同期期間ごとに映像信号の読み出しを行うことができなくなる。通常撮影では露光時間が所定時間以下に設定されるため、垂直同期期間ごとに映像信号の読み出しを行うことができ、１秒間に６０フレームの映像信号を読み出すことができる。これに対し、露光時間が所定時間よりも長くなると、垂直同期期間の２倍以上の間隔で映像信号の読み出しを行うことになるため、フレームレートが低下する（例えば、１秒間に３０フレーム）ことになる。ここでは、説明を簡略化するため、通常撮影では露光時間が所定時間と等しい値に設定され、スローシャッタ撮影では露光時間が通常撮影の２倍の長さに設定されるものとして説明を行う。なお、露光時間が２倍以上の長さの場合にも同様の処理が行われる。

なお、図３を参照して説明した動画撮影は、露光時間（撮像面の光学像を電気信号に変換する所定時間）が１倍に設定された場合（通常撮影）に相当する。また、露光時間の変更は、操作部１１０からのスローシャッタ撮影の入力指示に基づき、システム制御部１０９がセンサ制御部１０４を介して撮像センサ１０２の動作を制御することによって行われる。

図４は、デジタルビデオカメラ１００によるインタレース方式での動画撮影中にスローシャッタ撮影に移行したときのタイミングチャートである。ここでは、Ｎ−１の期間までは図３を参照して説明した動画の通常撮影が行われており、Ｎの期間でスローシャッタ撮影への切り替えが行われている。よって、通常撮影からスローシャッタ撮影へ変更された最初のフレーム期間がＮの期間となる。

Ｎの期間以降では露光時間を２倍にするため、撮像センサ１０２から映像信号の読み出しは、２フレーム期間に１回行われる。この場合に、Ｎの期間では、カメラ信号処理部１０５が出力した映像信号を、位相制御部１０６を介さずプログレッシブ信号のまま巡回型ＮＲ処理部１１２に入力するようにする。そのため、巡回型ＮＲ処理に用いる際にフレームメモリ１０８から読み込む信号もプログレッシブ信号とする。

Ｎの期間では、メモリ制御部１０７により、２フレーム期間前のＮ−２の期間において第１フレーム２０１に格納されたトップフィールドの画像データと、１フレーム期間前のＮ−１の期間で第１フレーム２０１に格納されたボトムフィールドの画像データが１つのフレームの画像データとしてフレームメモリ１０８から読み出され、巡回型ＮＲ処理部１１２へ入力される（図４中のＮの期間での巡回型ＮＲフィルタ入力）。

巡回型ＮＲ処理部１１２は、入力された２つの映像信号に対して巡回型ＮＲ処理を行い、映像信号を出力する。出力された映像信号は、フレーム撮像信号として、メモリ制御部１０７により、フレームメモリ１０８の第２フレーム２０２に書き込まれる（図４中のＮの期間での巡回型ＮＲフィルタ出力）。なお、Ｎ＋１の期間は、撮像センサ１０２からの映像信号の読み出しは行われず、露光期間となる。

Ｎ＋２の期間では、巡回型ＮＲ処理部１１２へ入力される映像信号は、撮像センサ１０２から読み出されてカメラ信号処理部１０５から出力されたプログレッシブ方式の撮像信号になる。また、Ｎ＋２の期間では、Ｎの期間で第２フレーム２０２に格納された画像データであるフレーム撮像信号を読み出して、巡回型ＮＲ処理部１１２へ入力する映像信号として用いる。Ｎ＋３の期間以降は、Ｎ＋１，Ｎ＋２の期間の繰り返しとなる。

図４では、Ｎ−２とＮ−１の期間で巡回型ＮＲ処理部１１２が出力した２つのフィールドの画像データを１つのフレームの画像データとしてＮの期間で巡回型ＮＲ処理に用いる構成について説明したが、以下に述べる構成でフレームの画像信号を生成してもよい。

１つの方法は、図４のＮの期間で第１フレーム２０１のトップフィールドとボトムフィールドの各画像データをＩＰ変換部１１３へ入力してＩＰ変換を行い、変換後のプログレッシブ信号を巡回型ＮＲ処理部１１２に入力する方法である。別の方法では、図４のＮの期間で第１フレーム２０１のトップフィールドの画像データ（フィールド撮像信号）を解像度変換部１１４へ入力する。解像度変換部１１４は、入力された映像信号に対してフィールド内補間を行い、プログレッシブ信号を生成する。こうして解像度変換部１１４から出力された映像信号を巡回型ＮＲ処理部１１２へ入力するようにする。

以上の通りに撮像信号を処理することにより、通常の動画撮影からスローシャッタ撮影に移行したときでも、映像信号の垂直方向の解像感の低下を抑制することができ、映像を高品位に保つことができる。また、巡回型ＮＲ処理部１１２に対して、適切なサイズの画像を入力することができ、これによっても映像品質の低下を抑制することができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。例えば、上記実施形態では、撮像センサ１０２から撮像信号としてのプログレッシブ信号を読み出し、位相制御部１０６でインタレース信号へ変換し、フレームメモリ１０８にフィールドの画像データとして格納する構成とした。しかし、これに限られず、位相制御部１０６を使わない構成とすることもできる。その場合、撮像センサ１０２の読み出しを通常の動画撮影中ではインタレース信号とし、スローシャッタ撮影時のときのみプログレッシブ信号を読み出すような構成とすればよい。また、カメラ自体でなくとも、カメラで撮影された動画を記憶媒体やネットワークを介して受け取ったパーソナルコンピュータやサーバーにおいて、上記実施形態で説明した巡回型のノイズ低減処理を行う構成としてもよい。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１００デジタルビデオカメラ
１０２撮像センサ
１０７メモリ制御部
１０８フレームメモリ
１０９システム制御部
１１１ＲＯＭ
１１２巡回型ＮＲ処理部
１１３ＩＰ変換部
２０１第１フレーム
２０２第２フレーム
２０３第３フレーム

Claims

所定時間ごとに撮像センサへの露光を行い、前記撮像センサに結像した光学像を撮像信号に変換する撮像手段により得られた撮像信号を記憶する記憶手段と、
前記撮像センサから読み出された撮像信号のノイズを、前記記憶手段に記憶された１フレーム期間以上前の撮像信号に基づいて低減させる巡回型のノイズ低減手段と、
前記撮像手段により得られた撮像信号を、前記撮像手段の露光時間が前記所定時間以下である場合には、前記記憶手段にインタレース方式のフィールド撮像信号として記憶し、前記撮像手段の露光時間が前記所定時間を超える場合には、前記記憶手段にプログレッシブ方式のフレーム撮像信号として記憶する制御手段と、
前記撮像手段の露光時間が前記所定時間以下から前記所定時間を超えるように変更された最初のフレーム期間で、前記記憶手段に記憶された前記１フレーム期間以上前のフィールド撮像信号に基づき前記ノイズ低減手段に入力するフレーム撮像信号を生成する生成手段とを備えることを特徴とする画像処理装置。
前記生成手段は、前記フィールド撮像信号に対してフィールド内補間を行ってフレーム撮像信号を生成することを特徴とする請求項１記載の画像処理装置。
前記生成手段は、２フレーム期間前のフィールド撮像信号と１フレーム期間前のフィールド撮像信号とからフレーム撮像信号を生成することを特徴とする請求項１記載の画像処理装置。
請求項１乃至３のいずれか一項に記載の画像処理装置と、前記撮像手段とを備えることを特徴とする撮像装置。
所定時間ごとに撮像センサへ露光を行い、前記撮像センサに結像した光学像を撮像信号に変換する撮像手段によって得られた映像信号を読み出すステップと、
前記撮像手段により得られた映像信号を、前記撮像手段の露光時間が所定時間以下である場合には、フィールドの画像データとして記憶手段に記憶し、前記撮像手段の露光時間が前記所定時間を超える場合にはフレームの画像データとして前記記憶手段に記憶する記憶ステップと、
前記撮像手段により得られた撮像信号のノイズを、前記記憶手段に記憶された１フレーム期間以上前のフレームの画像データに基づいて低減させるノイズ低減ステップと、
前記撮像手段の露光時間が前記所定時間以下から前記所定時間を超えるように変更されたときの最初のフレーム期間では、前記記憶手段に記憶された、前記最初のフレーム期間よりも１フレーム期間以上前のフィールドの画像データに基づき前記ノイズ低減ステップで用いる前記フレームの画像データを生成する生成ステップとを有することを特徴とする撮像信号の処理方法。