JP4437729B2

JP4437729B2 - 画像処理装置

Info

Publication number: JP4437729B2
Application number: JP2004272966A
Authority: JP
Inventors: 周一朝原
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2004-09-21
Filing date: 2004-09-21
Publication date: 2010-03-24
Anticipated expiration: 2024-09-21
Also published as: JP2006093776A

Description

本発明は、不自然さをなくしたなめらかな画像が得られる画像処理装置に関する。

ディジタル放送で用いられる各種画像方式のうち、毎秒約３０フレームのインターレース無しの画像となる３０Ｐは、現行放送システムを一部流用できるなどの理由により非常に低コストで実現できるために注目されているが、この３０Ｐ方式はフレーム周波数が低いために、動きの大きな画像ではややぎくしゃくした動きになるという欠点がある。また最近実施の画像の取り込みを６０フレームで行う６０Ｐ方式のカメラも開発されつつある。

そこで本出願人は先に、６０Ｐ方式のカメラを使用し、このカメラの出力を利用して３０Ｐ方式を実現することにより動きの大きな画像に対しても動きがスムーズで自然な画像が得られる画像撮像装置、特許文献１特開平１１−２８４９０６号公報を提案している。

特許文献１に記載の方法は、図９に示すように６０Ｐカメラヘッド１８からの６０Ｐの画像のうち３０Ｐを作り出す為に間引いた無効フレームを残像補間映像として活用するために、１フレームディレイ回路１９で６０Pの１フレーム分遅延させて、有効フレームとの差分を演算し、この差分信号のうち大きな差分信号のみを大レベルフィルター２１で取り出し、１／２アテネータ２２で１／２に低減し、加算器２３で有効フレームに加算し、該有効フレームに直前の無効フレームを重畳し、自然な画像を得るものである。
特開２００１−２３２８４３公報等

しかしながら特許文献１の方法では、残像補間映像である無効フレームも有効フレームも同じ解像度を持って加算されており、重畳した画像からは、動きの大きい部分について、どちらが有効フレームに属する主要な画像でどちらが無効フレームに属する残像かを判断できない。したがって特許文献１の方法では動きが若干不自然な印象であり、ぎくしゃくした動きがやや感じられるという課題があった。

そこで、本発明は、上記のような問題点を解消するためになされたもので、なめらからな画像が得られる画像処理装置を提供することを目的とする。

本願発明における第１の発明は、毎秒第１フレーム数で撮影された撮像画像を所定の間隔で間引いて前記第１フレームよりも少ない第２フレーム数の画像として毎秒出力する画像処理装置であって、前記第1フレーム数から１つ置きに間引かれた無効フレームと間引かれずに残った前記第２フレーム数の有効フレームを切り替えるフレーム切替部と、前記第２フレーム数の画像のうちの有効フレームの直前に間引かれた無効フレームを第１フレーム数の１フレーム分遅延させる遅延手段と、前記遅延手段で遅延させられた前記無効フレームの画像をぼかすフィルタを有する第１フィルタ部と、前記第１フィルタ部のフィルタ特性の逆特性を有して前記有効フレームの画像を強調する第２フィルタ部と、前記第１フィルタ部でぼかされた前記無効フレームの画像と前記第２フィルタ部で強調された前記有効フレームの画像とを重ねあわせる加算器と、を有することを特徴とする画像処理装置を提供する。

本願発明における第２の発明は、毎秒第１フレーム数で撮影された撮像画像を所定の間隔で間引いて前記第１フレームよりも少ない第２フレーム数の画像として毎秒出力する画像処理装置であって、前記第1フレーム数から所定数単位で間引かれた複数の無効フレームと間引かれずに残った前記第２フレーム数の有効フレームを切り替えるフレーム切替部と、前記第２フレーム数の有効フレームの直前までに前記所定数単位で間引かれた複数の無効フレームを前記有効フレームの直前に近い方から順に第１フレーム数の１フレーム分ずつ遅延量を増加させて遅延させる複数の遅延手段と、前記遅延手段で遅延させられた前記所定数単位で間引かれた複数の無効フレームの画像を前記有効フレームの直前に近い方から順にぼかし強度を増加させてぼかす前記複数の無効フレームの数に対応した複数のぼかしフィルタを有する第１フィルタ部と、前記第１フィルタ部における複数のぼかしフィルタの合計したフィルタ特性の逆特性を有し、前記有効フレームの画像を強調する第２フィルタ部と、前記第１フィルタ部でぼかされた複数の無効フレームの画像と前記第２フィルタ部で強調された前記有効フレームの画像とを重ねあわせる加算器と、を有することを特徴とする画像処理装置。

請求項１記載の本発明によれば、前記第1フレーム数から１つ置きに間引かれた無効フレームと間引かれずに残った前記第２フレーム数の有効フレームを切り替えるフレーム切替部と、前記第２フレーム数の画像のうちの有効フレームの直前に間引かれた無効フレームを第１フレーム数の１フレーム分遅延させる遅延手段と、前記遅延手段で遅延させられた前記無効フレームの画像をぼかすフィルタを有する第１フィルタ部と、前記第１フィルタ部のフィルタ特性の逆特性を有して前記有効フレームの画像を強調する第２フィルタ部と、前記第１フィルタ部でぼかされた前記無効フレームの画像と前記第２フィルタ部で強調された前記有効フレームの画像とを重ねあわせる加算器と、を有するので、なめらかな画像が得られる。

請求項２記載の本発明によれば、前記第1フレーム数から所定数単位で間引かれた複数の無効フレームと間引かれずに残った前記第２フレーム数の有効フレームを切り替えるフレーム切替部と、前記第２フレーム数の有効フレームの直前までに前記所定数単位で間引かれた複数の無効フレームを前記有効フレームの直前に近い方から順に第１フレーム数の１フレーム分ずつ遅延量を増加させて遅延させる複数の遅延手段と、前記遅延手段で遅延させられた前記所定数単位で間引かれた複数の無効フレームの画像を前記有効フレームの直前に近い方から順にぼかし強度を増加させてぼかす前記複数の無効フレームの数に対応した複数のぼかしフィルタを有する第１フィルタ部と、前記第１フィルタ部における複数のぼかしフィルタの合計したフィルタ特性の逆特性を有し、前記有効フレームの画像を強調する第２フィルタ部と、前記第１フィルタ部でぼかされた複数の無効フレームの画像と前記第２フィルタ部で強調された前記有効フレームの画像とを重ねあわせる加算器と、を有するので、前記第１の発明よりなめらかな画像が得られる。

以下に本発明の実施形態に係る画像処理装置について図１〜図８を用いて説明する。
図１は、本発明の第１の実施形態における画像処理装置を示すブロック図である。
図２は、本発明の第１の実施形態における画像処理装置を用いた画像処理を説明する図である。図３（ａ）（ｂ）は、ぼかしフィルタの実施例を示した特性図である。図４（ａ）（ｂ）は、強調フィルタの実施例を示した特性図である。図５は、図３（ａ）の特性を得る空間フィルタ係数を、図６は、図４（ａ）の特性を得る空間フィルタ係数を示す図である。図７は、本発明の第２の実施形態における画像処理装置を示すブロック図である。図８は、本発明の第２の実施形態における画像処理装置を用いた画像処理を説明する図である。

図１に示すように、本発明の第１の実施形態における画像処理装置１は、入射画像を光電変換して毎秒６０Ｐフレーム画像として出力する６０Ｐカメラヘッド２と、この６０Ｐカメラヘッドから出力された６０Ｐフレーム画像から１つ置きに間引かれた３０Ｐの奇数フレーム画像と間引かれずに残った３０Ｐの偶数フレーム画像とを切り替えて出力するフレーム切替部３と、フレーム切替部３から出力された奇数フレーム画像信号を６０Pの１フレーム分遅延させる１フレームディレイ回路４と、１フレームディレイ回路４から出力され６０Pの１フレーム分遅延した奇数フレームの画像信号の輪郭をぼかすぼかしフィルタ５と、このぼかしフィルタ５のフィルタ特性と逆特性を有し、フレーム切替部３から出力された偶数フレームの画像信号の輪郭を強調する強調フィルタ６と、ぼかしフィルタ５から出力された奇数フレームの画像信号と強調フィルタ６から出力された偶数フレームの画像信号を加算する加算器７と、加算器７で加算された偶数フレームの画像信号と奇数フレームの画像信号の出力レベルを減衰させるアッテネータ８と、から構成される。

以下では、偶数フレームを有効フレームと呼び、奇数フレームを無効フレームと呼ぶことにする。
そして、ぼかしフィルタ５は、例えば、図３（ａ）に示すガウシアンフィルタ、図３（ｂ）に示す平均化フィルタである。ぼかしフィルタの特性はこれにこだわることなく他のぼかし効果を持つフィルタを適用しても良い。強調フィルタ６は、ぼかしフィルタ５の逆特性を有しているものであり、図４（ａ）は、図３（ａ）のぼかしフィルタであるガウシアンフィルタの逆特性であり、図４（ｂ）は、図３（ｂ）のぼかしフィルタである平均化フィルタの逆特性である。

次に、この動作について説明する。
入力画像を６０Ｐカメラヘッド２に入力させ、ここで光電変換した後、図２（ａ）に示すように６０Ｐフレームの原画像を出力する。６０Ｐフレーム画像信号のうち、１つ置きに間引かれた３０Ｐフレームの無効フレーム画像信号を、フレーム切替部３で切り替え１フレームディレイ回路４に出力する。

更に、図２（ｃ）に示すように１フレームディレイ回路４で６０Pの１フレーム分遅延し、ぼかしフィルタ５に出力する。一方、図２（ｂ）に示すように６０Ｐフレーム画像信号の中から間引かれずに残った３０Ｐの有効フレーム画像信号を、フレーム切替部３で切り替え強調フィルタ６に出力する。ぼかしフィルタ５では、無効フレーム画像信号の輪郭をぼかし、強調フィルタ６では、有効フレームの画像信号の輪郭を強調する。加算器７でぼかしフィルタ５で輪郭がぼかされた無効フレームの画像信号と強調フィルタ６で輪郭が強調された有効フレームの画像信号とを加算して出力し、アッテネータ７で画像信号を１／２に減衰させ外部に出力する。図３（ａ）（ｂ）、図４（ａ）（ｂ）で示した実施例のフィルタ特性を用いる場合、加算後のレベルはカメラヘッドよりの原画像信号の２倍となるためアッテネータで元のレベルに戻すため１／２に減衰させている。

人間の視覚特性として、残像は、元の画像に対して２次元解像度が低いものとなっている。このため、６０Ｐ画像から３０Ｐ画像を作り出す際の残像付加に用いる補間画像を直前のフレームに対してぼかしフィルタ５をかけたものにすることで、実際に人間が感じる画像に近いものにすることができる。一方、本来用いる有効フレームの画像信号に対しては強調フィルタ６をかける。ぼかされた残像に対して有効フレームに強調フィルタをかけることにより、さらに相乗的効果が発揮される。この強調フィルタ６は、カメラヘッドよりの画像が静止画像においては、補間用のフレームと本来のフレームの画像内容が同一であり補間する残像が存在しないため、加算器よりの静止画像が正しく元の静止画像に戻るように決定する必要がある。具体的なガウシアンフィルタの空間フィルタ係数は図５に示すようなものであり、強調フィルタの空間フィルタ係数は図６に示すようになる。ここで図６に示す空間フィルタ係数は、図５に示す空間フィルタ係数と加算された後の中心画素以外の係数が０となるように設定されており、強調フィルタはぼかしフィルタの逆特性であることを示している。

以上のよに本発明の第１の実施形態によれば、無効フレームの画像信号をぼかすフィルタを有するぼかしフィルタ５と、ぼかしフィルタ部５のフィルタ特性の逆特性を有して有効フレームの画像信号を強調する強調フィルタ６とを有するので、不自然さをなくしたなめらかな画像が得られる。

次に本発明の第２実施例について図７、図８を用いて説明する。
本発明の第２の実施形態は、本発明の第１の実施形態における６０Ｐカメラヘッドの代わりに１２０Ｐカメラヘッドを用い、６０Pの１フレームディレイ回路４、ぼかしフィルタ５の代わりに、１２０Pの３、２、１フレームディレイ回路１１、１２、１３、及び第１、第２、第３ぼかしフィルタ１４、１５、１６を用いたものであり、それ以外は同様である。

図７に示すように、本発明の第２の実施形態における画像処理装置９は、入射画像を光電変換して毎秒１２０Ｐフレーム画像として出力する１２０Ｐカメラヘッド２と、１２０Ｐカメラヘッドから出力された１２０Ｐフレーム画像から１：４の比率で抽出された３０Ｐの有効フレーム画像と有効フレームの間にあって間引かれた３つの無効フレーム画像を切り替えて出力するフレーム切替部１０と、フレーム切替部１０から出力された３つの無効フレーム画像に、異なるフレーム数の遅延量を与えるフレームディレイ回路１１．１２．１３と、各フレームディレイ回路１１、１２、１３から出力された３つの無効フレ−ムの画像信号に３種類のぼかし特性を与えるぼかしフィルタ１４、１５、１６と、フレーム切替部１０から出力された有効フレームの画像信号の輪郭を強調する、３種類のぼかしフィルタ特性の和の逆特性を有する強調フィルタ６と、強調フィルタ６から出力された有効フレームの画像信号とぼかしフィルタ１４．１５．１６から出力された３つの無効フレームの画像信号とを加算する加算器７と、加算器７で加算された画像信号の出力レベルを減衰させるアッテネータ８と、から構成される。

次に、この動作について説明する。
１２０Ｐカメラヘッドより画像信号を図８（ａ）に示す１２０Ｐの原画像を出力する。切替部１０ではこのカメラヘッドからの入力画像から１：４の比率で一定間隔で有効フレームを抽出し、抽出された有効フレームの直前まで連続する３つの無効フレームを間引き、出力する。切替部より出力された３つの無効フレームを、有効フレームまでの時間差にそれぞれ等しい遅延量である、１２０Pの３フレーム、２フレーム、１フレームの遅延量をもつ３種類のフレームディレイ回路に入力する。このように遅延量を設定することで切替部より出力された有効フレームと３つの無効フレームが画像処理後に時間差が無くなり画像合成が可能となる。３種類のフレームディレイ回路より出力された無効フレームを独立に３種類のぼかしフィルタに入力する。なめらかな画像を得るには、視覚特性によれば有効フレームまでの時間経過の大きい無効フレームほど強いぼかし処理をかけることが効果的であり、各ぼかしフィルタの係数は、ぼかしフィルタ１４＞ぼかしフィルタ１５＞ぼかしフィルタ１６という関係を有することが必要である。ぼかし処理された３つの無効フレ−ムを加算器７へ出力する。一方、フレーム切替部１０より出力された有効フレ−ムは強調フィルタ６で、ぼかし処理の逆特性により強調フィルタがかけられる。この逆特性は、３つのぼかしフィルタの合成特性である空間フィルタ係数の和に対して逆特性となる空間フィルタで与えられる。図８（ｄ）に示すように加算器７では強調フィルタ６で輪郭が強調された有効フレームの画像信号と３つのぼかしフィルタよりの無効フレームの画像信号とを加算して合成画像を得る。加算器７より出力された合成画像をアッテネータ９に出力し、有効フレーム、無効フレームを処理した各フィルタ特性によるレベルの変化を調整して、原画像のレベルに戻し、外部に出力する。

以上のように本発明の第２の実施形態によれば、３つの無効フレームの画像をぼかす個別のフィルタ特性を有する３つのぼかしフィルタ１３、１４、１５と、ぼかしフィルタ部１３、１４、１５の合成フィルタ特性の逆特性を有して有効フレームの画像を強調する強調フィルタ６とを有するので、第１の実施形態よりも更に不自然さをなくしたなめらかな画像が得られる。

本発明の第２の実施形態においては１２０Ｐカメラヘッドから毎秒３０Ｐフレームを得るようにしたが、７５Ｐカメラヘッドから毎秒２５Ｐフレームを得るように画像処理装置を構成することができる。毎秒７５Ｐフレームより１：３の一定比率で抽出した有効フレームにぼかしフィルタ部の逆特性の強調フィルタをかけ、その有効フレーム直前まで連続して間引いた２つの無効フレームに個別に、所定の２種類のフレームディレイ回路と、所定の２種類のぼかしフィルタで画像処理し、合成することで、同様に不自然さをなくしたなめらかな画像が得られる本発明による他の画像処理装置の実施例を構成することが可能である

本発明の第１の実施形態における画像処理装置１示すブロック図る本発明の第１の実施形態における画像処理装置１用いた画像処理を説明する図である。ぼかしフィルタの特性図である。強調フィルタの特性図である。ぼかしフィルタの空間フィルタ係数である。強調フィルタの空間フィルタ係数である本発明の第２の実施形態における画像処理装置９を示すブロック図である。本発明の第２の実施形態における画像処理装置９を用いた画像処理を説明する図である。従来の画像処理装置を示すブロック構成図である。

符号の説明

１…第1画像処理装置、２…カメラヘッド、３…フレーム切替部、４…１フレームディレイ回路、５…ぼかしフィルタ、６…強調フィルタ、７…加算器、８…アッテネータ、９…第２画像処理装置、１０…フレーム切替部、１１…３フレームディレイ回路、１２…２フレームディレイ回路、１３…１フレームディレイ回路、１４…第１ぼかしフィルタ、１５…第２ぼかしフィルタ２、１６…第３ぼかしフィルタ

Claims

毎秒第１フレーム数で撮影された撮像画像を所定の間隔で間引いて前記第１フレームよりも少ない第２フレーム数の画像として毎秒出力する画像処理装置であって、
前記第1フレーム数から１つ置きに間引かれた無効フレームと間引かれずに残った前記第２フレーム数の有効フレームを切り替えるフレーム切替部と、
前記第２フレーム数の画像のうちの有効フレームの直前に間引かれた無効フレームを第１フレーム数の１フレーム分遅延させる遅延手段と、
前記遅延手段で遅延させられた前記無効フレームの画像をぼかすフィルタを有する第１フィルタ部と、
前記第１フィルタ部のフィルタ特性の逆特性を有して前記有効フレームの画像を強調する第２フィルタ部と、
前記第１フィルタ部でぼかされた前記無効フレームの画像と前記第２フィルタ部で強調された前記有効フレームの画像とを重ねあわせる加算器と、
を有することを特徴とする画像処理装置。
毎秒第１フレーム数で撮影された撮像画像を所定の間隔で間引いて前記第１フレームよりも少ない第２フレーム数の画像として毎秒出力する画像処理装置であって、
前記第1フレーム数から所定数単位で間引かれた複数の無効フレームと間引かれずに残った前記第２フレーム数の有効フレームを切り替えるフレーム切替部と、
前記第２フレーム数の有効フレームの直前までに前記所定数単位で間引かれた複数の無効フレームを前記有効フレームの直前に近い方から順に第１フレーム数の１フレーム分ずつ遅延量を増加させて遅延させる複数の遅延手段と、
前記遅延手段で遅延させられた前記所定数単位で間引かれた複数の無効フレームの画像を前記有効フレームの直前に近い方から順にぼかし強度を増加させてぼかす前記複数の無効フレームの数に対応した複数のぼかしフィルタを有する第１フィルタ部と、
前記第１フィルタ部における複数のぼかしフィルタの合計したフィルタ特性の逆特性を有し、前記有効フレームの画像を強調する第２フィルタ部と、
前記第１フィルタ部でぼかされた複数の無効フレームの画像と前記第２フィルタ部で強調された前記有効フレームの画像とを重ねあわせる加算器と、
を有することを特徴とする画像処理装置。