JP3792826B2 - 画像処理方法及び画像処理装置 - Google Patents
画像処理方法及び画像処理装置 Download PDFInfo
- Publication number
- JP3792826B2 JP3792826B2 JP07746797A JP7746797A JP3792826B2 JP 3792826 B2 JP3792826 B2 JP 3792826B2 JP 07746797 A JP07746797 A JP 07746797A JP 7746797 A JP7746797 A JP 7746797A JP 3792826 B2 JP3792826 B2 JP 3792826B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- output
- change
- still
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像を構成する静止画像の連続的な入力に起因して、静止画像を連続的に出力する画像処理方法及び画像処理装置に関するものである。例えば、本発明は、監視装置、ＴＶ会議装置、動画を扱う汎用計算機あるいはビデオサーバ等を含む様々な分野に適用することが可能である。
【０００２】
【従来の技術】
これまで、映像中の変化を検出するための方法に関して、従来から様々な方法が提案されている。その中で比較的簡便なものとして、２つの画像間の差分をとることによって変化領域を検出する方法が提案されている（佐久間，伊藤，増田「フレーム間差分を用いた侵入物体検出法」、テレビジョン学会技術報告,vol.14,No.49,pp1-6,1990年などを参照）。映像はデータ量が非常に多いため、その処理のためには多くの時間を必要とするが、このような簡便な方法によれば、汎用計算機でも十分な処理速度で映像変化の検出を行うことが可能である。
【０００３】
そして、上述した映像変化を検出する手法を利用した装置として、本出願人が既に提案した特願平７−１２８３７８号や特願平８−２４３３７号のように、映像中の変化の有無を検出し、変化が検出された映像だけを通信路（例えば、ＷＡＮ（Wide Area Network ）やＬＡＮ（Local Area Network）など）に出力して送信したり、画像記憶装置に出力して記憶したり、画像表示装置に出力して表示したりする装置が種々提案されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記先願を含む従来例は、映像の変化が検出されている間は通常通り動画出力を実行し、映像の変化が検出されていない間は、映像中に変化が検出されているときと同様に単に撮像中の映像をそのまま出力したり、あるいは、変化が検出された瞬間の画像（フィールド画像もしくはフレーム画像）のみを出力し、次の変化が検出されるまでは引き続き撮像されている映像を出力しないようにするというに過ぎないものであった。
【０００５】
すなわち、映像データを利用する際には、その映像は高画質であることが要求される場合が多いのに、上記従来例では、出力される映像の高画質化を図るなどの工夫は一切行われていなかった。
【０００６】
本発明は、このような事情に鑑みて成されたものであり、映像中に変化が有るか否かによって動作を切り替えるようにした装置等において、出力される画像を有効に高画質化できるようにすることを目的とする。特に本発明は、映像中に有意と考えられる変化が検出されている間は動画出力を行い、映像中に変化が検出されない間は出力される画像を高画質化できるようにすることを目的とする。
【０００７】
【課題を解決するための手段】
本発明の画像処理方法は、動画像を構成する静止画像の連続的な入力に起因して、静止画像を連続的に出力する画像処理方法であって、動画像を構成する複数の静止画像であって、処理対象の静止画像を入力する画像入力ステップと、前記処理対象の静止画像と当該静止画像以前の基準画像とを比較することにより、前記処理対象の静止画像が前記基準画像から変化したか否かを検出する変化検出ステップと、前記変化検出ステップにおいて前記処理対象の静止画像が前記基準画像から変化していないことを検出したときには、前記変化が検出されなかった期間に入力された複数の静止画像を用いて高画質な静止画像を出力画像として生成し、前記変化検出ステップにおいて前記処理対象の静止画像が前記基準画像から変化したことを検出したときには、前記処理対象の静止画像を出力画像として保持する出力画像生成ステップと、前記出力画像生成ステップで生成又は保持された出力画像の何れか一方を出力する画像出力ステップとを備え、前記出力画像生成ステップでは、前記変化が検出されない期間が延長されると、当該延長期間に入力された静止画像も用いて前記高画質な静止画像を出力画像として生成し直すことを特徴とする。
【０００８】
本発明の画像処理装置は、動画像を構成する静止画像の連続的な入力に起因して、静止画像を連続的に出力する画像処理装置であって、動画像を構成する複数の静止画像であって、処理対象の静止画像を入力する画像入力手段と、前記処理対象の静止画像と当該静止画像以前の基準画像とを比較することにより、前記処理対象の静止画像が前記基準画像から変化したか否かを検出する変化検出手段と、前記変化検出手段において前記処理対象の静止画像が前記基準画像から変化していないことを検出したときには、前記変化が検出されなかった期間に入力された複数の静止画像を用いて高画質な静止画像を出力画像として生成し、前記変化検出手段において前記処理対象の静止画像が前記基準画像から変化したことを検出したときには、前記処理対象の静止画像を出力画像として保持する出力画像生成手段と、前記出力画像生成手段で生成又は保持された出力画像の何れか一方を出力する画像出力手段とを備え、前記出力画像生成手段は、前記変化が検出されない期間が延長されると、当該延長期間に入力された静止画像も用いて前記高画質な静止画像を出力画像として生成し直すことを特徴とする。
【００１５】
【発明の実施の形態】
（第１の実施形態）
以下、本発明の一実施形態を図面に基づいて説明する。
図１は、本発明を適用した第１の実施形態による動画像処理方法の内容を示す流れ図である。
【００１６】
図１において、画像入力ステップ１では、図示しないビデオカメラ等による撮影によって得られる映像や、図示しないディスク装置等に記憶されているデジタル動画像等から、静止画像を抽出して入力する（以下、この入力した静止画像を入力画像と呼ぶ）。
【００１７】
変化検出ステップ２では、上記画像入力ステップ１において入力された入力画像と、過去に生じた幾つかの映像変化のうち最新の変化を検出したときの画像（以下、最新変化画像と呼ぶ）とを比較することにより、現時点での映像の変化を検出する。ここで、映像の変化を検出した場合は、次の最新変化画像記憶ステップ３へと処理を移し、映像の変化を検出できなかった場合は、出力画像生成用画像データ高画質化処理ステップ５へと処理を移す。
【００１８】
最新変化画像記憶ステップ３では、上記変化検出ステップ２で映像の変化を検出したときに比較の対象とされていた入力画像を新たな最新変化画像として記憶する。そして、次の出力画像生成用画像データ初期化ステップ４では、上記変化検出ステップ２で映像の変化を検出したときに比較の対象とされていた入力画像を新たな出力画像生成用画像データとして記憶し、かつ、後述する出力画像生成ステップ６で用いるパラメータを初期化する。
【００１９】
一方、出力画像生成用画像データ高画質化処理ステップ５では、上記変化検出ステップ２で映像の変化を検出しなかったときに比較の対象とされていた入力画像と、その時点で既に記憶されていた出力画像生成用画像データとを用いて高画質化処理を行うことにより、新たな出力画像生成用画像データを生成する。そして、この生成した新たな出力画像生成用画像データをもって、それまで記憶していた出力画像生成用画像データを更新し、かつ、後述する出力画像生成ステップ６で用いるパラメータをも更新する。
【００２０】
出力画像生成ステップ６では、その時点で記憶されている出力画像生成用画像データと所定のパラメータとから出力画像を生成する。そして、次の画像出力ステップ７において、上記出力画像生成ステップ６で生成した出力画像を図示しない通信路（例えば、ＷＡＮやＬＡＮ）に出力して送信したり、図示しない画像記憶装置に出力して記憶したり、図示しない画像表示装置に出力して表示したりする。上記画像出力ステップ７の処理を終えると、処理の終了指示がない限り、再び画像入力ステップ１の処理に戻り、以上の処理を繰り返し実行する。
【００２１】
図２は、図１に示した処理を行う動画像処理装置の構成例を示す機能ブロック図である。また、図３は、図２に示した機能を実現する実際のハードウェア構成の例を示す図である。
【００２２】
図３において、２１はＣＰＵ（中央処理装置）であり、本実施形態による動画像処理装置全体の動作を制御する。２２はＲＯＭ（リードオンリメモリ）であり、各種の処理プログラムが記憶されている。２３はＲＡＭ（ランダムアクセスメモリ）であり、処理プログラムや静止画像など、処理の過程で種々の情報が格納される。
【００２３】
２４はディスク装置であり、デジタル動画像等の情報が記憶されている。２５はディスク入出力装置（ディスクＩ／Ｏ）であり、上記ディスク装置２４に記憶されているデジタル動画像情報の入出力を行う。２６はビデオカメラであり、被写体を撮影することにより映像情報を得るためのものである。２７はビデオキャプチャ装置であり、上記ビデオカメラ２６による撮影によって得られる映像から静止画像を獲得する。
【００２４】
２８は通信装置であり、上記ＲＡＭ２３に保持される静止画像や、上記ディスク装置２４からディスクＩ／Ｏ２５を介して入力される静止画像、上記ビデオカメラ２６からビデオキャプチャ装置２７を介して入力される静止画像をＷＡＮやＬＡＮなどの通信路を介して送信する。２９はバスであり、上記ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、ディスクＩ／Ｏ２５、ビデオキャプチャ装置２７および通信装置２８が接続される。
【００２５】
次に、図２において、画像入力手段１１は、ビデオカメラで得られる映像やディスク装置に記憶されているデジタル動画像等から静止画像を獲得し、それを入力画像記憶手段１７に記憶するものである。例えば、図３においては、ＲＯＭ２２またはＲＡＭ２３に格納されているプログラムに従って動作するＣＰＵ２１の制御により、ビデオカメラ２６による撮影によって得られた映像からビデオキャプチャ装置２７で静止画像（入力画像）を獲得し、それをＲＡＭ２３に格納する公知の画像入力手段で構成することができる。
【００２６】
または、ＲＯＭ２２またはＲＡＭ２３に格納されているプログラムに従って動作するＣＰＵ２１の制御により、ディスク装置２４に記憶されているデジタル動画像からディスクＩ／Ｏ２５を介して静止画像（入力画像）を読み込み、それをＲＡＭ２３に格納する公知の画像入力手段で構成することができる。
【００２７】
次いで、変化検出手段１２は、上記入力画像記憶手段１７に記憶されている入力画像と、最新変化画像記憶手段１３に記憶されている最新変化画像とを比較することにより、現時点での映像の変化を検出する。そして、映像の変化を検出した場合は、そのとき入力画像記憶手段１７に記憶されている入力画像を新たな最新変化画像として最新変化画像記憶手段１３に記憶するものである。
【００２８】
このような変化検出手段１２は、例えば図３においては、ＲＯＭ２２またはＲＡＭ２３に格納されているプログラムに従って動作するＣＰＵ２１と、ワークメモリとして使用するＲＡＭ２３またはディスク装置２４とで構成することができる。もちろん、それぞれ専用のＣＰＵ、ＲＡＭおよびディスク装置により構成したり、専用のハードウェアにより構成したりしても構わない。
【００２９】
次いで、出力画像生成用画像データ初期化手段１４は、上記変化検出手段１２において映像の変化が検出されたときに、そのとき入力画像記憶手段１７に記憶されていた入力画像を、それまでの出力画像生成用画像データに代えて新規な出力画像生成用画像データとして出力画像生成用画像データ記憶手段１８に記憶すると同時に、出力画像生成用パラメータ記憶手段１９に記憶されているパラメータの値を１に初期化するものである。
【００３０】
このような出力画像生成用画像データ初期化手段１４は、例えば図３においては、ＲＯＭ２２またはＲＡＭ２３に格納されているプログラムに従って動作するＣＰＵ２１と、ワークメモリとして使用するＲＡＭ２３またはディスク装置２４とで構成することができる。もちろん、それぞれ専用のＣＰＵ、ＲＡＭおよびディスク装置により構成したり、専用のハードウェアにより構成したりしても構わない。
【００３１】
次いで、出力画像生成用画像データ高画質化処理手段１５は、上記変化検出手段１２において映像の変化が検出されなかったときに、そのとき入力画像記憶手段１７に記憶されていた入力画像と、出力画像生成用画像データ記憶手段１８に既に記憶されていた出力画像生成用画像データとの対応する画素間の値をそれぞれ加算することにより得られる値を各画素値とする画像データを生成し、この生成した画像データをもって改めて出力画像生成用画像データとして出力画像生成用画像データ記憶手段１８に記憶する。また、これと同時に、出力画像生成用パラメータ記憶手段１９に記憶されているパラメータの値を１だけ増やす。
【００３２】
このような出力画像生成用画像データ高画質化処理手段１５は、例えば図３においては、ＲＯＭ２２またはＲＡＭ２３に格納されているプログラムに従って動作するＣＰＵ２１と、ワークメモリとして使用するＲＡＭ２３またはディスク装置２４とで構成することができる。もちろん、それぞれ専用のＣＰＵ、ＲＡＭおよびディスク装置により構成したり、専用のハードウェアにより構成したりしても構わない。
【００３３】
次いで、出力画像生成手段１６は、出力画像生成用画像データ記憶手段１８に記憶されている出力画像生成用画像データと、出力画像生成用パラメータ記憶手段１９に記憶されているパラメータの値とから出力画像を求めるものである。すなわち、上記パラメータの値で出力画像生成用画像データの各画素値を除算して得られる商を改めて各画素の値とする画像データを生成し、これを出力画像として出力画像記憶手段１０１に記憶する。
【００３４】
このような出力画像生成手段１６は、例えば図３においては、ＲＯＭ２２またはＲＡＭ２３に格納されているプログラムに従って動作するＣＰＵ２１と、ワークメモリとして使用するＲＡＭ２３またはディスク装置２４とで構成することができる。もちろん、それぞれ専用のＣＰＵ、ＲＡＭおよびディスク装置により構成したり、専用のハードウェアにより構成したりしても構わない。
【００３５】
次いで、画像出力手段１０２は、上記出力画像生成手段１６により生成され、出力画像記憶手段１０１に記憶された出力画像を通信路（ＷＡＮやＬＡＮなど）に出力して送信したり、画像記憶装置に出力して記憶したり、画像表示装置に出力して表示したりするものである。
【００３６】
例えば、図３においては、ＲＯＭ２２またはＲＡＭ２３に格納されているプログラムに従って動作するＣＰＵ２１の制御により、通信装置２８を通じてＷＡＮやＬＡＮ等の通信路に画像を送信する公知の画像出力手段で構成することができる。または、ＲＯＭ２２またはＲＡＭ２３に格納されているプログラムに従って動作するＣＰＵ２１の制御により、デジタル動画像の一部としてディスク装置２４に記憶する公知の画像出力手段で構成することができる。ここで、ディスク装置２４は、ＬＡＮなどのネットワークを通して利用可能なものでも構わない。
【００３７】
なお、図３には示していないが、静止画像をディスプレイ上の同じ部分に連続的に表示することにより動画像として表示するようにした公知の画像出力手段で構成することもできる。当然、上記のような複数の画像出力手段を組み合わせて構成しても構わない。
【００３８】
上述の入力画像記憶手段１７および最新変化画像記憶手段１３は、例えば図３において、ＲＡＭ２３またはディスク装置２４で構成することができる。もちろん、それぞれの記憶手段１７、１３を専用の記憶装置で構成しても構わない。
また、上述の出力画像生成用画像データ記憶手段１８、出力画像生成用パラメータ記憶手段１９、および出力画像記憶手段１０１も、例えば図３において、ＲＡＭ２３またはディスク装置２４で構成することができる。もちろん、それぞれの記憶手段１８、１９、１０１を専用の記憶装置で構成しても構わない。
【００３９】
以下、図１に示した各ステップの処理内容について、図２および図３の構成を用いながら詳細に説明する。
【００４０】
＜画像入力ステップ１＞
画像入力ステップ１では、画像入力手段１１が、ビデオカメラ２６で得られる映像やディスク装置２４に記憶されているデジタル動画像から静止画像を獲得し、その獲得した静止画像を入力画像記憶手段１７に記憶する。
【００４１】
＜変化検出ステップ２＞
変化検出ステップ２では、上述のようにして入力画像記憶手段１７に記憶された入力画像と、最新変化画像記憶手段１３に記憶されている最新変化画像とを比較することにより、現時点での映像の変化を検出する。
【００４２】
この変化検出ステップ２において、図３のＲＯＭ２２またはＲＡＭ２３に格納されているプログラムに従ってＣＰＵ２１が実行する処理内容の一例を、図４に示す。この処理では、入力画像と最新変化画像とを用いて対応する各画素間（それぞれの画像中の同位置にある各画素間）の画素値差分（絶対値）を算出し、画像全体での画素値差分の合計がある閾値以上であれば、入力画像が最新変化画像と比べて変化していると判断する。すなわち、映像が変化したと判断する。
【００４３】
ここで、画素値差分の算出は、図５中の矢印に示すように画像の各画素をラスタ順に処理することによって行うものとし、処理途中の画素値差分の合計を合計変化量と呼ぶことにする。もちろん、各画素を並列に処理しても構わない。
【００４４】
図４において、ステップＳ１０１では、合計変化量を０に初期化する。ステップＳ１０２では、現在処理を行っている画素（以下、注目画素と呼ぶ）間の画素値差分を算出する。画素値差分の値は、入力画像が濃淡画像であれば、例えば、注目画素の値の差の絶対値とする。また、入力画像がカラー画像であれば、例えば、注目画素のＲＧＢ値のそれぞれの差の絶対値を算出し、それぞれの差の絶対値を合計した値とする。
【００４５】
ステップＳ１０３では、上記ステップＳ１０２で算出した画素値差分を合計変化量に加える。次のステップＳ１０４では、上記ステップＳ１０３にて算出した合計変化量があらかじめ設定した値（閾値）より大きいかどうかを判断し、大きければ、映像に変化があったとして、図４に示す処理を終了する。また、合計変化量が閾値より大きくなかった場合は、ステップＳ１０５に進む。
【００４６】
ステップＳ１０５では、全ての画素を処理したかどうかを判断する。全ての画素を処理した場合は、映像に変化がなかったとして図４に示す処理を終了する。一方、まだ処理していない画素が残っている場合は、ステップＳ１０６に進む。ステップＳ１０６では、次の画素に処理を移して（注目画素を次の画素に変更して）ステップＳ１０２の処理に戻る。
【００４７】
＜最新変化画像記憶ステップ３＞
最新変化画像記憶ステップ３では、上記変化検出ステップ２で映像の変化を検出したときに、上記画像入力ステップ１で入力画像記憶手段１７に記憶された入力画像を新たな最新変化画像として最新変化画像記憶手段１３に記憶する。
【００４８】
＜出力画像生成用画像データ初期化ステップ４＞
出力画像生成用画像データ初期化ステップ４では、図６に示すように、上記変化検出ステップ２で映像の変化が検出されたときに、まず、上記画像入力ステップ１で入力画像記憶手段１７に記憶された入力画像を新たな出力画像生成用画像データとして出力画像生成用画像データ記憶手段１８に記憶する（ステップＳ２０１）。次に、出力画像生成用パラメータ記憶手段１９に記憶されているパラメータの値を１に初期化して（ステップＳ２０２）、処理を終了する。
【００４９】
＜出力画像生成用画像データ高画質化処理ステップ５＞
出力画像生成用画像データ高画質化処理ステップ５では、上記変化検出ステップ２で映像の変化が検出されなかったときに、上記画像入力ステップ１で入力画像記憶手段１７に記憶された入力画像と、その時点で出力画像生成用画像データ記憶手段１８に記憶されていた出力画像生成用画像データとの対応する画素間の画素値の和をとり、この加算値を出力画像生成用画像データの対応する画素の新たな画素値とする処理を、上記図５に示すようなラスタ順に全画素に対して行うことにより、出力画像生成用画像データを更新する。また、出力画像生成用パラメータ記憶手段１９に記憶されているパラメータの値を、１だけ増加させた値に更新する。
【００５０】
ただし、出力画像生成用パラメータ記憶手段１９に記憶されるパラメータの値があらかじめ定めた値（閾値Ａ：例えば２５６）を越える場合には、上述した出力画像生成用画像データの更新、および出力画像生成用パラメータの値の更新は行わないものとする。このようにすれば、出力画像生成用画像データ記憶手段１８での画素値のオーバーフローの発生や、出力画像生成用パラメータの値のオーバーフローの発生を防ぐことができる。
【００５１】
すなわち、例えば、入力画像が濃淡画像で、各画素値が０〜２５５の８ビット（＝１バイト）の値で表現されている場合において、出力画像生成用画像データ記憶手段１８の記憶領域が、各画素値として１６ビット（＝２バイト）のダイナミックレンジ、すなわち、０〜６５５３５までの値の記憶を許す構成とすれば、閾値Ａとしては、１より大きく２５６以下の値に設定すればオーバーフローは発生しなくなる。
【００５２】
また、入力画像がカラー画像であれば、各色成分画像（例えば、ＲＧＢのＲ成分画像、Ｇ成分画像、Ｂ成分画像）のそれぞれに対して、入力画像の各画素値のダイナミックレンジと、出力画像生成用画像データ記憶手段１８で記憶を許す各画素値のダイナミックレンジとの巾（階調値）の比から、加算を繰り返してもオーバーフローが発生しない範囲を決め、上記閾値Ａに相当する値をそれぞれ設定する。
【００５３】
さらに、出力画像生成用パラメータの値（自然数値）を保持する出力画像生成用パラメータ記憶手段１９においてもオーバーフローを発生することなくパラメータの値を記憶できる数値以内に閾値を抑えることも考慮して、上記閾値Ａを定める。
【００５４】
この出力画像生成用画像データ高画質化処理ステップ５において、図３のＲＯＭ２２またはＲＡＭ２３に格納されているプログラムに従ってＣＰＵ２１が実行する処理内容の一例を、図７に示す。
【００５５】
図７において、ステップＳ３０１では、出力画像生成用パラメータ記憶手段１９に記憶されるパラメータの値があらかじめ定めた閾値Ａより大きいか否かを判定し、もし大きければ図７に示す処理を終了し、大きくなければステップＳ３０２へ進む。ステップＳ３０２では、現在処理を行っている注目画素間の画素値の和を算出し、得られた値を改めて出力画像生成用画像データの注目画素の画素値として、出力画像生成用画像データ記憶手段１８に記憶される当該注目画素の画素値を更新する。
【００５６】
ステップＳ３０３では、全ての画素を処理したかどうかを判断する。そして、全ての画素を処理した場合は、ステップＳ３０４に進み、まだ処理していない画素が残っている場合は、ステップＳ３０５に進む。ステップＳ３０４では、出力画像生成用パラメータ記憶手段１９に記憶されているパラメータの値を１だけ増加させた値に更新して、図７に示す処理を終了する。一方、ステップＳ３０５では、次の画素に処理を移して（注目画素を次の画素に変更して）ステップＳ３０２の処理に戻る。
【００５７】
＜出力画像生成ステップ６＞
出力画像生成ステップ６では、上記出力画像生成用画像データ初期化ステップ４または出力画像生成用画像データ高画質化処理ステップ５において出力画像生成用画像データ記憶手段１８に記憶された出力画像生成用画像データと、出力画像生成用パラメータ記憶手段１９に記憶されたパラメータの値とから出力画像を生成する処理を行う。
【００５８】
すなわち、上記パラメータの値で出力画像生成用画像データの各画素値を除算して得られる商を求め、この商をもって各画素に対応する出力画像の各画素値とする処理を、上記図５に示すようなラスタ順に全画素に対して行う（カラー画像の場合は、全ての色成分画像の各画素に対して行う）ことにより出力画像を生成し、これを出力画像記憶手段１０１に記憶する。
【００５９】
この出力画像生成ステップ６において、図３のＲＯＭ２２またはＲＡＭ２３に格納されているプログラムに従ってＣＰＵ２１が実行する処理内容の一例を、図８に示す。
図８において、ステップＳ４０１では、出力画像生成用画像データ記憶手段１８に記憶されている出力画像生成用画像データ中で現在処理を行っている注目画素の画素値を、出力画像生成用パラメータ記憶手段１９に記憶されている出力画像生成用パラメータの値で割り、商を得る。
【００６０】
ステップＳ４０２では、上記ステップＳ４０１で得た商をもって出力画像の注目画素の画素値とし、それを出力画像記憶手段１０１に記憶する。ステップＳ４０３では、全ての画素を処理したかどうかを判断する。そして、全ての画素を処理した場合は、図８の処理を終了する。一方、まだ処理していない画素が残っている場合は、ステップＳ４０４に進む。ステップＳ４０４では、次の画素に処理を移して（注目画素を次の画素に変更して）ステップＳ４０１の処理に戻る。
【００６１】
＜画像出力ステップ７＞
画像出力ステップ７では、上記出力画像生成ステップ６で生成され出力画像記憶手段１０１に記憶されている出力画像を、通信装置２８等を通して図示しない通信路（ＷＡＮやＬＡＮなど）に出力して送信したり、ディスク装置２４などの画像記憶装置に出力して記憶したり、図示しない画像表示装置に出力して表示したりする。
【００６２】
以上のように、第１の実施形態によれば、撮像された映像にありがちなランダム性の強い雑音が、映像変化の検出されなかった静止画像を積算していくことで平均化されることにより、ノイズレベルが低減していく。具体的には、撮像条件を固定した撮影により得られるＮ枚の画像の平均をとることにより、撮像過程等で生じる雑音レベルを１／√Ｎに下げることができる（電子情報通信学会誌のvol.79,No.5,pp490-499 の「多重画像の統合」と題された解説（松山，浅田）のpp493 を参照）。このため、映像の変化が検出されないで静止画像の積算が続いている間は、Ｓ／Ｎ比の向上が進み、出力画像の高画質化を図ることができる。
【００６３】
なお、このように静止画像の積算により高画質化を図ることは、撮影された複数枚の画像の中に（被写体に）変化がないことを大前提としており、この前提が成り立たない場合には効果がないばかりか、却って画質の劣化を生じることになってしまう。したがって、撮像条件を固定して撮影した複数枚の画像の平均をとることで雑音レベルを低減する技術を動画の高画質化を図るために適用することは、必ずしも好ましい態様とは言い難い。
【００６４】
そこで、本実施形態では、映像中に変化が検出されている間は変化画像を順次出力し、上述の静止画像の積算による高画質化処理を実行していない。このため、本実施形態では、映像中に変化が検出されている間は通常通り動画出力を実行し、映像の変化が検出されない場合のみに高画質化の効果がある高画質化処理を適切に実行することができる。
【００６５】
（第２の実施形態）
上記第１の実施形態における変化検出ステップ２の動作は、次のようにしても良い。すなわち、合計変化量の大きさによって映像変化の有無を判断するための閾値を２つ設けて、これらを閾値１、閾値２とする。ただし、閾値１＞閾値２とする。閾値１は、入力画像が最新変化画像と比べて有意な変化を有していると認めるか否かを判断するための閾値として用い、閾値２は、入力画像が最新変化画像と比べて有意な変化があるとは認められない場合であっても、変化がなかったと言い切れるか否かを判断するための閾値として用いる。
【００６６】
この第２の実施形態は、上記図４にて述べた処理を図９の処理に変えることで実現される。ただし、図９の処理は、図４のステップＳ１０４で用いていた閾値を上記閾値１とする点と、図４の処理ではステップＳ１０５における判断の結果がＹ（Ｙｅｓ）となった場合に直ちに映像に変化がなかったと判断して処理を終了していたところを、図９の処理では更にステップＳ１０７を設けてこのステップＳ１０７の処理へ進むようにしているという点との２点で、図４の処理と異なっているのみである。このため、図９の処理において、図４の処理と全く同じ動作をするステップには、同じステップ番号を付してある。以下、図９のステップの中で、図４とは異なる部分のみを説明する。
【００６７】
ステップＳ１０４′では、その直前のステップＳ１０３にて算出した合計変化量があらかじめ設定した閾値１より大きいかどうかを判断し、大きければ、映像に有意な変化があったとして、図９に示す処理を終了する。また、合計変化量が閾値１より大きくなかった場合は、ステップＳ１０５に進む。
【００６８】
また、ステップＳ１０７の処理は、その直前のステップＳ１０５にて全ての画素の処理が終わったと判断された場合に行われる。ステップＳ１０７では、全画素の画素値差分を合計した合計変化量があらかじめ設定した閾値２より大きいかどうかを判断し、大きければ、映像中に有意な変化は認められないものの、変化がなかったとまで言い切れるかは疑わしい（変化は疑わしい）と判断して、図９に示す処理を終了する。また、合計変化量が閾値２より大きくなかった場合は、映像に変化がなかったと判断して、図９に示す処理を終了する。
【００６９】
さて、このような変化検出ステップ２の処理により、有意な変化があったと判断された場合は、第１の実施形態と同様に最新変化画像記憶ステップ３に進む。また、変化がなかったと判断された場合も第１の実施形態と同様に、出力画像生成用画像データ高画質化処理ステップ５に進む。ただし、映像の変化が疑わしいと判断された場合は、直ちに画像出力ステップ７へ進む。この処理の様子を図１をもとに書き直すと、図１０のようになる。また、図１１に示すように、映像の変化が疑わしいと判断された場合に、直ちに画像入力ステップ１に戻るようにしても良い。
【００７０】
上述したように、静止画像の積算により高画質化を図ることは、積算する複数の画像の中に変化がないことを前提としており、この前提が成り立たない場合には効果がないばかりか、却って画質の劣化を生じることになってしまう。したがって、第２の実施形態のように、変化がなかったと言い切れるかどうかが疑わしい場合には高画質化処理を行わないようにすることにより、出力画像を却って劣化させてしまう不都合を防止することができるというメリットが得られる。
【００７１】
また、本実施形態では、第１の実施形態で用いていた閾値を単純に小さな値にするのではなく、閾値１，２の２つを設けて映像変化の有無を判断している。したがって、閾値２を用いることによって上述のメリットが得られるだけでなく、閾値１を用いることによって確かに映像が変化したときだけ最新変化画像の更新を行うようにすることができ、その後の映像変化の検出精度が低下しないようにすることができるというメリットも得られる。
【００７２】
なお、以上の実施形態では、映像変化の有無の程度を３段階のレベルに分けて映像の変化を検出し、映像変化の有無の程度が最も低いレベルの段階であると検出された期間のみの静止画像から高画質な静止画像を生成するようにしているが、３段階以上の多段階レベルに分けて映像の変化を検出するようにしても良い。そして、この場合において、映像変化の有無の程度があらかじめ定めたレベル以下の段階であると検出された期間のみの静止画像から、高画質な静止画像を生成するようにしても良い。
【００７３】
（第３の実施形態）
上記第１および第２の実施形態における出力画像生成ステップ６の動作は、次のようにしても良い。すなわち、出力画像生成用パラメータの値が出力画像生成処理に都合のよい値（単数または複数種のどちらでも良い）である場合にのみ、出力画像生成処理を行うようにする。より具体的には、パラメータの値が２のべき乗の値になっているときにのみ、出力画像生成処理を行う。
【００７４】
このように、出力画像生成用パラメータの値が２のｎ乗（ｎは非負整数）のときにのみ出力画像の画素値を生成するようにすれば、出力画像生成用画像データの各画素値をｎ回だけ右にビットシフト（２のｎ乗＝２n で割ることに相当）することによって得られる値として簡単に求めることができる。この第３の実施形態の処理は、上記図８にて述べた処理を図１２のように変更することによって実現される。
【００７５】
図１２において、ステップＳ５０１では、出力画像生成用パラメータ記憶手段１９に記憶されている出力画像生成用パラメータの値が２のべき乗の値になっているか否かを判定する。この判定は、あらかじめ想定されるパラメータの値の範囲（例えば、上述の出力画像生成用画像データ高画質化処理ステップ５の説明で述べた閾値Ａを２５６にとった場合は、１〜２５７）の各数値に対して２のべき数（２n ：ｎは非負整数）であるか否かを、例えば図１３に示すような一覧表（もし、べき数ならｎ（この場合は０〜８）の値を書き、べき数でないなら−１を書いたテーブル等）として持っておき、このテーブルを参照することによって判断するようにしても良い。
【００７６】
上記ステップＳ５０１にてパラメータの値が２のべき数ではないと判断された場合は、何も行わずに図１２の処理を終了する。一方、２のべき数であると判断された場合は、ステップＳ５０２へ進む。ステップＳ５０２では、出力画像生成用画像データ記憶手段１８に記憶されている出力画像生成用画像データ中で現在処理を行っている注目画素の画素値に対して、出力画像生成用パラメータ記憶手段１９に記憶されている出力画像生成用パラメータの値である２のべき数（２n ）の指数ｎの回数分だけ右にビットシフトを施す。
【００７７】
ステップＳ５０３では、上記ステップＳ５０２で求められた値を、出力画像の注目画素の画素値として出力画像記憶手段１０１に記憶する。ステップＳ５０４では、全ての画素を処理したかどうかを判断する。そして、全ての画素を処理した場合は、図１２の処理を終了する。一方、まだ処理していない画素が残っている場合は、ステップＳ５０５に進む。ステップＳ５０５では、次の画素に処理を移して（注目画素を次の画素に変更して）ステップＳ５０２の処理に戻る。
【００７８】
このような処理とすることにより、第３の実施形態では、出力画像が高画質化される頻度は減るが、最終的に高画質化される程度は第１および第２の実施形態の場合とそれほど変わりなく、かつ、本処理に要する演算コストを格段に減少させることができるというメリットが得られる。
【００７９】
なお、以上の第１〜第３の実施形態において、それぞれの処理を実行させるためのプログラムは、上述したように図３のＲＯＭ２２に記憶されており、このＲＯＭ２２は、本発明の画像処理用プログラムの記録媒体に相当する。ただし、本発明の記録媒体は、このＲＯＭ２２には限定されない。
【００８０】
例えば、上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、上記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００８１】
この場合、上記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、上述したＲＯＭ２２の他に、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード等を用いることができる。
【００８２】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等の共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００８３】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
【００８４】
また、以上の第１〜第３の実施形態では、映像変化の有無を検出するために入力画像と比較する基準画像として、最新変化画像を用いているが、本発明はこれには限定されない。例えば、常に固定の背景画像や、入力画像より時間的に１フレーム前の画像などを基準画像として用いるようにしても良い。ただし、最新変化画像を基準画像として用いた方が、わずかな変化も検出できるなど映像変化の検出精度が高い点で好ましい。
【００８５】
【発明の効果】
以上説明したように、本発明は、動画像を構成する静止画像の連続的な入力に起因して、静止画像を連続的に出力する場合において、入力された処理対象の静止画像が"映像が変化していない時に相当する画像"である場合には、変化が検出されていない期間に入力された複数の静止画像を用いて高画質な静止画像を生成し、これを出力画像として出力する一方で、入力された処理対象の静止画像が"映像が変化した時に相当する画像"である場合には、この処理対象の静止画像をそのまま出力画像として出力するようにしている。そして、本発明によれば、連続的に入力される静止画像に動きがある場面であっても動きが無い場面であっても、画像出力ステップにより静止画像の出力が行えると共に、連続的に入力される静止画像の一部に動きが無い場合に相当する出力期間には、他の出力期間よりも高画質な画像を出力することができる。
更に、本発明では、映像の変化が検出されない期間が延長されると、当該延長期間に入力された静止画像も用いて前記高画質な静止画像を出力画像として生成し直すようにしている。そして、本発明によれば、映像が変化していない期間では、画像出力ステップで連続的に出力される静止画像の画質がだんだんと安定し高画質になる。
【００８６】
また、本発明の他の特徴によれば、映像変化の有無の程度を少なくとも３段階以上の多段階レベルに分けて映像の変化を検出し、上記映像変化の有無の程度があらかじめ定めたレベル以下の段階であると検出された期間のみの静止画像から高画質な静止画像を生成するようにしたので、ほとんど変化のない複数の静止画像のみを用いて上記高画質な静止画像の生成処理を行うことができ、映像中に変化が検出されない間に行われる高画質化処理によって出力画像を却って劣化させてしまう不都合を防止することができる。
【００８７】
また、本発明のその他の特徴によれば、上記高画質な静止画像を複数の静止画像の積算によって求める場合に、積算される静止画像の枚数があらかじめ定めた数（例えば、積算される静止画像の枚数が２のべき乗に相当する数）になったときにのみ上記高画質な静止画像を生成する処理を行うようにしたので、映像中に変化が検出されない間に、その間に撮像入力される映像からノイズの低減された高画質な画像を順次生成することができるとともに、その高画質化処理に要する演算コストを格段に減少させることができる。
【図面の簡単な説明】
【図１】本発明の第１、第３の実施形態による動画像処理方法の処理の大まかな流れを示す図である。
【図２】本発明の第１〜第３の実施形態による動画像処理装置の一構成例を示す機能ブロック図である。
【図３】本発明の第１〜第３の実施形態による動画像処理装置のハードウェア構成例を示す図である。
【図４】本発明の第１、第３の実施形態による変化検出ステップの処理の詳細を示すフローチャートである。
【図５】本発明の第１〜第３の実施形態において映像変化を検出する際の画素の処理順序を説明するための図である。
【図６】本発明の第１〜第３の実施形態による出力画像生成用画像データ初期化ステップの処理の詳細を示すフローチャートである。
【図７】本発明の第１〜第３の実施形態による出力画像生成用画像データ高画質化処理ステップの処理の詳細を示すフローチャートである。
【図８】本発明の第１、第２の実施形態による出力画像生成ステップの処理の詳細を示すフローチャートである。
【図９】本発明の第２、第３の実施形態による変化検出ステップの処理の詳細を示すフローチャートである。
【図１０】本発明の第２、第３の実施形態による動画像処理方法の処理の大まかな流れを示す図である。
【図１１】本発明の第２、第３の実施形態によるもう１つの動画像処理方法の処理の大まかな流れを示す図である。
【図１２】本発明の第３の実施形態による出力画像生成ステップの処理の詳細を示すフローチャートである。
【図１３】本発明の第３の実施形態による出力画像生成ステップの処理で用いるテーブルの例を示す図である。
【符号の説明】
１ 画像入力ステップ
２ 変化検出ステップ
３ 最新変化画像記憶ステップ
４ 出力画像生成用画像データ初期化ステップ
５ 出力画像生成用画像データ高画質化処理ステップ
６ 出力画像生成ステップ
７ 画像出力ステップ
１１ 画像入力手段
１２ 変化検出手段
１３ 最新変化画像記憶手段
１４ 出力画像生成用画像データ初期化手段
１５ 出力画像生成用画像データ高画質化処理手段
１６ 出力画像生成手段
１７ 入力画像記憶手段
１８ 出力画像生成用画像データ記憶手段
１９ 出力画像生成用パラメータ記憶手段
１０１ 出力画像記憶手段
１０２ 画像出力手段
【発明の属する技術分野】
本発明は、動画像を構成する静止画像の連続的な入力に起因して、静止画像を連続的に出力する画像処理方法及び画像処理装置に関するものである。例えば、本発明は、監視装置、ＴＶ会議装置、動画を扱う汎用計算機あるいはビデオサーバ等を含む様々な分野に適用することが可能である。
【０００２】
【従来の技術】
これまで、映像中の変化を検出するための方法に関して、従来から様々な方法が提案されている。その中で比較的簡便なものとして、２つの画像間の差分をとることによって変化領域を検出する方法が提案されている（佐久間，伊藤，増田「フレーム間差分を用いた侵入物体検出法」、テレビジョン学会技術報告,vol.14,No.49,pp1-6,1990年などを参照）。映像はデータ量が非常に多いため、その処理のためには多くの時間を必要とするが、このような簡便な方法によれば、汎用計算機でも十分な処理速度で映像変化の検出を行うことが可能である。
【０００３】
そして、上述した映像変化を検出する手法を利用した装置として、本出願人が既に提案した特願平７−１２８３７８号や特願平８−２４３３７号のように、映像中の変化の有無を検出し、変化が検出された映像だけを通信路（例えば、ＷＡＮ（Wide Area Network ）やＬＡＮ（Local Area Network）など）に出力して送信したり、画像記憶装置に出力して記憶したり、画像表示装置に出力して表示したりする装置が種々提案されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記先願を含む従来例は、映像の変化が検出されている間は通常通り動画出力を実行し、映像の変化が検出されていない間は、映像中に変化が検出されているときと同様に単に撮像中の映像をそのまま出力したり、あるいは、変化が検出された瞬間の画像（フィールド画像もしくはフレーム画像）のみを出力し、次の変化が検出されるまでは引き続き撮像されている映像を出力しないようにするというに過ぎないものであった。
【０００５】
すなわち、映像データを利用する際には、その映像は高画質であることが要求される場合が多いのに、上記従来例では、出力される映像の高画質化を図るなどの工夫は一切行われていなかった。
【０００６】
本発明は、このような事情に鑑みて成されたものであり、映像中に変化が有るか否かによって動作を切り替えるようにした装置等において、出力される画像を有効に高画質化できるようにすることを目的とする。特に本発明は、映像中に有意と考えられる変化が検出されている間は動画出力を行い、映像中に変化が検出されない間は出力される画像を高画質化できるようにすることを目的とする。
【０００７】
【課題を解決するための手段】
本発明の画像処理方法は、動画像を構成する静止画像の連続的な入力に起因して、静止画像を連続的に出力する画像処理方法であって、動画像を構成する複数の静止画像であって、処理対象の静止画像を入力する画像入力ステップと、前記処理対象の静止画像と当該静止画像以前の基準画像とを比較することにより、前記処理対象の静止画像が前記基準画像から変化したか否かを検出する変化検出ステップと、前記変化検出ステップにおいて前記処理対象の静止画像が前記基準画像から変化していないことを検出したときには、前記変化が検出されなかった期間に入力された複数の静止画像を用いて高画質な静止画像を出力画像として生成し、前記変化検出ステップにおいて前記処理対象の静止画像が前記基準画像から変化したことを検出したときには、前記処理対象の静止画像を出力画像として保持する出力画像生成ステップと、前記出力画像生成ステップで生成又は保持された出力画像の何れか一方を出力する画像出力ステップとを備え、前記出力画像生成ステップでは、前記変化が検出されない期間が延長されると、当該延長期間に入力された静止画像も用いて前記高画質な静止画像を出力画像として生成し直すことを特徴とする。
【０００８】
本発明の画像処理装置は、動画像を構成する静止画像の連続的な入力に起因して、静止画像を連続的に出力する画像処理装置であって、動画像を構成する複数の静止画像であって、処理対象の静止画像を入力する画像入力手段と、前記処理対象の静止画像と当該静止画像以前の基準画像とを比較することにより、前記処理対象の静止画像が前記基準画像から変化したか否かを検出する変化検出手段と、前記変化検出手段において前記処理対象の静止画像が前記基準画像から変化していないことを検出したときには、前記変化が検出されなかった期間に入力された複数の静止画像を用いて高画質な静止画像を出力画像として生成し、前記変化検出手段において前記処理対象の静止画像が前記基準画像から変化したことを検出したときには、前記処理対象の静止画像を出力画像として保持する出力画像生成手段と、前記出力画像生成手段で生成又は保持された出力画像の何れか一方を出力する画像出力手段とを備え、前記出力画像生成手段は、前記変化が検出されない期間が延長されると、当該延長期間に入力された静止画像も用いて前記高画質な静止画像を出力画像として生成し直すことを特徴とする。
【００１５】
【発明の実施の形態】
（第１の実施形態）
以下、本発明の一実施形態を図面に基づいて説明する。
図１は、本発明を適用した第１の実施形態による動画像処理方法の内容を示す流れ図である。
【００１６】
図１において、画像入力ステップ１では、図示しないビデオカメラ等による撮影によって得られる映像や、図示しないディスク装置等に記憶されているデジタル動画像等から、静止画像を抽出して入力する（以下、この入力した静止画像を入力画像と呼ぶ）。
【００１７】
変化検出ステップ２では、上記画像入力ステップ１において入力された入力画像と、過去に生じた幾つかの映像変化のうち最新の変化を検出したときの画像（以下、最新変化画像と呼ぶ）とを比較することにより、現時点での映像の変化を検出する。ここで、映像の変化を検出した場合は、次の最新変化画像記憶ステップ３へと処理を移し、映像の変化を検出できなかった場合は、出力画像生成用画像データ高画質化処理ステップ５へと処理を移す。
【００１８】
最新変化画像記憶ステップ３では、上記変化検出ステップ２で映像の変化を検出したときに比較の対象とされていた入力画像を新たな最新変化画像として記憶する。そして、次の出力画像生成用画像データ初期化ステップ４では、上記変化検出ステップ２で映像の変化を検出したときに比較の対象とされていた入力画像を新たな出力画像生成用画像データとして記憶し、かつ、後述する出力画像生成ステップ６で用いるパラメータを初期化する。
【００１９】
一方、出力画像生成用画像データ高画質化処理ステップ５では、上記変化検出ステップ２で映像の変化を検出しなかったときに比較の対象とされていた入力画像と、その時点で既に記憶されていた出力画像生成用画像データとを用いて高画質化処理を行うことにより、新たな出力画像生成用画像データを生成する。そして、この生成した新たな出力画像生成用画像データをもって、それまで記憶していた出力画像生成用画像データを更新し、かつ、後述する出力画像生成ステップ６で用いるパラメータをも更新する。
【００２０】
出力画像生成ステップ６では、その時点で記憶されている出力画像生成用画像データと所定のパラメータとから出力画像を生成する。そして、次の画像出力ステップ７において、上記出力画像生成ステップ６で生成した出力画像を図示しない通信路（例えば、ＷＡＮやＬＡＮ）に出力して送信したり、図示しない画像記憶装置に出力して記憶したり、図示しない画像表示装置に出力して表示したりする。上記画像出力ステップ７の処理を終えると、処理の終了指示がない限り、再び画像入力ステップ１の処理に戻り、以上の処理を繰り返し実行する。
【００２１】
図２は、図１に示した処理を行う動画像処理装置の構成例を示す機能ブロック図である。また、図３は、図２に示した機能を実現する実際のハードウェア構成の例を示す図である。
【００２２】
図３において、２１はＣＰＵ（中央処理装置）であり、本実施形態による動画像処理装置全体の動作を制御する。２２はＲＯＭ（リードオンリメモリ）であり、各種の処理プログラムが記憶されている。２３はＲＡＭ（ランダムアクセスメモリ）であり、処理プログラムや静止画像など、処理の過程で種々の情報が格納される。
【００２３】
２４はディスク装置であり、デジタル動画像等の情報が記憶されている。２５はディスク入出力装置（ディスクＩ／Ｏ）であり、上記ディスク装置２４に記憶されているデジタル動画像情報の入出力を行う。２６はビデオカメラであり、被写体を撮影することにより映像情報を得るためのものである。２７はビデオキャプチャ装置であり、上記ビデオカメラ２６による撮影によって得られる映像から静止画像を獲得する。
【００２４】
２８は通信装置であり、上記ＲＡＭ２３に保持される静止画像や、上記ディスク装置２４からディスクＩ／Ｏ２５を介して入力される静止画像、上記ビデオカメラ２６からビデオキャプチャ装置２７を介して入力される静止画像をＷＡＮやＬＡＮなどの通信路を介して送信する。２９はバスであり、上記ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、ディスクＩ／Ｏ２５、ビデオキャプチャ装置２７および通信装置２８が接続される。
【００２５】
次に、図２において、画像入力手段１１は、ビデオカメラで得られる映像やディスク装置に記憶されているデジタル動画像等から静止画像を獲得し、それを入力画像記憶手段１７に記憶するものである。例えば、図３においては、ＲＯＭ２２またはＲＡＭ２３に格納されているプログラムに従って動作するＣＰＵ２１の制御により、ビデオカメラ２６による撮影によって得られた映像からビデオキャプチャ装置２７で静止画像（入力画像）を獲得し、それをＲＡＭ２３に格納する公知の画像入力手段で構成することができる。
【００２６】
または、ＲＯＭ２２またはＲＡＭ２３に格納されているプログラムに従って動作するＣＰＵ２１の制御により、ディスク装置２４に記憶されているデジタル動画像からディスクＩ／Ｏ２５を介して静止画像（入力画像）を読み込み、それをＲＡＭ２３に格納する公知の画像入力手段で構成することができる。
【００２７】
次いで、変化検出手段１２は、上記入力画像記憶手段１７に記憶されている入力画像と、最新変化画像記憶手段１３に記憶されている最新変化画像とを比較することにより、現時点での映像の変化を検出する。そして、映像の変化を検出した場合は、そのとき入力画像記憶手段１７に記憶されている入力画像を新たな最新変化画像として最新変化画像記憶手段１３に記憶するものである。
【００２８】
このような変化検出手段１２は、例えば図３においては、ＲＯＭ２２またはＲＡＭ２３に格納されているプログラムに従って動作するＣＰＵ２１と、ワークメモリとして使用するＲＡＭ２３またはディスク装置２４とで構成することができる。もちろん、それぞれ専用のＣＰＵ、ＲＡＭおよびディスク装置により構成したり、専用のハードウェアにより構成したりしても構わない。
【００２９】
次いで、出力画像生成用画像データ初期化手段１４は、上記変化検出手段１２において映像の変化が検出されたときに、そのとき入力画像記憶手段１７に記憶されていた入力画像を、それまでの出力画像生成用画像データに代えて新規な出力画像生成用画像データとして出力画像生成用画像データ記憶手段１８に記憶すると同時に、出力画像生成用パラメータ記憶手段１９に記憶されているパラメータの値を１に初期化するものである。
【００３０】
このような出力画像生成用画像データ初期化手段１４は、例えば図３においては、ＲＯＭ２２またはＲＡＭ２３に格納されているプログラムに従って動作するＣＰＵ２１と、ワークメモリとして使用するＲＡＭ２３またはディスク装置２４とで構成することができる。もちろん、それぞれ専用のＣＰＵ、ＲＡＭおよびディスク装置により構成したり、専用のハードウェアにより構成したりしても構わない。
【００３１】
次いで、出力画像生成用画像データ高画質化処理手段１５は、上記変化検出手段１２において映像の変化が検出されなかったときに、そのとき入力画像記憶手段１７に記憶されていた入力画像と、出力画像生成用画像データ記憶手段１８に既に記憶されていた出力画像生成用画像データとの対応する画素間の値をそれぞれ加算することにより得られる値を各画素値とする画像データを生成し、この生成した画像データをもって改めて出力画像生成用画像データとして出力画像生成用画像データ記憶手段１８に記憶する。また、これと同時に、出力画像生成用パラメータ記憶手段１９に記憶されているパラメータの値を１だけ増やす。
【００３２】
このような出力画像生成用画像データ高画質化処理手段１５は、例えば図３においては、ＲＯＭ２２またはＲＡＭ２３に格納されているプログラムに従って動作するＣＰＵ２１と、ワークメモリとして使用するＲＡＭ２３またはディスク装置２４とで構成することができる。もちろん、それぞれ専用のＣＰＵ、ＲＡＭおよびディスク装置により構成したり、専用のハードウェアにより構成したりしても構わない。
【００３３】
次いで、出力画像生成手段１６は、出力画像生成用画像データ記憶手段１８に記憶されている出力画像生成用画像データと、出力画像生成用パラメータ記憶手段１９に記憶されているパラメータの値とから出力画像を求めるものである。すなわち、上記パラメータの値で出力画像生成用画像データの各画素値を除算して得られる商を改めて各画素の値とする画像データを生成し、これを出力画像として出力画像記憶手段１０１に記憶する。
【００３４】
このような出力画像生成手段１６は、例えば図３においては、ＲＯＭ２２またはＲＡＭ２３に格納されているプログラムに従って動作するＣＰＵ２１と、ワークメモリとして使用するＲＡＭ２３またはディスク装置２４とで構成することができる。もちろん、それぞれ専用のＣＰＵ、ＲＡＭおよびディスク装置により構成したり、専用のハードウェアにより構成したりしても構わない。
【００３５】
次いで、画像出力手段１０２は、上記出力画像生成手段１６により生成され、出力画像記憶手段１０１に記憶された出力画像を通信路（ＷＡＮやＬＡＮなど）に出力して送信したり、画像記憶装置に出力して記憶したり、画像表示装置に出力して表示したりするものである。
【００３６】
例えば、図３においては、ＲＯＭ２２またはＲＡＭ２３に格納されているプログラムに従って動作するＣＰＵ２１の制御により、通信装置２８を通じてＷＡＮやＬＡＮ等の通信路に画像を送信する公知の画像出力手段で構成することができる。または、ＲＯＭ２２またはＲＡＭ２３に格納されているプログラムに従って動作するＣＰＵ２１の制御により、デジタル動画像の一部としてディスク装置２４に記憶する公知の画像出力手段で構成することができる。ここで、ディスク装置２４は、ＬＡＮなどのネットワークを通して利用可能なものでも構わない。
【００３７】
なお、図３には示していないが、静止画像をディスプレイ上の同じ部分に連続的に表示することにより動画像として表示するようにした公知の画像出力手段で構成することもできる。当然、上記のような複数の画像出力手段を組み合わせて構成しても構わない。
【００３８】
上述の入力画像記憶手段１７および最新変化画像記憶手段１３は、例えば図３において、ＲＡＭ２３またはディスク装置２４で構成することができる。もちろん、それぞれの記憶手段１７、１３を専用の記憶装置で構成しても構わない。
また、上述の出力画像生成用画像データ記憶手段１８、出力画像生成用パラメータ記憶手段１９、および出力画像記憶手段１０１も、例えば図３において、ＲＡＭ２３またはディスク装置２４で構成することができる。もちろん、それぞれの記憶手段１８、１９、１０１を専用の記憶装置で構成しても構わない。
【００３９】
以下、図１に示した各ステップの処理内容について、図２および図３の構成を用いながら詳細に説明する。
【００４０】
＜画像入力ステップ１＞
画像入力ステップ１では、画像入力手段１１が、ビデオカメラ２６で得られる映像やディスク装置２４に記憶されているデジタル動画像から静止画像を獲得し、その獲得した静止画像を入力画像記憶手段１７に記憶する。
【００４１】
＜変化検出ステップ２＞
変化検出ステップ２では、上述のようにして入力画像記憶手段１７に記憶された入力画像と、最新変化画像記憶手段１３に記憶されている最新変化画像とを比較することにより、現時点での映像の変化を検出する。
【００４２】
この変化検出ステップ２において、図３のＲＯＭ２２またはＲＡＭ２３に格納されているプログラムに従ってＣＰＵ２１が実行する処理内容の一例を、図４に示す。この処理では、入力画像と最新変化画像とを用いて対応する各画素間（それぞれの画像中の同位置にある各画素間）の画素値差分（絶対値）を算出し、画像全体での画素値差分の合計がある閾値以上であれば、入力画像が最新変化画像と比べて変化していると判断する。すなわち、映像が変化したと判断する。
【００４３】
ここで、画素値差分の算出は、図５中の矢印に示すように画像の各画素をラスタ順に処理することによって行うものとし、処理途中の画素値差分の合計を合計変化量と呼ぶことにする。もちろん、各画素を並列に処理しても構わない。
【００４４】
図４において、ステップＳ１０１では、合計変化量を０に初期化する。ステップＳ１０２では、現在処理を行っている画素（以下、注目画素と呼ぶ）間の画素値差分を算出する。画素値差分の値は、入力画像が濃淡画像であれば、例えば、注目画素の値の差の絶対値とする。また、入力画像がカラー画像であれば、例えば、注目画素のＲＧＢ値のそれぞれの差の絶対値を算出し、それぞれの差の絶対値を合計した値とする。
【００４５】
ステップＳ１０３では、上記ステップＳ１０２で算出した画素値差分を合計変化量に加える。次のステップＳ１０４では、上記ステップＳ１０３にて算出した合計変化量があらかじめ設定した値（閾値）より大きいかどうかを判断し、大きければ、映像に変化があったとして、図４に示す処理を終了する。また、合計変化量が閾値より大きくなかった場合は、ステップＳ１０５に進む。
【００４６】
ステップＳ１０５では、全ての画素を処理したかどうかを判断する。全ての画素を処理した場合は、映像に変化がなかったとして図４に示す処理を終了する。一方、まだ処理していない画素が残っている場合は、ステップＳ１０６に進む。ステップＳ１０６では、次の画素に処理を移して（注目画素を次の画素に変更して）ステップＳ１０２の処理に戻る。
【００４７】
＜最新変化画像記憶ステップ３＞
最新変化画像記憶ステップ３では、上記変化検出ステップ２で映像の変化を検出したときに、上記画像入力ステップ１で入力画像記憶手段１７に記憶された入力画像を新たな最新変化画像として最新変化画像記憶手段１３に記憶する。
【００４８】
＜出力画像生成用画像データ初期化ステップ４＞
出力画像生成用画像データ初期化ステップ４では、図６に示すように、上記変化検出ステップ２で映像の変化が検出されたときに、まず、上記画像入力ステップ１で入力画像記憶手段１７に記憶された入力画像を新たな出力画像生成用画像データとして出力画像生成用画像データ記憶手段１８に記憶する（ステップＳ２０１）。次に、出力画像生成用パラメータ記憶手段１９に記憶されているパラメータの値を１に初期化して（ステップＳ２０２）、処理を終了する。
【００４９】
＜出力画像生成用画像データ高画質化処理ステップ５＞
出力画像生成用画像データ高画質化処理ステップ５では、上記変化検出ステップ２で映像の変化が検出されなかったときに、上記画像入力ステップ１で入力画像記憶手段１７に記憶された入力画像と、その時点で出力画像生成用画像データ記憶手段１８に記憶されていた出力画像生成用画像データとの対応する画素間の画素値の和をとり、この加算値を出力画像生成用画像データの対応する画素の新たな画素値とする処理を、上記図５に示すようなラスタ順に全画素に対して行うことにより、出力画像生成用画像データを更新する。また、出力画像生成用パラメータ記憶手段１９に記憶されているパラメータの値を、１だけ増加させた値に更新する。
【００５０】
ただし、出力画像生成用パラメータ記憶手段１９に記憶されるパラメータの値があらかじめ定めた値（閾値Ａ：例えば２５６）を越える場合には、上述した出力画像生成用画像データの更新、および出力画像生成用パラメータの値の更新は行わないものとする。このようにすれば、出力画像生成用画像データ記憶手段１８での画素値のオーバーフローの発生や、出力画像生成用パラメータの値のオーバーフローの発生を防ぐことができる。
【００５１】
すなわち、例えば、入力画像が濃淡画像で、各画素値が０〜２５５の８ビット（＝１バイト）の値で表現されている場合において、出力画像生成用画像データ記憶手段１８の記憶領域が、各画素値として１６ビット（＝２バイト）のダイナミックレンジ、すなわち、０〜６５５３５までの値の記憶を許す構成とすれば、閾値Ａとしては、１より大きく２５６以下の値に設定すればオーバーフローは発生しなくなる。
【００５２】
また、入力画像がカラー画像であれば、各色成分画像（例えば、ＲＧＢのＲ成分画像、Ｇ成分画像、Ｂ成分画像）のそれぞれに対して、入力画像の各画素値のダイナミックレンジと、出力画像生成用画像データ記憶手段１８で記憶を許す各画素値のダイナミックレンジとの巾（階調値）の比から、加算を繰り返してもオーバーフローが発生しない範囲を決め、上記閾値Ａに相当する値をそれぞれ設定する。
【００５３】
さらに、出力画像生成用パラメータの値（自然数値）を保持する出力画像生成用パラメータ記憶手段１９においてもオーバーフローを発生することなくパラメータの値を記憶できる数値以内に閾値を抑えることも考慮して、上記閾値Ａを定める。
【００５４】
この出力画像生成用画像データ高画質化処理ステップ５において、図３のＲＯＭ２２またはＲＡＭ２３に格納されているプログラムに従ってＣＰＵ２１が実行する処理内容の一例を、図７に示す。
【００５５】
図７において、ステップＳ３０１では、出力画像生成用パラメータ記憶手段１９に記憶されるパラメータの値があらかじめ定めた閾値Ａより大きいか否かを判定し、もし大きければ図７に示す処理を終了し、大きくなければステップＳ３０２へ進む。ステップＳ３０２では、現在処理を行っている注目画素間の画素値の和を算出し、得られた値を改めて出力画像生成用画像データの注目画素の画素値として、出力画像生成用画像データ記憶手段１８に記憶される当該注目画素の画素値を更新する。
【００５６】
ステップＳ３０３では、全ての画素を処理したかどうかを判断する。そして、全ての画素を処理した場合は、ステップＳ３０４に進み、まだ処理していない画素が残っている場合は、ステップＳ３０５に進む。ステップＳ３０４では、出力画像生成用パラメータ記憶手段１９に記憶されているパラメータの値を１だけ増加させた値に更新して、図７に示す処理を終了する。一方、ステップＳ３０５では、次の画素に処理を移して（注目画素を次の画素に変更して）ステップＳ３０２の処理に戻る。
【００５７】
＜出力画像生成ステップ６＞
出力画像生成ステップ６では、上記出力画像生成用画像データ初期化ステップ４または出力画像生成用画像データ高画質化処理ステップ５において出力画像生成用画像データ記憶手段１８に記憶された出力画像生成用画像データと、出力画像生成用パラメータ記憶手段１９に記憶されたパラメータの値とから出力画像を生成する処理を行う。
【００５８】
すなわち、上記パラメータの値で出力画像生成用画像データの各画素値を除算して得られる商を求め、この商をもって各画素に対応する出力画像の各画素値とする処理を、上記図５に示すようなラスタ順に全画素に対して行う（カラー画像の場合は、全ての色成分画像の各画素に対して行う）ことにより出力画像を生成し、これを出力画像記憶手段１０１に記憶する。
【００５９】
この出力画像生成ステップ６において、図３のＲＯＭ２２またはＲＡＭ２３に格納されているプログラムに従ってＣＰＵ２１が実行する処理内容の一例を、図８に示す。
図８において、ステップＳ４０１では、出力画像生成用画像データ記憶手段１８に記憶されている出力画像生成用画像データ中で現在処理を行っている注目画素の画素値を、出力画像生成用パラメータ記憶手段１９に記憶されている出力画像生成用パラメータの値で割り、商を得る。
【００６０】
ステップＳ４０２では、上記ステップＳ４０１で得た商をもって出力画像の注目画素の画素値とし、それを出力画像記憶手段１０１に記憶する。ステップＳ４０３では、全ての画素を処理したかどうかを判断する。そして、全ての画素を処理した場合は、図８の処理を終了する。一方、まだ処理していない画素が残っている場合は、ステップＳ４０４に進む。ステップＳ４０４では、次の画素に処理を移して（注目画素を次の画素に変更して）ステップＳ４０１の処理に戻る。
【００６１】
＜画像出力ステップ７＞
画像出力ステップ７では、上記出力画像生成ステップ６で生成され出力画像記憶手段１０１に記憶されている出力画像を、通信装置２８等を通して図示しない通信路（ＷＡＮやＬＡＮなど）に出力して送信したり、ディスク装置２４などの画像記憶装置に出力して記憶したり、図示しない画像表示装置に出力して表示したりする。
【００６２】
以上のように、第１の実施形態によれば、撮像された映像にありがちなランダム性の強い雑音が、映像変化の検出されなかった静止画像を積算していくことで平均化されることにより、ノイズレベルが低減していく。具体的には、撮像条件を固定した撮影により得られるＮ枚の画像の平均をとることにより、撮像過程等で生じる雑音レベルを１／√Ｎに下げることができる（電子情報通信学会誌のvol.79,No.5,pp490-499 の「多重画像の統合」と題された解説（松山，浅田）のpp493 を参照）。このため、映像の変化が検出されないで静止画像の積算が続いている間は、Ｓ／Ｎ比の向上が進み、出力画像の高画質化を図ることができる。
【００６３】
なお、このように静止画像の積算により高画質化を図ることは、撮影された複数枚の画像の中に（被写体に）変化がないことを大前提としており、この前提が成り立たない場合には効果がないばかりか、却って画質の劣化を生じることになってしまう。したがって、撮像条件を固定して撮影した複数枚の画像の平均をとることで雑音レベルを低減する技術を動画の高画質化を図るために適用することは、必ずしも好ましい態様とは言い難い。
【００６４】
そこで、本実施形態では、映像中に変化が検出されている間は変化画像を順次出力し、上述の静止画像の積算による高画質化処理を実行していない。このため、本実施形態では、映像中に変化が検出されている間は通常通り動画出力を実行し、映像の変化が検出されない場合のみに高画質化の効果がある高画質化処理を適切に実行することができる。
【００６５】
（第２の実施形態）
上記第１の実施形態における変化検出ステップ２の動作は、次のようにしても良い。すなわち、合計変化量の大きさによって映像変化の有無を判断するための閾値を２つ設けて、これらを閾値１、閾値２とする。ただし、閾値１＞閾値２とする。閾値１は、入力画像が最新変化画像と比べて有意な変化を有していると認めるか否かを判断するための閾値として用い、閾値２は、入力画像が最新変化画像と比べて有意な変化があるとは認められない場合であっても、変化がなかったと言い切れるか否かを判断するための閾値として用いる。
【００６６】
この第２の実施形態は、上記図４にて述べた処理を図９の処理に変えることで実現される。ただし、図９の処理は、図４のステップＳ１０４で用いていた閾値を上記閾値１とする点と、図４の処理ではステップＳ１０５における判断の結果がＹ（Ｙｅｓ）となった場合に直ちに映像に変化がなかったと判断して処理を終了していたところを、図９の処理では更にステップＳ１０７を設けてこのステップＳ１０７の処理へ進むようにしているという点との２点で、図４の処理と異なっているのみである。このため、図９の処理において、図４の処理と全く同じ動作をするステップには、同じステップ番号を付してある。以下、図９のステップの中で、図４とは異なる部分のみを説明する。
【００６７】
ステップＳ１０４′では、その直前のステップＳ１０３にて算出した合計変化量があらかじめ設定した閾値１より大きいかどうかを判断し、大きければ、映像に有意な変化があったとして、図９に示す処理を終了する。また、合計変化量が閾値１より大きくなかった場合は、ステップＳ１０５に進む。
【００６８】
また、ステップＳ１０７の処理は、その直前のステップＳ１０５にて全ての画素の処理が終わったと判断された場合に行われる。ステップＳ１０７では、全画素の画素値差分を合計した合計変化量があらかじめ設定した閾値２より大きいかどうかを判断し、大きければ、映像中に有意な変化は認められないものの、変化がなかったとまで言い切れるかは疑わしい（変化は疑わしい）と判断して、図９に示す処理を終了する。また、合計変化量が閾値２より大きくなかった場合は、映像に変化がなかったと判断して、図９に示す処理を終了する。
【００６９】
さて、このような変化検出ステップ２の処理により、有意な変化があったと判断された場合は、第１の実施形態と同様に最新変化画像記憶ステップ３に進む。また、変化がなかったと判断された場合も第１の実施形態と同様に、出力画像生成用画像データ高画質化処理ステップ５に進む。ただし、映像の変化が疑わしいと判断された場合は、直ちに画像出力ステップ７へ進む。この処理の様子を図１をもとに書き直すと、図１０のようになる。また、図１１に示すように、映像の変化が疑わしいと判断された場合に、直ちに画像入力ステップ１に戻るようにしても良い。
【００７０】
上述したように、静止画像の積算により高画質化を図ることは、積算する複数の画像の中に変化がないことを前提としており、この前提が成り立たない場合には効果がないばかりか、却って画質の劣化を生じることになってしまう。したがって、第２の実施形態のように、変化がなかったと言い切れるかどうかが疑わしい場合には高画質化処理を行わないようにすることにより、出力画像を却って劣化させてしまう不都合を防止することができるというメリットが得られる。
【００７１】
また、本実施形態では、第１の実施形態で用いていた閾値を単純に小さな値にするのではなく、閾値１，２の２つを設けて映像変化の有無を判断している。したがって、閾値２を用いることによって上述のメリットが得られるだけでなく、閾値１を用いることによって確かに映像が変化したときだけ最新変化画像の更新を行うようにすることができ、その後の映像変化の検出精度が低下しないようにすることができるというメリットも得られる。
【００７２】
なお、以上の実施形態では、映像変化の有無の程度を３段階のレベルに分けて映像の変化を検出し、映像変化の有無の程度が最も低いレベルの段階であると検出された期間のみの静止画像から高画質な静止画像を生成するようにしているが、３段階以上の多段階レベルに分けて映像の変化を検出するようにしても良い。そして、この場合において、映像変化の有無の程度があらかじめ定めたレベル以下の段階であると検出された期間のみの静止画像から、高画質な静止画像を生成するようにしても良い。
【００７３】
（第３の実施形態）
上記第１および第２の実施形態における出力画像生成ステップ６の動作は、次のようにしても良い。すなわち、出力画像生成用パラメータの値が出力画像生成処理に都合のよい値（単数または複数種のどちらでも良い）である場合にのみ、出力画像生成処理を行うようにする。より具体的には、パラメータの値が２のべき乗の値になっているときにのみ、出力画像生成処理を行う。
【００７４】
このように、出力画像生成用パラメータの値が２のｎ乗（ｎは非負整数）のときにのみ出力画像の画素値を生成するようにすれば、出力画像生成用画像データの各画素値をｎ回だけ右にビットシフト（２のｎ乗＝２n で割ることに相当）することによって得られる値として簡単に求めることができる。この第３の実施形態の処理は、上記図８にて述べた処理を図１２のように変更することによって実現される。
【００７５】
図１２において、ステップＳ５０１では、出力画像生成用パラメータ記憶手段１９に記憶されている出力画像生成用パラメータの値が２のべき乗の値になっているか否かを判定する。この判定は、あらかじめ想定されるパラメータの値の範囲（例えば、上述の出力画像生成用画像データ高画質化処理ステップ５の説明で述べた閾値Ａを２５６にとった場合は、１〜２５７）の各数値に対して２のべき数（２n ：ｎは非負整数）であるか否かを、例えば図１３に示すような一覧表（もし、べき数ならｎ（この場合は０〜８）の値を書き、べき数でないなら−１を書いたテーブル等）として持っておき、このテーブルを参照することによって判断するようにしても良い。
【００７６】
上記ステップＳ５０１にてパラメータの値が２のべき数ではないと判断された場合は、何も行わずに図１２の処理を終了する。一方、２のべき数であると判断された場合は、ステップＳ５０２へ進む。ステップＳ５０２では、出力画像生成用画像データ記憶手段１８に記憶されている出力画像生成用画像データ中で現在処理を行っている注目画素の画素値に対して、出力画像生成用パラメータ記憶手段１９に記憶されている出力画像生成用パラメータの値である２のべき数（２n ）の指数ｎの回数分だけ右にビットシフトを施す。
【００７７】
ステップＳ５０３では、上記ステップＳ５０２で求められた値を、出力画像の注目画素の画素値として出力画像記憶手段１０１に記憶する。ステップＳ５０４では、全ての画素を処理したかどうかを判断する。そして、全ての画素を処理した場合は、図１２の処理を終了する。一方、まだ処理していない画素が残っている場合は、ステップＳ５０５に進む。ステップＳ５０５では、次の画素に処理を移して（注目画素を次の画素に変更して）ステップＳ５０２の処理に戻る。
【００７８】
このような処理とすることにより、第３の実施形態では、出力画像が高画質化される頻度は減るが、最終的に高画質化される程度は第１および第２の実施形態の場合とそれほど変わりなく、かつ、本処理に要する演算コストを格段に減少させることができるというメリットが得られる。
【００７９】
なお、以上の第１〜第３の実施形態において、それぞれの処理を実行させるためのプログラムは、上述したように図３のＲＯＭ２２に記憶されており、このＲＯＭ２２は、本発明の画像処理用プログラムの記録媒体に相当する。ただし、本発明の記録媒体は、このＲＯＭ２２には限定されない。
【００８０】
例えば、上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、上記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００８１】
この場合、上記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、上述したＲＯＭ２２の他に、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード等を用いることができる。
【００８２】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等の共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００８３】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
【００８４】
また、以上の第１〜第３の実施形態では、映像変化の有無を検出するために入力画像と比較する基準画像として、最新変化画像を用いているが、本発明はこれには限定されない。例えば、常に固定の背景画像や、入力画像より時間的に１フレーム前の画像などを基準画像として用いるようにしても良い。ただし、最新変化画像を基準画像として用いた方が、わずかな変化も検出できるなど映像変化の検出精度が高い点で好ましい。
【００８５】
【発明の効果】
以上説明したように、本発明は、動画像を構成する静止画像の連続的な入力に起因して、静止画像を連続的に出力する場合において、入力された処理対象の静止画像が"映像が変化していない時に相当する画像"である場合には、変化が検出されていない期間に入力された複数の静止画像を用いて高画質な静止画像を生成し、これを出力画像として出力する一方で、入力された処理対象の静止画像が"映像が変化した時に相当する画像"である場合には、この処理対象の静止画像をそのまま出力画像として出力するようにしている。そして、本発明によれば、連続的に入力される静止画像に動きがある場面であっても動きが無い場面であっても、画像出力ステップにより静止画像の出力が行えると共に、連続的に入力される静止画像の一部に動きが無い場合に相当する出力期間には、他の出力期間よりも高画質な画像を出力することができる。
更に、本発明では、映像の変化が検出されない期間が延長されると、当該延長期間に入力された静止画像も用いて前記高画質な静止画像を出力画像として生成し直すようにしている。そして、本発明によれば、映像が変化していない期間では、画像出力ステップで連続的に出力される静止画像の画質がだんだんと安定し高画質になる。
【００８６】
また、本発明の他の特徴によれば、映像変化の有無の程度を少なくとも３段階以上の多段階レベルに分けて映像の変化を検出し、上記映像変化の有無の程度があらかじめ定めたレベル以下の段階であると検出された期間のみの静止画像から高画質な静止画像を生成するようにしたので、ほとんど変化のない複数の静止画像のみを用いて上記高画質な静止画像の生成処理を行うことができ、映像中に変化が検出されない間に行われる高画質化処理によって出力画像を却って劣化させてしまう不都合を防止することができる。
【００８７】
また、本発明のその他の特徴によれば、上記高画質な静止画像を複数の静止画像の積算によって求める場合に、積算される静止画像の枚数があらかじめ定めた数（例えば、積算される静止画像の枚数が２のべき乗に相当する数）になったときにのみ上記高画質な静止画像を生成する処理を行うようにしたので、映像中に変化が検出されない間に、その間に撮像入力される映像からノイズの低減された高画質な画像を順次生成することができるとともに、その高画質化処理に要する演算コストを格段に減少させることができる。
【図面の簡単な説明】
【図１】本発明の第１、第３の実施形態による動画像処理方法の処理の大まかな流れを示す図である。
【図２】本発明の第１〜第３の実施形態による動画像処理装置の一構成例を示す機能ブロック図である。
【図３】本発明の第１〜第３の実施形態による動画像処理装置のハードウェア構成例を示す図である。
【図４】本発明の第１、第３の実施形態による変化検出ステップの処理の詳細を示すフローチャートである。
【図５】本発明の第１〜第３の実施形態において映像変化を検出する際の画素の処理順序を説明するための図である。
【図６】本発明の第１〜第３の実施形態による出力画像生成用画像データ初期化ステップの処理の詳細を示すフローチャートである。
【図７】本発明の第１〜第３の実施形態による出力画像生成用画像データ高画質化処理ステップの処理の詳細を示すフローチャートである。
【図８】本発明の第１、第２の実施形態による出力画像生成ステップの処理の詳細を示すフローチャートである。
【図９】本発明の第２、第３の実施形態による変化検出ステップの処理の詳細を示すフローチャートである。
【図１０】本発明の第２、第３の実施形態による動画像処理方法の処理の大まかな流れを示す図である。
【図１１】本発明の第２、第３の実施形態によるもう１つの動画像処理方法の処理の大まかな流れを示す図である。
【図１２】本発明の第３の実施形態による出力画像生成ステップの処理の詳細を示すフローチャートである。
【図１３】本発明の第３の実施形態による出力画像生成ステップの処理で用いるテーブルの例を示す図である。
【符号の説明】
１ 画像入力ステップ
２ 変化検出ステップ
３ 最新変化画像記憶ステップ
４ 出力画像生成用画像データ初期化ステップ
５ 出力画像生成用画像データ高画質化処理ステップ
６ 出力画像生成ステップ
７ 画像出力ステップ
１１ 画像入力手段
１２ 変化検出手段
１３ 最新変化画像記憶手段
１４ 出力画像生成用画像データ初期化手段
１５ 出力画像生成用画像データ高画質化処理手段
１６ 出力画像生成手段
１７ 入力画像記憶手段
１８ 出力画像生成用画像データ記憶手段
１９ 出力画像生成用パラメータ記憶手段
１０１ 出力画像記憶手段
１０２ 画像出力手段
Claims (10)
- 動画像を構成する静止画像の連続的な入力に起因して、静止画像を連続的に出力する画像処理方法であって、
動画像を構成する複数の静止画像であって、処理対象の静止画像を入力する画像入力ステップと、
前記処理対象の静止画像と当該静止画像以前の基準画像とを比較することにより、前記処理対象の静止画像が前記基準画像から変化したか否かを検出する変化検出ステップと、
前記変化検出ステップにおいて前記処理対象の静止画像が前記基準画像から変化していないことを検出したときには、前記変化が検出されなかった期間に入力された複数の静止画像を用いて高画質な静止画像を出力画像として生成し、前記変化検出ステップにおいて前記処理対象の静止画像が前記基準画像から変化したことを検出したときには、前記処理対象の静止画像を出力画像として保持する出力画像生成ステップと、
前記出力画像生成ステップで生成又は保持された出力画像の何れか一方を出力する画像出力ステップとを備え、
前記出力画像生成ステップでは、前記変化が検出されない期間が延長されると、当該延長期間に入力された静止画像も用いて前記高画質な静止画像を出力画像として生成し直すことを特徴とする画像処理方法。 - 前記基準画像は、過去に生じた映像変化のうち最新の変化を検出したときの最新変化画像であることを特徴とする請求項１に記載の画像処理方法。
- 前記変化検出ステップでは、映像変化の存在の程度を少なくとも３段階以上の多段階レベルに分けて映像の変化を検出し、
前記出力画像生成ステップでは、前記変化検出ステップにおいて前記映像変化の存在の
程度があらかじめ定めたレベル以下の段階であると検出された期間に入力された複数の静止画像から前記高画質な静止画像を生成することを特徴とする請求項１に記載の画像処理方法。 - 前記変化検出ステップでは、映像変化の存在の程度を３段階のレベルに分けて映像の変化を検出し、
前記出力画像生成ステップでは、前記変化検出ステップにおいて前記映像変化の存在の程度が最も低いレベルの段階であると検出された期間に入力された複数の静止画像から前記高画質な静止画像を生成することを特徴とする請求項１に記載の画像処理方法。 - 前記変化検出ステップにおいて前記映像変化の存在の程度が最も高いレベルの段階であると検出されたときにのみ、前記処理対象の静止画像を出力画像として出力することを特徴とする請求項４に記載の画像処理方法。
- 前記出力画像生成ステップでは、前記複数の静止画像の画素値を積算して平均化した平均画像を前記高画質な静止画像として生成することを特徴とする請求項１〜５の何れか１項に記載の画像処理方法。
- 前記出力画像生成ステップでは、積算される静止画像の枚数が所定の閾値を越える場合にはその越える分の静止画像における画素値の積算は行わないことを特徴とする請求項６に記載の画像処理方法。
- 前記出力画像生成ステップでは、積算される静止画像の枚数が複数種のあらかじめ定めた数になったときにのみ前記平均画像の生成を行うことを特徴とする請求項６または７に記載の画像処理方法。
- 前記出力画像生成ステップでは、積算される静止画像の枚数が２のべき乗に相当する数になったときにのみ前記平均画像の生成を行うことを特徴とする請求項６または７に記載の画像処理方法。
- 動画像を構成する静止画像の連続的な入力に起因して、静止画像を連続的に出力する画像処理装置であって、
動画像を構成する複数の静止画像であって、処理対象の静止画像を入力する画像入力手段と、
前記処理対象の静止画像と当該静止画像以前の基準画像とを比較することにより、前記処理対象の静止画像が前記基準画像から変化したか否かを検出する変化検出手段と、
前記変化検出手段において前記処理対象の静止画像が前記基準画像から変化していないことを検出したときには、前記変化が検出されなかった期間に入力された複数の静止画像を用いて高画質な静止画像を出力画像として生成し、前記変化検出手段において前記処理対象の静止画像が前記基準画像から変化したことを検出したときには、前記処理対象の静止画像を出力画像として保持する出力画像生成手段と、
前記出力画像生成手段で生成又は保持された出力画像の何れか一方を出力する画像出力手段とを備え、
前記出力画像生成手段は、前記変化が検出されない期間が延長されると、当該延長期間に入力された静止画像も用いて前記高画質な静止画像を出力画像として生成し直すことを特徴とする画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07746797A JP3792826B2 (ja) | 1997-03-28 | 1997-03-28 | 画像処理方法及び画像処理装置 |
| US09/045,317 US6173082B1 (en) | 1997-03-28 | 1998-03-20 | Image processing apparatus and method for performing image processes according to image change and storing medium storing therein image processing programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07746797A JP3792826B2 (ja) | 1997-03-28 | 1997-03-28 | 画像処理方法及び画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10276424A JPH10276424A (ja) | 1998-10-13 |
| JP3792826B2 true JP3792826B2 (ja) | 2006-07-05 |
Family
ID=13634803
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07746797A Expired - Fee Related JP3792826B2 (ja) | 1997-03-28 | 1997-03-28 | 画像処理方法及び画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3792826B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105122345A (zh) * | 2013-05-31 | 2015-12-02 | 三菱电机株式会社 | 图像处理装置、图像处理系统和图像处理方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014081202A (ja) * | 2012-10-12 | 2014-05-08 | Shimadzu Corp | 放射線検査装置 |
-
1997
- 1997-03-28 JP JP07746797A patent/JP3792826B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105122345A (zh) * | 2013-05-31 | 2015-12-02 | 三菱电机株式会社 | 图像处理装置、图像处理系统和图像处理方法 |
| CN105122345B (zh) * | 2013-05-31 | 2017-10-13 | 三菱电机株式会社 | 图像处理装置、图像处理系统和图像处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10276424A (ja) | 1998-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4122279B2 (ja) | スクロールされるテキストまたはグラフィックデータの検出が可能な動き推定装置および方法 | |
| JP3461626B2 (ja) | 特定画像領域抽出方法及び特定画像領域抽出装置 | |
| JP4847040B2 (ja) | ビデオシーケンスでのティッカー処理 | |
| JPH08307820A (ja) | インタレースされたビデオから高画質静止画像を生成するためのシステム及び方法 | |
| KR101622363B1 (ko) | 필름 모드 또는 카메라 모드의 검출을 위한 방법 | |
| US8036479B2 (en) | Image processing apparatus and method, and storage medium for controlling gradation of moving images | |
| EP2164040A1 (en) | System and method for high quality image and video upscaling | |
| JP2000194867A (ja) | ビデオデ―タ信号から取得された静止画像内でのモ―ション表示方法 | |
| KR20150145725A (ko) | Ldr 비디오 시퀀스의 동적 범위 확장을 위한 방법 및 장치 | |
| KR20070094796A (ko) | 디인터레이싱 방법, 장치 및 시스템 | |
| US6362854B1 (en) | Effecting video transitions between video streams with a border | |
| JP4918926B2 (ja) | 画像処理装置、表示装置、画像処理方法及びプログラム | |
| JP2005176381A (ja) | 適応的動き補償の補間方法及び装置 | |
| US5173769A (en) | Video signal processing apparatus | |
| CN114302226B (zh) | 一种视频画幅智能裁剪方法 | |
| JP2007249436A (ja) | 画像信号処理装置及び画像信号処理方法 | |
| JP3792826B2 (ja) | 画像処理方法及び画像処理装置 | |
| US7957468B2 (en) | Method for processing motion image | |
| JP3818044B2 (ja) | ノイズ除去装置及びノイズ除去方法並びにコンピュータ読み取り可能な記録媒体 | |
| JPH08320935A (ja) | 動画像処理方法および装置 | |
| JP4189565B2 (ja) | 画像に対する判定を行うプログラム、記録媒体、画像処理方法および画像処理装置 | |
| JP3252418B2 (ja) | 画像の手振れ判定装置 | |
| US20220301191A1 (en) | Image processing apparatus, image processing method and computer-readable medium | |
| JP4378801B2 (ja) | 画像処理方法および画像処理装置 | |
| JP3255656B2 (ja) | 動画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051003 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051011 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060117 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060224 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060328 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060406 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090414 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100414 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110414 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120414 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140414 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |