JPH10276424A - Image processing method, device therefor and recording medium for image processing program - Google Patents
Image processing method, device therefor and recording medium for image processing programInfo
- Publication number
- JPH10276424A JPH10276424A JP9077467A JP7746797A JPH10276424A JP H10276424 A JPH10276424 A JP H10276424A JP 9077467 A JP9077467 A JP 9077467A JP 7746797 A JP7746797 A JP 7746797A JP H10276424 A JPH10276424 A JP H10276424A
- Authority
- JP
- Japan
- Prior art keywords
- image
- change
- output
- still
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は画像処理方法および
装置、並びに上記画像処理方法の各手順を実行させるた
めのプログラムあるいは上記画像処理装置を構成する各
手段の機能を実現させるためのプログラムを記録した記
録媒体に関するものである。例えば本発明は、監視装
置、ＴＶ会議装置、動画を扱う汎用計算機あるいはビデ
オサーバ等を含む様々な分野に適用することが可能であ
る。The present invention relates to an image processing method and apparatus, and a program for executing each procedure of the image processing method or a program for realizing the function of each means constituting the image processing apparatus. It relates to a recording medium that has been used. For example, the present invention can be applied to various fields including a monitoring device, a TV conference device, a general-purpose computer that handles moving images, a video server, and the like.
【０００２】[0002]
【従来の技術】これまで、映像中の変化を検出するため
の方法に関して、従来から様々な方法が提案されてい
る。その中で比較的簡便なものとして、２つの画像間の
差分をとることによって変化領域を検出する方法が提案
されている（佐久間，伊藤，増田「フレーム間差分を用
いた侵入物体検出法」、テレビジョン学会技術報告,vo
l.14,No.49,pp1-6,1990年などを参照）。映像はデータ
量が非常に多いため、その処理のためには多くの時間を
必要とするが、このような簡便な方法によれば、汎用計
算機でも十分な処理速度で映像変化の検出を行うことが
可能である。2. Description of the Related Art Heretofore, various methods have been proposed for detecting a change in an image. Among them, a method for detecting a change region by taking a difference between two images has been proposed as a relatively simple method (Sakuma, Ito, Masuda, "Intrusion object detection method using inter-frame difference", Technical Report of the Institute of Television Engineers of Japan, vo
l.14, No.49, pp1-6, 1990, etc.). Since video has a very large amount of data, it takes a lot of time to process it.However, such a simple method requires a general-purpose computer to detect video changes at a sufficient processing speed. Is possible.
【０００３】そして、上述した映像変化を検出する手法
を利用した装置として、本出願人が既に提案した特願平
７−１２８３７８号や特願平８−２４３３７号のよう
に、映像中の変化の有無を検出し、変化が検出された映
像だけを通信路（例えば、ＷＡＮ（Wide Area Network
）やＬＡＮ（Local Area Network）など）に出力して
送信したり、画像記憶装置に出力して記憶したり、画像
表示装置に出力して表示したりする装置が種々提案され
ている。As an apparatus utilizing the above-described method of detecting a change in an image, as disclosed in Japanese Patent Application Nos. 7-128378 and 8-24337, which have already been proposed by the present applicant, the change in the image is detected. The presence / absence is detected, and only the video in which the change is detected is transmitted through a communication channel (for example, WAN (Wide Area Network)).
), A LAN (Local Area Network) or the like, and the like, output to an image storage device for storage, and output to an image display device for display.
【０００４】[0004]
【発明が解決しようとする課題】しかしながら、上記先
願を含む従来例は、映像の変化が検出されている間は通
常通り動画出力を実行し、映像の変化が検出されていな
い間は、映像中に変化が検出されているときと同様に単
に撮像中の映像をそのまま出力したり、あるいは、変化
が検出された瞬間の画像（フィールド画像もしくはフレ
ーム画像）のみを出力し、次の変化が検出されるまでは
引き続き撮像されている映像を出力しないようにすると
いうに過ぎないものであった。However, in the prior art including the above-mentioned prior application, a moving image is output as usual while a change in the image is detected, and the image is output while no change in the image is detected. In the same way as when a change is detected, the video currently being captured is output as it is, or only the image (field image or frame image) at the moment when the change is detected is output, and the next change is detected. Until this is done, the only thing to do is not to output the image that has been captured.
【０００５】すなわち、映像データを利用する際には、
その映像は高画質であることが要求される場合が多いの
に、上記従来例では、出力される映像の高画質化を図る
などの工夫は一切行われていなかった。That is, when using video data,
Although the video is often required to be of high image quality, in the above-mentioned conventional example, no contrivance such as improvement of the quality of the output video has been made.
【０００６】本発明は、このような事情に鑑みて成され
たものであり、映像中に変化が有るか否かによって動作
を切り替えるようにした装置等において、出力される画
像を有効に高画質化できるようにすることを目的とす
る。特に本発明は、映像中に有意と考えられる変化が検
出されている間は動画出力を行い、映像中に変化が検出
されない間は出力される画像を高画質化できるようにす
ることを目的とする。[0006] The present invention has been made in view of such circumstances, and in an apparatus or the like in which the operation is switched depending on whether or not there is a change in a video, the output image can be effectively made high quality. The purpose is to be able to be. In particular, an object of the present invention is to output a moving image while a change considered to be significant in a video is detected, and to improve the quality of an output image while no change is detected in the video. I do.
【０００７】[0007]
【課題を解決するための手段】本発明の画像処理方法
は、動画像中から静止画像を抽出して入力する画像入力
ステップと、上記画像入力ステップで入力された静止画
像と基準画像とを比較することにより映像の変化を検出
する変化検出ステップと、上記変化検出ステップで映像
の変化が検出されないときに、変化が検出されなかった
期間に得られる複数の静止画像から高画質な静止画像を
生成する出力画像高画質化ステップとを備えることを特
徴とする。According to an image processing method of the present invention, an image input step of extracting and inputting a still image from a moving image is compared with the still image input in the image input step and a reference image. A change detection step of detecting a change in video by generating a high-quality still image from a plurality of still images obtained during a period in which no change is detected when no change is detected in the change detection step. Output image quality improving step.
【０００８】本発明の他の特徴とするところは、上記変
化検出ステップでは、映像変化の存在の程度を少なくと
も３段階以上の多段階レベルに分けて映像の変化を検出
し、上記出力画像高画質化ステップでは、上記変化検出
ステップにおいて上記映像変化の存在の程度があらかじ
め定めたレベル以下の段階であると検出された期間に得
られる複数の静止画像から高画質な静止画像を生成する
ことを特徴とする。Another feature of the present invention is that, in the change detecting step, the degree of the image change is divided into at least three or more multi-levels to detect a change in the image, and the output image has a high image quality. In the converting step, a high-quality still image is generated from a plurality of still images obtained during a period in which the degree of the presence of the video change is detected to be at or below a predetermined level in the change detecting step. And
【０００９】本発明のその他の特徴とするところは、上
記出力画像高画質化ステップで上記複数の静止画像の画
素値を積算して平均画像を生成する場合において、積算
される静止画像の枚数が単数または複数種のあらかじめ
定めた数になったときにのみ上記平均画像の生成を行う
ことを特徴とする。Another feature of the present invention is that when the average value is generated by integrating the pixel values of the plurality of still images in the output image quality enhancement step, the number of integrated still images is reduced. The above-mentioned average image is generated only when the number of a single or a plurality of types reaches a predetermined number.
【００１０】また、本発明の画像処理装置は、動画像中
から静止画像を抽出して入力する画像入力手段と、上記
画像入力手段で入力された静止画像と基準画像とを比較
することにより映像の変化を検出する変化検出手段と、
上記変化検出手段で映像の変化が検出されないときに、
変化が検出されなかった期間に得られる複数の静止画像
から高画質な静止画像を生成する出力画像高画質化手段
とを備えることを特徴とする。Further, the image processing apparatus of the present invention compares an image input means for extracting and inputting a still image from a moving image with a reference image by comparing the still image input by the image input means with a reference image. Change detection means for detecting a change in
When a change in the image is not detected by the change detecting means,
Output image quality improving means for generating a high quality still image from a plurality of still images obtained during a period in which no change is detected.
【００１１】また、動画像中から静止画像を抽出して入
力する画像入力手段と、上記画像入力手段で入力された
静止画像と過去に生じた映像変化のうち最新の変化を検
出したときの最新変化画像とを比較することにより映像
の変化を検出する変化検出手段と、上記変化検出手段で
映像の変化が検出されないときに、変化が検出されなか
った期間に得られる複数の静止画像から高画質な静止画
像を生成する出力画像高画質化手段と、上記変化検出手
段で映像の変化が検出されたときには、そのとき比較の
対象とされている上記画像入力手段で入力された静止画
像をそのまま出力し、上記変化検出手段で映像の変化が
検出されないときには、上記出力画像高画質化手段によ
り生成された高画質な静止画像を出力する画像出力手段
とを備えるように構成しても良い。[0011] An image input means for extracting and inputting a still image from a moving image, and a latest image among the still image input by the image input means and a video change occurring in the past when the latest change is detected. A change detecting means for detecting a change in the image by comparing the change image with the change image; and, when the change detecting means does not detect a change in the image, a plurality of still images obtained during a period in which no change is detected. Output image quality improving means for generating a still image, and when a change in video is detected by the change detecting means, the still image input by the image input means which is to be compared at that time is output as it is. And an image output unit that outputs a high-quality still image generated by the output image enhancement unit when a change in video is not detected by the change detection unit. It may form.
【００１２】本発明の他の特徴とするところは、上記変
化検出手段は、映像変化の存在の程度を少なくとも３段
階以上の多段階レベルに分けて映像の変化を検出し、上
記出力画像高画質化手段は、上記変化検出手段において
上記映像変化の存在の程度があらかじめ定めたレベル以
下の段階であると検出された期間に得られる複数の静止
画像から高画質な静止画像を生成することを特徴とす
る。According to another feature of the present invention, the change detecting means detects a change in the image by dividing the degree of the image change into at least three or more multi-levels. The converting means generates a high-quality still image from a plurality of still images obtained during a period in which the change detecting means detects that the degree of the video change is at or below a predetermined level. And
【００１３】本発明のその他の特徴とするところは、上
記出力画像高画質化手段は、上記複数の静止画像の画素
値を積算して平均画像を生成するように構成され、か
つ、積算される静止画像の枚数が所定の閾値を越える場
合にはその越える分の静止画像の積算は行わないことを
特徴とする。According to another feature of the present invention, the output image quality enhancing means is configured to integrate pixel values of the plurality of still images to generate an average image, and to perform integration. When the number of still images exceeds a predetermined threshold, integration of the still images exceeding the threshold is not performed.
【００１４】また、本発明の画像処理用プログラムの記
録媒体は、プログラム命令シーケンスを情報処理装置に
提供して、上記情報処理装置に入力した動画像の処理を
させるためのプログラムを記録した媒体であって、動画
像中から静止画像を抽出して入力する画像入力工程の手
順コードと、上記画像入力工程で入力された静止画像と
過去に生じた映像変化のうち最新の変化を検出したとき
の最新変化画像とを比較することにより映像の変化を検
出する変化検出工程の手順コードと、上記変化検出工程
で映像の変化が検出されないときに、変化が検出されな
かった期間の複数の静止画像から高画質な静止画像を生
成する画像高画質化工程の手順コードとを備えることを
特徴とする。A recording medium for an image processing program according to the present invention is a medium in which a program for providing a program instruction sequence to an information processing apparatus and processing a moving image input to the information processing apparatus is recorded. There is a procedure code of an image input step of extracting and inputting a still image from a moving image, and a procedure of detecting a latest change among the still image input in the image input step and a video change occurring in the past. A procedure code of a change detection step of detecting a change in a video by comparing the latest change image, and when a change in the video is not detected in the change detection step, a plurality of still images in a period in which no change is detected are obtained. And a procedure code for an image quality improvement step of generating a high quality still image.
【００１５】[0015]
（第１の実施形態）以下、本発明の一実施形態を図面に
基づいて説明する。図１は、本発明を適用した第１の実
施形態による動画像処理方法の内容を示す流れ図であ
る。(First Embodiment) An embodiment of the present invention will be described below with reference to the drawings. FIG. 1 is a flowchart showing the content of the moving image processing method according to the first embodiment to which the present invention is applied.
【００１６】図１において、画像入力ステップ１では、
図示しないビデオカメラ等による撮影によって得られる
映像や、図示しないディスク装置等に記憶されているデ
ジタル動画像等から、静止画像を抽出して入力する（以
下、この入力した静止画像を入力画像と呼ぶ）。In FIG. 1, in an image input step 1,
A still image is extracted and input from a video obtained by photographing with a video camera or the like (not shown) or a digital moving image stored in a disk device or the like (not shown) (hereinafter, the input still image is referred to as an input image). ).
【００１７】変化検出ステップ２では、上記画像入力ス
テップ１において入力された入力画像と、過去に生じた
幾つかの映像変化のうち最新の変化を検出したときの画
像（以下、最新変化画像と呼ぶ）とを比較することによ
り、現時点での映像の変化を検出する。ここで、映像の
変化を検出した場合は、次の最新変化画像記憶ステップ
３へと処理を移し、映像の変化を検出できなかった場合
は、出力画像生成用画像データ高画質化処理ステップ５
へと処理を移す。In the change detecting step 2, the input image input in the image inputting step 1 and an image when the latest change is detected among several image changes that have occurred in the past (hereinafter referred to as a latest changed image). ) Is detected to detect a change in the image at the present time. Here, if a change in the image is detected, the process proceeds to the next latest changed image storage step 3. If no change in the image is detected, the image data for output image generation image quality enhancement processing step 5 is not detected.
Transfer processing to.
【００１８】最新変化画像記憶ステップ３では、上記変
化検出ステップ２で映像の変化を検出したときに比較の
対象とされていた入力画像を新たな最新変化画像として
記憶する。そして、次の出力画像生成用画像データ初期
化ステップ４では、上記変化検出ステップ２で映像の変
化を検出したときに比較の対象とされていた入力画像を
新たな出力画像生成用画像データとして記憶し、かつ、
後述する出力画像生成ステップ６で用いるパラメータを
初期化する。In the latest changed image storing step 3, the input image which is to be compared when the change of the image is detected in the change detecting step 2 is stored as a new latest changed image. Then, in the next output image generation image data initialization step 4, the input image to be compared when the change in the video is detected in the change detection step 2 is stored as new output image generation image data. And
The parameters used in an output image generation step 6 described later are initialized.
【００１９】一方、出力画像生成用画像データ高画質化
処理ステップ５では、上記変化検出ステップ２で映像の
変化を検出しなかったときに比較の対象とされていた入
力画像と、その時点で既に記憶されていた出力画像生成
用画像データとを用いて高画質化処理を行うことによ
り、新たな出力画像生成用画像データを生成する。そし
て、この生成した新たな出力画像生成用画像データをも
って、それまで記憶していた出力画像生成用画像データ
を更新し、かつ、後述する出力画像生成ステップ６で用
いるパラメータをも更新する。On the other hand, in the output image generation image data image quality enhancement processing step 5, the input image which was to be compared when the change in the video was not detected in the change detection step 2, New image data for output image generation is generated by performing the image quality improvement processing using the stored image data for output image generation. Then, the output image generation image data stored so far is updated with the generated new output image generation image data, and the parameters used in an output image generation step 6 described later are also updated.
【００２０】出力画像生成ステップ６では、その時点で
記憶されている出力画像生成用画像データと所定のパラ
メータとから出力画像を生成する。そして、次の画像出
力ステップ７において、上記出力画像生成ステップ６で
生成した出力画像を図示しない通信路（例えば、ＷＡＮ
やＬＡＮ）に出力して送信したり、図示しない画像記憶
装置に出力して記憶したり、図示しない画像表示装置に
出力して表示したりする。上記画像出力ステップ７の処
理を終えると、処理の終了指示がない限り、再び画像入
力ステップ１の処理に戻り、以上の処理を繰り返し実行
する。In the output image generating step 6, an output image is generated from output image generating image data stored at that time and predetermined parameters. Then, in the next image output step 7, the output image generated in the output image generation step 6 is transmitted to a communication path (not shown) (for example, WAN).
Or a LAN), and the data is output to an image storage device (not shown) and stored, or output to an image display device (not shown) for display. When the process of the image output step 7 is completed, the process returns to the image input step 1 again and repeats the above process unless an instruction to end the process is given.
【００２１】図２は、図１に示した処理を行う動画像処
理装置の構成例を示す機能ブロック図である。また、図
３は、図２に示した機能を実現する実際のハードウェア
構成の例を示す図である。FIG. 2 is a functional block diagram showing an example of the configuration of a moving image processing apparatus that performs the processing shown in FIG. FIG. 3 is a diagram showing an example of an actual hardware configuration for realizing the functions shown in FIG.
【００２２】図３において、２１はＣＰＵ（中央処理装
置）であり、本実施形態による動画像処理装置全体の動
作を制御する。２２はＲＯＭ（リードオンリメモリ）で
あり、各種の処理プログラムが記憶されている。２３は
ＲＡＭ（ランダムアクセスメモリ）であり、処理プログ
ラムや静止画像など、処理の過程で種々の情報が格納さ
れる。In FIG. 3, reference numeral 21 denotes a CPU (central processing unit), which controls the operation of the entire moving picture processing apparatus according to the present embodiment. A ROM (Read Only Memory) 22 stores various processing programs. A random access memory (RAM) 23 stores various information such as a processing program and a still image in the course of processing.
【００２３】２４はディスク装置であり、デジタル動画
像等の情報が記憶されている。２５はディスク入出力装
置（ディスクＩ／Ｏ）であり、上記ディスク装置２４に
記憶されているデジタル動画像情報の入出力を行う。２
６はビデオカメラであり、被写体を撮影することにより
映像情報を得るためのものである。２７はビデオキャプ
チャ装置であり、上記ビデオカメラ２６による撮影によ
って得られる映像から静止画像を獲得する。Reference numeral 24 denotes a disk device which stores information such as digital moving images. Reference numeral 25 denotes a disk input / output device (disk I / O) for inputting and outputting digital moving image information stored in the disk device 24. 2
Reference numeral 6 denotes a video camera for obtaining video information by photographing a subject. Reference numeral 27 denotes a video capture device, which acquires a still image from a video obtained by shooting with the video camera 26.
【００２４】２８は通信装置であり、上記ＲＡＭ２３に
保持される静止画像や、上記ディスク装置２４からディ
スクＩ／Ｏ２５を介して入力される静止画像、上記ビデ
オカメラ２６からビデオキャプチャ装置２７を介して入
力される静止画像をＷＡＮやＬＡＮなどの通信路を介し
て送信する。２９はバスであり、上記ＣＰＵ２１、ＲＯ
Ｍ２２、ＲＡＭ２３、ディスクＩ／Ｏ２５、ビデオキャ
プチャ装置２７および通信装置２８が接続される。Reference numeral 28 denotes a communication device, which is a still image held in the RAM 23, a still image input from the disk device 24 via the disk I / O 25, and a still image input from the video camera 26 via the video capture device 27. The input still image is transmitted via a communication path such as a WAN or a LAN. Reference numeral 29 denotes a bus, and the CPU 21 and the RO
M22, RAM 23, disk I / O 25, video capture device 27, and communication device 28 are connected.
【００２５】次に、図２において、画像入力手段１１
は、ビデオカメラで得られる映像やディスク装置に記憶
されているデジタル動画像等から静止画像を獲得し、そ
れを入力画像記憶手段１７に記憶するものである。例え
ば、図３においては、ＲＯＭ２２またはＲＡＭ２３に格
納されているプログラムに従って動作するＣＰＵ２１の
制御により、ビデオカメラ２６による撮影によって得ら
れた映像からビデオキャプチャ装置２７で静止画像（入
力画像）を獲得し、それをＲＡＭ２３に格納する公知の
画像入力手段で構成することができる。Next, referring to FIG.
Is to acquire a still image from a video obtained by a video camera, a digital moving image stored in a disk device, or the like, and store the still image in the input image storage means 17. For example, in FIG. 3, a still image (input image) is acquired by the video capture device 27 from a video obtained by shooting with the video camera 26 under the control of the CPU 21 that operates according to a program stored in the ROM 22 or the RAM 23. It can be configured by a known image input unit that stores it in the RAM 23.
【００２６】または、ＲＯＭ２２またはＲＡＭ２３に格
納されているプログラムに従って動作するＣＰＵ２１の
制御により、ディスク装置２４に記憶されているデジタ
ル動画像からディスクＩ／Ｏ２５を介して静止画像（入
力画像）を読み込み、それをＲＡＭ２３に格納する公知
の画像入力手段で構成することができる。Alternatively, a still image (input image) is read from a digital moving image stored in the disk device 24 via the disk I / O 25 under the control of the CPU 21 which operates according to a program stored in the ROM 22 or the RAM 23. It can be configured by a known image input unit that stores it in the RAM 23.
【００２７】次いで、変化検出手段１２は、上記入力画
像記憶手段１７に記憶されている入力画像と、最新変化
画像記憶手段１３に記憶されている最新変化画像とを比
較することにより、現時点での映像の変化を検出する。
そして、映像の変化を検出した場合は、そのとき入力画
像記憶手段１７に記憶されている入力画像を新たな最新
変化画像として最新変化画像記憶手段１３に記憶するも
のである。Next, the change detecting means 12 compares the input image stored in the input image storing means 17 with the latest changed image stored in the latest changed image storing means 13 to obtain the current image. Detect changes in video.
When a change in video is detected, the input image stored in the input image storage unit 17 at that time is stored in the latest changed image storage unit 13 as a new latest changed image.
【００２８】このような変化検出手段１２は、例えば図
３においては、ＲＯＭ２２またはＲＡＭ２３に格納され
ているプログラムに従って動作するＣＰＵ２１と、ワー
クメモリとして使用するＲＡＭ２３またはディスク装置
２４とで構成することができる。もちろん、それぞれ専
用のＣＰＵ、ＲＡＭおよびディスク装置により構成した
り、専用のハードウェアにより構成したりしても構わな
い。Such a change detecting means 12 can be constituted, for example, in FIG. 3 by a CPU 21 operating according to a program stored in a ROM 22 or a RAM 23, and a RAM 23 or a disk device 24 used as a work memory. . Of course, each of them may be configured by a dedicated CPU, RAM and disk device, or may be configured by dedicated hardware.
【００２９】次いで、出力画像生成用画像データ初期化
手段１４は、上記変化検出手段１２において映像の変化
が検出されたときに、そのとき入力画像記憶手段１７に
記憶されていた入力画像を、それまでの出力画像生成用
画像データに代えて新規な出力画像生成用画像データと
して出力画像生成用画像データ記憶手段１８に記憶する
と同時に、出力画像生成用パラメータ記憶手段１９に記
憶されているパラメータの値を１に初期化するものであ
る。Next, when the change detecting means 12 detects a change in video, the output image generating image data initializing means 14 converts the input image stored in the input image storing means 17 at that time. Are stored in the output image generation image data storage means 18 as new output image generation image data in place of the output image generation image data up to and the values of the parameters stored in the output image generation parameter storage means 19 Is initialized to 1.
【００３０】このような出力画像生成用画像データ初期
化手段１４は、例えば図３においては、ＲＯＭ２２また
はＲＡＭ２３に格納されているプログラムに従って動作
するＣＰＵ２１と、ワークメモリとして使用するＲＡＭ
２３またはディスク装置２４とで構成することができ
る。もちろん、それぞれ専用のＣＰＵ、ＲＡＭおよびデ
ィスク装置により構成したり、専用のハードウェアによ
り構成したりしても構わない。For example, in FIG. 3, the output image generating image data initializing means 14 includes a CPU 21 operating according to a program stored in a ROM 22 or a RAM 23, and a RAM used as a work memory.
23 or the disk device 24. Of course, each of them may be configured by a dedicated CPU, RAM and disk device, or may be configured by dedicated hardware.
【００３１】次いで、出力画像生成用画像データ高画質
化処理手段１５は、上記変化検出手段１２において映像
の変化が検出されなかったときに、そのとき入力画像記
憶手段１７に記憶されていた入力画像と、出力画像生成
用画像データ記憶手段１８に既に記憶されていた出力画
像生成用画像データとの対応する画素間の値をそれぞれ
加算することにより得られる値を各画素値とする画像デ
ータを生成し、この生成した画像データをもって改めて
出力画像生成用画像データとして出力画像生成用画像デ
ータ記憶手段１８に記憶する。また、これと同時に、出
力画像生成用パラメータ記憶手段１９に記憶されている
パラメータの値を１だけ増やす。Next, when the change detecting means 12 does not detect a change in the image, the input image data stored in the input image And image data having a pixel value obtained by adding values between corresponding pixels of the output image generation image data already stored in the output image generation image data storage unit 18 as pixel values. Then, the generated image data is stored again in the output image generation image data storage unit 18 as output image generation image data. At the same time, the value of the parameter stored in the output image generation parameter storage unit 19 is increased by one.
【００３２】このような出力画像生成用画像データ高画
質化処理手段１５は、例えば図３においては、ＲＯＭ２
２またはＲＡＭ２３に格納されているプログラムに従っ
て動作するＣＰＵ２１と、ワークメモリとして使用する
ＲＡＭ２３またはディスク装置２４とで構成することが
できる。もちろん、それぞれ専用のＣＰＵ、ＲＡＭおよ
びディスク装置により構成したり、専用のハードウェア
により構成したりしても構わない。The output image generation image data quality enhancement processing means 15 is, for example, a ROM 2 in FIG.
2 or the CPU 21 that operates according to the program stored in the RAM 23, and the RAM 23 or the disk device 24 used as a work memory. Of course, each of them may be configured by a dedicated CPU, RAM and disk device, or may be configured by dedicated hardware.
【００３３】次いで、出力画像生成手段１６は、出力画
像生成用画像データ記憶手段１８に記憶されている出力
画像生成用画像データと、出力画像生成用パラメータ記
憶手段１９に記憶されているパラメータの値とから出力
画像を求めるものである。すなわち、上記パラメータの
値で出力画像生成用画像データの各画素値を除算して得
られる商を改めて各画素の値とする画像データを生成
し、これを出力画像として出力画像記憶手段１０１に記
憶する。Next, the output image generation means 16 outputs the output image generation image data stored in the output image generation image data storage means 18 and the parameter values stored in the output image generation parameter storage means 19. And the output image is obtained from That is, image data is newly generated in which the quotient obtained by dividing each pixel value of the image data for output image generation by the value of the parameter is set to the value of each pixel, and this is stored in the output image storage unit 101 as an output image. I do.
【００３４】このような出力画像生成手段１６は、例え
ば図３においては、ＲＯＭ２２またはＲＡＭ２３に格納
されているプログラムに従って動作するＣＰＵ２１と、
ワークメモリとして使用するＲＡＭ２３またはディスク
装置２４とで構成することができる。もちろん、それぞ
れ専用のＣＰＵ、ＲＡＭおよびディスク装置により構成
したり、専用のハードウェアにより構成したりしても構
わない。The output image generating means 16 includes, for example, a CPU 21 operating according to a program stored in a ROM 22 or a RAM 23 in FIG.
It can be configured with a RAM 23 or a disk device 24 used as a work memory. Of course, each of them may be configured by a dedicated CPU, RAM and disk device, or may be configured by dedicated hardware.
【００３５】次いで、画像出力手段１０２は、上記出力
画像生成手段１６により生成され、出力画像記憶手段１
０１に記憶された出力画像を通信路（ＷＡＮやＬＡＮな
ど）に出力して送信したり、画像記憶装置に出力して記
憶したり、画像表示装置に出力して表示したりするもの
である。Next, the image output means 102 is generated by the output image generation means 16 and is stored in the output image storage means 1.
The output image stored in No. 01 is output to a communication path (WAN, LAN, or the like) and transmitted, output to an image storage device and stored, or output to an image display device and displayed.
【００３６】例えば、図３においては、ＲＯＭ２２また
はＲＡＭ２３に格納されているプログラムに従って動作
するＣＰＵ２１の制御により、通信装置２８を通じてＷ
ＡＮやＬＡＮ等の通信路に画像を送信する公知の画像出
力手段で構成することができる。または、ＲＯＭ２２ま
たはＲＡＭ２３に格納されているプログラムに従って動
作するＣＰＵ２１の制御により、デジタル動画像の一部
としてディスク装置２４に記憶する公知の画像出力手段
で構成することができる。ここで、ディスク装置２４
は、ＬＡＮなどのネットワークを通して利用可能なもの
でも構わない。For example, in FIG. 3, under the control of the CPU 21 operating according to the program stored in the ROM 22 or the RAM 23, the W
A known image output unit that transmits an image to a communication path such as an AN or a LAN can be used. Alternatively, under the control of the CPU 21 operating according to a program stored in the ROM 22 or the RAM 23, the image processing device can be configured by a known image output unit that stores the digital moving image in the disk device 24 as a part thereof. Here, the disk device 24
May be available through a network such as a LAN.
【００３７】なお、図３には示していないが、静止画像
をディスプレイ上の同じ部分に連続的に表示することに
より動画像として表示するようにした公知の画像出力手
段で構成することもできる。当然、上記のような複数の
画像出力手段を組み合わせて構成しても構わない。Although not shown in FIG. 3, it is also possible to use a known image output means for displaying a still image as a moving image by continuously displaying the still image on the same portion on the display. Naturally, a plurality of image output units as described above may be combined and configured.
【００３８】上述の入力画像記憶手段１７および最新変
化画像記憶手段１３は、例えば図３において、ＲＡＭ２
３またはディスク装置２４で構成することができる。も
ちろん、それぞれの記憶手段１７、１３を専用の記憶装
置で構成しても構わない。また、上述の出力画像生成用
画像データ記憶手段１８、出力画像生成用パラメータ記
憶手段１９、および出力画像記憶手段１０１も、例えば
図３において、ＲＡＭ２３またはディスク装置２４で構
成することができる。もちろん、それぞれの記憶手段１
８、１９、１０１を専用の記憶装置で構成しても構わな
い。The input image storage means 17 and the latest changed image storage means 13 are provided, for example, in FIG.
3 or the disk drive 24. Of course, each of the storage means 17 and 13 may be constituted by a dedicated storage device. In addition, the above-described output image generation image data storage unit 18, output image generation parameter storage unit 19, and output image storage unit 101 can also be configured with, for example, the RAM 23 or the disk device 24 in FIG. Of course, each storage means 1
8, 19, and 101 may be configured by dedicated storage devices.
【００３９】以下、図１に示した各ステップの処理内容
について、図２および図３の構成を用いながら詳細に説
明する。Hereinafter, the processing contents of each step shown in FIG. 1 will be described in detail with reference to FIGS. 2 and 3.
【００４０】＜画像入力ステップ１＞画像入力ステップ
１では、画像入力手段１１が、ビデオカメラ２６で得ら
れる映像やディスク装置２４に記憶されているデジタル
動画像から静止画像を獲得し、その獲得した静止画像を
入力画像記憶手段１７に記憶する。<Image Input Step 1> In the image input step 1, the image input means 11 obtains a still image from a video obtained by the video camera 26 or a digital moving image stored in the disk device 24, and obtains the obtained still image. The still image is stored in the input image storage unit 17.
【００４１】＜変化検出ステップ２＞変化検出ステップ
２では、上述のようにして入力画像記憶手段１７に記憶
された入力画像と、最新変化画像記憶手段１３に記憶さ
れている最新変化画像とを比較することにより、現時点
での映像の変化を検出する。<Change Detection Step 2> In the change detection step 2, the input image stored in the input image storage means 17 is compared with the latest change image stored in the latest change image storage means 13 as described above. By doing so, a change in the video at the present time is detected.
【００４２】この変化検出ステップ２において、図３の
ＲＯＭ２２またはＲＡＭ２３に格納されているプログラ
ムに従ってＣＰＵ２１が実行する処理内容の一例を、図
４に示す。この処理では、入力画像と最新変化画像とを
用いて対応する各画素間（それぞれの画像中の同位置に
ある各画素間）の画素値差分（絶対値）を算出し、画像
全体での画素値差分の合計がある閾値以上であれば、入
力画像が最新変化画像と比べて変化していると判断す
る。すなわち、映像が変化したと判断する。FIG. 4 shows an example of the content of processing executed by the CPU 21 in accordance with the program stored in the ROM 22 or RAM 23 in FIG. In this process, a pixel value difference (absolute value) between corresponding pixels (between pixels at the same position in each image) is calculated using the input image and the latest changed image, and the pixel in the entire image is calculated. If the sum of the value differences is equal to or greater than a certain threshold, it is determined that the input image has changed compared to the latest changed image. That is, it is determined that the image has changed.
【００４３】ここで、画素値差分の算出は、図５中の矢
印に示すように画像の各画素をラスタ順に処理すること
によって行うものとし、処理途中の画素値差分の合計を
合計変化量と呼ぶことにする。もちろん、各画素を並列
に処理しても構わない。Here, the calculation of the pixel value difference is performed by processing each pixel of the image in raster order as shown by an arrow in FIG. 5, and the sum of the pixel value differences in the process is calculated as the total change amount. I will call it. Of course, each pixel may be processed in parallel.
【００４４】図４において、ステップＳ１０１では、合
計変化量を０に初期化する。ステップＳ１０２では、現
在処理を行っている画素（以下、注目画素と呼ぶ）間の
画素値差分を算出する。画素値差分の値は、入力画像が
濃淡画像であれば、例えば、注目画素の値の差の絶対値
とする。また、入力画像がカラー画像であれば、例え
ば、注目画素のＲＧＢ値のそれぞれの差の絶対値を算出
し、それぞれの差の絶対値を合計した値とする。In FIG. 4, in step S101, the total change amount is initialized to zero. In step S102, a pixel value difference between pixels currently being processed (hereinafter, referred to as a target pixel) is calculated. If the input image is a grayscale image, the value of the pixel value difference is, for example, the absolute value of the value of the pixel of interest. If the input image is a color image, for example, the absolute value of each difference between the RGB values of the pixel of interest is calculated, and the absolute value of each difference is summed.
【００４５】ステップＳ１０３では、上記ステップＳ１
０２で算出した画素値差分を合計変化量に加える。次の
ステップＳ１０４では、上記ステップＳ１０３にて算出
した合計変化量があらかじめ設定した値（閾値）より大
きいかどうかを判断し、大きければ、映像に変化があっ
たとして、図４に示す処理を終了する。また、合計変化
量が閾値より大きくなかった場合は、ステップＳ１０５
に進む。In step S103, the above-mentioned step S1 is executed.
The pixel value difference calculated in 02 is added to the total change amount. In the next step S104, it is determined whether or not the total change amount calculated in the above step S103 is larger than a preset value (threshold value). If it is larger, it is determined that there is a change in the image, and the processing shown in FIG. I do. If the total amount of change is not larger than the threshold, step S105
Proceed to.
【００４６】ステップＳ１０５では、全ての画素を処理
したかどうかを判断する。全ての画素を処理した場合
は、映像に変化がなかったとして図４に示す処理を終了
する。一方、まだ処理していない画素が残っている場合
は、ステップＳ１０６に進む。ステップＳ１０６では、
次の画素に処理を移して（注目画素を次の画素に変更し
て）ステップＳ１０２の処理に戻る。In step S105, it is determined whether all pixels have been processed. If all the pixels have been processed, the processing shown in FIG. On the other hand, if there is a pixel that has not been processed yet, the process proceeds to step S106. In step S106,
The process is shifted to the next pixel (the pixel of interest is changed to the next pixel), and the process returns to step S102.
【００４７】＜最新変化画像記憶ステップ３＞最新変化
画像記憶ステップ３では、上記変化検出ステップ２で映
像の変化を検出したときに、上記画像入力ステップ１で
入力画像記憶手段１７に記憶された入力画像を新たな最
新変化画像として最新変化画像記憶手段１３に記憶す
る。<Latest Changed Image Storage Step 3> In the latest changed image storage step 3, when a change in video is detected in the change detection step 2, the input image stored in the input image storage means 17 in the image input step 1 is detected. The image is stored in the latest changed image storage unit 13 as a new latest changed image.
【００４８】＜出力画像生成用画像データ初期化ステッ
プ４＞出力画像生成用画像データ初期化ステップ４で
は、図６に示すように、上記変化検出ステップ２で映像
の変化が検出されたときに、まず、上記画像入力ステッ
プ１で入力画像記憶手段１７に記憶された入力画像を新
たな出力画像生成用画像データとして出力画像生成用画
像データ記憶手段１８に記憶する（ステップＳ２０
１）。次に、出力画像生成用パラメータ記憶手段１９に
記憶されているパラメータの値を１に初期化して（ステ
ップＳ２０２）、処理を終了する。<Output Image Generation Image Data Initialization Step 4> In the output image generation image data initialization step 4, as shown in FIG. 6, when a change in video is detected in the change detection step 2, First, the input image stored in the input image storage unit 17 in the image input step 1 is stored in the output image generation image data storage unit 18 as new output image generation image data (step S20).
1). Next, the value of the parameter stored in the output image generation parameter storage unit 19 is initialized to 1 (step S202), and the process ends.
【００４９】＜出力画像生成用画像データ高画質化処理
ステップ５＞出力画像生成用画像データ高画質化処理ス
テップ５では、上記変化検出ステップ２で映像の変化が
検出されなかったときに、上記画像入力ステップ１で入
力画像記憶手段１７に記憶された入力画像と、その時点
で出力画像生成用画像データ記憶手段１８に記憶されて
いた出力画像生成用画像データとの対応する画素間の画
素値の和をとり、この加算値を出力画像生成用画像デー
タの対応する画素の新たな画素値とする処理を、上記図
５に示すようなラスタ順に全画素に対して行うことによ
り、出力画像生成用画像データを更新する。また、出力
画像生成用パラメータ記憶手段１９に記憶されているパ
ラメータの値を、１だけ増加させた値に更新する。<Output Image Generation Image Data Image Quality Enhancement Processing Step 5> In the output image generation image data image quality improvement processing step 5, when the change in video is not detected in the change detection step 2, the image The pixel value between the corresponding pixels of the input image stored in the input image storage unit 17 in the input step 1 and the output image generation image data stored in the output image generation image data storage unit 18 at that time. The processing of taking the sum and making this addition value a new pixel value of the corresponding pixel of the image data for output image generation is performed for all the pixels in raster order as shown in FIG. Update the image data. Further, the value of the parameter stored in the output image generation parameter storage unit 19 is updated to a value increased by one.
【００５０】ただし、出力画像生成用パラメータ記憶手
段１９に記憶されるパラメータの値があらかじめ定めた
値（閾値Ａ：例えば２５６）を越える場合には、上述し
た出力画像生成用画像データの更新、および出力画像生
成用パラメータの値の更新は行わないものとする。この
ようにすれば、出力画像生成用画像データ記憶手段１８
での画素値のオーバーフローの発生や、出力画像生成用
パラメータの値のオーバーフローの発生を防ぐことがで
きる。However, if the value of the parameter stored in the output image generation parameter storage means 19 exceeds a predetermined value (threshold value A: for example, 256), the above-mentioned output image generation image data is updated and It is assumed that the value of the output image generation parameter is not updated. By doing so, the output image generation image data storage means 18
In this case, it is possible to prevent the occurrence of an overflow of the pixel value and the occurrence of an overflow of the value of the output image generation parameter.
【００５１】すなわち、例えば、入力画像が濃淡画像
で、各画素値が０〜２５５の８ビット（＝１バイト）の
値で表現されている場合において、出力画像生成用画像
データ記憶手段１８の記憶領域が、各画素値として１６
ビット（＝２バイト）のダイナミックレンジ、すなわ
ち、０〜６５５３５までの値の記憶を許す構成とすれ
ば、閾値Ａとしては、１より大きく２５６以下の値に設
定すればオーバーフローは発生しなくなる。That is, for example, when the input image is a grayscale image and each pixel value is represented by an 8-bit (= 1 byte) value of 0 to 255, the output image generation image data storage unit 18 stores the image data. The area is 16 as each pixel value.
If the dynamic range of the bit (= 2 bytes), that is, a configuration in which a value from 0 to 65535 is allowed to be stored, an overflow does not occur if the threshold value A is set to a value larger than 1 and smaller than 256.
【００５２】また、入力画像がカラー画像であれば、各
色成分画像（例えば、ＲＧＢのＲ成分画像、Ｇ成分画
像、Ｂ成分画像）のそれぞれに対して、入力画像の各画
素値のダイナミックレンジと、出力画像生成用画像デー
タ記憶手段１８で記憶を許す各画素値のダイナミックレ
ンジとの巾（階調値）の比から、加算を繰り返してもオ
ーバーフローが発生しない範囲を決め、上記閾値Ａに相
当する値をそれぞれ設定する。If the input image is a color image, the dynamic range of each pixel value of the input image is compared with each of the color component images (for example, RGB R component image, G component image, and B component image). From the ratio of the width (gradation value) to the dynamic range of each pixel value that is allowed to be stored in the output image generation image data storage unit 18, a range in which overflow does not occur even if addition is repeated is determined. Each value to be set.
【００５３】さらに、出力画像生成用パラメータの値
（自然数値）を保持する出力画像生成用パラメータ記憶
手段１９においてもオーバーフローを発生することなく
パラメータの値を記憶できる数値以内に閾値を抑えるこ
とも考慮して、上記閾値Ａを定める。Further, in the output image generation parameter storage means 19 for holding the output image generation parameter values (natural numerical values), it is also considered that the threshold value is suppressed within a numerical value capable of storing the parameter values without overflow. Then, the threshold value A is determined.
【００５４】この出力画像生成用画像データ高画質化処
理ステップ５において、図３のＲＯＭ２２またはＲＡＭ
２３に格納されているプログラムに従ってＣＰＵ２１が
実行する処理内容の一例を、図７に示す。In the output image generating image data image quality improvement processing step 5, in the ROM 22 or the RAM shown in FIG.
FIG. 7 shows an example of the content of processing executed by the CPU 21 in accordance with the program stored in the CPU 23.
【００５５】図７において、ステップＳ３０１では、出
力画像生成用パラメータ記憶手段１９に記憶されるパラ
メータの値があらかじめ定めた閾値Ａより大きいか否か
を判定し、もし大きければ図７に示す処理を終了し、大
きくなければステップＳ３０２へ進む。ステップＳ３０
２では、現在処理を行っている注目画素間の画素値の和
を算出し、得られた値を改めて出力画像生成用画像デー
タの注目画素の画素値として、出力画像生成用画像デー
タ記憶手段１８に記憶される当該注目画素の画素値を更
新する。In FIG. 7, in step S301, it is determined whether or not the value of the parameter stored in the output image generation parameter storage means 19 is larger than a predetermined threshold value A. If it is larger, the processing shown in FIG. The process ends, and if not large, the process proceeds to step S302. Step S30
In step 2, the sum of the pixel values between the pixels of interest currently being processed is calculated, and the obtained value is used as the pixel value of the pixel of interest in the output image generation image data again. The pixel value of the pixel of interest stored in is updated.
【００５６】ステップＳ３０３では、全ての画素を処理
したかどうかを判断する。そして、全ての画素を処理し
た場合は、ステップＳ３０４に進み、まだ処理していな
い画素が残っている場合は、ステップＳ３０５に進む。
ステップＳ３０４では、出力画像生成用パラメータ記憶
手段１９に記憶されているパラメータの値を１だけ増加
させた値に更新して、図７に示す処理を終了する。一
方、ステップＳ３０５では、次の画素に処理を移して
（注目画素を次の画素に変更して）ステップＳ３０２の
処理に戻る。In step S303, it is determined whether all pixels have been processed. If all the pixels have been processed, the process proceeds to step S304, and if there is any unprocessed pixel, the process proceeds to step S305.
In step S304, the value of the parameter stored in the output image generation parameter storage unit 19 is updated to a value increased by one, and the processing illustrated in FIG. 7 ends. On the other hand, in step S305, the process is shifted to the next pixel (the target pixel is changed to the next pixel), and the process returns to step S302.
【００５７】＜出力画像生成ステップ６＞出力画像生成
ステップ６では、上記出力画像生成用画像データ初期化
ステップ４または出力画像生成用画像データ高画質化処
理ステップ５において出力画像生成用画像データ記憶手
段１８に記憶された出力画像生成用画像データと、出力
画像生成用パラメータ記憶手段１９に記憶されたパラメ
ータの値とから出力画像を生成する処理を行う。<Output Image Generation Step 6> In the output image generation step 6, in the output image generation image data initializing step 4 or the output image generation image data high quality processing step 5, the output image generation image data storage means is used. A process for generating an output image from the image data for output image generation stored in 18 and the parameter values stored in the output image generation parameter storage unit 19 is performed.
【００５８】すなわち、上記パラメータの値で出力画像
生成用画像データの各画素値を除算して得られる商を求
め、この商をもって各画素に対応する出力画像の各画素
値とする処理を、上記図５に示すようなラスタ順に全画
素に対して行う（カラー画像の場合は、全ての色成分画
像の各画素に対して行う）ことにより出力画像を生成
し、これを出力画像記憶手段１０１に記憶する。That is, the process of obtaining a quotient obtained by dividing each pixel value of the image data for output image generation by the value of the above-mentioned parameter and using this quotient as each pixel value of the output image corresponding to each pixel is as follows. An output image is generated by performing the operation on all the pixels in the raster order as shown in FIG. 5 (in the case of a color image, the operation is performed on each pixel of all the color component images). Remember.
【００５９】この出力画像生成ステップ６において、図
３のＲＯＭ２２またはＲＡＭ２３に格納されているプロ
グラムに従ってＣＰＵ２１が実行する処理内容の一例
を、図８に示す。図８において、ステップＳ４０１で
は、出力画像生成用画像データ記憶手段１８に記憶され
ている出力画像生成用画像データ中で現在処理を行って
いる注目画素の画素値を、出力画像生成用パラメータ記
憶手段１９に記憶されている出力画像生成用パラメータ
の値で割り、商を得る。FIG. 8 shows an example of the contents of processing executed by the CPU 21 in accordance with the program stored in the ROM 22 or RAM 23 in FIG. 3 in the output image generation step 6. In FIG. 8, in step S401, the pixel value of the pixel of interest currently being processed in the output image generation image data stored in the output image generation image data storage unit 18 is stored in the output image generation parameter storage unit. The quotient is obtained by dividing by the value of the output image generation parameter stored in 19.
【００６０】ステップＳ４０２では、上記ステップＳ４
０１で得た商をもって出力画像の注目画素の画素値と
し、それを出力画像記憶手段１０１に記憶する。ステッ
プＳ４０３では、全ての画素を処理したかどうかを判断
する。そして、全ての画素を処理した場合は、図８の処
理を終了する。一方、まだ処理していない画素が残って
いる場合は、ステップＳ４０４に進む。ステップＳ４０
４では、次の画素に処理を移して（注目画素を次の画素
に変更して）ステップＳ４０１の処理に戻る。In step S402, the above step S4
The quotient obtained in step 01 is used as the pixel value of the target pixel of the output image, and is stored in the output image storage unit 101. In step S403, it is determined whether all pixels have been processed. When all pixels have been processed, the processing in FIG. 8 ends. On the other hand, if there is a pixel that has not been processed, the process proceeds to step S404. Step S40
In step 4, the process is shifted to the next pixel (the pixel of interest is changed to the next pixel), and the process returns to step S401.
【００６１】＜画像出力ステップ７＞画像出力ステップ
７では、上記出力画像生成ステップ６で生成され出力画
像記憶手段１０１に記憶されている出力画像を、通信装
置２８等を通して図示しない通信路（ＷＡＮやＬＡＮな
ど）に出力して送信したり、ディスク装置２４などの画
像記憶装置に出力して記憶したり、図示しない画像表示
装置に出力して表示したりする。<Image Output Step 7> In the image output step 7, the output image generated in the output image generation step 6 and stored in the output image storage means 101 is transmitted through a communication device (such as a WAN or WAN). LAN and the like, and transmitted, output to and stored in an image storage device such as the disk device 24, and output and displayed on an image display device (not shown).
【００６２】以上のように、第１の実施形態によれば、
撮像された映像にありがちなランダム性の強い雑音が、
映像変化の検出されなかった静止画像を積算していくこ
とで平均化されることにより、ノイズレベルが低減して
いく。具体的には、撮像条件を固定した撮影により得ら
れるＮ枚の画像の平均をとることにより、撮像過程等で
生じる雑音レベルを１／√Ｎに下げることができる（電
子情報通信学会誌のvol.79,No.5,pp490-499 の「多重画
像の統合」と題された解説（松山，浅田）のpp493 を参
照）。このため、映像の変化が検出されないで静止画像
の積算が続いている間は、Ｓ／Ｎ比の向上が進み、出力
画像の高画質化を図ることができる。As described above, according to the first embodiment,
The noise with strong randomness, which is common in captured images,
The noise level is reduced by averaging by integrating the still images for which no video change is detected. Specifically, by averaging N images obtained by imaging with the imaging conditions fixed, the noise level generated in the imaging process or the like can be reduced to 1 / √N (vol. .79, No.5, pp490-499, “Explanation of Multiple Image Integration” (Matsuyama, Asada), pp493.) For this reason, while the integration of the still images continues without detecting a change in the video, the S / N ratio is improved, and the image quality of the output image can be improved.
【００６３】なお、このように静止画像の積算により高
画質化を図ることは、撮影された複数枚の画像の中に
（被写体に）変化がないことを大前提としており、この
前提が成り立たない場合には効果がないばかりか、却っ
て画質の劣化を生じることになってしまう。したがっ
て、撮像条件を固定して撮影した複数枚の画像の平均を
とることで雑音レベルを低減する技術を動画の高画質化
を図るために適用することは、必ずしも好ましい態様と
は言い難い。It should be noted that achieving high image quality by integrating still images is based on the premise that there is no change (in the subject) in a plurality of captured images, and this premise does not hold. In this case, not only is there no effect, but rather, the image quality deteriorates. Therefore, it is not always preferable to apply the technique of reducing the noise level by averaging a plurality of images captured under fixed imaging conditions to achieve high image quality of a moving image.
【００６４】そこで、本実施形態では、映像中に変化が
検出されている間は変化画像を順次出力し、上述の静止
画像の積算による高画質化処理を実行していない。この
ため、本実施形態では、映像中に変化が検出されている
間は通常通り動画出力を実行し、映像の変化が検出され
ない場合のみに高画質化の効果がある高画質化処理を適
切に実行することができる。Therefore, in the present embodiment, while a change is detected in the video, the changed image is sequentially output, and the above-described process of increasing the image quality by integrating the still images is not performed. For this reason, in the present embodiment, while a change is detected in a video, moving image output is performed as usual, and a high-quality processing that has an effect of high image quality only when a change in the video is not detected is appropriately performed. Can be performed.
【００６５】（第２の実施形態）上記第１の実施形態に
おける変化検出ステップ２の動作は、次のようにしても
良い。すなわち、合計変化量の大きさによって映像変化
の有無を判断するための閾値を２つ設けて、これらを閾
値１、閾値２とする。ただし、閾値１＞閾値２とする。
閾値１は、入力画像が最新変化画像と比べて有意な変化
を有していると認めるか否かを判断するための閾値とし
て用い、閾値２は、入力画像が最新変化画像と比べて有
意な変化があるとは認められない場合であっても、変化
がなかったと言い切れるか否かを判断するための閾値と
して用いる。(Second Embodiment) The operation of the change detection step 2 in the first embodiment may be as follows. That is, two thresholds are provided for judging the presence or absence of a video change based on the magnitude of the total change amount, and these are referred to as threshold 1 and threshold 2. However, it is assumed that threshold 1> threshold 2.
The threshold 1 is used as a threshold for determining whether or not the input image has a significant change compared to the latest changed image, and the threshold 2 is significant when the input image is significant compared to the latest changed image. Even if it is not recognized that there is a change, it is used as a threshold for determining whether or not it can be said that there is no change.
【００６６】この第２の実施形態は、上記図４にて述べ
た処理を図９の処理に変えることで実現される。ただ
し、図９の処理は、図４のステップＳ１０４で用いてい
た閾値を上記閾値１とする点と、図４の処理ではステッ
プＳ１０５における判断の結果がＹ（Ｙｅｓ）となった
場合に直ちに映像に変化がなかったと判断して処理を終
了していたところを、図９の処理では更にステップＳ１
０７を設けてこのステップＳ１０７の処理へ進むように
しているという点との２点で、図４の処理と異なってい
るのみである。このため、図９の処理において、図４の
処理と全く同じ動作をするステップには、同じステップ
番号を付してある。以下、図９のステップの中で、図４
とは異なる部分のみを説明する。The second embodiment is realized by changing the processing described in FIG. 4 to the processing in FIG. However, the processing in FIG. 9 is different from the processing in FIG. 4 in that the threshold used in step S104 is set to the above-described threshold 1, and in the processing in FIG. 4, the image is immediately displayed when the result of the determination in step S105 is Y (Yes). The processing in FIG. 9 ends when it is determined that there has been no change, and the processing in FIG.
7 is different from the process of FIG. 4 in that the process proceeds to the process of step S107. For this reason, in the processing of FIG. 9, steps that perform exactly the same operation as the processing of FIG. 4 are given the same step numbers. Hereinafter, in the steps of FIG. 9, FIG.
Only the parts different from the above will be described.
【００６７】ステップＳ１０４′では、その直前のステ
ップＳ１０３にて算出した合計変化量があらかじめ設定
した閾値１より大きいかどうかを判断し、大きければ、
映像に有意な変化があったとして、図９に示す処理を終
了する。また、合計変化量が閾値１より大きくなかった
場合は、ステップＳ１０５に進む。In step S104 ', it is determined whether or not the total change amount calculated in the immediately preceding step S103 is larger than a preset threshold value 1.
It is determined that there is a significant change in the video, and the process illustrated in FIG. 9 ends. If the total change amount is not larger than the threshold 1, the process proceeds to step S105.
【００６８】また、ステップＳ１０７の処理は、その直
前のステップＳ１０５にて全ての画素の処理が終わった
と判断された場合に行われる。ステップＳ１０７では、
全画素の画素値差分を合計した合計変化量があらかじめ
設定した閾値２より大きいかどうかを判断し、大きけれ
ば、映像中に有意な変化は認められないものの、変化が
なかったとまで言い切れるかは疑わしい（変化は疑わし
い）と判断して、図９に示す処理を終了する。また、合
計変化量が閾値２より大きくなかった場合は、映像に変
化がなかったと判断して、図９に示す処理を終了する。The process in step S107 is performed when it is determined in step S105 immediately before that that all pixels have been processed. In step S107,
It is determined whether or not the total change amount obtained by summing the pixel value differences of all the pixels is larger than a predetermined threshold value 2. If it is large, although no significant change is recognized in the video, it can be said that there is no change. It is determined to be suspicious (the change is suspicious), and the processing shown in FIG. 9 ends. If the total amount of change is not larger than the threshold value 2, it is determined that there is no change in the video, and the processing shown in FIG. 9 ends.
【００６９】さて、このような変化検出ステップ２の処
理により、有意な変化があったと判断された場合は、第
１の実施形態と同様に最新変化画像記憶ステップ３に進
む。また、変化がなかったと判断された場合も第１の実
施形態と同様に、出力画像生成用画像データ高画質化処
理ステップ５に進む。ただし、映像の変化が疑わしいと
判断された場合は、直ちに画像出力ステップ７へ進む。
この処理の様子を図１をもとに書き直すと、図１０のよ
うになる。また、図１１に示すように、映像の変化が疑
わしいと判断された場合に、直ちに画像入力ステップ１
に戻るようにしても良い。When it is determined that there is a significant change by the processing of the change detection step 2, the process proceeds to the latest changed image storage step 3 as in the first embodiment. Also, when it is determined that there is no change, similarly to the first embodiment, the process proceeds to the output image generation image data image quality enhancement processing step 5. However, if it is determined that the change in the video is suspect, the process immediately proceeds to the image output step 7.
FIG. 10 shows the state of this process rewritten based on FIG. Further, as shown in FIG. 11, when it is determined that the change of the image is suspect, the image input step 1 is immediately performed.
May be returned to.
【００７０】上述したように、静止画像の積算により高
画質化を図ることは、積算する複数の画像の中に変化が
ないことを前提としており、この前提が成り立たない場
合には効果がないばかりか、却って画質の劣化を生じる
ことになってしまう。したがって、第２の実施形態のよ
うに、変化がなかったと言い切れるかどうかが疑わしい
場合には高画質化処理を行わないようにすることによ
り、出力画像を却って劣化させてしまう不都合を防止す
ることができるというメリットが得られる。As described above, achieving high image quality by integrating still images is based on the premise that there is no change in a plurality of images to be integrated. If this assumption does not hold, there is no effect. Or, on the contrary, the image quality deteriorates. Therefore, as in the second embodiment, when it is doubtful that there is no change, it is possible to prevent the disadvantage that the output image is rather deteriorated by not performing the high image quality processing. Can be obtained.
【００７１】また、本実施形態では、第１の実施形態で
用いていた閾値を単純に小さな値にするのではなく、閾
値１，２の２つを設けて映像変化の有無を判断してい
る。したがって、閾値２を用いることによって上述のメ
リットが得られるだけでなく、閾値１を用いることによ
って確かに映像が変化したときだけ最新変化画像の更新
を行うようにすることができ、その後の映像変化の検出
精度が低下しないようにすることができるというメリッ
トも得られる。In this embodiment, the threshold used in the first embodiment is not simply reduced to a small value, but two thresholds 1 and 2 are provided to determine the presence or absence of an image change. . Therefore, not only the above-mentioned advantages can be obtained by using the threshold 2 but also the latest changed image can be updated only when the video is surely changed by using the threshold 1, and the subsequent video change can be performed. There is also an advantage that the detection accuracy of can be prevented from lowering.
【００７２】なお、以上の実施形態では、映像変化の有
無の程度を３段階のレベルに分けて映像の変化を検出
し、映像変化の有無の程度が最も低いレベルの段階であ
ると検出された期間のみの静止画像から高画質な静止画
像を生成するようにしているが、３段階以上の多段階レ
ベルに分けて映像の変化を検出するようにしても良い。
そして、この場合において、映像変化の有無の程度があ
らかじめ定めたレベル以下の段階であると検出された期
間のみの静止画像から、高画質な静止画像を生成するよ
うにしても良い。In the above embodiment, the change in the image is detected by dividing the degree of the image change into three levels, and the level of the change in the image is detected as the lowest level. Although a high-quality still image is generated from a still image for only a period, a change in video may be detected in three or more levels.
Then, in this case, a high-quality still image may be generated from a still image only during a period in which the presence or absence of a video change is at or below a predetermined level.
【００７３】（第３の実施形態）上記第１および第２の
実施形態における出力画像生成ステップ６の動作は、次
のようにしても良い。すなわち、出力画像生成用パラメ
ータの値が出力画像生成処理に都合のよい値（単数また
は複数種のどちらでも良い）である場合にのみ、出力画
像生成処理を行うようにする。より具体的には、パラメ
ータの値が２のべき乗の値になっているときにのみ、出
力画像生成処理を行う。(Third Embodiment) The operation of the output image generation step 6 in the first and second embodiments may be as follows. That is, the output image generation process is performed only when the value of the output image generation parameter is a value convenient for the output image generation process (either one or a plurality of types). More specifically, the output image generation processing is performed only when the value of the parameter is a power of two.
【００７４】このように、出力画像生成用パラメータの
値が２のｎ乗（ｎは非負整数）のときにのみ出力画像の
画素値を生成するようにすれば、出力画像生成用画像デ
ータの各画素値をｎ回だけ右にビットシフト（２のｎ乗
＝２n で割ることに相当）することによって得られる値
として簡単に求めることができる。この第３の実施形態
の処理は、上記図８にて述べた処理を図１２のように変
更することによって実現される。As described above, if the pixel value of the output image is generated only when the value of the output image generation parameter is 2 to the nth power (n is a non-negative integer), each of the output image generation image data The pixel value can be easily obtained as a value obtained by bit-shifting the pixel value to the right by n times (corresponding to 2 n = 2 n ). The processing of the third embodiment is realized by changing the processing described with reference to FIG. 8 as shown in FIG.
【００７５】図１２において、ステップＳ５０１では、
出力画像生成用パラメータ記憶手段１９に記憶されてい
る出力画像生成用パラメータの値が２のべき乗の値にな
っているか否かを判定する。この判定は、あらかじめ想
定されるパラメータの値の範囲（例えば、上述の出力画
像生成用画像データ高画質化処理ステップ５の説明で述
べた閾値Ａを２５６にとった場合は、１〜２５７）の各
数値に対して２のべき数（２n ：ｎは非負整数）である
か否かを、例えば図１３に示すような一覧表（もし、べ
き数ならｎ（この場合は０〜８）の値を書き、べき数で
ないなら−１を書いたテーブル等）として持っておき、
このテーブルを参照することによって判断するようにし
ても良い。In FIG. 12, in step S501,
It is determined whether or not the value of the output image generation parameter stored in the output image generation parameter storage unit 19 is a power of two. This determination is made in the range of parameter values assumed in advance (for example, 1 to 257 when the threshold value A described in the description of the output image generation image data image quality enhancement processing step 5 is set to 256). For each numerical value, whether or not it is a power of 2 (2 n : n is a non-negative integer) is determined by, for example, a list as shown in FIG. 13 (if a power is n, n (0 to 8 in this case)). Write the value, and if it is not an exponent, keep it as a table with -1)
The determination may be made by referring to this table.
【００７６】上記ステップＳ５０１にてパラメータの値
が２のべき数ではないと判断された場合は、何も行わず
に図１２の処理を終了する。一方、２のべき数であると
判断された場合は、ステップＳ５０２へ進む。ステップ
Ｓ５０２では、出力画像生成用画像データ記憶手段１８
に記憶されている出力画像生成用画像データ中で現在処
理を行っている注目画素の画素値に対して、出力画像生
成用パラメータ記憶手段１９に記憶されている出力画像
生成用パラメータの値である２のべき数（２n）の指数
ｎの回数分だけ右にビットシフトを施す。If it is determined in step S501 that the value of the parameter is not a power of 2, nothing is performed and the process of FIG. 12 ends. On the other hand, if it is determined that the number is a power of 2, the process proceeds to step S502. In step S502, the output image generation image data storage unit 18
Is the value of the output image generation parameter stored in the output image generation parameter storage unit 19 with respect to the pixel value of the pixel of interest currently being processed in the output image generation image data stored in A bit shift is performed to the right by the number of exponents n of a power of 2 (2 n ).
【００７７】ステップＳ５０３では、上記ステップＳ５
０２で求められた値を、出力画像の注目画素の画素値と
して出力画像記憶手段１０１に記憶する。ステップＳ５
０４では、全ての画素を処理したかどうかを判断する。
そして、全ての画素を処理した場合は、図１２の処理を
終了する。一方、まだ処理していない画素が残っている
場合は、ステップＳ５０５に進む。ステップＳ５０５で
は、次の画素に処理を移して（注目画素を次の画素に変
更して）ステップＳ５０２の処理に戻る。In step S503, the above-described step S5
02 is stored in the output image storage unit 101 as the pixel value of the target pixel of the output image. Step S5
At 04, it is determined whether all pixels have been processed.
When all the pixels have been processed, the processing in FIG. 12 ends. On the other hand, if there is a pixel that has not been processed, the process proceeds to step S505. In step S505, the process is shifted to the next pixel (the target pixel is changed to the next pixel), and the process returns to step S502.
【００７８】このような処理とすることにより、第３の
実施形態では、出力画像が高画質化される頻度は減る
が、最終的に高画質化される程度は第１および第２の実
施形態の場合とそれほど変わりなく、かつ、本処理に要
する演算コストを格段に減少させることができるという
メリットが得られる。With such processing, in the third embodiment, the frequency of improving the quality of the output image is reduced, but the degree of ultimately improving the image quality is reduced in the first and second embodiments. There is an advantage that the operation cost is not so different from the case of (1) and that the operation cost required for this processing can be significantly reduced.
【００７９】なお、以上の第１〜第３の実施形態におい
て、それぞれの処理を実行させるためのプログラムは、
上述したように図３のＲＯＭ２２に記憶されており、こ
のＲＯＭ２２は、本発明の画像処理用プログラムの記録
媒体に相当する。ただし、本発明の記録媒体は、このＲ
ＯＭ２２には限定されない。In the first to third embodiments, the program for executing each process is as follows:
As described above, it is stored in the ROM 22 of FIG. 3, and the ROM 22 corresponds to a recording medium of the image processing program of the present invention. However, the recording medium of the present invention uses this R
It is not limited to OM22.
【００８０】例えば、上述した実施形態の機能を実現す
るべく各種のデバイスを動作させるように、該各種デバ
イスと接続された装置あるいはシステム内のコンピュー
タに対し、上記実施形態の機能を実現するためのソフト
ウェアのプログラムコードを供給し、そのシステムある
いは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格
納されたプログラムに従って上記各種デバイスを動作さ
せることによって実施したものも、本発明の範疇に含ま
れる。For example, in order to operate various devices so as to realize the functions of the above-described embodiments, an apparatus connected to the various devices or a computer in a system is required to realize the functions of the above-described embodiments. The present invention also includes a software program code supplied and implemented by operating the various devices according to a program stored in a computer (CPU or MPU) of the system or the apparatus.
【００８１】この場合、上記ソフトウェアのプログラム
コード自体が上述した実施形態の機能を実現することに
なり、そのプログラムコード自体、およびそのプログラ
ムコードをコンピュータに供給するための手段、例えば
かかるプログラムコードを格納した記憶媒体は本発明を
構成する。かかるプログラムコードを記憶する記憶媒体
としては、上述したＲＯＭ２２の他に、例えばフロッピ
ーディスク、ハードディスク、光ディスク、光磁気ディ
スク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカ
ード等を用いることができる。In this case, the program code itself of the software realizes the functions of the above-described embodiment, and the program code itself and means for supplying the program code to the computer, for example, storing the program code The storage medium described constitutes the present invention. As a storage medium for storing such a program code, for example, a floppy disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a nonvolatile memory card, and the like can be used in addition to the ROM 22 described above.
【００８２】また、コンピュータが供給されたプログラ
ムコードを実行することにより、上述の実施形態の機能
が実現されるだけでなく、そのプログラムコードがコン
ピュータにおいて稼働しているＯＳ（オペレーティング
システム）あるいは他のアプリケーションソフト等の共
同して上述の実施形態の機能が実現される場合にもかか
るプログラムコードは本発明の実施形態に含まれること
は言うまでもない。When the computer executes the supplied program code, not only the functions of the above-described embodiment are realized, but also the OS (Operating System) or other operating system running on the computer. Needless to say, even when the functions of the above-described embodiments are realized in cooperation with application software or the like, such program codes are included in the embodiments of the present invention.
【００８３】さらに、供給されたプログラムコードがコ
ンピュータの機能拡張ボードやコンピュータに接続され
た機能拡張ユニットに備わるメモリに格納された後、そ
のプログラムコードの指示に基づいてその機能拡張ボー
ドや機能拡張ユニットに備わるＣＰＵ等が実際の処理の
一部または全部を行い、その処理によって上述した実施
形態の機能が実現される場合にも本発明に含まれること
は言うまでもない。Further, after the supplied program code is stored in the memory provided in the function expansion board of the computer or the function expansion unit connected to the computer, the function expansion board or the function expansion unit is specified based on the instruction of the program code. It is needless to say that the present invention also includes a case where the CPU or the like provided in the first embodiment performs part or all of the actual processing, and the processing realizes the functions of the above-described embodiments.
【００８４】また、以上の第１〜第３の実施形態では、
映像変化の有無を検出するために入力画像と比較する基
準画像として、最新変化画像を用いているが、本発明は
これには限定されない。例えば、常に固定の背景画像
や、入力画像より時間的に１フレーム前の画像などを基
準画像として用いるようにしても良い。ただし、最新変
化画像を基準画像として用いた方が、わずかな変化も検
出できるなど映像変化の検出精度が高い点で好ましい。In the first to third embodiments,
Although the latest changed image is used as a reference image to be compared with an input image to detect the presence or absence of a video change, the present invention is not limited to this. For example, a fixed background image, an image one frame before the input image in time, or the like may be used as the reference image. However, it is preferable to use the latest change image as the reference image because the detection accuracy of the image change is high such that a slight change can be detected.
【００８５】[0085]
【発明の効果】本発明は上述したように、映像中から抽
出して入力した静止画像と基準画像とを比較することに
より映像の変化の有無を検出し、映像の変化が検出され
ないときに、変化が検出されなかった期間の複数の静止
画像から高画質な静止画像を生成するようにしたので、
映像中に変化が検出されない間は、その間に撮像入力さ
れる映像（静止画の時系列画像）からノイズの低減され
た高画質な画像を順次生成して出力画像とし、映像中に
変化が検出されると、その変化が検出された画像をその
まま出力画像とするという新機能を実現することができ
る。As described above, according to the present invention, the presence or absence of a change in a video is detected by comparing a still image extracted and input from a video with a reference image. Since high quality still images are generated from multiple still images during the period when no change was detected,
As long as no change is detected in the video, high-quality images with reduced noise are sequentially generated from the video (time-series images of still images) captured and input during that time and output as an output image, and the change is detected in the video. Then, a new function can be realized in which the image whose change is detected is used as the output image as it is.
【００８６】また、本発明の他の特徴によれば、映像変
化の有無の程度を少なくとも３段階以上の多段階レベル
に分けて映像の変化を検出し、上記映像変化の有無の程
度があらかじめ定めたレベル以下の段階であると検出さ
れた期間のみの静止画像から高画質な静止画像を生成す
るようにしたので、ほとんど変化のない複数の静止画像
のみを用いて上記高画質な静止画像の生成処理を行うこ
とができ、映像中に変化が検出されない間に行われる高
画質化処理によって出力画像を却って劣化させてしまう
不都合を防止することができる。Further, according to another feature of the present invention, the degree of the presence or absence of the image change is divided into at least three or more levels to detect the change in the image, and the degree of the presence or absence of the image change is determined in advance. The high-quality still image is generated from the still image only during the period in which the high-quality still image is detected to be at or below the level of the high-quality still image. Processing can be performed, and it is possible to prevent the inconvenience that the output image is rather deteriorated by the high-quality processing performed while no change is detected in the video.
【００８７】また、本発明のその他の特徴によれば、上
記高画質な静止画像を複数の静止画像の積算によって求
める場合に、積算される静止画像の枚数があらかじめ定
めた数（例えば、積算される静止画像の枚数が２のべき
乗に相当する数）になったときにのみ上記高画質な静止
画像を生成する処理を行うようにしたので、映像中に変
化が検出されない間に、その間に撮像入力される映像か
らノイズの低減された高画質な画像を順次生成すること
ができるとともに、その高画質化処理に要する演算コス
トを格段に減少させることができる。According to another feature of the present invention, when the high-quality still image is obtained by integrating a plurality of still images, the number of still images to be integrated is a predetermined number (for example, The above-described process of generating a high-quality still image is performed only when the number of still images to be obtained becomes a power of 2). A high-quality image with reduced noise can be sequentially generated from an input video, and the calculation cost required for the high-quality processing can be significantly reduced.
【図１】本発明の第１、第３の実施形態による動画像処
理方法の処理の大まかな流れを示す図である。FIG. 1 is a diagram showing a general flow of processing of a moving image processing method according to first and third embodiments of the present invention.
【図２】本発明の第１〜第３の実施形態による動画像処
理装置の一構成例を示す機能ブロック図である。FIG. 2 is a functional block diagram illustrating a configuration example of a moving image processing device according to first to third embodiments of the present invention.
【図３】本発明の第１〜第３の実施形態による動画像処
理装置のハードウェア構成例を示す図である。FIG. 3 is a diagram illustrating an example of a hardware configuration of a moving image processing apparatus according to first to third embodiments of the present invention.
【図４】本発明の第１、第３の実施形態による変化検出
ステップの処理の詳細を示すフローチャートである。FIG. 4 is a flowchart illustrating details of processing in a change detection step according to the first and third embodiments of the present invention.
【図５】本発明の第１〜第３の実施形態において映像変
化を検出する際の画素の処理順序を説明するための図で
ある。FIG. 5 is a diagram for explaining a processing order of pixels when detecting a video change in the first to third embodiments of the present invention.
【図６】本発明の第１〜第３の実施形態による出力画像
生成用画像データ初期化ステップの処理の詳細を示すフ
ローチャートである。FIG. 6 is a flowchart illustrating details of processing of an output image generation image data initialization step according to the first to third embodiments of the present invention.
【図７】本発明の第１〜第３の実施形態による出力画像
生成用画像データ高画質化処理ステップの処理の詳細を
示すフローチャートである。FIG. 7 is a flowchart illustrating details of processing of image quality enhancement processing for output image generation image data according to the first to third embodiments of the present invention.
【図８】本発明の第１、第２の実施形態による出力画像
生成ステップの処理の詳細を示すフローチャートであ
る。FIG. 8 is a flowchart illustrating details of processing in an output image generation step according to the first and second embodiments of the present invention.
【図９】本発明の第２、第３の実施形態による変化検出
ステップの処理の詳細を示すフローチャートである。FIG. 9 is a flowchart illustrating details of processing of a change detection step according to the second and third embodiments of the present invention.
【図１０】本発明の第２、第３の実施形態による動画像
処理方法の処理の大まかな流れを示す図である。FIG. 10 is a diagram showing a rough flow of processing of a moving image processing method according to the second and third embodiments of the present invention.
【図１１】本発明の第２、第３の実施形態によるもう１
つの動画像処理方法の処理の大まかな流れを示す図であ
る。FIG. 11 shows another example according to the second and third embodiments of the present invention.
It is a figure which shows the rough flow of a process of two moving image processing methods.
【図１２】本発明の第３の実施形態による出力画像生成
ステップの処理の詳細を示すフローチャートである。FIG. 12 is a flowchart illustrating details of processing of an output image generation step according to a third embodiment of the present invention.
【図１３】本発明の第３の実施形態による出力画像生成
ステップの処理で用いるテーブルの例を示す図である。FIG. 13 is a diagram illustrating an example of a table used in processing of an output image generation step according to a third embodiment of the present invention.
１ 画像入力ステップ ２ 変化検出ステップ ３ 最新変化画像記憶ステップ ４ 出力画像生成用画像データ初期化ステップ ５ 出力画像生成用画像データ高画質化処理ステップ ６ 出力画像生成ステップ ７ 画像出力ステップ １１ 画像入力手段 １２ 変化検出手段 １３ 最新変化画像記憶手段 １４ 出力画像生成用画像データ初期化手段 １５ 出力画像生成用画像データ高画質化処理手段 １６ 出力画像生成手段 １７ 入力画像記憶手段 １８ 出力画像生成用画像データ記憶手段 １９ 出力画像生成用パラメータ記憶手段 １０１ 出力画像記憶手段 １０２ 画像出力手段 DESCRIPTION OF SYMBOLS 1 Image input step 2 Change detection step 3 Latest change image storage step 4 Output image generation image data initialization step 5 Output image generation image data image quality enhancement processing step 6 Output image generation step 7 Image output step 11 Image input means 12 Change detection means 13 Latest changed image storage means 14 Image data initialization means for output image generation 15 Image data quality enhancement processing means for output image generation 16 Output image generation means 17 Input image storage means 18 Image data storage means for output image generation 19 output image generation parameter storage means 101 output image storage means 102 image output means
Claims (20)
る画像入力ステップと、 上記画像入力ステップで入力された静止画像と基準画像
とを比較することにより映像の変化を検出する変化検出
ステップと、 上記変化検出ステップで映像の変化が検出されないとき
に、変化が検出されなかった期間に得られる複数の静止
画像から高画質な静止画像を生成する出力画像高画質化
ステップとを備えることを特徴とする画像処理方法。1. An image input step of extracting and inputting a still image from a moving image, and a change detecting step of detecting a change in video by comparing the still image input in the image input step with a reference image. And when an image change is not detected in the change detection step, an output image quality improvement step of generating a high-quality still image from a plurality of still images obtained during a period in which no change is detected. Characteristic image processing method.
のうち最新の変化を検出したときの最新変化画像である
ことを特徴とする請求項１に記載の画像処理方法。2. The image processing method according to claim 1, wherein the reference image is a latest change image when a latest change among video changes that occurred in the past is detected.
出されたときに、そのとき比較の対象とされている上記
画像入力ステップで入力された静止画像をそのまま出力
する画像出力ステップを備えることを特徴とする請求項
１に記載の画像処理方法。3. An image output step of, when a change in video is detected in the change detection step, outputting a still image input in the image input step, which is to be compared at that time, as it is. The image processing method according to claim 1, wherein:
存在の程度を少なくとも３段階以上の多段階レベルに分
けて映像の変化を検出し、 上記出力画像高画質化ステップでは、上記変化検出ステ
ップにおいて上記映像変化の存在の程度があらかじめ定
めたレベル以下の段階であると検出された期間に得られ
る複数の静止画像から高画質な静止画像を生成すること
を特徴とする請求項１に記載の画像処理方法。4. The change detecting step detects a change in the image by dividing the degree of existence of the image change into at least three or more multi-levels. In the step of improving the output image quality, the change detecting step includes: 2. The image according to claim 1, wherein a high-quality still image is generated from a plurality of still images obtained during a period in which the degree of the presence of the video change is detected to be at a stage equal to or lower than a predetermined level. Processing method.
存在の程度を３段階のレベルに分けて映像の変化を検出
し、 上記出力画像高画質化ステップでは、上記変化検出ステ
ップにおいて上記映像変化の存在の程度が最も低いレベ
ルの段階であると検出された期間に得られる複数の静止
画像から高画質な静止画像を生成することを特徴とする
請求項４に記載の画像処理方法。5. The change detecting step detects a change in the image by dividing the degree of existence of the image change into three levels. In the step of improving the output image quality, the change in the image is detected in the change detecting step. 5. The image processing method according to claim 4, wherein a high-quality still image is generated from a plurality of still images obtained during a period in which the degree of presence is detected at the lowest level.
変化の存在の程度が最も高いレベルの段階であると検出
されたときにのみ、そのとき比較の対象とされている上
記画像入力ステップで入力された静止画像をそのまま出
力することを特徴とする請求項５に記載の画像処理方
法。6. Only when it is detected in the change detecting step that the degree of the presence of the video change is the highest level, the image is inputted in the image input step which is to be compared at that time. The image processing method according to claim 5, wherein the still image is output as it is.
記複数の静止画像の画素値を積算して平均画像を生成す
ることを特徴とする請求項１〜６の何れか１項に記載の
画像処理方法。7. The image according to claim 1, wherein in the step of enhancing the image quality of the output image, an average image is generated by integrating pixel values of the plurality of still images. Processing method.
算される静止画像の枚数が所定の閾値を越える場合には
その越える分の静止画像の積算は行わないことを特徴と
する請求項７に記載の画像処理方法。8. The method according to claim 7, wherein in the step of enhancing the output image quality, when the number of still images to be integrated exceeds a predetermined threshold value, integration of the still images exceeding the predetermined threshold is not performed. The image processing method described in the above.
算される静止画像の枚数が単数または複数種のあらかじ
め定めた数になったときにのみ上記平均画像の生成を行
うことを特徴とする請求項７または８に記載の画像処理
方法。9. The output image enhancement step wherein the average image is generated only when the number of still images to be integrated reaches one or a plurality of predetermined numbers. Item 7. The image processing method according to Item 7 or 8.
積算される静止画像の枚数が２のべき乗に相当する数に
なったときにのみ上記平均画像の生成を行うことを特徴
とする請求項９に記載の画像処理方法。10. The output image quality improving step,
10. The image processing method according to claim 9, wherein the generation of the average image is performed only when the number of still images to be integrated reaches a number corresponding to a power of two.
する画像入力手段と、 上記画像入力手段で入力された静止画像と基準画像とを
比較することにより映像の変化を検出する変化検出手段
と、 上記変化検出手段で映像の変化が検出されないときに、
変化が検出されなかった期間に得られる複数の静止画像
から高画質な静止画像を生成する出力画像高画質化手段
とを備えることを特徴とする画像処理装置。11. An image input means for extracting and inputting a still image from a moving image, and a change detecting means for detecting a change in video by comparing the still image input by the image input means with a reference image. And when a change in the image is not detected by the change detecting means,
An image processing apparatus comprising: an output image quality enhancing unit configured to generate a high quality still image from a plurality of still images obtained during a period in which no change is detected.
する画像入力手段と、 上記画像入力手段で入力された静止画像と過去に生じた
映像変化のうち最新の変化を検出したときの最新変化画
像とを比較することにより映像の変化を検出する変化検
出手段と、 上記変化検出手段で映像の変化が検出されないときに、
変化が検出されなかった期間に得られる複数の静止画像
から高画質な静止画像を生成する出力画像高画質化手段
と、 上記変化検出手段で映像の変化が検出されたときには、
そのとき比較の対象とされている上記画像入力手段で入
力された静止画像をそのまま出力し、上記変化検出手段
で映像の変化が検出されないときには、上記出力画像高
画質化手段により生成された高画質な静止画像を出力す
る画像出力手段とを備えることを特徴とする画像処理装
置。12. An image input means for extracting and inputting a still image from a moving image, and a latest image when a latest change is detected from a still image input by the image input means and a video change occurring in the past. A change detection unit that detects a change in the image by comparing the change image with the change image, and when a change in the image is not detected by the change detection unit,
An output image enhancement unit that generates a high-quality still image from a plurality of still images obtained during a period in which no change is detected, and when a change in video is detected by the change detection unit,
At this time, the still image input by the image input means, which is to be compared, is output as it is, and when the change detection means does not detect a change in video, the high image quality generated by the output image An image processing apparatus comprising: an image output unit that outputs a simple still image.
の程度を少なくとも３段階以上の多段階レベルに分けて
映像の変化を検出し、 上記出力画像高画質化手段は、上記変化検出手段におい
て上記映像変化の存在の程度があらかじめ定めたレベル
以下の段階であると検出された期間に得られる複数の静
止画像から高画質な静止画像を生成することを特徴とす
る請求項１１または１２に記載の画像処理装置。13. The change detecting means detects a change in the image by dividing the degree of the existence of the image change into at least three or more multi-levels. 13. A high-quality still image is generated from a plurality of still images obtained during a period in which the degree of the presence of the video change is detected to be at or below a predetermined level. Image processing device.
の程度を３段階のレベルに分けて映像の変化を検出し、 上記出力画像高画質化手段は、上記変化検出手段におい
て上記映像変化の存在の程度が最も低いレベルの段階で
あると検出された期間に得られる複数の静止画像から高
画質な静止画像を生成することを特徴とする請求項１３
に記載の画像処理装置。14. The change detecting means detects a change in the image by dividing the degree of the presence of the image change into three levels, and the output image quality improving means detects the change in the image by the change detecting means. 14. A high-quality still image is generated from a plurality of still images obtained during a period in which the degree of presence is determined to be at the lowest level.
An image processing apparatus according to claim 1.
段において上記映像変化の存在の程度が最も高いレベル
の段階であると検出されたときにのみ、そのとき比較の
対象とされている上記画像入力手段で入力された静止画
像をそのまま出力することを特徴とする請求項１４に記
載の画像処理装置。15. The image output means, which is used as a comparison target only when the change detecting means detects that the presence of the video change is at the highest level. The image processing apparatus according to claim 14, wherein the still image input by the input unit is output as it is.
数の静止画像の画素値を積算して平均画像を生成するこ
とを特徴とする請求項１１〜１５の何れか１項に記載の
画像処理装置。16. The image according to claim 11, wherein said output image quality enhancing means integrates pixel values of said plurality of still images to generate an average image. Processing equipment.
れる静止画像の枚数が所定の閾値を越える場合にはその
越える分の静止画像の積算は行わないことを特徴とする
請求項１６に記載の画像処理装置。17. The apparatus according to claim 16, wherein said output image quality improving means does not perform the integration of the still images when the number of still images to be integrated exceeds a predetermined threshold value. The image processing apparatus according to any one of the preceding claims.
れる静止画像の枚数が単数または複数種のあらかじめ定
めた数になったときにのみ上記平均画像の生成を行うこ
とを特徴とする請求項１６または１７に記載の画像処理
装置。18. The output image quality improving means generates the average image only when the number of still images to be integrated reaches one or a plurality of predetermined numbers. Item 18. The image processing device according to item 16 or 17.
れる静止画像の枚数が２のべき乗に相当する数になった
ときにのみ上記平均画像の生成を行うことを特徴とする
請求項１８に記載の画像処理装置。19. The output image quality improving means generates the average image only when the number of integrated still images reaches a number corresponding to a power of two. An image processing apparatus according to claim 1.
装置に提供して、上記情報処理装置に入力した動画像の
処理をさせるためのプログラムを記録した媒体であっ
て、 動画像中から静止画像を抽出して入力する画像入力工程
の手順コードと、 上記画像入力工程で入力された静止画像と過去に生じた
映像変化のうち最新の変化を検出したときの最新変化画
像とを比較することにより映像の変化を検出する変化検
出工程の手順コードと、 上記変化検出工程で映像の変化が検出されないときに、
変化が検出されなかった期間の複数の静止画像から高画
質な静止画像を生成する画像高画質化工程の手順コード
とを備えることを特徴とする画像処理用プログラムの記
録媒体。20. A medium storing a program for providing a program instruction sequence to an information processing apparatus to process a moving image input to the information processing apparatus, wherein a still image is extracted from the moving image. The image code is changed by comparing the procedure code of the image input process to be input with the image change process, and comparing the still image input in the image input process with the latest change image when the latest change is detected from the past image changes. And a procedure code of a change detection step for detecting, when a change in an image is not detected in the change detection step,
A recording code for an image processing program, comprising: a procedure code of an image quality improvement step of generating a high quality still image from a plurality of still images during a period in which no change is detected.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07746797A JP3792826B2 (en) | 1997-03-28 | 1997-03-28 | Image processing method and image processing apparatus |
| US09/045,317 US6173082B1 (en) | 1997-03-28 | 1998-03-20 | Image processing apparatus and method for performing image processes according to image change and storing medium storing therein image processing programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07746797A JP3792826B2 (en) | 1997-03-28 | 1997-03-28 | Image processing method and image processing apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10276424A true JPH10276424A (en) | 1998-10-13 |
| JP3792826B2 JP3792826B2 (en) | 2006-07-05 |
Family
ID=13634803
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07746797A Expired - Fee Related JP3792826B2 (en) | 1997-03-28 | 1997-03-28 | Image processing method and image processing apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3792826B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014081202A (en) * | 2012-10-12 | 2014-05-08 | Shimadzu Corp | Radiation inspection device |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9898837B2 (en) * | 2013-05-31 | 2018-02-20 | Mitsubishi Electric Corporation | Image processing system |
-
1997
- 1997-03-28 JP JP07746797A patent/JP3792826B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014081202A (en) * | 2012-10-12 | 2014-05-08 | Shimadzu Corp | Radiation inspection device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3792826B2 (en) | 2006-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7542600B2 (en) | Video image quality | |
| US8600105B2 (en) | Combining multiple cues in a visual object detection system | |
| JP2765674B2 (en) | Data supply device | |
| US20050237316A1 (en) | Image processing method for a TFT LCD | |
| KR101104594B1 (en) | Apparatus, and method for processing image, and recording medium | |
| US8036479B2 (en) | Image processing apparatus and method, and storage medium for controlling gradation of moving images | |
| JPH0944670A (en) | Method and device for extracting specified image area | |
| JP2004312680A (en) | Motion estimation apparatus and method for detecting scrolling text or graphic data | |
| US20060164557A1 (en) | Image processing apparatus and its method | |
| KR20150145725A (en) | Method and apparatus for dynamic range expansion of ldr video sequence | |
| JP2007249436A (en) | Image signal processor and processing method | |
| US6173082B1 (en) | Image processing apparatus and method for performing image processes according to image change and storing medium storing therein image processing programs | |
| US7289666B2 (en) | Image processing utilizing local color correction and cumulative histograms | |
| CN107220934A (en) | Image rebuilding method and device | |
| JP2002359754A (en) | Grey level correction device and method | |
| US20060114994A1 (en) | Noise reduction in a digital video | |
| JP4192719B2 (en) | Image processing apparatus and method, and program | |
| JPH10276424A (en) | Image processing method, device therefor and recording medium for image processing program | |
| JPH1117984A (en) | Image processor | |
| JPWO2006117844A1 (en) | Image processing apparatus, image processing method, and information terminal apparatus | |
| US7599007B2 (en) | Noise detection method, noise reduction method, noise detection device, and noise reduction device | |
| JP4189565B2 (en) | Program for determining image, recording medium, image processing method, and image processing apparatus | |
| JP2898321B2 (en) | Halftone estimation method for dither image | |
| US8902360B2 (en) | Method for detecting image sequences having linewise repeated data | |
| KR20060123237A (en) | Tracking of a subimage in a sequence of images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051003 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051011 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060117 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060224 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060328 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060406 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090414 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100414 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110414 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120414 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140414 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |