JPH08186792A - Image fetching device - Google Patents
Image fetching deviceInfo
- Publication number
- JPH08186792A JPH08186792A JP6339244A JP33924494A JPH08186792A JP H08186792 A JPH08186792 A JP H08186792A JP 6339244 A JP6339244 A JP 6339244A JP 33924494 A JP33924494 A JP 33924494A JP H08186792 A JPH08186792 A JP H08186792A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- significant
- difference
- stored
- capturing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、動画像を取り込んでフ
ァイル装置に保存する画像取り込み装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image capturing device for capturing a moving image and storing it in a file device.
【０００２】[0002]
【従来の技術】テレビカメラ，ＶＴＲ機器等から出力さ
れる動画像を取り込んでファイル装置に保存しておき、
保存した動画像の中から適切な構図のフレームを選ん
で、例えば、文字と合成する等の加工を行うということ
は従来から行われている。このような目的で動画像を取
り込む場合、動画像の全てのフレームを取り込む必要は
なく、或る程度変化のあったフレームのみを取り込めば
十分であり、このようにすることにより、使用するファ
イル容量も少なくすることができる。2. Description of the Related Art A moving image output from a television camera, a VTR device or the like is captured and stored in a file device.
It has been conventionally performed to select a frame having an appropriate composition from the stored moving images and perform processing such as combining with a character. When capturing a moving image for such a purpose, it is not necessary to capture all the frames of the moving image, and it is sufficient to capture only the frames that have changed to some extent. Can be reduced.
【０００３】そこで、或る程度変化のあったフレームの
みを取り込むようにするため、例えば、特開平３−６５
８４３号公報に記載されている技術を利用することが考
えられる。この技術は、テレビカメラ等から出力される
動画像の特定のフレームとそれに続くフレームとの間の
差分（例えば、対応する画素の輝度の差分の絶対値の総
和等）を求め、求めた差分が閾値を超える区間のフレー
ムのみをファイル装置に保存するようにしたものであ
る。即ち、画像が静止している区間では、連続する２フ
レーム間には一般に強い相関関係があるため、フレーム
間の差分が閾値を超えることは少なく、このような区間
のフレームはファイル装置に保存されないので、或る程
度変化のあるフレームのみがファイル装置に保存される
ことになる。Therefore, in order to capture only the frames that have changed to some extent, for example, Japanese Patent Laid-Open No. 3-65.
It is conceivable to use the technique described in Japanese Patent Publication No. 843. This technique calculates a difference between a specific frame of a moving image output from a television camera or the like and a subsequent frame (for example, a sum of absolute values of differences in luminance of corresponding pixels), and calculates the difference. Only the frames in the section exceeding the threshold are stored in the file device. That is, in a section where the image is still, since there is generally a strong correlation between two consecutive frames, the difference between the frames rarely exceeds the threshold value, and the frames in such a section are not stored in the file device. Therefore, only frames that change to some extent are saved in the file device.
【０００４】[0004]
【発明が解決しようとする課題】しかし、上述した従来
の技術は連続する２フレーム間の差分が閾値を超えるか
否かに基づいてフレームを保存するか否かを決定してい
るので、次のような問題点があった。However, the above-mentioned conventional technique determines whether or not to save a frame based on whether or not the difference between two consecutive frames exceeds a threshold value. There was such a problem.
【０００５】即ち、第１フレームと第２フレームとの
間、第２フレームと第３フレームとの間、…、第（Ｎ−
１）フレームと第Ｎフレームとの間というように連続し
た２フレーム間には極僅かな変化しかなく、差分が閾値
を超えなような場合であっても、離れた２つのフレーム
間では連続した２フレーム間の極僅かな変化が積み重な
って大きな変化となる場合がある。このような場合、上
述した従来の技術では、連続する２フレーム間の差分値
に基づいてフレームを保存するか否かを決定しているた
め、大きな変化となる離れた２フレームを保存すること
ができない。That is, between the first frame and the second frame, between the second frame and the third frame, ..., (N-
1) Only a slight change occurs between two consecutive frames such as between the frame and the Nth frame, and even if the difference does not exceed the threshold value, the two consecutive frames are separated from each other. Very small changes between two frames may be accumulated and become a large change. In such a case, in the above-described conventional technique, it is determined whether or not to save the frame based on the difference value between two consecutive frames, and therefore, it is possible to save two frames apart from each other which causes a large change. Can not.
【０００６】そこで、本発明の目的は、僅かな変化が連
続する区間内に存在し、両者の間にある程度の変化があ
る離れた２フレームも取り込むことができる画像取り込
み装置を提供することにある。Therefore, an object of the present invention is to provide an image capturing device capable of capturing even two distant frames in which a slight change exists in a continuous section and there is some change between them. .
【０００７】[0007]
【課題を解決するための手段】本発明は上記目的を達成
するため、動画像をフレーム単位で取り込むフレーム取
り込み手段と、動画像のフレームを格納するファイル装
置と、該ファイル装置に最後に格納されたフレームと前
記フレーム取り込み手段で取り込まれたフレームとの差
分を検出するフレーム間差分検出手段と、該フレーム間
差分検出手段で検出された差分に基づいて、前記取り込
まれたフレームが前記ファイル装置に格納すべき有意フ
レームであるか否かを判定する有意フレーム判定手段
と、該有意フレーム判定手段により有意フレームと判定
されたフレームのみを前記ファイル装置に格納する取り
込み制御装置とを備えたものである。In order to achieve the above-mentioned object, the present invention achieves the above object, a frame capturing means for capturing a moving image on a frame-by-frame basis, a file device for storing a frame of the moving image, and a file device finally stored in the file device. Frame difference detection means for detecting a difference between the captured frame and the frame captured by the frame capture means, and the captured frame in the file device based on the difference detected by the interframe difference detection means. It is provided with a significant frame judging means for judging whether or not the frame is a significant frame to be stored, and an import control device for storing only the frame judged as the significant frame by the significant frame judging means in the file device. .
【０００８】また、本発明は、フレーム中の一部分のみ
が大きく変化した場合に於いても、そのフレームを有意
フレームとしてファイル装置に保存できるようにすると
いう目的を達成すると共に、有意フレームか否かの判定
を高速に行えるようにするという目的を達成するため、
前記フレーム間差分検出手段は、前記ファイル装置に最
後に格納されたフレームと前記フレーム取り込み手段で
取り込まれたフレームとを複数のブロックに分割したと
きの対応する各ブロック間の差分を前記フレーム間の差
分として検出し、前記有意フレーム判定手段は、前記フ
レーム間差分検出手段で検出されたブロック間の差分の
中に１つでも閾値を超える差分がある場合、前記フレー
ム取り込み手段が取り込んだフレームを前記ファイル装
置に格納すべき有意フレームであると判定するようにし
たものである。Further, the present invention achieves an object of enabling a frame to be stored in a file device as a significant frame even when only a part of the frame is significantly changed, and whether or not the frame is a significant frame. In order to achieve the purpose of enabling the determination of
The inter-frame difference detection means calculates a difference between corresponding blocks when the frame last stored in the file device and the frame captured by the frame capture means are divided into a plurality of blocks. If the difference between the blocks detected by the inter-frame difference detection means includes at least one difference exceeding the threshold value, the significant frame determination means detects the frame captured by the frame capture means as the difference. It is determined that the frame is a significant frame to be stored in the file device.
【０００９】また、本発明は、フレーム間の差分の検出
を高速化できるようにするという目的を達成するため、
直前有意フレーム特徴情報保持手段を備え、前記フレー
ム間差分検出手段は、前記直前有意フレーム特徴情報保
持手段に保持されている前記ファイル装置に最後に格納
した有意フレームの各ブロックについての特徴情報と前
記フレーム取り込み手段が取り込んだフレームの各ブロ
ックの特徴情報とに基づいて対応する各ブロック間の差
分を検出すると共に、前記有意フレーム判定手段で前記
フレーム取り込み手段が取り込んだフレームが有意フレ
ームであると判定されることにより、前記直前有意フレ
ーム特徴情報保持手段に前記フレーム取り込み手段が取
り込んだフレームの各ブロックの特徴情報を格納するよ
うにしたものである。Further, the present invention achieves the object of speeding up the detection of the difference between frames.
The preceding significant frame feature information holding means is provided, and the inter-frame difference detection means includes the feature information for each block of the significant frames last stored in the file device held in the immediately preceding significant frame feature information holding means, and The difference between corresponding blocks is detected based on the characteristic information of each block of the frame captured by the frame capturing means, and the frame captured by the frame capturing means is determined to be a significant frame by the significant frame determining means. By doing so, the characteristic information of each block of the frame captured by the frame capturing means is stored in the immediately preceding significant frame characteristic information holding means.
【００１０】また、本発明は、ブロックの特徴情報の算
出を高速化できるようにするという目的を達成するた
め、前記フレーム間差分検出手段は、前記各ブロックの
特徴情報を、各ブロック中の予め定められた一部の画素
についての情報のみを利用して算出する。Further, according to the present invention, in order to achieve the object that the calculation of the characteristic information of a block can be speeded up, the inter-frame difference detection means preliminarily stores the characteristic information of each block in each block. The calculation is performed by using only the information about some of the defined pixels.
【００１１】[0011]
【作用】フレーム取り込み手段が動画像をフレーム単位
で取り込み、フレーム間差分検出手段がフレーム取り込
み手段で取り込まれたフレームとファイル装置に最後に
格納されたフレームとの差分を検出する。The frame capturing means captures the moving image frame by frame, and the inter-frame difference detecting means detects the difference between the frame captured by the frame capturing means and the frame last stored in the file device.
【００１２】有意フレーム判定手段では、フレーム間差
分検出手段が検出した差分に基づいてフレーム取り込み
手段が取り込んだフレームがファイル装置に格納すべき
有意フレームであるか否かを判断する。そして、有意フ
レーム判定手段で、有意フレームであると判断される
と、取り込み制御装置は、フレーム取り込み手段が取り
込んだフレームをファイル装置に格納する。このよう
に、ファイル装置に最後に格納されたフレームとフレー
ム取り込み手段が取り込んだフレームとの差分に基づい
て格納すべき有意フレームであるか否かを判定すること
により、連続した２フレーム間には極僅かな差分しかな
い場合であっても、連続した２フレーム間の極僅かな差
分が積み重なり、フレーム取り込み手段が取り込んだフ
レームが、ファイル装置に最後に格納したフレームに対
して大きな差分を持つようになった時点でフレームの格
納が行われる。The significant frame determining means determines whether the frame captured by the frame capturing means is a significant frame to be stored in the file device based on the difference detected by the inter-frame difference detecting means. Then, when the significant frame determination means determines that the frame is a significant frame, the capture control device stores the frame captured by the frame capture means in the file device. In this way, by determining whether or not the frame is the significant frame to be stored based on the difference between the frame last stored in the file device and the frame captured by the frame capturing means, it is possible to determine whether there is a significant frame to be stored. Even if there is only a very small difference, very small differences between two consecutive frames are accumulated, and the frame captured by the frame capturing means has a large difference from the frame last stored in the file device. When it becomes, the frame is stored.
【００１３】また、フレーム間差分検出手段では、例え
ば、ファイル装置に最後に格納されたフレームとフレー
ム取り込み手段で取り込まれたフレームとを複数のブロ
ックに分割した時の対応する各ブロック間の差分をフレ
ームの差分として検出し、有意フレーム判定手段では、
各ブロック間の差分の中に１つでも閾値を超える差分が
あった場合、フレーム取り込み手段が取り込んだフレー
ムをファイル装置に格納すべき有意フレームであると判
定する。従って、フレームの一部分のみが大きく変化し
た場合に於いても、そのフレームを保存することがで
き、また、各ブロック間の差分の中に１つでも閾値を超
える差分があった場合、有意フレームであると判定する
ので、有意フレームか否かの判定を高速に行うことがで
きる。Further, the inter-frame difference detecting means, for example, calculates the difference between corresponding blocks when the frame last stored in the file device and the frame captured by the frame capturing means are divided into a plurality of blocks. It is detected as a frame difference, and the significant frame determination means
If even one of the differences between the blocks exceeds the threshold, it is determined that the frame captured by the frame capturing means is a significant frame to be stored in the file device. Therefore, even if only a part of the frame changes significantly, the frame can be saved, and if there is at least one difference among the blocks that exceeds the threshold value, the frame is significant. Since it is determined that there is a frame, it can be determined at high speed whether or not the frame is significant.
【００１４】また、フレーム間差分検出手段は、今回取
り込んだフレームが有意フレームであると判定された場
合、上記フレームの各ブロックの特徴情報（例えば、各
ブロック内の画素の輝度の平均値）を直前有意フレーム
特徴情報保持手段に保持しておき、フレーム取り込み手
段が次に取り込んだフレームとの差分を検出する際に
は、直前有意フレーム特徴情報保持手段に保持されてい
る各ブロックの特徴情報を利用して差分を検出する。When it is determined that the frame captured this time is a significant frame, the inter-frame difference detection means determines the characteristic information of each block of the frame (for example, the average value of the luminance of the pixels in each block). The characteristic information of each block held in the immediately preceding significant frame characteristic information holding means is held in the immediately preceding significant frame characteristic information holding means, and when the frame fetching means detects the difference from the next fetched frame. Use to detect the difference.
【００１５】更に、フレーム間差分検出手段は、各ブロ
ック中の予め定められた一部の画素についての情報のみ
を利用して各ブロックの特徴情報を算出する。Further, the inter-frame difference detecting means calculates the characteristic information of each block by using only the information of a part of pixels set in advance in each block.
【００１６】[0016]
【実施例】次に本発明の実施例について図面を参照して
詳細に説明する。Embodiments of the present invention will now be described in detail with reference to the drawings.
【００１７】図１は本発明の実施例のブロック図であ
り、動画像取り込み装置１と、ＶＴＲ等の映像出力装置
２とから構成されている。FIG. 1 is a block diagram of an embodiment of the present invention, which comprises a moving image capturing device 1 and a video output device 2 such as a VTR.
【００１８】動画像取り込み装置１は、フレーム取り込
み手段１１と、フレームメモリ１２と、ファイル装置１
３と、取り込み制御装置１４と、フレーム間差分検出手
段１５と、有意フレーム判定手段１６と、直前有意フレ
ーム特徴情報保持手段１７とから構成されている。The moving image capturing device 1 includes a frame capturing means 11, a frame memory 12, and a file device 1.
3, a capture control device 14, an inter-frame difference detection means 15, a significant frame determination means 16, and an immediately preceding significant frame characteristic information holding means 17.
【００１９】フレーム取り込み手段１１は、映像出力装
置２から出力される動画像をフレーム単位で取り込み、
フレームメモリ１２に格納する機能を有する。例えば、
映像出力装置２からＮＴＳＣ形式の映像信号が出力され
るとすると、映像信号をＡＤ変換してフレームメモリ１
２に格納する。その際、水平，垂直方向の画素数はＡＤ
変換のサンプリング周波数によって決まる。一般に、１
画素当たりの情報を輝度（Ｙ）、色差（Ｒ−Ｙ，Ｂ−
Ｙ）に分けて各８レベル程度を割り当てれば、カラー画
像として十分な品質を得られる。また、１フレーム（３
０分の１秒分の画像データ）は奇数フィールドと偶数フ
ィールドとに分かれているので、これらをまとめて１フ
レーム分の画像データとする。The frame capturing means 11 captures the moving image output from the video output device 2 in frame units,
It has a function of storing in the frame memory 12. For example,
If an NTSC format video signal is output from the video output device 2, the video signal is subjected to AD conversion and then the frame memory 1
2 is stored. At that time, the number of pixels in the horizontal and vertical directions is AD.
Depends on the sampling frequency of the conversion. Generally 1
Information per pixel is luminance (Y), color difference (RY, B-
By assigning 8 levels to each of Y), sufficient quality as a color image can be obtained. Also, one frame (3
Since the image data for 1/0 second) is divided into an odd field and an even field, these are collectively set as image data for one frame.
【００２０】フレーム間差分検出手段１５は、フレーム
メモリ１２に格納されているフレームの特徴情報とファ
イル装置１３に最後に格納されたフレームの特徴情報と
の差分を検出する機能を有する。The inter-frame difference detecting means 15 has a function of detecting a difference between the feature information of the frame stored in the frame memory 12 and the feature information of the frame last stored in the file device 13.
【００２１】有意フレーム判定手段１６は、フレーム間
差分検出手段１５で検出された差分が予め定められた閾
値を超えているか否かに基づいて、フレームメモリ１２
に格納されているフレームがファイル装置１３に格納す
べき有意フレームであるか否かを判定する機能を有す
る。The significant frame determining means 16 determines whether the difference detected by the interframe difference detecting means 15 exceeds a predetermined threshold value or not.
It has a function of determining whether or not the frame stored in is a significant frame to be stored in the file device 13.
【００２２】取り込み制御装置１４は、フレームメモリ
１２に格納されているフレームのファイル装置１３への
格納を制御する機能、フレーム取り込み手段１１の動作
開始，動作停止を指示する機能等を有する。The capture control device 14 has a function of controlling the storage of the frames stored in the frame memory 12 in the file device 13, a function of instructing the start and stop of the operation of the frame capture means 11, and the like.
【００２３】図２は本実施例の処理例を示す流れ図であ
り、以下各図を参照して本実施例の動作を説明する。FIG. 2 is a flow chart showing an example of processing of this embodiment. The operation of this embodiment will be described below with reference to the drawings.
【００２４】先ず、利用者が映像出力装置２を動作させ
て動画像を出力させ、次いで、動画像取り込み装置１を
動作させる。First, the user operates the video output device 2 to output a moving image, and then operates the moving image capturing device 1.
【００２５】これにより、動画像取り込み装置１は図２
の流れ図に示す処理を開始する。As a result, the moving image capturing apparatus 1 is shown in FIG.
The process shown in the flowchart of FIG.
【００２６】動画像取り込み装置１では、先ず、取り込
み制御装置１４が、予め定められているフレームの特徴
情報（例えば、フレーム中の画素が全て０、即ち黒レベ
ルの時の特徴情報）を直前の有意フレームの特徴情報と
して直前有意フレーム特徴情報保持手段１７に格納する
(ステップＳ１）。ここで、ステップＳ１の処理を行う
のは、初期状態に於いては、直前の有意フレームが存在
しないからである。In the moving image capturing apparatus 1, first, the capturing control apparatus 14 immediately sets the predetermined frame characteristic information (for example, the characteristic information when all the pixels in the frame are 0, that is, the black level). It is stored in the immediately preceding significant frame characteristic information holding means 17 as the characteristic information of the significant frame.
(Step S1). Here, the process of step S1 is performed because, in the initial state, there is no immediately preceding significant frame.
【００２７】次いで、取り込み制御装置１４は、フレー
ム取り込み手段１１を動作させる（ステップＳ２）。こ
れにより、フレーム取り込み手段１１は、映像出力装置
２から出力される動画像を１フレーム分取り込んでフレ
ームメモリ１２に格納する。Next, the capture controller 14 operates the frame capture means 11 (step S2). As a result, the frame capturing means 11 captures one frame of the moving image output from the video output device 2 and stores it in the frame memory 12.
【００２８】フレーム取り込み手段１１が１フレーム分
の動画像をフレームメモリ１２に書き込むと、取り込み
制御装置１４は、フレーム取り込み手段１１に対して動
作停止を指示する (ステップＳ３）。これは、今回フレ
ームメモリ１２に格納したフレームが、その処理が終了
する前に、次のフレームによって破壊されることを防ぐ
ためである。When the frame capturing means 11 writes one frame of moving image in the frame memory 12, the capturing control device 14 instructs the frame capturing means 11 to stop the operation (step S3). This is to prevent the frame stored in the frame memory 12 this time from being destroyed by the next frame before the processing is completed.
【００２９】その後、取り込み制御装置１４は、フレー
ム間差分検出手段１５に対してフレーム間の差分を検出
することを指示する (ステップＳ４）。これにより、フ
レーム間差分検出手段１５は、フレームメモリ１２に今
回格納されたフレームの特徴情報を算出し、その後、算
出した特徴情報と直前有意フレーム特徴情報保持手段１
７に保持されている特徴情報との差分を求めて有意フレ
ーム判定手段１６に渡す。Thereafter, the capture control device 14 instructs the interframe difference detection means 15 to detect the interframe difference (step S4). As a result, the inter-frame difference detection means 15 calculates the characteristic information of the frame currently stored in the frame memory 12, and then calculates the calculated characteristic information and the immediately preceding significant frame characteristic information holding means 1.
The difference with the feature information held in 7 is obtained and passed to the significant frame determination means 16.
【００３０】ここで、フレームの特徴情報としては、例
えば、フレーム中の画素の輝度の平均値，総和や、図３
に示すように、フレームをｍ×ｎ画素のブロックＢ１
１，Ｂ１２，…に分割した時の各ブロック中の画素の輝
度の平均値，総和等を使用することができる。輝度成分
を利用するのは、物体の形状情報を多く含む性質がある
からである。更に、ブロック中の輝度の平均値をフレー
ムの特徴情報とする場合には、ブロック中の任意の個数
Ｘ（１≦Ｘ≦ｍｎ）の画素についての平均値を特徴情報
とすることもできる。このようにすると、平均値演算の
回数をＸ／ｍｎに減らすことができる。但し、Ｘを小さ
くすると、誤差が多くなるので、例えば、ブロックの大
きさが８×８の場合は、８〜１６個程度が適当である。
また、図４に示すように、Ｘ個の画素の位置がなるべく
等間隔になるように、Ｘ個の画素を選択するようにする
と、ブロック内の情報をまんべんなく含むことになるの
で、誤差を少なくすることができる。Here, as the characteristic information of the frame, for example, the average value and the sum of the luminance of the pixels in the frame, and FIG.
, The frame is a block B1 of m × n pixels.
It is possible to use the average value, the sum, etc. of the luminance of the pixels in each block when divided into 1, B12, .... The luminance component is used because it has a property of containing a lot of shape information of the object. Further, when the average value of the luminance in the block is used as the characteristic information of the frame, the average value of an arbitrary number X (1 ≦ X ≦ mn) of pixels in the block can be used as the characteristic information. In this way, the number of average value calculations can be reduced to X / mn. However, if X is made small, the error becomes large. Therefore, for example, when the block size is 8 × 8, about 8 to 16 pieces are suitable.
Further, as shown in FIG. 4, when the X pixels are selected so that the positions of the X pixels are as evenly spaced as possible, the information in the block is evenly included, so that the error is reduced. can do.
【００３１】また、フレームメモリ１２に格納されてい
るフレームの特徴情報とファイル装置１３に最後に格納
されたフレームの特徴情報との差分は、フレームメモリ
１２に新たなフレームが格納される毎に、フレームメモ
リ１２に格納されたフレーム及びファイル装置１３に最
後に格納されたフレームそれぞれの特徴情報を演算し、
それらに基づいて求めるようにすることもできるが、本
実施例のようにファイル装置１３に最後に格納したフレ
ームの特徴情報を直前有意フレーム特徴情報保持手段１
７に保持させておき、この直前有意フレーム特徴情報保
持手段１７に保持されている特徴情報を利用して差分を
求めるようにすることにより、差分処理を高速化するこ
とができる。尚、特徴情報としてブロック中の画素の輝
度の平均値や総和を用いた場合は、対応するブロック間
の差分の集合を、フレーム間の特徴情報の差分とする。The difference between the feature information of the frame stored in the frame memory 12 and the feature information of the frame last stored in the file device 13 is calculated every time a new frame is stored in the frame memory 12. The characteristic information of each of the frame stored in the frame memory 12 and the frame finally stored in the file device 13 is calculated,
Although it can be obtained based on them, the last significant frame characteristic information holding means 1 stores the characteristic information of the frame last stored in the file device 13 as in this embodiment.
The difference processing can be speeded up by holding the value in No. 7 and using the feature information held in the immediately preceding significant frame feature information holding unit 17 to obtain the difference. When the average value or the sum of the brightness of the pixels in the block is used as the feature information, the set of differences between the corresponding blocks is set as the difference of the feature information between frames.
【００３２】有意フレーム判定手段１６は、フレーム間
差分検出手段１５からフレーム間の特徴情報の差分が渡
されると、それが予め定められている閾値を超えている
か否かを、即ちフレームメモリ１２に格納されているフ
レームがファイル装置１３に格納すべき有意フレームで
あるのか、格納する必要のないフレームなのかを判定
し、判定結果を取り込み制御装置１４に渡す。When the difference between the feature information between the frames is passed from the inter-frame difference detecting means 15, the significant frame determining means 16 determines whether or not the difference exceeds a predetermined threshold value, that is, the frame memory 12. It is determined whether the stored frame is a significant frame to be stored in the file device 13 or a frame that does not need to be stored, and the determination result is passed to the capture control device 14.
【００３３】ここで、フレーム間差分検出手段１５がフ
レーム間の差分として対応するブロック間の差分を出力
する場合は、有意フレーム判定手段１６は、その中に１
つでも閾値を超える差分が存在することを検出した時点
に於いて、フレームメモリ１２に格納されているフレー
ムが有意フレームであることを取り込み制御装置１４に
通知する。Here, when the inter-frame difference detection means 15 outputs the difference between the corresponding blocks as the inter-frame difference, the significant frame determination means 16 includes 1 in it.
At any time when it is detected that there is a difference exceeding the threshold value, the capture control device 14 is notified that the frame stored in the frame memory 12 is a significant frame.
【００３４】このように、ブロック間の差分の集合をフ
レーム間の差分として使用し、その中に１つでも閾値を
超える差分が存在する場合には、有意フレームと判定す
るようにすることにより、有意フレームの判定処理を高
速化することができると共に、動画像中の一部分のみが
大きく変化した場合でも、有意フレームと判定すること
が可能になる。これに対してブロック化しないで全画素
の平均値をとると、部分的に大きな変化があっても平均
化されてしまうので、閾値を超えず、有意フレームでな
いと判定されてしまう。As described above, a set of differences between blocks is used as a difference between frames, and if there is at least one difference exceeding the threshold value, it is determined to be a significant frame. The significant frame determination process can be speeded up, and it is possible to determine a significant frame even when only a part of the moving image changes significantly. On the other hand, if the average value of all pixels is calculated without blocking, even if there is a large partial change, the average value is averaged, so the threshold value is not exceeded, and it is determined that the frame is not a significant frame.
【００３５】取り込み制御装置１４は、有意フレーム判
定手段１６からフレームメモリ１２に格納されているフ
レームが有意フレームであることが通知された場合 (ス
テップＳ５がＹｅｓ）は、フレームメモリ１２，ファイ
ル装置１３を制御してフレームメモリ１２に格納されて
いるフレームをファイル装置１３に格納し (ステップＳ
６）、更に、フレーム間差分検出手段１５にフレームメ
モリ１２に格納されているフレームの特徴情報を直前有
意フレーム特徴情報保持手段１７に保持することを指示
する (ステップＳ７）。この指示を受けることにより、
フレーム間差分検出手段１５は、既に算出してあるフレ
ームメモリ１２に格納されているフレームの特徴情報を
直前有意フレーム特徴情報保持手段１７に格納する。こ
のように、ファイル装置１３に最後に格納された有意フ
レームとフレームメモリ１２に格納されているフレーム
との差分が閾値を超えた場合、フレームメモリ１２に格
納されているフレームを有意フレームと判定してファイ
ル装置１３に格納するようにすることにより、僅かな変
化が連続する区間内に存在し、両者の間にある程度の変
化がある離れた２フレームも取り込むことが可能にな
る。If the frame controller 12 is informed by the significant frame determination means 16 that the frame stored in the frame memory 12 is a significant frame (Yes in step S5), the frame controller 12 and the file device 13 will be described. And stores the frame stored in the frame memory 12 in the file device 13 (step S
6) Further, the inter-frame difference detecting means 15 is instructed to hold the characteristic information of the frame stored in the frame memory 12 in the immediately preceding significant frame characteristic information holding means 17 (step S7). By receiving this instruction,
The inter-frame difference detection means 15 stores the previously calculated feature information of the frames stored in the frame memory 12 in the immediately preceding significant frame feature information holding means 17. As described above, when the difference between the last significant frame stored in the file device 13 and the frame stored in the frame memory 12 exceeds the threshold value, the frame stored in the frame memory 12 is determined to be a significant frame. By storing the data in the file device 13 in a continuous manner, it is possible to capture two distant frames in which a slight change exists in a continuous section and there is a certain change between them.
【００３６】その後、取り込み制御装置１４は、フレー
ム取り込み手段１１に対して停止解除を指示する (ステ
ップＳ８）。これにより、前述したと同様の処理が再開
される。尚、フレーム取り込み手段１１の動作が停止し
ている期間、何フレーム分かの動画像は消失してしまう
が、或る程度の変化があるフレームのみを保存できれば
良いので、このようにしても何の問題もない。Thereafter, the capture controller 14 instructs the frame capture means 11 to cancel the stop (step S8). As a result, the same processing as described above is restarted. Although the moving images of several frames disappear while the operation of the frame capturing means 11 is stopped, it suffices to store only the frames having a certain change. There is no problem.
【００３７】また、有意フレーム判定手段１６からフレ
ームメモリ１２に格納されているフレームが有意フレー
ムでないことが通知された場合は (ステップＳ５がＮ
ｏ）、取り込み制御装置１４は、ステップＳ８の処理を
行う。When the significant frame determination means 16 notifies that the frame stored in the frame memory 12 is not a significant frame (step S5 is N
o), the capture control device 14 performs the process of step S8.
【００３８】映像出力装置２では利用者から停止が指示
されるまで (ステップＳ９がＮｏ）、以上の処理を繰り
返し行う。The video output device 2 repeats the above processing until the user instructs the stop (No in step S9).
【００３９】[0039]
【発明の効果】以上説明したように本発明は、ファイル
装置に最後に格納されたフレームとフレーム取り込み手
段が取り込んだフレームとの差分に基づいてフレーム取
り込み手段で取り込んだフレームがファイル装置に格納
すべき有意フレームであるか否かを判定するようにした
ものであり、連続した２フレーム間には極僅かな差分し
かない場合であっても、連続した２フレーム間の極僅か
な差分が積み重なり、フレーム取り込み手段が取り込ん
だフレームが、ファイル装置に最後に格納したフレーム
に対して大きな差分を持つようになった時点でフレーム
の格納が行われることになるので、僅かな変化が連続す
る区間内に存在し、両者の間にある程度の変化がある離
れた２フレームも取り込むことができる。As described above, according to the present invention, the frame captured by the frame capturing means is stored in the file device based on the difference between the frame last stored in the file device and the frame captured by the frame capturing means. It is configured to determine whether or not it is a significant frame, and even if there is a very small difference between two consecutive frames, a very small difference between two consecutive frames is accumulated, The frame is stored when the frame captured by the frame capturing unit has a large difference from the frame stored last in the file device, so that a slight change occurs within a continuous interval. It can also capture two separate frames that are present and have some variation between them.
【００４０】また、本発明は、ファイル装置に最後に格
納されたフレームとフレーム取り込み手段が取り込んだ
フレームとを複数のブロックに分割したときの対応する
各ブロック間の差分をフレーム間の差分として検出し、
各ブロック間の差分の中に１つでも閾値を超えるブロッ
クがあった場合、有意フレームであると判定するように
したものであるので、フレーム中の一部分が大きく変化
した場合でも、そのフレームを有意フレームとしてファ
イル装置に保存することができると共に、有意フレーム
か否かの判定処理を高速化することができる。Further, according to the present invention, when the frame last stored in the file device and the frame captured by the frame capturing means are divided into a plurality of blocks, a difference between corresponding blocks is detected as a difference between the frames. Then
If there is at least one block that exceeds the threshold value among the differences between blocks, it is determined as a significant frame. Therefore, even if a part of the frame changes significantly, that frame is significant. The frame can be saved in the file device, and the process of determining whether or not the frame is significant can be sped up.
【００４１】更に、本発明は、今回取り込んだフレーム
が有意フレームである場合、上記各ブロックの特徴情報
を直前有意フレーム特徴情報保持手段に保持しておき、
次に取り込んだフレームとの差分を検出する際には、直
前有意フレーム特徴情報保持手段に保持されている各ブ
ロックの特徴情報を利用するようにしたものであるの
で、フレーム間の差分を高速に検出することができる。Further, according to the present invention, when the frame captured this time is a significant frame, the characteristic information of each block is held in the immediately preceding significant frame characteristic information holding means,
When detecting the difference from the next captured frame, the feature information of each block held in the immediately preceding significant frame feature information holding means is used, so that the difference between frames can be calculated at high speed. Can be detected.
【００４２】また、更に、本発明は、各ブロックの特徴
情報を算出する際、各ブロック中の予め定められた一部
の画素についての情報のみを利用するものであるので、
ブロックの特徴情報を高速に算出することができる。Further, according to the present invention, when the characteristic information of each block is calculated, only the information about a predetermined part of pixels in each block is used.
The feature information of the block can be calculated at high speed.
【図１】本発明の実施例のブロック図である。FIG. 1 is a block diagram of an embodiment of the present invention.
【図２】実施例の処理例を示す流れ図である。FIG. 2 is a flowchart showing a processing example of the embodiment.
【図３】フレームのブロック化を説明するための図であ
る。FIG. 3 is a diagram for explaining how blocks are made into frames.
【図４】ブロック中の画素の平均値を算出する方法の一
例を説明するための図である。FIG. 4 is a diagram illustrating an example of a method of calculating an average value of pixels in a block.
１…動画像取り込み装置 １１…フレーム取り込み手段 １２…フレームメモリ １３…ファイル装置 １４…取り込み制御装置 １５…フレーム間差分検出手段 １６…有意フレーム判定手段 １７…直前有意フレーム特徴情報保持手段 ２…映像出力装置 DESCRIPTION OF SYMBOLS 1 ... Moving image capture device 11 ... Frame capture means 12 ... Frame memory 13 ... File device 14 ... Capture control device 15 ... Interframe difference detection means 16 ... Significant frame determination means 17 ... Immediately significant frame feature information holding means 2 ... Video output apparatus
Claims (5)
ム取り込み手段と、 動画像のフレームを格納するファイル装置と、 該ファイル装置に最後に格納されたフレームと前記フレ
ーム取り込み手段で取り込まれたフレームとの差分を検
出するフレーム間差分検出手段と、 該フレーム間差分検出手段で検出された差分に基づい
て、前記取り込まれたフレームが前記ファイル装置に格
納すべき有意フレームであるか否かを判定する有意フレ
ーム判定手段と、 該有意フレーム判定手段により有意フレームと判定され
たフレームのみを前記ファイル装置に格納する取り込み
制御装置とを備えることを特徴とする画像取り込み装
置。1. A frame capturing means for capturing a moving image frame by frame, a file device for storing a frame of the moving image, a frame last stored in the file device and a frame captured by the frame capturing means. An inter-frame difference detecting means for detecting a difference, and a significance determining whether or not the fetched frame is a significant frame to be stored in the file device, based on the difference detected by the inter-frame difference detecting means. An image capturing device comprising: a frame determining unit; and a capture control device that stores only a frame determined to be a significant frame by the significant frame determining unit in the file device.
ァイル装置に最後に格納されたフレームと前記フレーム
取り込み手段で取り込まれたフレームとを複数のブロッ
クに分割したときの対応する各ブロック間の差分を前記
フレーム間の差分として検出し、 前記有意フレーム判定手段は、前記フレーム間差分検出
手段で検出されたブロック間の差分の中に１つでも閾値
を超える差分がある場合、前記フレーム取り込み手段が
取り込んだフレームを前記ファイル装置に格納すべき有
意フレームであると判定することを特徴とする請求項１
記載の画像取り込み装置。2. The inter-frame difference detecting means divides the frame last stored in the file device and the frame captured by the frame capturing means into a plurality of blocks, and the difference between corresponding blocks. Is detected as the difference between the frames, and the significant frame determination means is configured to detect the difference between the blocks detected by the inter-frame difference detection means, if there is at least one difference exceeding the threshold, 2. The frame is determined to be a significant frame to be stored in the file device.
The image capturing device described.
え、 前記フレーム間差分検出手段は、前記直前有意フレーム
特徴情報保持手段に保持されている前記ファイル装置に
最後に格納した有意フレームの各ブロックについての特
徴情報と前記フレーム取り込み手段が取り込んだフレー
ムの各ブロックの特徴情報とに基づいて対応する各ブロ
ック間の差分を検出すると共に、前記有意フレーム判定
手段で前記フレーム取り込み手段が取り込んだフレーム
が有意フレームであると判定されることにより、前記直
前有意フレーム特徴情報保持手段に前記フレーム取り込
み手段が取り込んだフレームの各ブロックの特徴情報を
格納することを特徴とする請求項２記載の画像取り込み
装置。3. An immediately preceding significant frame characteristic information holding unit is provided, and the inter-frame difference detecting unit is provided for each block of the significant frames last stored in the file device held in the immediately preceding significant frame characteristic information holding unit. The difference between corresponding blocks based on the feature information of each block and the feature information of each block of the frame captured by the frame capturing unit, and the frame captured by the frame capturing unit by the significant frame determining unit is significant. 3. The image capturing apparatus according to claim 2, wherein the characteristic information of each block of the frame captured by the frame capturing means is stored in the immediately preceding significant frame characteristic information holding means when it is determined to be a frame.
ブロックの特徴情報を、各ブロック中の予め定められた
一部の画素についての情報のみを利用して算出すること
を特徴とする請求項３記載の画像取り込み装置。4. The inter-frame difference detection means calculates the characteristic information of each block by using only the information of a part of pixels determined in advance in each block. 3. The image capturing device described in 3.
度の平均値であることを特徴とする請求項４記載の画像
取り込み装置。5. The image capturing device according to claim 4, wherein the characteristic information is an average value of luminance of pixels in a block.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6339244A JP2677224B2 (en) | 1994-12-29 | 1994-12-29 | Image capture device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6339244A JP2677224B2 (en) | 1994-12-29 | 1994-12-29 | Image capture device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08186792A true JPH08186792A (en) | 1996-07-16 |
| JP2677224B2 JP2677224B2 (en) | 1997-11-17 |
Family
ID=18325626
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6339244A Expired - Fee Related JP2677224B2 (en) | 1994-12-29 | 1994-12-29 | Image capture device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2677224B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003161673A (en) * | 2001-07-17 | 2003-06-06 | Bandag Licensing Corp | Shearing graphic image machine |
| JP2009207709A (en) * | 2008-03-05 | 2009-09-17 | Fujifilm Corp | Image processing system, image preserving device, image processor, image processing method and program |
| JP2017134825A (en) * | 2015-12-30 | 2017-08-03 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | Method for selecting content comprising audiovisual data and corresponding electronic device, system, computer readable program and computer readable storage medium |
-
1994
- 1994-12-29 JP JP6339244A patent/JP2677224B2/en not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003161673A (en) * | 2001-07-17 | 2003-06-06 | Bandag Licensing Corp | Shearing graphic image machine |
| JP2009115810A (en) * | 2001-07-17 | 2009-05-28 | Bandag Inc | Shear graphic image machine |
| JP2009207709A (en) * | 2008-03-05 | 2009-09-17 | Fujifilm Corp | Image processing system, image preserving device, image processor, image processing method and program |
| JP4542591B2 (en) * | 2008-03-05 | 2010-09-15 | 富士フイルム株式会社 | Image processing system, image storage device, image processing device, image processing method, and program |
| JP2017134825A (en) * | 2015-12-30 | 2017-08-03 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | Method for selecting content comprising audiovisual data and corresponding electronic device, system, computer readable program and computer readable storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2677224B2 (en) | 1997-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6163621A (en) | Histogram equalization method and device in contrast enhancement apparatus for image processing system | |
| JPH0220185A (en) | Moving image transmission system | |
| JPH0622298A (en) | Scene change detector | |
| US20090213231A1 (en) | Video camera | |
| US20050157188A1 (en) | Image capturing apparatus and method of performing noise process on moving picture | |
| JP4919034B2 (en) | Network decoder device | |
| JP2677224B2 (en) | Image capture device | |
| JP2007318292A (en) | Motion vector detector and its program | |
| KR100793965B1 (en) | Broadcast receiving device for capturing broadcast image and method thereof | |
| KR20000029141A (en) | Electronic camera | |
| JPH04213973A (en) | Image shake corrector | |
| JPH07236153A (en) | Detection of cut point of moving picture and device for detecting cut picture group | |
| CN101527842A (en) | Image processing method and image processing device for filtering blocking artifact | |
| JPH11161875A (en) | Method for monitoring image | |
| KR20030085810A (en) | Image data storing method using a change detection of image data | |
| JPH08320935A (en) | Method and device for processing moving image | |
| JPH05328201A (en) | Correction device for camera shake of picture | |
| JPH07184206A (en) | Picture coder | |
| JP3126961B2 (en) | Video cut screen group detection device | |
| JP4035015B2 (en) | Image processing apparatus and image processing method | |
| JP3332514B2 (en) | Image shake correction device | |
| JP2002185867A (en) | Imaging device, controller for the image pickup device, and light quantity control method | |
| JP2007214666A (en) | Digital camera with moving picture photographing function | |
| JPH05145828A (en) | Picture jiggle discrimination device | |
| KR20010108964A (en) | Movement detection method for portion image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070725 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080725 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090725 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100725 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 15 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 15 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 15 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 15 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 15 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 15 |
|
| LAPS | Cancellation because of no payment of annual fees |