JP3158291B2 - Display device - Google Patents
Display deviceInfo
- Publication number
- JP3158291B2 JP3158291B2 JP18101091A JP18101091A JP3158291B2 JP 3158291 B2 JP3158291 B2 JP 3158291B2 JP 18101091 A JP18101091 A JP 18101091A JP 18101091 A JP18101091 A JP 18101091A JP 3158291 B2 JP3158291 B2 JP 3158291B2
- Authority
- JP
- Japan
- Prior art keywords
- slit
- data
- image
- display
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Management Or Editing Of Information On Record Carriers (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Description
【0001】[0001]
【産業上の利用分野】この発明は、例えばビデオテープ
の編集に使用して好適な表示装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a display device suitable for use in, for example, editing a video tape.
【0002】[0002]
【従来の技術】いわゆるシネフィルムのように可視画像
として記録されている素材の概要の確認や所望のカット
の選出は、単にその素材を目視するだけで行なうことが
できる。2. Description of the Related Art An outline of a material recorded as a visible image such as a so-called cine film and selection of a desired cut can be performed simply by visually observing the material.
【0003】ビデオテープやビデオディスクなど動画像
データが不可視の状態で記録されている素材の場合、そ
の素材の概要を知るために、 (a)1画面ずつモニタに表示して必要に応じて高速サ
ーチなどを行なう方法 (b)モニタにマルチ画面表示によって複数のフレーム
の動画像を縮小してスクロール的に表示する方法(特公
昭61−44437号公報参照) 等が採用されている。[0003] In the case of a material such as a video tape or a video disk on which moving image data is recorded in an invisible state, to know the outline of the material, a. A method of performing a search or the like (b) A method of reducing a plurality of frames of moving images on a monitor and displaying them in a scrolling manner by multi-screen display (see Japanese Patent Publication No. 61-44437).
【0004】(a)の方法では、例えば1時間もののテ
レビ番組のビデオテープの概要を確認するのにそれ以上
の時間がかかり、編集効率が悪くなる不都合があった。
また、(b)の方法では、例えばTVコマーシャル等の
ような短いカットを見落とすことがあると共に、その確
認の再現性がなく作業者によるばらつきがある不都合が
あった。In the method (a), it takes more time to confirm the outline of a video tape of, for example, a one-hour TV program, and there is a problem that the editing efficiency is deteriorated.
Further, in the method (b), a short cut such as a TV commercial may be overlooked, and there is a problem that the confirmation is not reproducible and the operator varies.
【0005】そこで、本出願人は、先に一連の動画像デ
ータの概要を時間経過に対応させて圧縮した静止画像と
して表示し、画像の全体的な流れを精度よく認識できる
ものを提案した(特開平2−260075号公報参
照)。Therefore, the applicant of the present invention has proposed a system in which an outline of a series of moving image data is displayed as a compressed still image corresponding to the passage of time, and the entire flow of the image can be accurately recognized ( JP-A-2-260075).
【0006】[0006]
【発明が解決しようとする課題】ところで、例えばビデ
オテープの編集においては、画像の全体的な流れだけで
なく、音声の全体的な流れを認識できればさらに便利と
なる。By the way, for example, in the editing of a video tape, it becomes more convenient if not only the overall flow of an image but also the overall flow of a sound can be recognized.
【0007】そこで、この発明では、画像および音声の
全体的な流れを容易に把握できる表示装置を提供するも
のである。In view of the above, the present invention provides a display device capable of easily grasping the overall flow of images and sounds.
【0008】[0008]
【課題を解決するための手段】この発明に係る表示装置
は、表示素子の第1の表示位置に、2次元表示される一
連の動画像データをそれぞれのサンプリング位置を一の
方向に順次移動させながら他の方向に1次元的にサンプ
リングして得られる画像データによるスリット状の画像
で構成される静止画像を表示する第1の表示手段と、上
記一連の動画像データに対応する一連の音声データよ
り、上記サンプリングして得られる画像データによる各
スリット状の画像にそれぞれ対応する音声データの概要
を検出する概要検出手段と、表示素子の第2の表示位置
に、概要検出手段の検出出力に基づいて、第1の表示位
置に表示される上記静止画像を構成する各スリット状の
画像にそれぞれ対応させて当該各スリット状の画像に対
応する上記音声データの概要を視覚的に表示する第2の
表示手段とを備えるものである。A display device according to the present invention moves a series of two-dimensionally displayed moving image data sequentially to a first display position of a display element at each sampling position in one direction. A first display unit for displaying a still image composed of a slit-shaped image based on image data obtained by sampling one-dimensionally in another direction, and a series of audio data corresponding to the series of moving image data. more, each by images data that is obtained by the sampling
The outline detection means for detecting the outline of the audio data respectively corresponding to the slit-shaped image; and the above-mentioned display at the second display position of the display element at the first display position based on the detection output of the outline detection means. Each slit-shaped image corresponding to each slit-shaped image constituting the still image is corresponded to each slit-shaped image.
The summary of the speech data to respond in which and a second display means for visually displaying.
【0009】[0009]
【作用】この発明においては、表示素子に、画像の全体
的な流れを示す複数のスリット状の画像からなる静止画
像が表示されると共に、その静止画像を構成する各スリ
ット状の画像にそれぞれ対応させて当該各スリット状の
画像に対応する音声データの概要、例えばレベル、種類
等が視覚的に表示される。そのため、画像および音声の
全体的な流れを精度よく認識可能となる。According to the present invention, a still image composed of a plurality of slit-like images showing the overall flow of an image is displayed on the display element, and each of the slit-like images constituting the still image corresponds to each of the slit-like images. Let each slit-shaped
An outline of audio data corresponding to the image , for example, a level, a type, and the like are visually displayed. Therefore, it is possible to accurately recognize the entire flow of images and sounds.
【0010】[0010]
【実施例】以下、図面を参照しながら、この発明の一実
施例について説明する。An embodiment of the present invention will be described below with reference to the drawings.
【0011】図2は、本例による動画像データの処理を
示している。同図において、1は全体としてビデオ映像
群を示している。このビデオ映像群1は、例えばビデオ
テープやビデオディスク等に記録されている一連の動画
像データに対応する動画像をフレーム2の単位で時間
(t軸)方向に並べたものと考えることができる。FIG. 2 shows processing of moving image data according to the present embodiment. In FIG. 1, reference numeral 1 denotes a video image group as a whole. The video image group 1 can be considered as a sequence of moving images corresponding to a series of moving image data recorded on a video tape, a video disk, or the like, arranged in the unit of frame 2 in the time (t-axis) direction. .
【0012】ビデオ信号のフレーム周波数は30Hz
(NTSC方式)であるため、ビデオ映像群1として1
秒間に30枚のフレーム2が配される。2A〜2Eは、
ビデオ映像群1の一連のフレームを示している。The frame frequency of the video signal is 30 Hz
(NTSC system), 1
30 frames 2 are arranged per second. 2A to 2E
2 shows a series of frames of a video image group 1.
【0013】4はフレーム2上に設定される画像データ
入力用の垂直スリット(入力スリット)であり、この垂
直スリット4によってフレーム2の画像がサンプリング
される。この垂直スリット4は水平方向(H方向)に所
定速度で走査し、フレーム2の右端部に達したら再び左
端部からH方向に繰り返し走査する。したがって、垂直
スリット4は時間軸を含めた3次元空間では斜めのHt
方向に走査される。Reference numeral 4 denotes a vertical slit (input slit) for inputting image data set on the frame 2, and an image of the frame 2 is sampled by the vertical slit 4. The vertical slit 4 scans in the horizontal direction (H direction) at a predetermined speed, and when it reaches the right end of the frame 2, it repeatedly scans from the left end in the H direction again. Therefore, the vertical slit 4 is inclined Ht in a three-dimensional space including the time axis.
Scan in the direction.
【0014】垂直スリット4がビデオ映像群1を左端部
からHt方向に右端部まで走査するときは、f枚のフレ
ーム2を横切り、この垂直スリット4によってn枚(通
常はn=1)のフレームについて1個のスリット状の画
像がサンプリングされるものと仮定する。When the vertical slit 4 scans the video image group 1 from the left end to the right end in the Ht direction, the vertical slit 4 crosses f frames 2, and the vertical slit 4 causes n (normally n = 1) frames. Assume that one slit-like image is sampled for.
【0015】fをnの倍数に選ぶと所定の整数Xを用い
て、 f=nX が成立し、f枚のフレーム2からなるフレーム群(3
A、3B等)からそれぞれX個のスリット状の画像がサ
ンプリングされる。When f is selected to be a multiple of n, f = nX is satisfied using a predetermined integer X, and a frame group (3) composed of f frames 2
A, 3B, etc.), each of which samples X slit images.
【0016】本例においては、垂直スリット4がビデオ
映像群1を左端部からHt方向に右端部まで走査するの
に要する時間が12秒に設定されると共に、n=1に設
定され、 f=X=12×30=360 となる。In this example, the time required for the vertical slit 4 to scan the video image group 1 from the left end to the right end in the Ht direction is set to 12 seconds, n is set to 1, and f is set to 1 X = 12 × 30 = 360.
【0017】そして、フレーム群3Aより得られるX個
のスリット状の画像が水平方向につなぎ合わせられた後
に水平および垂直方向にそれぞれ圧縮されて縮小画面6
Aが形成される。縮小画面6Aは1枚のフレームメモリ
に対応する表示画面5の中に嵌め込まれる。同様に、フ
レーム群3Bより得られるX個のスリット状の画像が水
平方向につなぎ合わせられた後に圧縮されて縮小画面6
Bが形成され、この縮小画面6Bが表示画面5の中の縮
小画面6Aの隣に嵌め込まれる。Then, after the X slit images obtained from the frame group 3A are connected in the horizontal direction, they are compressed in the horizontal and vertical directions respectively to reduce the reduced screen 6.
A is formed. The reduced screen 6A is fitted in the display screen 5 corresponding to one frame memory. Similarly, after the X slit images obtained from the frame group 3B are connected in the horizontal direction, they are compressed and the reduced screen 6
B is formed, and this reduced screen 6B is fitted next to the reduced screen 6A in the display screen 5.
【0018】以下のフレーム群に対応しても同様にして
縮小画面が形成され、表示画面5中に順次嵌め込まれ
る。A reduced screen is formed in the same manner even for the following frame groups, and is sequentially fitted in the display screen 5.
【0019】実際には、垂直スリット4によってサンプ
リングされるスリット状の画像は1個ずつ時系列的に生
成されるので、生成順に圧縮して表示画面5の中に1個
ずつ嵌め込まれる。Actually, since the slit-like images sampled by the vertical slits 4 are generated one by one in time series, the images are compressed in the order of generation and fitted into the display screen 5 one by one.
【0020】例えば、フレーム2A〜2Eに対応してそ
れぞれ垂直スリット4A〜4EがH方向に順次走査する
ように割り当てられる。各垂直スリット4A〜4Eでサ
ンプリングされるスリット上の画像が、それぞれ圧縮さ
れて表示画面5の垂直スリット(出力スリット)7A〜
7Eの部分の画像とされる。For example, the vertical slits 4A to 4E are assigned so as to sequentially scan in the H direction corresponding to the frames 2A to 2E. The images on the slits sampled by the vertical slits 4A to 4E are respectively compressed and the vertical slits (output slits) 7A to 7A to
This is an image of the portion 7E.
【0021】垂直スリット4A〜4Eでサンプリングさ
れた画像を圧縮する方法としては、単に画像データを間
引く方法や所定領域の加重平均をとる方法がある。単に
画像データを間引く場合には、スリット4A〜4EはH
方向に1画素分の幅を有するとしてもよい。As a method of compressing images sampled by the vertical slits 4A to 4E, there are a method of simply thinning out image data and a method of obtaining a weighted average of a predetermined area. In the case of simply thinning out image data, the slits 4A to 4E are H
It may have a width of one pixel in the direction.
【0022】また、表示画面5の各縮小画面の下部には
音声表示部60が設けられる。各音声表示部60には、
図3に拡大表示するように、各縮小画面を構成するスリ
ット状の画像のそれぞれに対応してその画像に対応する
音声レベルEaが表示される。そして、各縮小画面に対
応する音声表示部60の表示は、各縮小画面に対応する
音声の種類、例えば人声、音楽、その他に応じた色をも
って行なわれる。An audio display unit 60 is provided below each reduced screen of the display screen 5. In each audio display unit 60,
As shown in FIG. 3 in an enlarged manner, an audio level Ea corresponding to each of the slit-shaped images constituting each reduced screen is displayed. The display of the audio display unit 60 corresponding to each reduced screen is performed in a color corresponding to the type of voice corresponding to each reduced screen, for example, human voice, music, and the like.
【0023】図1は、本例の表示装置を示している。同
図において、8はホストコンピュータを示している。こ
のホストコンピュータ8は装置全体の制御手段として機
能する。FIG. 1 shows a display device of this embodiment. In the figure, reference numeral 8 denotes a host computer. This host computer 8 functions as control means for the entire apparatus.
【0024】11はシステムバス、12はキーボードで
あり、オペレータはキーボード12より入出力回路13
およびシステムバス11を介してホストコンピュータ8
に各種コマンドを与えるようにされる。Reference numeral 11 denotes a system bus, and 12 denotes a keyboard.
And host computer 8 via system bus 11
To give various commands.
【0025】14は動画像データ源としてのVTR、1
5V,15AはA/D変換器、16VはビデオRAM
(VRAM1)、16Aはオーディオ信号用のメモリ
(ARAM)である。メモリ16Vには1フレーム分の
ビデオ信号が記憶され、メモリ16Aには1フレーム分
のオーディオ信号が記憶される。Reference numeral 14 denotes a VTR as a moving image data source,
5V, 15A: A / D converter, 16V: Video RAM
(VRAM1) and 16A are memories (ARAM) for audio signals. The memory 16V stores one frame of video signal, and the memory 16A stores one frame of audio signal.
【0026】VTR14より出力されるビデオ信号(例
えばY,R−Y,B−Y、またはR,G,Bのコンポー
ネント信号)は、A/D変換器15Vでディジタルデー
タに変換された後ビデオRAM16Vに書き込まれる。
また、VTR14より出力されるオーディオ信号はA
/D変換器15Aでディジタルデータに変換された後メ
モリ16Aに書き込まれる。A video signal (for example, Y, RY, BY or R, G, B component signal) output from the VTR 14 is converted into digital data by an A / D converter 15V and then converted to a video RAM 16V. Is written to.
The audio signal output from the VTR 14 is A
After being converted into digital data by the / D converter 15A, it is written into the memory 16A.
【0027】ビデオRAM16V(VRAM1 )の記憶
領域は、実際の表示画面に対応して、図4に示すように
水平方向(VX1方向)にHLドット、垂直方向(VY
1方向)にVLドットとされる。このビデオRAM16
Vより読み出される各画素データのアドレスは、座標
(VX1,VY1)(0≦VX1≦HL−1,0≦VY
1≦VL−1)で指示される。The storage area of the video RAM 16V (VRAM1) corresponds to the actual display screen, as shown in FIG. 4, HL dots in the horizontal direction (VX1 direction) and HL dots in the vertical direction (VY1).
(One direction). This video RAM 16
The address of each pixel data read from V is represented by coordinates (VX1, VY1) (0 ≦ VX1 ≦ HL-1, 0 ≦ VY).
1 ≦ VL−1).
【0028】また、17はイメージプロセッサである。
ビデオインデックス作成時には、イメージプロセッサ1
7によって、ビデオRAM16Vの1フレーム分の画像
データより垂直スリット4(図4参照)で囲まれた部分
のデータが読み取られ、そのデータが圧縮されてフレー
ムメモリよりなるビデオRAM(VRAM2 )23の垂
直スリット(出力スリット)7(図5参照)で囲まれた
部分に書き込まれる。この他に、イメージプロセッサ1
7は、ビデオRAM23に対応する画面上に指示カーソ
ルを表示する機能を有している。Reference numeral 17 denotes an image processor.
When creating a video index, the image processor 1
7, the data of the portion surrounded by the vertical slit 4 (see FIG. 4) is read from the image data for one frame of the video RAM 16V, and the data is compressed and the vertical portion of the video RAM (VRAM2) 23 composed of a frame memory is read. The data is written in a portion surrounded by a slit (output slit) 7 (see FIG. 5). In addition, image processor 1
Reference numeral 7 has a function of displaying an instruction cursor on a screen corresponding to the video RAM 23.
【0029】イメージプロセッサ17を機能に対応した
手段の集合として表現すると、このイメージプロセッサ
17は入力スリット移動手段18、スリットデータ読取
り手段19、出力スリット移動手段20、スリットデー
タ書込み手段21および指示カーソル表示手段22より
なる。When the image processor 17 is expressed as a set of means corresponding to functions, the image processor 17 includes an input slit moving means 18, a slit data reading means 19, an output slit moving means 20, a slit data writing means 21, and an instruction cursor display. Means 22.
【0030】ビデオRAM23(VRAM2 )の記憶領
域も、ビデオRAM16Vと同様に実際の画面に対応し
て、図5に示すように水平方向(VX2方向)にHLド
ット、垂直方向(VY2方向)にVLドットとされる。
このビデオRAM23に書き込む各画素データのアドレ
スは座標(VX2,VY2)で指示される。As shown in FIG. 5, the storage area of the video RAM 23 (VRAM2) also corresponds to the actual screen as in the case of the video RAM 16V, and is HL dots in the horizontal direction (VX2 direction) and VL dots in the vertical direction (VY2 direction). Dots.
The address of each pixel data to be written into the video RAM 23 is specified by coordinates (VX2, VY2).
【0031】また、30はオーディオプロセッサであ
る。オーディオインデックス作成時には、オーディオプ
ロセッサ30によって、メモリ16Aに順次書き込まれ
た1フレーム分の音声データが読み取られて積分処理さ
れ、音声レベルEaが検出される。そして、ビデオRA
M23の垂直スリット7の下部の音声表示部60のスリ
ット領域に音声レベルEaに対応した長さ分だけ色デー
タが書き込まれる。Reference numeral 30 denotes an audio processor. At the time of creating an audio index, the audio processor 30 reads audio data for one frame sequentially written into the memory 16A, performs integration processing, and detects an audio level Ea. And video RA
In the slit area of the audio display unit 60 below the vertical slit 7 of M23, color data is written by a length corresponding to the audio level Ea.
【0032】また、1縮小画面に対応する期間におい
て、メモリ16Aよりオーディオデータが読み出され、
例えばニューラルネットワークによって特徴点が抽出さ
れる。これにより人声、音楽、その他の音声の種類が判
別され、その種類に応じてカラーマップより色が選択さ
れ、この色のデータが、上述したように各縮小画面の下
部の音声表示部60に書き込まれる色データとされる。In a period corresponding to one reduced screen, audio data is read from the memory 16A.
For example, feature points are extracted by a neural network. As a result, the types of human voice, music, and other voices are determined, and a color is selected from a color map according to the type, and the data of this color is stored in the voice display unit 60 at the bottom of each reduced screen as described above. This is the color data to be written.
【0033】オーディオプロセッサ30を機能に対応し
た手段の集合として表現すると、このオーディオプロセ
ッサ30は、オーディオデータ読取り手段31、特徴点
抽出手段32、色決定手段33、レベル検出手段34お
よび色データ書込み手段35よりなる。When the audio processor 30 is expressed as a set of means corresponding to functions, the audio processor 30 includes an audio data reading means 31, a feature point extracting means 32, a color determining means 33, a level detecting means 34, and a color data writing means. It consists of 35.
【0034】24は、カーソルのデータを記憶するため
のカーソル用RAMである。ビデオRAM23より読み
出される画素データおよびカーソル用RAM24より読
み出されるカーソルのデータは、合成回路25に供給さ
れて合成画像データが形成される。Reference numeral 24 denotes a cursor RAM for storing cursor data. The pixel data read from the video RAM 23 and the cursor data read from the cursor RAM 24 are supplied to a combining circuit 25 to form combined image data.
【0035】合成回路25より出力される合成画像デー
タは、D/A変換器26でアナログ信号に変換されてモ
ニタ27やビデオプリンタ(図示せず)に供給されると
共に、外部記憶装置(VTR、フロッピーディスク等)
28にも供給される。The synthesized image data output from the synthesizing circuit 25 is converted into an analog signal by a D / A converter 26 and supplied to a monitor 27 and a video printer (not shown), and also to an external storage device (VTR, Floppy disk, etc.)
28.
【0036】なお、外部記憶装置28より再生されるビ
デオ信号は、A/D変換器29およびシステムバス11
を介してビデオRAM23に書き込みできるようにされ
る。The video signal reproduced from the external storage device 28 is supplied to the A / D converter 29 and the system bus 11
Can be written to the video RAM 23 via the.
【0037】インデックス作成時において、VTR14
より出力されるビデオ映像群1の画像データが、ビデオ
RAM16V(図4に図示)を介して一連のスリットデ
ータとしてビデオRAM23(図5に図示)に書き込ま
れ、さらにオーディオデータに基づいてビデオRAM2
3に音声レベルEaおよび種類を示す色データが書き込
まれる際の一連の動作を、図6のフローチャートに沿っ
てステップ毎に説明する。At the time of index creation, the VTR 14
The output image data of the video image group 1 is written as a series of slit data to the video RAM 23 (shown in FIG. 5) via the video RAM 16V (shown in FIG. 4), and further, based on the audio data, the video RAM 2
A series of operations performed when the color data indicating the audio level Ea and the type are written in No. 3 will be described step by step along the flowchart of FIG.
【0038】この場合、ビデオRAM16Vのそれぞれ
のフレームから1個ずつ抽出したスリットデータをX個
まとめて圧縮したものをビデオRAM23の(X×Y)
個の画素よりなる縮小画像6A,6B,・・・として書
き込むものとする。In this case, X slit data extracted one by one from each frame of the video RAM 16 V and compressed together are stored in the video RAM 23 (X × Y).
.. Are written as reduced images 6A, 6B,.
【0039】[ステップ101]次の式に従って、△
X、△Yを計算する。[Step 101] According to the following equation, △
Calculate X and △ Y.
【0040】△X=HL/X △Y=VL/Y △X,△Yは整数でなくともよく、ビデオRAM16V
の(△X×△Y)個の画素よりなるブロック33の画素
データをビデオRAM23の1個の画素34の値に圧縮
する。ΔX = HL / X ΔY = VL / Y ΔX and ΔY need not be integers, and the video RAM 16V
The pixel data of the block 33 composed of (△ X × △ Y) pixels is compressed to the value of one pixel 34 of the video RAM 23.
【0041】本例においては、圧縮を簡易に行なうた
め、ビデオRAM16Vのブロック53の左上隅の座標
(VX1,VY1)をアドレスとする画素のデータをそ
のままビデオRAM23の座標(VX2,VY2)をア
ドレスとする画素54のデータとする。△X,△Yが非
整数の場合には座標(VX1,VY1)は整数の対では
なくなるので、座標(VX1,VY1)が指示する画素
の値は周囲の画素の値からの補間によって計算する。In this example, in order to easily perform compression, the coordinates (VX2, VY2) of the video RAM 23 are directly used as the coordinates of the pixels (VX2, VY2) of the pixel having the upper left corner (VX1, VY1) as the address. Is the data of the pixel 54 to be set. If ΔX and ΔY are non-integers, the coordinates (VX1, VY1) are not a pair of integers, and the value of the pixel indicated by the coordinates (VX1, VY1) is calculated by interpolation from the values of surrounding pixels. .
【0042】また、ビデオRAM23においてX個の垂
直スリット7よりなる縮小画面(6A、6B等)の水平
方向の配列個数hを、次の式に従って計算する。Xs は
水平方向の余白の画素数である。In the video RAM 23, the number h of the horizontal arrangement of reduced screens (6A, 6B, etc.) composed of X vertical slits 7 is calculated according to the following equation. Xs is the number of pixels in the horizontal margin.
【0043】h=(HL−Xs )/X また、縮小画面6A,6B・・・の番号FRをそれぞれ
0,1・・・,FR0とし、 FR=0 に初期設定する。H = (HL-Xs) / X Further, the numbers FR of the reduced screens 6A, 6B... Are respectively set to 0, 1,..., FR0, and FR = 0 is initialized.
【0044】また、VTR14より出力される1フレー
ム分の画像データをビデオRAM16Vに書き込み、V
TR14より対応して出力されるオーディオデータをメ
モリ16Aに書き込む。The image data for one frame output from the VTR 14 is written into the video RAM 16V,
The audio data correspondingly output from the TR 14 is written into the memory 16A.
【0045】[ステップ102]メモリ16Aよりオー
ディオデータを読み出し、オーディオプロセッサ30
で、特徴点の抽出および色決定処理を開始する。[Step 102] The audio data is read from the memory 16A,
Then, the extraction of the feature points and the color determination processing are started.
【0046】[ステップ103]ビデオRAM23の番
号FRの縮小画面(6A,6B等)の左上隅の座標を
(BX,BY)として、BX,BYを、次の式に従って
計算する。Xs1は左端の余白の画素数を、Ys1は垂直方
向の上端の余白の画素数である。また、YA =Y+Y′
+Y″であり、Y′は音声表示部60の垂直方向の画素
数、Y″は音声表示部60と縮小画面間の垂直方向の画
素数である(図5参照)。[Step 103] With the coordinates of the upper left corner of the reduced screen (6A, 6B, etc.) of the number FR of the video RAM 23 as (BX, BY), BX, BY are calculated according to the following equations. Xs1 is the number of pixels in the left margin, and Ys1 is the number of pixels in the top margin in the vertical direction. YA = Y + Y '
+ Y ″, Y ′ is the number of pixels in the vertical direction of the audio display unit 60, and Y ″ is the number of pixels in the vertical direction between the audio display unit 60 and the reduced screen (see FIG. 5).
【0047】BX=(FRmod h)X+Xs1 BY=[FR/h]YA +Ys1 これらの式において、(FRmod h)はFR/hの余り
を示し、[FR/h]はFR/hを越えない最大の整数
を示している。BX = (FRmod h) X + Xs1 BY = [FR / h] YA + Ys1 In these equations, (FRmod h) represents the remainder of FR / h, and [FR / h] represents the maximum not exceeding FR / h. Are shown as integers.
【0048】[ステップ104]ビデオRAM16Vの
垂直スリット4の座標VX1、ビデオRAM23の垂直
スリット7の座標VX2の初期値を、それぞれ0,BX
に設定する。[Step 104] The initial values of the coordinates VX1 of the vertical slit 4 of the video RAM 16V and the coordinates VX2 of the vertical slit 7 of the video RAM 23 are set to 0 and BX, respectively.
Set to.
【0049】[ステップ105]ビデオRAM16Vの
垂直スリット4の座標VY1、ビデオRAM23の垂直
スリット7の座標VY2の初期値を、それぞれ0,BY
に設定する。また、N=0に初期設定する。[Step 105] The initial values of the coordinates VY1 of the vertical slit 4 of the video RAM 16V and the coordinates VY2 of the vertical slit 7 of the video RAM 23 are set to 0 and BY, respectively.
Set to. Initially, N = 0 is set.
【0050】[ステップ106]Nの値を1だけ増す。[Step 106] The value of N is increased by one.
【0051】[ステップ107,108]イメージプロ
セッサ17は、ビデオRAM16Vの座標(VX1,V
Y1)の画素のデータを読み取ってビデオRAM23の
座標(VX2,VY2)の画素のデータとして書き込ん
だ後に、座標VY1の値を△Yだけ増して、座標VY2
の値を1だけ増す。[Steps 107 and 108] The image processor 17 sets the coordinates (VX1, VX) of the video RAM 16V.
After reading the data of the pixel of Y1) and writing it as the data of the pixel of the coordinates (VX2, VY2) in the video RAM 23, the value of the coordinate VY1 is increased by ΔY, and the coordinate VY2
Is incremented by one.
【0052】[ステップ109]ビデオRAM16Vの
垂直スリット4のデータをD1方向に読み出したとき
に、ビデオRAM23の垂直スリット7のデータはD2
方向に書き込まれる。そして、ビデオRAM16Vの垂
直スリット4の座標VY1がVL以下であるときにはス
テップ106に戻り、座標VY1がVLを越えるときに
はステップ110に進む。[Step 109] When the data of the vertical slit 4 of the video RAM 16V is read in the direction D1, the data of the vertical slit 7 of the video RAM 23 becomes D2.
Written in the direction. When the coordinate VY1 of the vertical slit 4 of the video RAM 16V is equal to or smaller than VL, the process returns to step 106, and when the coordinate VY1 exceeds VL, the process proceeds to step 110.
【0053】[ステップ110]オーディオプロセッサ
30は、メモリ16Aに書き込まれている1フレーム期
間のオーディオデータの全部または一部を読み出して積
分する。[Step 110] The audio processor 30 reads and integrates all or part of the audio data for one frame period written in the memory 16A.
【0054】[ステップ111]ビデオRAM23の音
声表示部60の垂直方向の画素数に対応する積分出力を
DMとし、積分出力をDIとするとき、 A=[DI/DM×Y′] を計算する。[DI/DM×Y′]はDI/DM×Y′
を越えない最大の整数である。このAのデータが音声レ
ベルEaを示すものとなる。[Step 111] When the integrated output corresponding to the number of pixels in the vertical direction of the audio display unit 60 of the video RAM 23 is DM and the integrated output is DI, A = [DI / DM × Y '] is calculated. . [DI / DM × Y ′] is DI / DM × Y ′
Is the largest integer that does not exceed The data of A indicates the audio level Ea.
【0055】[ステップ112] DXN =VX2 DYN =VY2+Y′−A DYN ′=VY2+Y′−1 に設定する。[Step 112] DXN = VX2 DYN = VY2 + Y'-A DYN '= VY2 + Y'-1
【0056】[ステップ113,114]VX1の値を
△Xだけ増し、VX2の値を1だけ増す。このことは、
ビデオRAM16Vの垂直スリット4の位置を△Xだけ
右に移し、ビデオRAM23の垂直スリット7の位置を
1だけ右に移すことを意味する。[Steps 113 and 114] The value of VX1 is increased by ΔX, and the value of VX2 is increased by 1. This means
This means that the position of the vertical slit 4 of the video RAM 16V is shifted to the right by ΔX, and the position of the vertical slit 7 of the video RAM 23 is shifted to the right by 1.
【0057】そして、ホストコンピュータ8はVTR1
4より現在のフレームからn枚目のフレームの画像デー
タおよびオーディオデータを入力して、それぞれビデオ
RAM16Vおよびメモリ16Aに書き込む。The host computer 8 is connected to the VTR 1
4, image data and audio data of the n-th frame from the current frame are input and written to the video RAM 16V and the memory 16A, respectively.
【0058】[ステップ115]ビデオRAM16Vの
垂直スリット4の座標VX1がHL以下であるときには
ステップ105に戻る。座標VX1がHLを越えたとき
には、ビデオRAM16Vの垂直スリット4の水平方向
への1回の走査が完了したことを意味するので、ステッ
プ116に進む。[Step 115] If the coordinate VX1 of the vertical slit 4 of the video RAM 16V is less than or equal to HL, the flow returns to step 105. If the coordinate VX1 exceeds HL, this means that one horizontal scan of the vertical slit 4 of the video RAM 16V has been completed, and the process proceeds to step 116.
【0059】[ステップ116]ビデオRAM23の座
標(DXN ,DYN )〜(DXN ,DYN ′)にオーデ
ィオプロセッサ30で決定される色の色データを書き込
む。ここで、N=1〜Xである。これにより、ビデオR
AMの音声表示部60に各スリットの画像データに対応
して音声レベルを示すと共に、その種類を示す色データ
が書き込まれることになる。[Step 116] The color data of the color determined by the audio processor 30 is written to the coordinates (DXN, DYN) to (DXN, DYN ') of the video RAM 23. Here, N = 1 to X. Thereby, the video R
The sound level corresponding to the image data of each slit is indicated and the color data indicating the type is written in the sound display section 60 of the AM.
【0060】[ステップ117,118]縮小画面の番
号FRを1だけ増して、その番号FRがビデオRAM2
3の許容する縮小画面の数FR0 以下であるときにはス
テップ102に戻る。番号FRが数FR0 を越えたとき
には、1画面分のビデオインデックスの作成が終了した
ことになる。そのため、ステップ119に進んで後処理
をする。[Steps 117 and 118] The number FR of the reduced screen is increased by one, and the number FR is stored in the video RAM2.
If the number is smaller than the allowable number of reduced screens FR0, the process returns to step 102. When the number FR exceeds the number FR0, it means that the creation of the video index for one screen has been completed. Therefore, the process proceeds to step 119 to perform post-processing.
【0061】後処理としては、ビデオRAM23の画像
データをD/A変換器26を介して外部記憶装置28に
蓄積したり、その画像データをD/A変換器26を介し
てモニタ27に供給したりすることが考えられる。As post-processing, the image data in the video RAM 23 is stored in the external storage device 28 via the D / A converter 26, and the image data is supplied to the monitor 27 via the D / A converter 26. It is conceivable that.
【0062】外部記憶装置28には、動画像データの集
合であるビデオ映像群1が一種のビデオスライスとも表
現できる方法によってデータ圧縮した形で蓄積されるこ
とになる(図7に図示)。また、モニタ27には、複数
の縮小画面と、各縮小画面に対応して音声レベルを示す
と共に、その種類を示すインデックスが表示されること
になる。The video image group 1 which is a set of moving image data is stored in the external storage device 28 in a compressed form by a method which can be expressed as a kind of video slice (shown in FIG. 7). The monitor 27 displays a plurality of reduced screens, an audio level corresponding to each reduced screen, and an index indicating the type.
【0063】その後、オペレータの操作によって再びス
テップ101に戻り、VTR14からの続きのビデオ信
号およびオーディオ信号に対するインデックスを作成す
ることになる。Thereafter, the operation returns to step 101 again by the operation of the operator, and an index for the subsequent video signal and audio signal from the VTR 14 is created.
【0064】以上のようにして作成されるインデックス
は、ビデオ映像群1のnフレーム毎に垂直スリット4の
位置を変えてサンプリングされる画像データを圧縮して
つなぎ合わせた縮小画面であり、ビデオ映像群1の動画
像データの概要を時間経過に対応させて確認できる。The index created as described above is a reduced screen obtained by compressing and connecting image data sampled by changing the position of the vertical slit 4 for every n frames of the video image group 1, and The outline of the moving image data of the group 1 can be confirmed in correspondence with the passage of time.
【0065】ここで、垂直スリット4の位置を12秒で
1画面の左端から右端まで走査するように変化させるた
め、表示画面5の中に例えばN個の縮小画像6A,6
B,・・・を形成する場合は、 12×N=12N[秒] 30×12×N=360N[フレーム] より、1枚(フレーム)の表示画面5の中に12N秒分
(360Nフレーム)のビデオ信号の動画像データが圧
縮して表示されることになり、極めて大きな圧縮率で一
連の動画像データが圧縮されている。Here, in order to change the position of the vertical slit 4 so as to scan from the left end to the right end of one screen in 12 seconds, for example, N reduced images 6A and 6
In the case of forming B,..., 12 × N = 12 N [sec], 30 × 12 × N = 360 N [frame], and 12N seconds worth (360 N frames) in one display screen 5 (frame) Is compressed and displayed, and a series of moving image data is compressed at an extremely high compression ratio.
【0066】そして、ビデオ映像群1の動画像が12秒
を基準として緩慢に変化する場合には、垂直スリット4
が左端から右端へ走査しているため、略動画像の原画の
状態を復元できる。一方、例えばコマーシャルのように
ビデオ映像群1の動画像が急激に変化すると、縮小画面
の何れかに不連続的に変化する断線が形成される。した
がって、略1/360Nもの圧縮率で動画像データを圧
縮して表示しているにも拘らず、緩慢に変化している部
分の概要を確認することができると共に、急激に変化す
る部分を断線として確認できる。When the moving image of the video image group 1 changes slowly on the basis of 12 seconds, the vertical slit 4
Scans from the left end to the right end, it is possible to restore a substantially original state of a moving image. On the other hand, when the moving image of the video image group 1 changes abruptly like a commercial, for example, a discontinuity that changes discontinuously on any of the reduced screens is formed. Therefore, although the moving image data is compressed and displayed at a compression ratio of about 1 / 360N, the outline of the slowly changing portion can be checked, and the rapidly changing portion can be disconnected. Can be confirmed as
【0067】また、音声表示部60には各縮小画面を構
成するスリット画像に対応して音声レベルが表示され
る。つまり、音声レベルが時間経過に対応して表示され
る。また、この音声レベルの表示には各縮小画面毎に音
声の種類に応じた色が付される。したがって、画像と共
に音声の全体的な流れを容易に把握でき、編集作業等を
一層効率よく行なうことができる。The audio display section 60 displays an audio level corresponding to a slit image constituting each reduced screen. That is, the audio level is displayed as time elapses. In addition, the display of the audio level is given a color corresponding to the type of audio for each reduced screen. Therefore, the entire flow of the sound together with the image can be easily grasped, and the editing operation and the like can be performed more efficiently.
【0068】なお、ビデオ映像群1の個々のフレーム2
より垂直スリット4を用いて画像データをサンプリング
する代わりに、水平スリットを用いて画像データをサン
プリングしてもよい。この場合は、水平スリットを所定
速度で周期的にフレーム2の上端から垂直方向(V方
向)に下端まで走査するように構成される。そして、音
声表示部60は縮小画面の左または右の側部に設けられ
ることになる。The individual frames 2 of the video image group 1
Instead of sampling the image data using the vertical slits 4, the image data may be sampled using the horizontal slits. In this case, the horizontal slit is periodically scanned at a predetermined speed from the upper end of the frame 2 to the lower end in the vertical direction (V direction). The audio display unit 60 is provided on the left or right side of the reduced screen.
【0069】なお、上述実施例においては、音声の種類
を色を違えることで表示したものであるが、表示領域の
大きさや輝度を違えることで表示するようにしてもよ
い。In the above embodiment, the type of sound is displayed by changing the color, but it may be displayed by changing the size and brightness of the display area.
【0070】[0070]
【発明の効果】この発明によれば、表示素子に、画像の
全体的な流れを示す複数のスリット状の画像からなる静
止画像が表示されると共に、その静止画像を構成する各
スリット状の画像にそれぞれ対応させて当該各スリット
状の画像に対応する音声データの概要、例えばレベル、
種類等が視覚的に表示されるものであり、画像および音
声の全体的な流れを精度よく認識可能となり、編集作業
等を一層効率よく行うことができる。According to the present invention, a still image composed of a plurality of slit-like images showing the overall flow of an image is displayed on the display element, and each slit-like image constituting the still image is displayed. Corresponding to each slit
Summary of audio data corresponding to the shape of the image , for example, level,
The type and the like are visually displayed, the overall flow of the image and the sound can be recognized with high accuracy, and the editing operation and the like can be performed more efficiently.
【図面の簡単な説明】[Brief description of the drawings]
【図1】実施例の構成図である。FIG. 1 is a configuration diagram of an embodiment.
【図2】インデックスの概念を示す図である。FIG. 2 is a diagram illustrating the concept of an index.
【図3】音声表示部を拡大表示した図である。FIG. 3 is an enlarged view of a voice display unit.
【図4】ビデオRAMのデータ構造を示す図である。FIG. 4 is a diagram showing a data structure of a video RAM.
【図5】ビデオRAMのデータ構造を示すである。FIG. 5 shows a data structure of a video RAM.
【図6】インデックス作成時の動作を示すフローチャー
トである。FIG. 6 is a flowchart showing an operation at the time of creating an index.
【図7】入力ビデオ信号とビデオインデックスとの関係
を示す図である。FIG. 7 is a diagram illustrating a relationship between an input video signal and a video index.
1 ビデオ映像群 2 フレーム 3A,3B フレーム群 4 垂直スリット(入力スリット) 5 表示画面 6A,6B 縮小画面 7 垂直スリット(出力スリット) 8 ホストコンピュータ 14 VTR 16A オーディオデータ用のメモリ 16V,23 ビデオRAM 17 イメージプロセッサ 27 モニタ 30 オーディオプロセッサ 60 音声表示部 Reference Signs List 1 video image group 2 frame 3A, 3B frame group 4 vertical slit (input slit) 5 display screen 6A, 6B reduced screen 7 vertical slit (output slit) 8 host computer 14 VTR 16A memory for audio data 16V, 23 video RAM 17 Image processor 27 Monitor 30 Audio processor 60 Audio display unit
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI G11B 27/00 E (58)調査した分野(Int.Cl.7,DB名) G11B 27/00 - 27/038 H04N 5/445 H04N 5/7826 H04N 5/93 G06T 13/00 ──────────────────────────────────────────────────の Continued on the front page (51) Int.Cl. 7 identification code FI G11B 27/00 E (58) Investigated field (Int.Cl. 7 , DB name) G11B 27/00-27/038 H04N 5 / 445 H04N 5/7826 H04N 5/93 G06T 13/00
Claims (1)
示される一連の動画像データをそれぞれのサンプリング
位置を一の方向に順次移動させながら他の方向に1次元
的にサンプリングして得られる画像データによるスリッ
ト状の画像で構成される静止画像を表示する第1の表示
手段と、 上記一連の動画像データに対応する一連の音声データよ
り、上記サンプリングして得られる画像データによる各
スリット状の画像にそれぞれ対応する音声データの概要
を検出する概要検出手段と、 上記表示素子の第2の表示位置に、上記概要検出手段の
検出出力に基づいて、上記第1の表示位置に表示される
上記静止画像を構成する各スリット状の画像にそれぞれ
対応させて当該各スリット状の画像に対応する上記音声
データの概要を視覚的に表示する第2の表示手段とを備
えることを特徴とする表示装置。1. A series of moving image data two-dimensionally displayed at a first display position of a display element is sampled one-dimensionally in another direction while sequentially moving each sampling position in one direction. first display means for displaying a still image composed of the slit-shaped image by the obtained image data, from a series of audio data corresponding to the series of moving picture data, images data that is obtained by the sampling each according to
An outline detection means for detecting an outline of audio data respectively corresponding to the slit-shaped image; and a display at the second display position of the display element at the first display position based on a detection output of the outline detection means. And second display means for visually displaying an overview of the audio data corresponding to each slit-shaped image corresponding to each slit-shaped image constituting the still image. Display device.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18101091A JP3158291B2 (en) | 1991-07-22 | 1991-07-22 | Display device |
US07/912,236 US5459830A (en) | 1991-07-22 | 1992-07-10 | Animation data index creation drawn from image data sampling composites |
GB9215077A GB2258117B (en) | 1991-07-22 | 1992-07-15 | Interactive video image coding apparatus (Video Browser) |
DE4224245A DE4224245A1 (en) | 1991-07-22 | 1992-07-22 | IMAGE DATA PROCESSING ARRANGEMENT |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18101091A JP3158291B2 (en) | 1991-07-22 | 1991-07-22 | Display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0528717A JPH0528717A (en) | 1993-02-05 |
JP3158291B2 true JP3158291B2 (en) | 2001-04-23 |
Family
ID=16093170
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP18101091A Expired - Lifetime JP3158291B2 (en) | 1991-07-22 | 1991-07-22 | Display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3158291B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998041978A1 (en) * | 1997-03-19 | 1998-09-24 | Hitachi, Ltd. | Method and device for detecting starting and ending points of sound section in video |
JP4300697B2 (en) | 2000-04-24 | 2009-07-22 | ソニー株式会社 | Signal processing apparatus and method |
JP4849339B2 (en) | 2007-03-30 | 2012-01-11 | ソニー株式会社 | Information processing apparatus and method |
JP4895125B2 (en) | 2007-07-26 | 2012-03-14 | ソニー株式会社 | Information processing apparatus and method, program, and recording medium |
JP4582427B2 (en) * | 2008-04-02 | 2010-11-17 | ソニー株式会社 | Image editing apparatus and method |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63124290A (en) * | 1986-11-13 | 1988-05-27 | Nippon Hoso Kyokai <Nhk> | Sound editing device |
JP2558746B2 (en) * | 1987-10-14 | 1996-11-27 | 松下電器産業株式会社 | Data editing device |
JP2568651B2 (en) * | 1988-11-08 | 1997-01-08 | 松下電送株式会社 | How to edit audio data |
JPH02130779A (en) * | 1988-11-10 | 1990-05-18 | Canon Inc | Reproducing device |
JP2864523B2 (en) * | 1989-03-31 | 1999-03-03 | ソニー株式会社 | Display device |
-
1991
- 1991-07-22 JP JP18101091A patent/JP3158291B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH0528717A (en) | 1993-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5459830A (en) | Animation data index creation drawn from image data sampling composites | |
US5182728A (en) | Ultrasound imaging system and method | |
JP2995745B2 (en) | Motion information extraction device | |
JPS61279982A (en) | Video image generation method and apparatus | |
US5119080A (en) | Video-data processor | |
US6842183B2 (en) | Three-dimensional image processing unit and computer readable recording medium storing three-dimensional image processing program | |
JP3158291B2 (en) | Display device | |
JPH10126721A (en) | Dynamic image retrieving information generating device | |
JP3304386B2 (en) | Image display method | |
JP2864523B2 (en) | Display device | |
JPS6199189A (en) | Animation window system | |
US5815632A (en) | Apparatus for video signal processing | |
JPH0530465A (en) | Image data processor | |
JPH0530453A (en) | Index generating device for picture recording medium | |
JP3625935B2 (en) | Important image extracting apparatus and important image extracting method for moving images | |
JPH0636020A (en) | Image pickup monitoring device | |
JPS62239672A (en) | Display method | |
JP3522299B2 (en) | Image storage device | |
JPH07264545A (en) | Moving picture reproducing device | |
JP2897820B2 (en) | Auxiliary display device | |
JP2942373B2 (en) | TV monitor device | |
JP3290750B2 (en) | Image recording and playback device | |
JPH07311568A (en) | Method and device for outputting image | |
JPH0736437A (en) | Picture data processor | |
JPH0379733B2 (en) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080216 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090216 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100216 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100216 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110216 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120216 Year of fee payment: 11 |
|
EXPY | Cancellation because of completion of term | ||
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120216 Year of fee payment: 11 |