JPH08317301A - Video output device - Google Patents

Video output device

Info

Publication number
JPH08317301A
JPH08317301A JP7122147A JP12214795A JPH08317301A JP H08317301 A JPH08317301 A JP H08317301A JP 7122147 A JP7122147 A JP 7122147A JP 12214795 A JP12214795 A JP 12214795A JP H08317301 A JPH08317301 A JP H08317301A
Authority
JP
Japan
Prior art keywords
data
processing
video
subtitle
means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7122147A
Other languages
Japanese (ja)
Inventor
Takafumi Miyatake
Shigeki Nagaya
Katsumi Taniguchi
孝文 宮武
勝美 谷口
茂喜 長屋
Original Assignee
Hitachi Ltd
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd, 株式会社日立製作所 filed Critical Hitachi Ltd
Priority to JP7122147A priority Critical patent/JPH08317301A/en
Publication of JPH08317301A publication Critical patent/JPH08317301A/en
Application status is Pending legal-status Critical

Links

Abstract

PURPOSE: To transmit switching timing information to a user without disturbing the viewing of main video by deciding the presence/absence of subtitles from the feature values of subtitles by the divided areas of image data, performing the reduction/move processing of extracted subtitles and compositing them with the main video.
CONSTITUTION: A main video input part 100 converts an analog video signal inputted from a video reproducing device 7 to a digital image signal 5-6. A subordinate video input part 200 converts an analog video signal inputted from a television tuner 8 to a digital image signal 5-7. A subtitle area extracting part 300 prepares a subtitle area signal 5-20 by detecting a subtitle area while using a luminance counting means by areas and an edge counting means by areas. A video control part 400 extracts the picture elements of subtitles from the subordinate video signal 5-7 and the subtitle area signal 5-20, the picture elements are thinned and reduced according to the designation of reduction, and the position of subtitles is moved according to the designation of place. This processed subtitle signal is composited with the main video signal 5-6 and outputted. Further, the format of subtitles is detected from the subtitle area signal 5-20 and when it is equal with the designation of user, the main video and the subordinate video are switched.
COPYRIGHT: (C)1996,JPO

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【産業上の利用分野】本発明は、裏番組の副映像を自動監視することによって、視聴者が主映像の視聴中であっても、副映像の重要シーンの見落とし防止を支援する映像出力装置に関する。 The present invention relates, by automatically monitoring the sub-picture of the off-screen program, the viewer even during viewing of the main video, the video output device to support the important scene oversight prevention of the sub-picture on.

【0002】 [0002]

【従来の技術】近年、映像チャンネルの増加に伴い、映像受信システム側で複数の映像を同一画面上に出力する映像出力装置が増えつつある。 In recent years, with the increase of the video channel, an increasing number of image output device for outputting a plurality of video on the same screen at the video receiving system side.

【0003】これらの映像出力装置における従来の映像同時出力方式は、大きく次の三つに分類できる。 [0003] The conventional video simultaneous output method in these video output device, can be broadly classified into the following three. 第一の方式として挙げられるのは、主映像中に副映像を縮小して表示する、いわゆる、ピクチャーインピクチャー方式である。 As it is mentioned a first method, and displays by reducing the sub-picture in the main picture, the so-called, a picture-in-picture mode. 第二の方式は、映像の表示領域(画面)を二つに分割し、主映像と副映像を並べて表示する方式である。 The second method is to divide the display area of ​​the image (the screen) into two, a method of displaying side by side the main picture and sub-picture. 第三の方式としてあげられるのは、副映像のかわりに文字放送をスーパーインポーズで合成表示する方式である。 The cited as the third method is a method of synthesizing and displaying the character broadcast in superimposed in place of the sub-picture.

【0004】こうした装置のユーザの視聴形態は、重点的に見ようとする映像チャンネルを主映像とし、気になるときだけ眺めたい映像チャンネルを副映像とする。 [0004] The viewing of a user of such a device, the video channels to be intensively see the main video, the video channel you want to view only when it comes to care and sub-picture. 例えば、ドラマを主映像とし、スポーツ番組を副映像とする視聴形態が挙げられる。 For example, the drama and the main video, include the viewing mode of the sports program and the sub-picture. この場合、副映像であるスポーツ番組にユーザの注意が注がれるのは、点数などのゲームの状況確認や、得点シーン,好みの選手が登場するシーン等である。 In this case, the user's attention is poured on the sports program is a sub-picture, the game situation confirmation or of such points, scoring scene, a scene such as a player's preference is to appear.

【0005】しかし、従来の映像出力方式では、ユーザの視聴形態を考えると様々な問題がある。 However, in the conventional image output method, there are various problems given the view of a user.

【0006】まず、第一の方式では、副映像の表示領域が小さい為、内容が確認しづらいという問題が生じる。 [0006] First, in the first method, because the display area of ​​the sub-picture is small, a problem that the contents are difficult to confirm results.
このため、せっかく副映像を同時に出力しても、肝心のシーンを見落としやすく目的とする効果が充分に発揮できない。 For this reason, even if the output awaited the sub-picture at the same time, the effect of the easy to overlook the bottom line of the scene purpose can not be sufficiently exhibited.

【0007】第二の方式では、表示領域を二分割するため主映像,副映像とも映像が歪んでしまうという問題がある。 [0007] In the second method, the main picture for halving the display area, there is a problem that a distorted image with the sub-picture. また、主映像を注視している場合に、副映像のシーンの切り換わりや動きのため目移りして見にくくなるという欠点がある。 Also, if you are watching the main video, there is a drawback that ugly formed by distracted for switched and movement of the sub-picture scene.

【0008】第三の方式では、文字情報を副映像の代替としており、副映像を直接見るものではない。 [0008] In the third method, and the character information with the alternative of sub-picture, it does not see the sub-picture directly. また、この方式では、文字放送の行われている番組に限定されてしまうという問題がある。 Further, in this method, there is a problem that is limited to a program that is subjected to the character broadcast.

【0009】 [0009]

【発明が解決しようとする課題】本発明が解決しようとする課題は、主映像を小さくしたり、歪ませたり、あるいは、注意をそらされる事なく主映像が視聴でき、かつ、裏番組の重要シーンの見落しが防止できる映像出力装置を提供することにある。 Problem to be solved by the present invention is to challenge you try to provide a process, or to reduce the main image, or or distorted, can watch the main video without being distracting, and the importance of counterprogram It is to provide a video output device overlooked scene can be prevented.

【0010】 [0010]

【課題を解決するための手段】まず、字幕を抽出する方法は、ディジタル画像データから区分領域別に字幕の特徴量を抽出する手段と、該区分領域別の特徴量から領域別の字幕の有無を判定する手段を提供する。 First SUMMARY OF THE INVENTION The method for extracting the caption includes means for extracting a feature value of the caption by division area from the digital image data, the presence or absence of regional subtitles from another feature quantity said section area to provide a means for determining.

【0011】次に抽出した字幕を主映像に合成する方法として、字幕領域内の字幕のみを抽出する字幕画素抽出手段と、字幕を縮小する字幕縮小手段と字幕を移動する字幕移動手段の二つの合成字幕の加工手段と、字幕を視聴中の主映像と合成する映像合成手段を提供する。 [0011] then extracted subtitles as a method of synthesizing the main image, and subtitle pixel extracting means for extracting only the subtitle subtitle region, the two subtitle moving means for moving the caption reduction means and subtitle to reduce subtitles and processing means for combining the subtitle, provides a video synthesis means for synthesizing the main image in view subtitles.

【0012】また、主映像と副映像とを切り換える方法として、字幕領域から字幕の書式を検出する書式検出手段と、出力映像を切り換える映像切り換え手段を提供する。 Further, as a method for switching between a main picture and sub-picture, to provide a format detecting means for detecting a format of the caption from the caption area, the image switching means for switching the output image.

【0013】 [0013]

【作用】まず、映像入力手段により入力された副映像は、特徴抽出部により、区分領域別に特徴量が抽出され、字幕領域判定手段により、領域別の字幕の有無が判定される。 [Action] First, the sub-image input by the image input means, by the feature extraction unit, a feature amount is extracted by division area, the caption area determining means, the presence or absence of regional subtitle is determined. これによって、字幕の文字数が画面全体で少ない場合でも、部分的な抽出が可能である。 Thus, even if the number of characters of the subtitle is small over the entire screen, it is possible to partial extraction.

【0014】次に字幕画素抽出手段により、字幕有領域から背景を取り除いて字幕のみを抽出する。 [0014] By following caption pixel extracting means extracts only subtitles remove the background from the caption chromatic region. 抽出された字幕は、字幕縮小手段及び字幕移動手段により加工され、画面の任意の場所に任意の大きさで表示される。 The extracted caption is processed by the subtitle reduction unit and subtitle moving means is displayed with an arbitrary size at an arbitrary location on the screen. 最後に、映像合成手段により、主映像と字幕を合成しディスプレイに表示する。 Finally, the video synthesis unit, and displays the synthesized display the main video and subtitle. このため、主映像の視聴を損なうことなく他映像の情報を入手することができ、ユーザに主映像から副映像に切り換えるかどうかのきっかけを知らせることができる。 Therefore, it is possible to obtain other image information without compromising the viewing of the main picture, it can be informed of the trigger if switched from the main image to the user in the sub-picture.

【0015】合成表示のかわりに映像切り換えを行う場合、まず書式検出手段により、抽出した字幕領域から書式が検出される。 [0015] When performing an image switching in place of the composite display, the first format detection means, the format is detected from the extracted subtitle region. 次に映像切り換え手段により、検出した書式とユーザが指定した書式が一致するか判定し、一致した場合、主映像と副映像が切り換えられる。 Then the video switching means, it is determined whether the detected format and user-specified format matches, if there is a match, the main video and sub video are switched. これにより、表示された字幕に注視することなく映像が切り換わるため、重要シーンを見逃すことがない。 As a result, since the switched video without having to watch the displayed subtitle, you never miss the important scene.

【0016】 [0016]

【実施例】図1は本発明の全体の処理のブロック図である。 DETAILED DESCRIPTION FIG. 1 is a block diagram of the overall process of the present invention. 主映像入力部100は映像再生装置7から送られた映像信号を入力とする。 The main image input unit 100 receives the image signal transmitted from the video reproduction device 7. 映像信号はアナログデータであり、これをディジタル化して主画像データ5−6を出力する。 Video signal is an analog data, which digitizes and outputs the main image data 5-6. 同じく、副映像入力部200はテレビチューナ8 Similarly, the sub-picture input unit 200 TV tuner 8
から送られた映像信号を入力する。 Inputting a video signal sent from. 映像信号はアナログデータであり、これをディジタル化して副画像データ5 Video signal is an analog data, which was digitized sub-image data 5
−7を出力する。 And it outputs a -7.

【0017】字幕領域抽出部300は副画像データ5− The caption area extraction unit 300 sub-image data 5-
7を入力とする。 7 and input. そして、副画像データ5−7を処理して字幕領域データ5−20を出力する。 Then, it outputs the caption region data 5-20 by processing the sub-image data 5-7. 字幕領域データ5−20は区分領域別に字幕有無を抽出したデータである。 Subtitle region data 5-20 is data extracted subtitle whether by partitioned regions. 尚、字幕領域抽出部300の詳細は図6で説明する。 The details of the caption area extraction unit 300 will be described with reference to FIG.

【0018】映像制御部400は主画像データ5−6と副画像データ5−7と字幕領域データ20の三つのデータを入力とする。 [0018] an input three data of the video controller 400 and the main image data 5-6 sub image data 5-7 and subtitle region data 20. そして、これらのデータから画像の合成、または切り換える処理を行う。 Then, the synthetic, or switching process of the image from these data. 映像制御部400で出力した表示画像データ5−29はディスプレイ1に出力される。 Display image data 5-29 outputted by the video controller 400 is output to the display 1.

【0019】図2は映像制御部400の詳細を示した処理ブロック図である。 [0019] FIG. 2 is a processing block diagram showing the details of the video control unit 400. 映像制御部400の処理は大きく映像合成処理400−aと映像切り換え処理400−b Processing large video synthesis process of video control unit 400 400-a and the video switching process 400-b
の二つに分けることができる。 It can be divided in to two. コントロール部410はユーザの指定に従い、映像合成処理400−aと映像切り換え処理400−bのどちらの処理に制御を移すかをスイッチする。 Control unit 410 as specified by the user, to switch whether transfer control to either of the processing of the image composition processing 400-a and the video switching process 400-b.

【0020】まず、映像合成処理400−aについて説明する。 [0020] First, described video synthesis processing 400-a. 字幕画素抽出部420は字幕領域データ5−2 Subtitles pixel extracting section 420 caption area data 5-2
0と副画像データ5−7を入力する。 0 and inputs the sub-picture data 5-7. 字幕領域データ5 Subtitle area data 5
−20で字幕有りと判定された領域中から字幕画素のみを抽出する。 -20 to extract only the caption pixel from the region where it is determined that there subtitles. これにより、背景を取り除いた字幕画素データ5−21が出力される。 Accordingly, the caption pixel data 5-21 removing the background is output. 尚、字幕画素抽出部420 Note that the caption pixel extracting section 420
の処理の詳細は図15で述べる。 Details of processing described in FIG. 15. 字幕縮小部430と字幕移動部440は字幕画素データ5−21が合成する主映像の視聴を妨げるのを防ぐ。 Subtitle reduction unit 430 and the subtitle moving portion 440 prevents the interfering with viewing of the main video subtitle pixel data 5-21 is synthesized. 字幕縮小部430は字幕画素データ5−21を入力する。 Subtitle reduction unit 430 inputs the subtitle pixel data 5-21. その時、字幕画素データ5−21の字幕が大きく、縮小指定がある場合のみ字幕画素を間引く。 At that time, the subtitle subtitle pixel data 5-21 is large, it thinned subtitles pixel only when there is a reduced specification. このように字幕を縮小したデータを字幕画素データ5−21に入れ直す。 Cycling Thus the data obtained by reducing the caption to the caption pixel data 5-21. 字幕移動部440もまた字幕画素データ5−21を入力する。 Subtitle mobile unit 440 also inputs the subtitle pixel data 5-21. 字幕画素データ5−21の字幕が主映像の視聴を妨げ、移動指定がある場合のみ字幕画素を任意の位置に移す。 Interfere with the viewing of the subtitle is main image subtitle pixel data 5-21, and moves the subtitle pixels only if there is a movement specified at any position. これにより、 As a result,
再度データを字幕画素データ5−21に入れ直す。 Again cycle the data to the caption pixel data 5-21.

【0021】映像合成部450は主画像データ5−6と字幕画素データ5−21を入力する。 The video combining unit 450 inputs the main image data 5-6 and subtitle pixel data 5-21. そして主画像データ5−6と字幕画素データ5−21を合成し、表示画像データ5−29として出力する。 And synthesizing the main image data 5-6 and subtitle pixel data 5-21, and outputs as the display image data 5-29. これにより副映像にどのような字幕表示がなされても、主映像の視聴を妨げることなく字幕を付加することができ、ユーザに主映像から副映像に切り換えるかどうかのきっかけを知らせることができる。 Accordingly Whatever subtitle display is made in the sub-picture, can be added subtitles without interfering with the viewing of the main picture, it can be informed of the trigger if switched from the main image to the user in the sub-picture.

【0022】次に映像切り換え処理400−bの処理について説明する。 [0022] Next, a description will be given of a process of the video switching processing 400-b. まず、書式検出部460は字幕領域データ5−20を入力する。 First, the format detecting unit 460 inputs the subtitle region data 5-20. 字幕領域データ5−20から書式データ5−22を検出し出力とする。 As the detection and outputs the formatted data 5-22 from the caption area data 5-20. 尚、書式検出部460の処理の詳細は図16,図17で述べる。 The details of the processing format detecting unit 460 FIG. 16, described in FIG. 17. 映像切り換え部450は、主画像データ5−6と書式データ5−22と副画像データ5−7を入力する。 Video switching unit 450 inputs the main image data 5-6 and format data 5-22 sub image data 5-7. 書式データ5−22とユーザが指定していた書式と同じかを判定する。 And determines the same as the format format data 5-22 and the user has specified. 同じ書式であると判定した場合、副画像データ5− If it is determined that the same format, the sub image data 5-
21を表示画像データ5−29を代入して出力する。 21 by substituting the display image data 5-29 and outputs. これによりユーザは字幕を注視しなくても重要なシーンを見逃すこともない。 Thus, the user can not also miss an important scene without having to watch the subtitle.

【0023】図3は図2で説明した映像合成処理400 [0023] Figure 3 is the image combining process described in FIG. 2 400
−aでの画像データのフローチャートである。 It is a flowchart of the image data in -a. 字幕領域抽出部300は副画像データ5−7を入力する。 Caption area extraction unit 300 inputs the sub-picture data 5-7. 字幕領域抽出部300は字幕を有する領域を抽出した字幕領域データ5−20を出力する。 Caption area extraction unit 300 outputs the subtitle region data 5-20 that extracts a region having a caption. 字幕領域データ5−20は字幕を含む領域は1、それ以外は0が代入されている。 Region subtitle region data 5-20 containing subtitles 1, otherwise 0 is substituted.
字幕画素抽出部420は字幕領域データ5−20と副画像データ5−7を入力する。 Subtitles pixel extracting unit 420 inputs a caption region data 5-20 of the sub image data 5-7. 字幕画素抽出部420は字幕領域データ5−20の字幕有り領域中から字幕画素を抽出する処理を行う。 Subtitles pixel extraction unit 420 performs a process of extracting the subtitle pixels from the region there subtitle subtitle region data 5-20. 出力された字幕画素データ5−2 Subtitle pixel data 5-2 which is output
1の字幕画素には副画像データ5−7の画素値が入っている。 Pixel values ​​of the sub image data 5-7 is in the 1 subtitle pixels. それ以外の画素は黒の色値をが入っている。 Other pixels has entered the black color value. 字幕縮小部430は字幕画素データ5−21の字幕が大きく、縮小指定のある場合のみ字幕画素を間引く。 Subtitle reduction unit 430 has a large caption subtitles pixel data 5-21 decimates subtitles pixel only when there is reduced specified. このように字幕を縮小したデータを字幕画素データ5−21に入れ直す。 Cycling Thus the data obtained by reducing the caption to the caption pixel data 5-21. 字幕移動部440は字幕画素データ5−21 Subtitles moving unit 440 caption pixel data 5-21
を入力する。 To enter. 字幕画素データ5−21の字幕が主映像の視聴を妨げ、移動指定のある場合のみ字幕画素を任意の位置に移し、再度字幕画素データ5−21に入れ直す。 Interfere with subtitles watch the main picture of the caption pixel data 5-21, the subtitle pixels only when there is movement specified transferred to any position, cycling the caption pixel data 5-21 again.

【0024】映像合成部450は主画像データ5−6と字幕画素データ5−21を入力する。 The video combining unit 450 inputs the main image data 5-6 and subtitle pixel data 5-21. 主画像データ5− The main image data 5-
6と字幕画素データ5−21を合成し表示画像データ5 It synthesizes 6 and subtitle pixel data 5-21 display image data 5
−29として出力する。 And outputs it as -29. 出力された表示画像データ5− The output display image data 5-
29はディスプレイ1に表示される。 29 is displayed on the display 1. これにより副映像にどのような字幕表示されても主映像の視聴を妨げることなく、字幕を付加することができ、ユーザに主映像から副映像に切り換えるかどうかのきっかけを知らせることができる。 Thus without interfering with the viewing of any subtitles displayed even if the main image into the sub-picture, the subtitle can be added, can be informed of the trigger if switched from the main image to the user in the sub-picture.

【0025】図4は図2で説明した映像合成処理400 [0025] Figure 4 is a video synthesis processing described in FIG. 2 400
−aで字幕合成したディスプレイ表示例を示す図である。 It is a diagram illustrating a display example of display and subtitle synthesized -a.

【0026】5−29−aの合成例は字幕合成処理40 [0026] Synthesis Example of 5-29-a subtitle synthetic processing 40
0−aで字幕画素データ5−21に字幕加工処理を行っていない。 In 0-a it does not go subtitles processed into caption pixel data 5-21. これにより、入力時の副画像データ5−7で表示されていた字幕の位置で合成表示する。 Thus, synthesizing displayed at the position of the subtitles are displayed in the sub image data 5-7 at the time of input. 5−29− 5-29-
bは初めに字幕縮小部420で字幕画素データ5−21 b subtitle pixel data 5-21 subtitle reduction unit 420 initially
に字幕の縮小処理を行う。 It performs reduction processing of subtitles. また、更に字幕移動部430で字幕の移動処理を行い合成表示した例である。 Also, a further example of combined display performs movement processing subtitle subtitle mobile unit 430. 5−29 5-29
−cは字幕有領域の字幕画素データ5−21を液晶パネル1−1に表示した例である。 -c is an example of displaying subtitles pixel data 5-21 subtitle chromatic region on the liquid crystal panel 1-1.

【0027】図5は図2で説明した映像切り換え処理4 [0027] Figure 5 is a video switching process 4 described in FIG. 2
00−bでの画像データのフローチャートである。 It is a flowchart of the image data in the 00-b. 字幕領域抽出部300は副画像データ5−7を入力する。 Caption area extraction unit 300 inputs the sub-picture data 5-7. 字幕領域抽出部300は字幕を有する領域を抽出した字幕領域データ5−20を出力する。 Caption area extraction unit 300 outputs the subtitle region data 5-20 that extracts a region having a caption. 字幕領域データ5−2 Subtitle area data 5-2
0は字幕を含む領域は1、それ以外は0が代入されている。 0 region containing the subtitles 1, otherwise 0 is substituted. 書式検出部460は字幕領域データ5−20を入力する。 Format detecting unit 460 inputs the subtitle region data 5-20. 書式検出部460では字幕領域の配置状態からの書式データ5−22を検出し出力する。 It detects and outputs the formatted data 5-22 from arrangement of the subtitle area in Format detector 460. 映像切り換え部4 The video switching unit 4
70は、主画像データ5−6と書式データ5−22と副画像データ5−7を入力する。 70 inputs the main image data 5-6 and format data 5-22 sub image data 5-7. 書式データ5−22とユーザが指定していた書式が同じかを判定する。 Format format data 5-22 and the user has specified it is determined whether or not the same. 同じ書式であると判定した場合、副画像データ5−21を表示画像データ5−29に代入して出力する。 If it is determined that the same format, and outputs the substituted sub-image data 5-21 to the display image data 5-29. 出力した表示画像データ5−29をディスプレイ1に表示する。 Displaying the display image data 5-29 which is output to the display 1.

【0028】図6は字幕領域抽出部300の処理ブロック図である。 [0028] FIG. 6 is a process block diagram of a subtitle area extraction unit 300. 図において、5−7は副映像入力部200 In the figure, 5-7 a sub-picture input unit 200
により変換されたディジタル画像データである。 A transformed digital image data by. 特徴抽出部350は入力された画像の中から字幕の特徴を抽出し、それを計数値として出力する。 Feature extraction unit 350 extracts features of the subtitle from the input image, and outputs it as a count value. 計数値には、領域別輝度計数部600と領域別エッジ計数部700で計数された値の二種類がある。 The count value, there are two types of counted values ​​in each region luminance counting unit 600 and the regional edge counting unit 700. また本図で説明する処理は、画面を区分領域に分割し、領域別に処理を行っている。 The process described in this figure, the screen is divided into partitioned regions, and performs processing for each region.

【0029】領域別輝度計数部600は各領域内の高輝度の画素を抽出してその個数を出力する。 The regional brightness counting unit 600 outputs the number to extract pixels of the high intensity within each region. 領域別エッジ計数部700は、各領域内の隣接画素との色差の大きい画素(以下は強エッジ)を抽出してその個数を出力する。 Regional edge counting unit 700 is greater pixel of color difference between adjacent pixels in each area (hereinafter the strength edge) and outputs the number to extract. 字幕領域判定部800は領域別輝度計数部600と領域別エッジ計数部700により得られた計数値を入力とする。 Subtitle region determining unit 800 receives the count value obtained by the region-specific brightness counting unit 600 and the regional edge counting unit 700. 両方の計数値が一定の条件を満足するとき、領域内に字幕が有ると判定する。 When both count satisfies certain conditions, it is determined that the subtitle is within the region. 字幕領域判定部800で出力した字幕領域データ5−20は領域別の字幕有無の1ビットデータである。 Subtitle region data 5-20 outputted subtitles area determination unit 800 is a 1-bit data of each region subtitle existence. 字幕を含む領域にはデータに1 1 to the data in the region including the subtitle
を代入し、それ以外には0を代入する。 By substituting, for others substitutes 0.

【0030】本実施例の字幕判定は、字幕の特徴として高輝度の画素と、強画素の両方をチェックしている。 The caption judging of this embodiment is checked and a pixel of high brightness, both strong pixel as a feature of the subtitle. このため、ライト照明の様なエッジがなくかつ高輝度の領域。 Therefore, there is no such edge of the write illumination and high luminance region of. 将棋盤のようにエッジは有るが輝度の低い領域は抽出しないため、誤認識を減らす効果がある。 Since the edge as shogi board is there is not extracted region with low luminance, the effect to reduce erroneous recognition. さらに、字幕の特徴を区分領域毎に判定するため、字幕文字数が画面全体で少ない場合でも、部分的に抽出できる。 Furthermore, for determining a characteristic of a subtitle for each segmented region, even when the subtitle characters are small over the entire screen can be partially extracted.

【0031】図7はプログラムとデータの説明図である。 [0031] FIG. 7 is an explanatory diagram of the program and data. 図において、プログラム5−1は、図1の字幕の抽出合成処理のコンピュータプログラムである。 In the figure, the program 5-1 is a computer program extracting synthesizing processing subtitle FIG. また、5 In addition, 5
−2から5−29はプログラム5−1が参照するデータであって、その中で、5−2から5−5は抽出のための予め設定しておくべきパラメータ、5−6から5−29 -2 to 5-29 is a data program 5-1 is referenced, in which the 5-5 from 5-2 parameters should be set in advance for the extraction, from 5-6 5-29
は一回あたりの処理に利用するワーク用のデータである。 Is the data for the work to be used for per one-time processing.

【0032】以下、データを説明する。 [0032] The following describes the data. まず闘値5− First 闘値 5
2,5−3は画像中から字幕の特徴量を抽出する際に使用する闘値、闘値5−4,5−5は特徴量から字幕を判定するための闘値であり、予め設定しておく。 2,5-3 is 闘値, 闘値 5-4 and 5-5 for use in extracting the feature quantity of the subtitle from the image is 闘値 for determining the subtitle from the feature, preset to keep.

【0033】主画像データ5−6は主映像変換装置10 The main image data 5-6 is the main video conversion device 10
によって変換した最新フレームのディジタル画像データであり、同じく副画像データ5−7は副映像変換装置1 A digital image data of the latest frame converted by, likewise the sub image data 5-7 sub-picture conversion apparatus 1
0によって変換した最新フレームのディジタル画像データであり、この画像データは処理のため赤画像データ5 A digital image data of the latest frame converted by 0, the red image data 5 for the image data processing
−7−1,緑画像データ5−7−2,青画像データ5− -7-1, green image data 5-7-2, blue image data 5-
7−3の三種類の色成分データに分ける。 7-3 divided into three types of color component data.

【0034】次に特徴抽出部350で作成する各種データを説明する。 [0034] Next will be described various data created by the feature extraction unit 350. 輝度データ5−8は、画像データの中で高輝度の画素を抽出した配列データである。 Luminance data 5-8 is array data obtained by extracting the pixels of the high brightness in the image data. 横エッジデータ5−9は画像の横方向の色差が大きい画素を抽出した配列データ,縦エッジデータ5−10は画像の縦方向の色差が大きい画素を抽出した配列データである。 Horizontal edge data 5-9 is array data lateral extracted sequence data pixels color difference is large, the vertical edge data 5-10 is obtained by extracting a pixel chrominance vertical large image of the image. 前フレーム輝度データ5−11,前フレーム横エッジデータ5−12,前フレーム縦エッジデータ5−13は、一時的に現在処理中のフレームの1フレーム前の輝度データ5−9,横エッジデータ5−10,縦エッジデータ5− Previous frame luminance data 5-11, the previous frame horizontal edge data 5-12, the preceding frame vertical edge data 5-13 is temporarily in one frame before the frame currently being processed luminance data 5-9, the horizontal edge data 5 -10, vertical edge data 5-
11を格納した配列データである。 11 is a sequence data storing.

【0035】輝度照合データ5−14は、輝度データ5 The brightness matching data 5-14, brightness data 5
−8と前フレーム輝度データ5−11が共に高輝度の画素を格納した配列データである。 -8 and the previous frame luminance data 5-11 is array data which stores the pixels of both high brightness. また、横エッジ照合データ5−15は、横エッジデータ5−9と前フレーム横エッジデータ5−12が共に強エッジの画素を格納した配列データである。 The horizontal edge verification data 5-15 is array data which horizontal edge data 5-9 and the previous frame horizontal edge data 5-12 is stored pixels of both strong edge. 同様に縦エッジ照合データ5−16 Similarly longitudinal edges matching data 5-16
は縦エッジデータ5−10と前フレーム縦エッジデータ5−13が共に強エッジの画素を格納した配列データである。 Is an array data vertical edge data 5-10 and the preceding frame vertical edge data 5-13 is stored pixels of both strong edge.

【0036】輝度領域データ5−17は、区分領域別に輝度照合データ5−14の高輝度の画素数を計数した結果を格納した配列データである。 The luminance region data 5-17 is array data which stores the result of counting the number of pixels high luminance of matching data 5-14 by partitioned regions. 横エッジ領域データ5 Horizontal edge region data 5
−18は区分領域別に横エッジ照合データ5−15の強エッジの画素数を計数した結果を格納した配列データである。 -18 is an array data which stores the result of counting the number of pixels strong edge of the horizontal edge matching data 5-15 by partitioned regions. 同様に縦エッジ領域データ5−19は区分領域別に縦エッジ照合データ5−16の強エッジの画素数を計数した結果を格納した配列データである。 Vertical edge region data 5-19 similarly is array data which stores the result of counting the number of pixels intensity edges in the vertical edge matching data 5-16 by partitioned regions. 尚、区分領域の個々のサイズは、字幕の文字が一つ入る程度のサイズが望ましい。 Incidentally, the individual size of the partition area is the size of the extent to which the character of subtitles enters one desirable. 本実施例では、画面を横に16分割、縦に10分割している。 In this embodiment, 16 the screen is divided into horizontal, and 10 longitudinally divided.

【0037】次に、字幕領域判定部400で作成するデータを説明する。 Next, explaining the data to create subtitles area determination unit 400. 字幕領域データ5−20は区分領域別に字幕の有無の判定結果を格納した配列データである。 Subtitle region data 5-20 is array data which stores the judgment result of the presence or absence of the caption by partitioned regions.
また、字幕画素抽出部900で作成する字幕画素データ5−21は字幕のみを抽出した画像データである。 Also, the caption pixel data 5-21 to create subtitles pixel extracting section 900 is image data obtained by extracting only the subtitle.

【0038】書式データ5−22は抽出した代表画像の字幕の位置および方向データである。 The format data 5-22 is the position and orientation data of the subtitle of the extracted representative images. 行カウントデータ5−23は行単位に字幕有りと判定された領域の個数を格納した配列データである。 An array data which stores the number of subtitles there the region determined as the row count data 5-23 units of rows. 最大行カウントデータ5− The maximum row count data 5
24は行カウントデータ5−23の領域の個数が最も多い行の領域の個数を格納したデータである。 The number of regions of the 24 row count data 5-23 is data which stores the number of the most common line area. 最大行位置データ5−25は最大行の行番号を格納したデータである。 Maximum row position data 5-25 is data that contains the row number of the maximum row. 同様に列カウントデータ5−26は列単位に字幕有りと判定された領域の個数を格納した配列データである。 Similarly column count data 5-26 is array data which stores the number of areas where it is determined that there caption column by column. 最大列カウントデータ5−27は列カウントデータ5−26の値の最大値を格納したデータである。 Maximum column count data 5-27 is data that stores the maximum value of the value of the column count data 5-26. 最大列位置データ5−28は最大値を有する列の列番号を格納したデータである。 Maximum column position data 5-28 is data which stores column number of the column having the maximum value.

【0039】表示画像データ5−29は副画像データ5 [0039] The display image data 5-29 sub-image data 5
−7に映像制御部400で映像合成、又は映像切り換えの処理を行い、ディスプレイに表示するデータであり、 -7 image synthesized by the video control unit 400, or performs the processing of the video switching is data to be displayed on the display,
副画像データに字幕のない場合は、主画像データがそのまま表示画像データに移される。 If no subtitle in the sub-image data is the main image data is directly transferred to the display image data.

【0040】以下、図7を参照しながら、図6の領域別輝度計数部600,領域別エッジ計数部700,字幕領域判定部800,字幕画素抽出部900の処理手順をフローチャートを用いて詳細に説明する。 [0040] Hereinafter, with reference to FIG. 7, the regional luminance counting unit 600 of FIG. 6, each area edge counting unit 700, the caption area determination unit 800, the processing of the caption pixel extracting section 900 with reference to a flowchart in detail explain.

【0041】図8,図9,図10は領域別輝度計数部6 FIG. 8, 9 and 10 regional luminance counting unit 6
00の処理手順を示し、図11,図12,図13は領域別エッジ計数部700の処理手順を示し、図14は字幕領域判定部800の処理手順を示すフローチャートである。 Indicates 00 processing steps 11, 12 and 13 shows the processing procedure of the regional edge counting unit 700, FIG. 14 is a flowchart showing the processing of the caption area determination unit 800.

【0042】まず、領域別輝度計数部600の処理手順を図8,図9,図10を参照して説明する。 [0042] First, the processing procedure of the regional luminance counting unit 600 8, 9, will be described with reference to FIG. 10. 処理601 Processing 601
から処理609(図8)までは、入力画像中の高輝度の画素を抽出する処理である。 From to process 609 (FIG. 8) is a process of extracting a high-brightness pixels in the input image. 601では、処理602から処理609で使用する、変数X,Yを0で初期化する。 In 601, for use in the process 609 from the process 602, the variable X, the Y is initialized to 0. 処理602は入力した副画像データ5−7の赤画像データ5−7−1,緑画像データ5−7−2,青画像データ5−7−3の各色成分が闘値1以上の輝度であるかを調べ、すべての色成分が闘値1以上の輝度であれば処理603へ移り、なければ処理604へ移る。 Process 602 red image data 5-7-1 of the sub-picture data 5-7 input, green image data 5-7-2, each color component of blue image data 5-7-3 is in 闘値 1 or more brightness or the checked, all color components is shifted to the processing 603 if 闘値 1 or more brightness, moves to there be processed 604. 処理60 Processing 60
3では処理602で輝度を調べた画像上の位置と等しい位置の輝度データ5−8の配列に1を書き込み、処理6 3 In process 602 writes 1 in the sequence of luminance data 5-8 position equal to the position on the image were examined luminance processing 6
04では処理602で輝度を調べた画像上の位置と等しい位置の輝度データ5−8の配列に0を書き込む。 04 In the process 602 writes 0 in the array of luminance data 5-8 position equal to the position on the image were examined brightness. 処理605から処理609は上述の処理を全ての画素に対して行うためのアドレス更新処理である。 Processing from the processing 605 609 is the address update processing to perform the above processing for all the pixels. すべての処理が完了すると処理610に移る。 All the process proceeds to the process 610 completes.

【0043】処理610から処理618(図9)までは、複数のフレームに渡り、高輝度が継続している画素を抽出する処理である。 [0043] From processing 610 to the processing 618 (FIG. 9), over a plurality of frames, a process of extracting a pixel that high luminance is continued. 処理610では、処理611から処理618で使用する変数X,Yを0で初期化する。 In process 610, the variable X to be used in the process 618 from process 611, it is initialized to 0 and Y.
処理611は輝度データ5−8と前フレーム輝度データ5−11の値が共に1であるかどうかを調べ、共に1であるならば処理612へ、そうでなければ処理613へ移る。 Processing 611 examines whether the value of the luminance data 5-8 previous frame luminance data 5-11 are both 1, the process 612 if are both 1, and proceeds to the processing 613 if not. 処理612では処理611で調べた輝度データ上の位置と等しい位置の輝度照合データ5−14の配列に1を書き込み、処理613では処理611で調べた輝度データ上の位置と等しい位置の輝度照合データ5−14 Writing 1 to the array of processing 612 the process 611 luminance matching data 5-14 positions equal position on the luminance data examined, the luminance matching data position equal to the position of the luminance data was examined in the process 613 in process 611 5-14
の配列に0を書き込む。 Array to write a 0. 処理614から処理618は上述の処理を全ての画素に対して行うためのアドレス更新処理である。 Processing from the processing 614 618 is the address update processing to perform the above processing for all the pixels. すべての処理が完了すると処理619に移る。 All of the processing moves to the processing 619 to complete.

【0044】処理619から処理625(図9)までは、前フレーム輝度データ5−11の更新処理である。 [0044] From processing 619 to the processing 625 (FIG. 9), an update processing of the previous frame luminance data 5-11.
処理619では、処理620から処理625で使用する変数X,Yを0で初期化する。 In process 619, the variable X to be used in the process 625 from process 620, it is initialized to 0 and Y. 処理620では、前フレーム輝度データに輝度データを代入する。 In step 620, it assigns the luminance data in the previous frame luminance data. 処理621から処理625は上述の処理を全ての画素に対して行うためのアドレス更新処理である。 Processing from the processing 621 625 is the address update processing to perform the above processing for all the pixels. すべての処理が完了すると処理626に移る。 All the process proceeds to the process 626 completes.

【0045】処理626から処理639(図10)までは、区分領域毎に高輝度の画素数を計数する処理である。 [0045] up to the processing from the processing 626 639 (FIG. 10) is a process of counting the number of pixels high luminance for each division area. 処理626では処理627から処理239で使用する変数i,j,Xb,Ybを0で初期化する。 Variable i for use in processing 239 from the process 626 in process 627, j, Xb, and Yb is initialized to 0. 処理62 Processing 62
7は輝度照合データ5−14が1かどうかを調べ、1であれば処理628へ移り、そうでなければ処理629へ移る。 7 checks whether the one luminance matching data 5-14, if 1 proceeds to the processing 628, and proceeds to the processing 629 if not. 処理628では処理627で調べた輝度照合データの位置が属する区分領域に該当する、輝度領域データ5−17の配列に1を加える。 Position of luminance matching data checked in process 628 the process 627 corresponds to belong segmented region, 1 is added to the sequence of the brightness region data 5-17. 処理629から処理63 Processing from processing 629 63
9は上述の処理を全ての画素に対して行うためのアドレス更新処理である。 9 is an address update processing to perform the above processing for all the pixels. すべての処理が完了すると領域別の輝度計数結果が輝度領域データ5−17に格納される。 All the operations are the regional luminance counting result completed is stored in the luminance region data 5-17.

【0046】次に、領域別エッジ計数部700の処理手順を図11,図12,図13を参照して説明する。 Next, a procedure of the regional edge counting unit 700 11, 12, will be described with reference to FIG. 13. 処理701から処理712(図11)までは、縦および横の強エッジの画素を抽出する処理である。 From the processing 701 to the processing 712 (FIG. 11) is a process of extracting a pixel in the vertical and horizontal strength edge. 処理701では、処理702から処理712で使用する変数X,Yを0で初期化する。 In process 701, the variable X to be used in the process 712 from process 702, it is initialized to 0 and Y. 処理702は入力した画像データの赤画像データ5−7−1,緑画像データ5−7−2,青画像データ5−7−3の各色成分が横方向に闘値2以上の色差があるかを調べ、すべての色データの色差が闘値2 If the processing 702 is the red image data 5-7-1 of the input image data, green image data 5-7-2, each color component of blue image data 5-7-3 is a color difference 闘値 2 or more in the transverse direction were examined, the color difference of all of the color data is 闘値 2
以上であれば処理703へ移り、そうでなければ処理7 Moves to the processing 703 if greater than or equal to, if not processing 7
04へ移る。 Moves to 04. 処理703では処理702で色差を調べた画像中の位置と等しい位置の横エッジデータの配列に1 1 In process 703 the process 702 to an array of horizontal edge data of the position and the equivalent position in the image were examined chrominance
を書き込み、処理704では処理702で色差を調べた画像中の位置と等しい位置の横エッジデータの配列に0 0 write, the sequence of the horizontal edge data position equal position in the image were examined chrominance processing 704 in step 702
を書き込む。 The writing. 処理705から処理707では、同様に、 In the process 705 processes 707, likewise,
縦エッジデータを抽出する。 The vertical edge data extracted. 処理708から処理712 Processing from the processing 708 712
は上述の処理を全ての画素に対して行うためのアドレス更新処理である。 Is the address update processing to perform the above processing for all the pixels. すべての処理が完了すると処理713 Processing with all of the processing is complete 713
に移る。 Move to.

【0047】処理713から処理324(図12)までは、複数のフレームに渡り、強エッジが継続している画素を抽出する処理である。 [0047] From processing 713 to the processing 324 (FIG. 12) is, over a plurality of frames, a process of extracting a pixel the intensity edge is continuing. 処理713では、処理714 In process 713, process 714
から処理724で使用する変数X,Yを0で初期化する。 Variables used in the process 724 from X, is initialized to 0 and Y. 処理714は横エッジデータ5−9と前フレーム横エッジデータ5−12の値が共に1であるかどうかを調べ、共に1であるならば処理715へ、そうでなければ処理716へ移る。 Process 714 the value of the horizontal edge data 5-9 previous frame horizontal edge data 5-12 is checked whether both 1, the process 715 if are both 1, and proceeds to the processing 716 if not. 処理715では処理714で調べた横エッジデータ上の位置と等しい位置の横エッジ照合データ5−15の配列に1を書き込み、処理716では処理714で調べた横エッジデータ上の位置と等しい位置の横エッジ照合データ5−15の配列に0を書き込む。 Position equal to the position on the horizontal edge data checked in process 715 the process 714 writes 1 in the sequence of horizontal edge matching data 5-15, a position equal to the position on the horizontal edge data checked in process 716 the process 714 writing a zero into an array of horizontal edge matching data 5-15.
同様に、縦エッジ照合データについて、処理717から処理719で計算する。 Similarly, the vertical edge verification data, calculated by the process 719 from process 717. 処理720から処理724は上述の処理を全ての画素に対して行うためのアドレス更新処理である。 The process 724 from process 720 the address update processing to perform the above processing for all the pixels. すべての処理が完了すると、処理725に移る。 When all of the processing is complete, the process moves to the processing 725.

【0048】処理725から処理731(図12)までは、前フレーム横エッジデータ5−12および前フレーム縦エッジデータ5−13の更新処理である。 [0048] From processing 725 to the processing 731 (FIG. 12), a pre-update processing frame horizontal edge data 5-12 and the preceding frame vertical edge data 5-13. 処理72 Processing 72
5では、処理726から処理731で使用する変数X, In 5, the variable used in the process 731 from process 726 X,
Yを0で初期化する。 The Y is initialized to 0. 処理726は前フレーム横エッジデータ5−15に横エッジデータ5−9を代入し、前フレーム縦エッジデータ5−13に縦エッジデータ5−1 Processing 726 assigns the horizontal edge data 5-9 previous frame horizontal edge data 5-15, the vertical edge data 5-1 into the previous frame vertical edge data 5-13
0を代入する。 0 is substituted. 処理727から処理731は上述の処理を全ての画素に対して行うためのアドレス更新処理である。 The process 731 from process 727 the address update processing to perform the above processing for all the pixels. すべての処理が完了すると処理732に移る。 All the process proceeds to the process 732 completes.

【0049】処理732から処理748(図13)までは、区分領域毎に縦及び横の強エッジの画素数を計数する処理である。 [0049] From processing 732 to the processing 748 (FIG. 13) is a process of counting the number of pixels in the vertical and horizontal strength edge for each segmented region. 処理732では処理733から処理74 Processing from the processing 732 in the processing 733 74
8で使用する変数i,j,Xb,Ybを0で初期化する。 Variable i used in 8, j, Xb, and Yb is initialized to 0. 処理733は横エッジ照合データ5−15が1かどうかを調べ、1であれば処理734へ移り、そうでなければ処理735へ移る。 Process 733 horizontal edge verification data 5-15 is checked whether 1, if 1 proceeds to the processing 734, and proceeds to the processing 735 if not. 処理734では処理733で調べた横エッジ照合データの位置が属する区分領域に該当する、横エッジ領域データ5−18の配列に1を加える。 Position of the horizontal edge matching data checked in process 734 the process 733 corresponds to belong segmented region, 1 is added to the sequence of the lateral edge region data 5-18. 同様に、処理735と処理736で縦エッジ領域データを計算する。 Similarly, to calculate the longitudinal edge area data processing 735 and processing 736. 処理737から処理748は上述の処理を全ての画素に対して行うためのアドレス更新処理である。 Processing from the processing 737 748 is the address update processing to perform the above processing for all the pixels. すべての処理が完了すると、領域別のエッジ計数結果が、横エッジ領域データ5−18と縦エッジ領域データ5−19に格納される。 When all processing is complete, regional edge counting result is stored in the lateral edge region data 5-18 and the longitudinal edge region data 5-19.

【0050】以上の処理により領域別に字幕の特徴抽出が行われたことになる。 [0050] so that the feature extraction subtitles by region has been performed by the above process.

【0051】次に、字幕領域判定部800の処理手順を図14を参照して説明する。 Next, explaining the processing of the caption area determination unit 800 with reference to FIG. 14. 処理801から処理809 Processing from processing 801 809
(図15)までは、区分領域別の字幕有無を判定する処理である。 Up (Figure 15) is a process of determining the division regional subtitle existence. 処理801では処理802から処理809で使用する変数Xb,Ybを0で初期化する。 Variables used in the process 809 from process 801 in process 802 Xb, is initialized to 0 and Yb. 処理802 Processing 802
は輝度領域データが闘値3以上でかつ横エッジ領域データが闘値3以上でかつ縦エッジ領域データが闘値3以上であるかを調べ、三つの条件を満たせば処理803へ移り、そうでなければ処理804へ移る。 Examines whether and vertical edge area data in and horizontal edge area data in the luminance domain data 闘値 3 or 闘値 3 or more is 闘値 3 or more, the routine goes to step 803 if it meets the three conditions, so without it moves to the processing 804. 処理803では処理802で調べた領域と等しい領域の字幕領域データ5−20の配列に1を書き込み、処理804では処理8 Write 1 to sequence of a region equal to the region subtitle region data 5-20 of the examined in step 803 In step 802, the process 804 processes 8
02で調べた領域と等しい領域の字幕領域データ5−2 02 area equal to the region subtitle area data 5-2 examined in
0の配列に0を書き込む。 0 is written to an array of 0. 処理805から処理809は上述の処理を全領域に対して行うためのアドレス更新処理である。 The process 809 from process 805 the address update processing to perform the above processing for all the regions. すべての処理が完了すると処理810に移る。 All of the processing moves to the processing 810 to complete. 以上により領域別の字幕の有無が得られたことになる。 So that the presence or absence of regional subtitle is obtained as described above.

【0052】以下、図7を参照しながら、図2の字幕画素抽出部420,書式検出部460の処理手順をフローチャートを用いて詳細に説明する。 [0052] Hereinafter, with reference to FIG. 7 will be described in detail with reference to the flowchart of the processing of the caption pixel extraction unit 420, the format detecting unit 460 of FIG. 図15は字幕画素抽出部420の処理手順を示し、図16,図17は書式検出部460の処理手順を示している。 Figure 15 shows the processing of the caption pixel extraction unit 420, FIG. 16, FIG. 17 shows a processing procedure of the format detector 460.

【0053】まず、字幕画素抽出部420を説明する。 [0053] First, the caption pixel extraction unit 420.
処理420−1から処理420−16までは、1画素毎に字幕であるかを調べ、字幕に相当する画素を抽出する処理である。 From process 420-1 to treatment 420-16, examine whether the caption for each pixel, a process of extracting a pixel corresponding to the subtitle. 処理420−1では処理420−2から処理420−16で使用する変数i,j,Xb,Ybを0 Variable i for use in processing 420-16 from the processing in 420-1 processes 420-2, j, Xb, and Yb 0
で初期化する。 In initialize. 処理420−2は字幕領域データ5−2 Processing 420-2 subtitle area data 5-2
0が1かどうかを調べ、1であれば処理420−3へ移り、そうでなければ処理420−05へ移る。 0 it is checked whether 1, if one moves to the processing 420-3, the process moves to the processing 420-05 otherwise. 処理42 Processing 42
0−03では該当する画素の赤画像データ,青画像データ,緑画像データが閾値1以上の輝度であるかを調べ、 Corresponding pixel of the red image data in 0-03, examined or blue image data, green image data is the threshold 1 or more brightness,
三つとも閾値1以上であれば処理420−04へ移り、 If the three with a threshold value of 1 or more shifts to the processing 420-04,
そうでなければ処理420−05へ移る。 Otherwise, the process proceeds to processing 420-05. 処理420− Processing 420 -
04では処理420−03で調べた画素位置の字幕画素データに副画像データの値を代入する。 Subtitles pixel data of the pixel position examined in 04 the process 420-03 substitutes the value of the sub image data. 処理420−0 Processing 420-0
5では処理420−03で調べた画素位置の字幕画素データに0を代入する。 Subtitles pixel data of the pixel position examined in 5 In process 420-03 substitutes 0.

【0054】処理420−06から処理420−16は上述の処理を全ての画素に対して行うためのアドレス更新処理である。 [0054] Processing 420-16 from the processing 420-06 the address update processing to perform the above processing for all the pixels. すべての処理が完了すると、副画像中の字幕だけが抽出される。 When all processing is complete, only subtitles in the sub-image is extracted.

【0055】次に書式検出部460の説明をする。 [0055] Next, a description of the format detection unit 460. 処理460−1から処理460−7(図16)までは、字幕領域データを行方向に投影する処理であり、同様に、処理460−8から処理460−14(図16)までは、 From process 460-1 to process 460-7 (FIG. 16), a process of projecting the caption area data in the row direction, similarly, from the process 460-8 to treatment 460-14 (FIG. 16),
字幕領域データを列方向に投影する処理である。 It is a process of projecting the caption area data in the column direction. 行方向の処理について詳細に説明する。 It will be described in detail a row direction of the processing. 処理460−1では、 In the process 460-1,
処理460−2から処理460−7で使用する変数X Variable X to be used in the processing 460-7 from processing 460-2
b,Ybを0で初期化する。 b, and Yb is initialized to 0. 処理460−2では行毎に字幕有り領域の個数を加算している。 There subtitle processing 460-2 in each row are added to the number of regions. 処理460−3から処理460−7はこの処理をすべての領域に対して行うためのアドレス更新処理である。 Processing from the processing 460-3 460-7 is the address update processing to do this for all regions. すべての処理が完了すると処理460−8に移り、同様に列方向に投影する処理を行う。 All process proceeds to a process 460-8 completes, performs a process of projecting similarly to the column direction. 列方向の処理が終わると処理460−15に移る。 Turning to the processing 460-15 column direction of the process is completed. 以上の処理により、行カウントデータ5−23と列カウントデータ5−26に、行および列方向の字幕有り領域の個数が格納されることになる。 By the above processing, the row count data 5-23 and column count data 5-26, so that the number of rows and columns of the subtitle there area is stored.

【0056】処理460−15から処理460−33 [0056] processing from processing 460-15 460-33
(図17)では、個々の領域の結果を統合して、最終的に字幕有無の判断と字幕の位置および方向を求める処理を行う。 (FIG. 17), it integrates the results of the individual regions, finally performs a process for determining the position and orientation of the judgment and subtitles subtitles existence. 処理460−15は処理460−16から処理460−25で使用する変数Xb,Ybを0で初期化する。 Processing 460-15 are initialized to 0 the variable Xb, Yb for use in the processing 460-25 from the processing 460-16. 処理460−16は行カウントデータの中で一番大きい値を持つ行を調べるため、行カウントデータが最大行カウントデータより大きいかを調べ、大きければ処理460−17へ移り、小さければ処理460−19に移る。 To investigate the rows with the largest value in the processing 460-16 row count data, checks whether the line count data is larger than the maximum line count data, it proceeds to greater if treated 460-17, smaller process 460- moves to 19. 処理460−17では最大行カウントデータを行カウントデータの値に置き換え、処理460−18でその時の行番号を最大行位置データに記憶しておく。 Replacing the processing 460-17 maximum line count data to the value of the row count data, it stores the line number at that time to the maximum line position data processing 460-18. 処理4 Processing 4
60−19から処理460−20は以上の処理を全ての行に対して行うためアドレス更新処理である。 Processed from 60-19 460-20 is an address update processing for performing for all rows of the above process. また、処理46−21から処理460−25は、同様にして、最大列カウントデータと最大列位置データを計算する。 The processing from the processing 46-21 460-25, similarly, computes the maximum column count data and the maximum column position data.

【0057】処理460−26では最大行カウントデータが閾値4以上であるか、または最大列カウントデータが閾値4以上であるかどうかを調べ、条件を満足すれば、字幕有りと判定し処理460−27へ、満足しなければ、字幕無しと判定する。 [0057] or the maximum row count data in processing 460-26 is the threshold value 4 or more, or maximum column count data to determine whether the threshold value 4 or more, is satisfied condition, subtitle there a determination processes 460- to 27, if you are not satisfied, it is determined that no subtitles.

【0058】字幕有りと判定されると、字幕が画像上で縦の左書き,縦の右書き,横の上書き,横の下書きのいずれの書式であるか分類する。 [0058] If it is determined that there is a subtitle, subtitles are written vertically on the left on the image, and the vertical of the right to write, next to the override, to classify whether it is the format of the next draft.

【0059】まず、処理460−27では最大行カウントデータと最大列カウントデータを比較し、最大行カウントデータが大きければ「横書き」と判定し処理460 [0059] First, the processing 460-27 compares the maximum line count data and maximum column count data in, to determine the larger the maximum row count data as "horizontal writing" process 460
−28に移り、最大列カウントデータが大きければ「縦書き」と判定し処理460−31に移る。 Moved to -28, it moves to the maximum string if the count data is larger is determined as "vertical writing" process 460-31. 処理460− Processing 460-
28では最大行位置データが中央の行(本実施例では5 Maximum row position data central in 28 rows (5 in this embodiment
行目)以上であるかを調べ、以上であれば「上書き」と判断し処理460−29へ移り、未満であれば「下書き」と判断し処理460−30へ移る。 Examine whether the row) or more, equal to or greater than the move to determine the "Overwrite" processing 460-29, it is determined that the "draft" is less than the proceeds to the processing 460-30. そして処理46 Then, the processing 46
0−29では書式データに「上横書き」を書き込み、処理460−30では書式データに「下横書き」を書き込む。 0-29 In the format data writing the "upper horizontal", writes "under horizontal" in the processing 460-30 format data. 一方、処理460−31では最大列位置データが中央の列(本実施例では8列目)以上であるかを調べ、以上であれば「右書き」と判断し処理460−32へ移り、未満であれば「左書き」と判断し処理460−33 On the other hand, the processing 460-31 in the maximum column position data is checked whether there are more (8 column in this embodiment) center column, it is determined as "right-to-left" if more proceeds to the processing 460-32, less than if it is determined that "left writing" process 460-33
へ移る。 Move to. 処理460−32では書式データに「右縦書き」を書き込み、処理460−33では書式データに「左縦書き」を書き込む。 Processing 460-32 in the format data writing the "right vertical writing", writes the "left vertical writing" in the processing 460-33 format data.

【0060】以上の処理により字幕の書式が判定できることになる。 [0060] will be able to determine the subtitles of the format by the above process. 本実施例では縦横それぞれ二分割して書式を判定しているが、分割数を増やせばさらに詳細に書式を区別でき、また、字幕領域の数も計数しているため、 Although this embodiment determines the format and vertically and horizontally divided into two parts, it can be distinguished more detail format by increasing the division number, also, since also counted the number of subtitle region,
領域数が多いときには画面中の字幕の割合が大きく、領域数が少ない時には画面中の字幕の割合が小さいという書式の区別ができることは言うまでもない。 Large proportion of the subtitles on the screen when there are many number of areas, when a small number of regions can of course be to distinguish between the format ratio of the subtitles on the screen is small.

【0061】以上、字幕の特徴抽出部、および、字幕判定部をフローチャートを用いて詳細に開示した。 [0061] above, feature extractor subtitles, and, it has been disclosed in detail with reference to a flowchart caption judging unit.

【0062】本字幕抽出例によれば、特徴抽出部によって、ディジタル画像データから区分領域別に字幕が現われているかどうかを判定しているので、字幕の文字数が画面全体で少ない場合であっても、部分的な抽出が可能である。 According to [0062] This caption extraction example, the feature extraction unit, since the subtitle from the digital image data by partition areas is determined whether appear, also the number of characters of the subtitle is a is less in the entire screen, partial extraction is possible. また字幕領域判定部によって、字幕有無の情報を行および列方向に投影して判断しているので、現われた字幕が縦書きか横書きであるかを区別することが可能である。 Also the subtitle area determination unit, since it is determined by projecting the information of the subtitle whether row and the column direction, it is possible to appear subtitle to distinguish whether a vertical writing or horizontal writing. さらに、特徴抽出部は、各領域内に含まれる第一の閾値以上の高輝度の画素の個数と、各領域内に含まれる第二の閾値以上であるエッジの個数を計数して、特徴としているので、高い輝度の画面が現われただけでは字幕と判断しない。 Further, feature extraction unit counts a first number of luminance higher than the pixel threshold included in each region, the number of second edge is a threshold or more included in each region, as a feature because there, only appeared high brightness screen is not determined that the subtitle. また、エッジは、複数の方向についてそれぞれ求めており、文字部の複雑さを忠実に抽出することができる。 The edge is respectively determined for a plurality of directions, it is possible to faithfully extract the complexity of the character portion.

【0063】 [0063]

【発明の効果】本発明によれば、副映像から抽出した字幕を視聴中の主映像と合成するため、文字放送が行われていなくても副映像の代替となる文字情報が得られる。 According to the present invention, for synthesizing the main image in view subtitles extracted from the sub-picture, character information even when no teletext is made a substitute for the sub-picture is obtained.
また、合成する字幕のサイズと表示位置をユーザの任意に変化させることが可能であり、主映像の視聴を阻害することもない。 Further, it is possible to change the size and display position of subtitles for combining an arbitrary user, nor does it inhibit the viewing of the main video.

【0064】更に、字幕の書式によって副映像を切り換えて表示し、視聴できるようにするため、ユーザは字幕を注視しなくても重要なシーンを見逃すことがない。 [0064] In addition, display switching sub-picture by the subtitle format, to be able to watch, the user does not miss an important scene without watching the subtitles.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の全体の処理のブロック図。 1 is a block diagram of the overall process of the present invention.

【図2】映像制御部400の詳細を示した処理ブロック図。 [Figure 2] processing block diagram showing the details of the video control unit 400.

【図3】図2で説明した映像合成処理400−aでの画像データのフローチャート。 FIG. 3 is a flowchart of the image data in the video synthesis processing 400-a as described in FIG.

【図4】図2で説明した映像合成処理400−aで字幕合成したディスプレイ表示例の説明図。 Figure 4 is an explanatory diagram of a display representation example of subtitle synthesized by the video synthesis processing 400-a as described in FIG.

【図5】図2で説明した映像切り換え処理400−bでの画像データのフローチャート。 FIG. 5 is a flowchart of the image data in the video switching process 400-b described in FIG.

【図6】字幕領域抽出部300の処理ブロック図。 [6] processing block diagram of a subtitle area extraction unit 300.

【図7】プログラムとデータの説明図。 FIG. 7 is an explanatory diagram of a program and data.

【図8】領域別輝度計数部600の処理手順を示したフローチャート。 FIG. 8 is a flowchart showing a procedure of region-specific brightness counting unit 600.

【図9】領域別輝度計数部600の処理手順を示したフローチャート。 FIG. 9 is a flowchart showing a procedure of region-specific brightness counting unit 600.

【図10】領域別輝度計数部600の処理手順を示したフローチャート。 10 is a flowchart showing a processing procedure of the regional luminance counting unit 600.

【図11】領域別エッジ計数部700の処理手順を示したフローチャート。 FIG. 11 is a flowchart showing a processing procedure of the regional edge counting unit 700.

【図12】領域別エッジ計数部700の処理手順を示したフローチャート。 FIG. 12 is a flowchart showing a processing procedure of the regional edge counting unit 700.

【図13】領域別エッジ計数部700の処理手順を示したフローチャート。 FIG. 13 is a flowchart showing a processing procedure of the regional edge counting unit 700.

【図14】字幕領域判定部800の処理手順を示したフローチャート。 Figure 14 is a flowchart showing the processing of the caption area determination unit 800.

【図15】字幕画素抽出部420の処理手順を示したフローチャート。 Figure 15 is a flowchart showing the processing of the caption pixel extraction unit 420.

【図16】書式検出部460の処理手順を示したフローチャート。 Figure 16 is a flowchart showing a processing procedure of the format detector 460.

【図17】書式検出部460の処理手順を示したフローチャート。 Figure 17 is a flowchart showing a processing procedure of the format detector 460.

【符号の説明】 DESCRIPTION OF SYMBOLS

1…ディスプレイ、1−1…液晶パネル、7…主映像再生装置、8…テレビチューナ、100…主映像入力部、 1 ... Display, 1-1 ... liquid crystal panel, 7 ... main video reproducing apparatus, 8 ... TV tuner, 100 ... main video input unit,
200…副映像入力部、300…字幕領域抽出部、40 200 ... sub-picture input unit, 300 ... caption area extraction unit, 40
0…映像制御部。 0 ... the video control unit.

Claims (6)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】VTRやテレビチューナから複数の映像を入力し、ディスプレイに合成出力する映像出力装置において、主映像を入力する第一手段と、副映像を入力する第二手段と、映像を出力するユーザが指定した前記副映像中から字幕情報を抽出する第三手段と、前記第三手段により得られた字幕情報から前記副映像と前記主映像を加工して出力する第四手段を具備することを特徴とする映像出力装置。 1. A enter multiple images from the VTR or TV tuner, output in the video output apparatus for combining output to the display, a first means for inputting the main picture, a second means for inputting a sub-picture, the picture comprising a third means for extracting the caption information from the in the sub-picture specified by the user, the fourth means for outputting processing the main video and the sub video from the caption information obtained by said third means for video output device, characterized in that.
  2. 【請求項2】請求項1に記載の前記第三の手段は、領域別に前記字幕の有無を判定する第五手段を具備する映像出力装置。 Wherein said third means according to claim 1, the video output apparatus including a fifth means for determining the presence or absence of the caption by region.
  3. 【請求項3】請求項1に記載の前記第四の手段は、前記字幕有りと判定した領域の字幕画素を検出する第六手段と、検出した前記字幕を縮小する第七手段と、これを移動する第八手段と、前記主映像の任意の位置に合成する第九手段を具備する映像出力装置。 Wherein the fourth means according to claim 1, a sixth means for detecting subtitles pixels is determined that there is the caption region, a seventh means for reducing the caption detected, it and eighth means for moving, the image output apparatus having a ninth means for combining an arbitrary position of the main video.
  4. 【請求項4】請求項1に記載の前記第四の手段は、前記字幕有りと判定した領域から字幕書式を検出する第十手段と、検出した書式がユーザの指定した書式と一致した場合に、前記副映像を主映像に切り換えて表示する第十一手段を具備する映像出力装置。 Wherein said fourth means according to claim 1, a tenth means for detecting subtitles format from the subtitle there with the determined area, when the detected format matches the format specified by the user , the video output device having a eleventh means for displaying by switching the sub-picture to the main picture.
  5. 【請求項5】請求項4に記載の前記第十手段は、前記字幕の縦書き,横書き、更に上下左右の表示位置を基に書式を検出する映像出力装置。 Wherein said tenth means according to claim 4, the vertical writing of the subtitle, horizontal, video output device that detects the format further based on the display position of the vertical and horizontal.
  6. 【請求項6】請求項2に記載の前記第五手段において、 6. The said fifth means according to claim 2,
    前記字幕の有無の判定は、映像中の高輝度画素の個数とエッジの個数とそれらが一定時間静止していることを条件として判定する映像出力装置。 The determination of the presence or absence of subtitles, determines the video output device on condition that they and the number of the number and the edge of the high-luminance pixels in the image is stationary fixed time.
JP7122147A 1995-05-22 1995-05-22 Video output device Pending JPH08317301A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP7122147A JPH08317301A (en) 1995-05-22 1995-05-22 Video output device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7122147A JPH08317301A (en) 1995-05-22 1995-05-22 Video output device

Publications (1)

Publication Number Publication Date
JPH08317301A true JPH08317301A (en) 1996-11-29

Family

ID=14828776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7122147A Pending JPH08317301A (en) 1995-05-22 1995-05-22 Video output device

Country Status (1)

Country Link
JP (1) JPH08317301A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004047430A1 (en) * 2002-11-15 2004-06-03 Thomson Licensing S.A. Method and apparatus for composition of subtitles
JP2005084157A (en) * 2003-09-05 2005-03-31 Nec Corp Device and method for character recognition, character emphasizing method, display device, and mobile equipment
KR100652467B1 (en) * 1998-09-03 2006-12-01 소니 가부시끼 가이샤 The movement judgment equipment, the method and the picture information change equipment
WO2008018479A1 (en) * 2006-08-08 2008-02-14 Sony Corporation Receiver apparatus, display control method and program
WO2010041457A1 (en) 2008-10-10 2010-04-15 パナソニック株式会社 Picture output device and picture output method
JP2010252050A (en) * 2009-04-15 2010-11-04 Sharp Corp Video processor, video display device, and video processing method
US8363163B2 (en) 2002-11-15 2013-01-29 Thomson Licensing Method and apparatus for composition of subtitles

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100652467B1 (en) * 1998-09-03 2006-12-01 소니 가부시끼 가이샤 The movement judgment equipment, the method and the picture information change equipment
US8537282B2 (en) 2002-11-15 2013-09-17 Thomson Licensing Method and apparatus for composition of subtitles
US9635306B2 (en) 2002-11-15 2017-04-25 Thomson Licensing Method and apparatus for composition of subtitles
US9595293B2 (en) * 2002-11-15 2017-03-14 Thomson Licensing Method and apparatus for composition of subtitles
CN100377582C (en) * 2002-11-15 2008-03-26 汤姆森许可贸易公司 Method and apparatus for composition of subtitles
AU2003279350B2 (en) * 2002-11-15 2008-08-07 Interdigital Ce Patent Holdings Method and apparatus for composition of subtitles
US9503678B2 (en) 2002-11-15 2016-11-22 Thomson Licensing Method and apparatus for composition of subtitles
US9462221B2 (en) 2002-11-15 2016-10-04 Thomson Licensing Method and apparatus for composition of subtitles
US7852411B2 (en) 2002-11-15 2010-12-14 Thomson Licensing Method and apparatus for composition of subtitles
US20160211000A9 (en) * 2002-11-15 2016-07-21 Thomson Licensing Method and apparatus for composition of subtitles
US8363163B2 (en) 2002-11-15 2013-01-29 Thomson Licensing Method and apparatus for composition of subtitles
US8373800B2 (en) 2002-11-15 2013-02-12 Thomson Licensing Method and apparatus for composition of subtitles
US8432493B2 (en) 2002-11-15 2013-04-30 Thomson Licensing Method and apparatus for composition of subtitles
US8737810B2 (en) 2002-11-15 2014-05-27 Thomson Licensing Method and apparatus for cropping of subtitle elements
US8531609B2 (en) 2002-11-15 2013-09-10 Thomson Licensing Method and apparatus for composition of subtitles
WO2004047430A1 (en) * 2002-11-15 2004-06-03 Thomson Licensing S.A. Method and apparatus for composition of subtitles
US9749576B2 (en) 2002-11-15 2017-08-29 Thomson Licensing Method and apparatus for composition of subtitles
JP2005084157A (en) * 2003-09-05 2005-03-31 Nec Corp Device and method for character recognition, character emphasizing method, display device, and mobile equipment
JP4631258B2 (en) * 2003-09-05 2011-02-23 日本電気株式会社 Portable device
WO2008018479A1 (en) * 2006-08-08 2008-02-14 Sony Corporation Receiver apparatus, display control method and program
US8872975B2 (en) 2006-08-08 2014-10-28 Sony Corporation Receiving device, display controlling method, and program
WO2010041457A1 (en) 2008-10-10 2010-04-15 パナソニック株式会社 Picture output device and picture output method
US8724027B2 (en) 2008-10-10 2014-05-13 Panasonic Corporation Video output device and video output method
US8482672B2 (en) 2008-10-10 2013-07-09 Panasonic Corporation Video output device and video output method
JP2010252050A (en) * 2009-04-15 2010-11-04 Sharp Corp Video processor, video display device, and video processing method

Similar Documents

Publication Publication Date Title
US5181113A (en) Method of storing and editing data in a television system and apparatus therefor
US5325183A (en) OSD circuit for displaying advertising picture data
US6166772A (en) Method and apparatus for display of interlaced images on non-interlaced display
US5579057A (en) Display system for selectively overlaying symbols and graphics onto a video signal
EP0122098B1 (en) Font recall system for selective insertion as a caption into a video image
US5257348A (en) Apparatus for storing data both video and graphics signals in a single frame buffer
EP0822711A2 (en) Internet information displaying apparatus
US20010009445A1 (en) Caption display method of digital television
KR100379443B1 (en) apparatus and method for EPG bar display
US4991012A (en) Television receiver displaying multiplex video information on a vertically oblong display screen and an information displaying method thereof
US5398074A (en) Programmable picture-outside-picture display
US4768083A (en) Digital TV having on-screen display feature
US7463215B2 (en) Display source divider
CN101383925B (en) Blending text and graphics for display on televisions
CN1306810C (en) Method for processing auxiliary information in video system
KR100567852B1 (en) The video display apparatus including an aspect criticized by the same apparatus and devices
CN101383927B (en) Television system with provisions for displaying an auxiliary image of variable size
KR100202156B1 (en) Programmable picture-outside-picture display
KR0127229B1 (en) A control method for game apparatus of television
US5570134A (en) Multilingual display device and method thereof
ES2245007T3 (en) Method and apparatus for positioning auxiliary information near an auxiliary image in a presentation with multiple images.
US6885408B2 (en) Image processing method and image processing apparatus
EP0656727B1 (en) Teletext receiver
US5546131A (en) Television receiver having an arrangement for vertically shifting subtitles
WO2001026367A1 (en) Fast tuner response system and method