WO2011132397A1 - 画像表示装置、携帯端末装置、及び画像表示方法 - Google Patents

画像表示装置、携帯端末装置、及び画像表示方法 Download PDF

Info

Publication number
WO2011132397A1
WO2011132397A1 PCT/JP2011/002261 JP2011002261W WO2011132397A1 WO 2011132397 A1 WO2011132397 A1 WO 2011132397A1 JP 2011002261 W JP2011002261 W JP 2011002261W WO 2011132397 A1 WO2011132397 A1 WO 2011132397A1
Authority
WO
WIPO (PCT)
Prior art keywords
image display
character region
character
period
unit
Prior art date
Application number
PCT/JP2011/002261
Other languages
English (en)
French (fr)
Inventor
康治 井村
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2011132397A1 publication Critical patent/WO2011132397A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles

Definitions

  • the present invention relates to the display of moving images on mobile devices, and more particularly to a technique for improving the visibility of telops displayed on television programs and the like.
  • the recorded TV program can be written to the recording medium by an appropriate means, the content downloaded from the Internet can be written to the recording medium, and viewed on the go using a mobile device. Functions have also been realized.
  • Mobile devices are made small in order to prioritize portability, and the display for display is about 3 to 4 inches. Even if the content is high quality, if the display is small, the visibility of the small objects being displayed is not very good. Especially, the characters and telops displayed in the TV program are too small to read or difficult to read. There is a problem.
  • Patent Document 1 A technique for detecting telop information is disclosed in Patent Document 1.
  • edge detection processing is performed on an input image to specify a telop area.
  • Patent Document 2 The technique for performing the highlighting is disclosed in Patent Document 2, which detects the character area and changes the color or enlarges the display to improve the visibility.
  • Patent Document 2 detects the character area and changes the color or enlarges the display to improve the visibility.
  • the visibility of characters is improved if the display is performed for a long time, but there is a problem that a period in which the video part is hidden and cannot be seen occurs and the viewing is hindered.
  • the technology regarding the period for displaying characters such as subtitles is disclosed in Japanese Patent No. 4100757. This allows the user to set the subtitle display period in the management information included in the DVD or the like so that the user can read characters at his / her own pace.
  • the user designates the display time for the subtitles that exist in advance, there is a problem that it is not possible to cope with the case where it is transmitted in real time like a telop in a TV program.
  • the present invention solves the above-described problems and improves the visibility of small characters without hindering viewing even when a moving image or television program is viewed on a mobile device.
  • the moving image display device of the present invention includes a character region extracting unit that detects and cuts out a region including characters from one frame image in the moving image, an enhancement processing unit that performs enhancement processing on the cut out character region, A character region analysis unit for analyzing the detected character region, a display period determination processing unit for determining a period for displaying the character region subjected to the enhancement processing from the analysis result, and the enhancement processing during the display period. And a synthesis processing unit that synthesizes the character area into one frame image.
  • the period for emphasizing the character area to be synthesized and displayed on the original image is determined, so only the period necessary for reading and understanding the character is emphasized. As a result, it is possible to improve the visibility of characters without disturbing viewing more than necessary.
  • the character region analysis unit includes a character number counting unit that counts the number of characters included in the cut out character region
  • the display period determination unit includes the character number counting unit. The display period is determined based on the number of characters to be counted.
  • the period required to read and understand characters can be used as the highlighting period based on the number of characters included in the character area, and it is possible to view characters without disturbing viewing more than necessary. Can be improved.
  • the character region analysis unit includes a pixel number counting unit that counts the number of pixels included in the cut out character region, and the display period determination unit includes the number of pixels. The display period is determined based on the number of pixels counted by the counting unit.
  • the period required to read and understand characters can be used as the highlighting period based on the size of the character area, and the visibility of the characters can be reduced without disturbing viewing more than necessary. Can be improved.
  • the character region analysis unit includes a pixel number counting unit that counts the number of pixels included in the cut out character region, and a complexity measurement unit that measures the complexity of the character region.
  • the display period determining unit determines the display period based on the number of pixels and the complexity.
  • the complexity measurement unit included in the image display device of the present invention is an edge pixel coefficient unit that counts the number of edge pixels.
  • the period required to read and understand the character can be set as the highlighting period because of the complexity of the area including the character, and the character can be visually recognized without unnecessarily disturbing viewing. Can be improved.
  • the enhancement processing unit included in the image display device of the present invention performs an enlargement process. With this configuration, since the character area is displayed in a large size, the visibility of the characters can be improved.
  • the mobile terminal device of the present invention includes any one of the image display devices described above. With this configuration, the period necessary for reading and understanding the character can be set as the highlighting period, and the visibility of the character can be improved without disturbing viewing more than necessary.
  • the image display method of the present invention includes a first step of detecting and cutting out a region including characters from one frame image in a moving image, a second step of performing enhancement processing on the character region, and analyzing the character region. A third step of determining a period during which the highlighted character area is displayed based on the analysis result, and a period during which the emphasized character area is determined during the period for the first period. And a fifth step of combining the frame image.
  • the image display method of the present invention includes a step of counting the number of characters included in the character area, and a step of determining the display period based on the number of characters counted in the step.
  • the period required to read and understand characters can be used as the highlighting period based on the number of characters included in the character area, and it is possible to view characters without disturbing viewing more than necessary. Can be improved.
  • the image display method of the present invention includes a step of counting the number of pixels included in the cut-out character area, and a step of determining the display period based on the number of pixels.
  • the image display method of the present invention includes a step of counting the number of pixels included in the cut out character region, a step of measuring the complexity of the character region, and the display period based on the number of pixels and the complexity. Determining.
  • the image display method of the present invention includes a step of counting the number of edge pixels.
  • the image display method of the present invention is the image display method according to any one of the above-described items, and includes an enlargement process as the highlighting process. With this configuration, since the character area is displayed in a large size, the visibility of the characters can be improved.
  • a character region is extracted from the screen, and a character is selected in order to determine a highlighting period based on the number of characters included in the screen, the size and complexity of the character region, and the like. Highlighted for a period of time appropriate for reading and understanding. Thereby, it becomes possible to improve the visibility of a character, without disturbing viewing of a video part more than necessary.
  • the block diagram of the 1st form of the moving image display apparatus by this invention The block diagram of the 2nd form of the moving image display apparatus by this invention
  • the block diagram of the 3rd form of the moving image display apparatus by this invention First processing flowchart of the moving image display method according to the present invention
  • the moving image display apparatus includes a character region extraction unit 100, a character count unit 101, a display period determination unit 102, an enhancement processing unit 103, a composition processing unit 104, and a display output buffer 105.
  • the input image is input to the character region extraction unit 100, and the character region extraction unit 100 extracts a character region in the input image.
  • a method as described in Patent Document 1 may be used.
  • the extraction method of the character region is not limited.
  • the extraction target area is not limited here, but from the viewpoint of processing amount and effect, it is conceivable to target a corner telop displayed on the upper left or upper right of the so-called television screen.
  • the character area extraction unit 100 outputs a detection result indicating whether the character area has been detected.
  • the character area extraction unit 100 determines that the character area has been detected only when it has not been detected in the previous frame but has been detected in the current frame, and outputs a value of 1. If the same character area is detected in the previous frame and the current frame, or if it is detected in the previous frame but not in the current frame, the value 0 is output.
  • the character region extraction unit 100 detects a character region having the same content at the same position for N frames continuously from the next frame in which the character region could not be detected.
  • the value 1 may be output.
  • the character area extraction unit 100 outputs the value 1 as a detection result only when a frame in which a character area is detected for the first time from a situation in which the character area cannot be detected, or only when it is detected continuously for N frame periods. .
  • the character area extracting unit 100 When the character area is detected, the character area extracting unit 100 outputs the size of the character area (for example, the number of pixels in the vertical and horizontal directions) and image data including the extracted character area. If not detected, the vertical and horizontal pixel numbers are output as 0, and no image data is output.
  • the character area extraction unit 100 continues to output the size and image data for the period during which the character area can be detected.
  • the character number counting unit 101 recognizes characters included in the character area from the size of the character area and the image data, counts the number, and outputs it.
  • the display period determining unit 102 determines a period for emphasizing display based on the number of characters output from the character number counting unit 101. For example, 0 seconds if the number of characters is 0, 3 seconds if 1-5 characters, 10 seconds if 6-10 characters, 15 seconds if 11 characters or more. This number of seconds is an example, and is not limited to this value.
  • the enhancement processing unit 103 When the size is not 0, the enhancement processing unit 103 performs enlargement processing on the input image data.
  • the number of vertical and horizontal pixels is 1.5 times.
  • the synthesis processing unit 104 synthesizes and outputs the input image and the image enlarged by the enhancement processing unit 103.
  • the synthesis position is synthesized at a position that is approximately the same as the detected position.
  • the synthesized data is stored in the display output buffer 105 and displayed on the display.
  • the display period is determined by the number of characters, the visibility of characters can be improved without unnecessarily disturbing viewing.
  • 2nd Embodiment is an example from which the operation
  • the display period determination unit 200 determines a period for performing highlighting from the size. For example, it is determined according to the total number of pixels of the detected character area (obtained by multiplying the number of vertical pixels and the number of horizontal pixels). As an example, the determination method is 3 seconds for 1000 pixels or less, 5 seconds for more than 1000 to 2000 pixels, and 10 seconds for 2000 pixels or more.
  • the display period is determined only by the number of pixels in the character area, the visibility of the character can be improved by an extremely simple process.
  • 3rd Embodiment is an example which is provided with the complexity counting part 300 in FIG. 3, and the operation
  • the complexity counting unit 300 outputs the complexity from the input size and image data when the value of the detection result is 1.
  • the complexity is composed of two, that is, the total number of pixels in the detected character area and the number of pixels having a large luminance change, and these two numerical values are output to the display period determination unit 301.
  • the total number of pixels in the character area is a number obtained by multiplying the number of vertical pixels and the number of horizontal pixels in the character area. Further, the number of pixels having a large change in luminance is the number obtained by counting the number of pixels in which the luminance value of the adjacent pixel is larger than a certain threshold among the pixels included in the character area.
  • the display period determination unit 301 classifies the character area into a case where the total number of pixels is large and small, a case where the number of pixels having a large luminance change is large, and a case where the number is small.
  • the size of the total number of pixels and the size of the number of pixels with a large luminance change are expressed in a combination such as (Large, Small), (Large, Large), (Large, Small), (Small, Large), (Small, Small) ).
  • (small, large) is considered to be highlighted for a long time (for example, about 10 seconds) because the area is small and the complexity is high.
  • the display period is determined by the number of pixels and the complexity of the character area, it is possible to improve the visibility of the character by a relatively simple process.
  • a fourth best mode for carrying out the image display method of the present invention will be described with reference to FIG.
  • a region including characters is detected and cut out from the input image in a character region extraction step (ST01).
  • a determination is made in a determination step (ST02) of whether or not a character area has been detected. If it cannot be detected, the current frame is output as it is, and the process proceeds to the next frame.
  • a determination is made in a step (ST03) of determining whether a character area can be detected and a character area of the same size can be detected at the same position in the previous frame. If not detected, the current frame is output as it is, and the processing shifts to the next frame.
  • the number of characters is counted in the character number counting step (ST04).
  • the display period determining step (ST05) a period for performing highlighting is determined.
  • the step of determining whether or not it is during the display period it is determined whether or not the current frame is during the highlighting period. If it is not during the highlighting period, the current frame is output as it is, and the processing shifts to the next frame. If it is during the period, the character area detected in the emphasis processing step (ST07) is enlarged and output.
  • the character region expanded in the synthesis process (ST08) is synthesized with the current frame and output.
  • the output step (ST09) the data is output to the display buffer and the process proceeds to the next frame.
  • the display period is determined by the number of characters, it is possible to improve the visibility of characters without disturbing viewing more than necessary.
  • the display period determining step (ST11) the display period is determined based on the size of the character area. If the character area is large, it is set short (example: 3 seconds), and if it is small, it is set long (example: 10 seconds). The following processing is the same as described above.
  • the display period is determined only by the number of pixels in the character area, the visibility of the character can be improved by an extremely simple process.
  • the complexity counting step (ST12) the complexity in the character area is counted. This calculates the difference value between adjacent pixels and counts the number of pixels that exceed a certain threshold.
  • the display period determination step (ST13) the display period is determined according to the size and complexity of the character area. When the character area is small and the complexity is high, the display period is lengthened. When the character area is large and the complexity is low, the display period is shortened.
  • the display period is determined by the number of pixels and the complexity of the character area, it is possible to improve the visibility of the character by a relatively simple process.
  • the present invention can be applied to a small and highly portable device, and in particular, a mobile phone terminal, a PDA (personal digital assistant), a portable TV, and the like are conceivable.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

　携帯機器のように画面が小さい機器において、動画像内の文字領域の視認性を向上させる。動画像内の１フレーム画像から文字を含む領域を検出して切り出す文字領域抽出部と、前記切り出した文字領域に対して強調処理を施す強調処理部と、前記検出した文字領域を解析する文字領域解析部と、前記解析結果より前記強調処理を施した文字領域を表示する期間を決定する表示期間決定処理部と、前記表示期間中に前記強調処理を施した文字領域を１フレーム画像に合成する合成処理部とを有する。

Description

画像表示装置、携帯端末装置、及び画像表示方法
　本発明は、モバイル機器における動画像の表示に関するものであり、特に、テレビ番組等で表示されるテロップの視認性を改善する技術に関するものである。
　携帯端末やＰＤＡなどのモバイル機器において搭載されるプロセッサ等の処理性能の向上に伴い、従来のメールやインターネット上のホームページ等の閲覧といった用途から、動画の視聴へと広がってきた。２００６年４月からは、地上デジタル放送の伝送帯域の一部を使い、携帯端末等での視聴を目的としたワンセグ放送が開始された。また、今後はアナログ放送停止以降の帯域を利用した新たなサービスが検討されており、ワンセグよりも高画質なコンテンツの視聴の可能性が出てきた。
　一方、家庭内の機器と連係し、録画したテレビ番組を記録媒体等に適切な手段で書き込んだり、インターネットからダウンロードしたコンテンツを記録媒体に書き込んだりして、モバイル機器を使って出先で視聴する　といった機能も実現されてきている。
　このように放送、家電、インターネットなど様々な手段で高画質なコンテンツを入手・視聴できる環境が整いつつある。
日本国特開２００７－０７４０９１号公報 日本国特開２００５－０８４１５７号公報 日本国特許第４１００９５７号公報
　モバイル機器は携帯性を優先するために小型に作られており、表示のためのディスプレイも3～4インチ程度となっている。コンテンツが高画質になっても、ディスプレイが小さいと、表示されている小さい対象物の視認性はあまり良くなく、特に、テレビ番組中に表示される文字やテロップなどが小さくて読めない・読みづらいといった課題がある。
　このような課題に対応するため、画面内のテロップ情報を検出し、強調表示を行う技術の検討が行われている。テロップ情報の検出技術に関しては、特許文献１に開示されている。特許文献１では、入力された画像に対してエッジ検出処理を施し、テロップ領域を特定するものである。
　強調表示を行う技術については、特許文献２に開示されており、文字領域を検出して色を変えたり、拡大表示する処理を行い視認性を向上させるものである。しかしながら、特に拡大表示する場合などは長時間にわたって表示していると文字の視認性は向上するも、映像部分が隠れて見えない期間が発生し視聴の妨げとなる課題がある。
　一方、字幕などの文字を表示する期間に関する技術については、特許４１００９５７号に開示されている。これは、ＤＶＤ等に含まれる管理情報の中の字幕表示期間をユーザー自身が設定できるようにして、ユーザーの自分のペースで文字を読めるようにするものである。しかしながら、予め存在する字幕に対して、ユーザーが表示時間を指定するため、ＴＶ番組内のテロップのようにリアルタイムで送信されてくる場合には対応できないという課題と手間がかかるという課題がある。
　本発明は、上記の課題を解決し、モバイル機器で動画やテレビ番組等の視聴を行う場合であっても、視聴の妨げとならず、小さい文字の視認性を改善するものである。
　本発明の動画像表示装置は、動画像内の１フレーム画像から文字を含む領域を検出して切り出す文字領域抽出部と、前記切り出した文字領域に対して強調処理を施す強調処理部と、前記検出した文字領域を解析する文字領域解析部と、前記解析結果より前記強調処理を施した文字領域を表示する期間を決定する表示期間決定処理部と、前記表示期間中に前記強調処理を施した文字領域を１フレーム画像に合成する合成処理部と、を有する。
　この構成により、文字領域の解析結果に基づいて、強調処理を施した文字領域を元の画像に合成して表示する期間を決定するため、文字を読んで理解するのに必要な期間だけを強調できるようになり、必要以上に視聴の妨げとならずに、文字の視認性を向上できる。
　また、本発明の画像表示装置であって、前記文字領域解析部は、前記切り出した文字領域に含まれる文字数を計数する文字数計数部を有し、前記表示期間決定部は、前記文字数計数部が計数する文字数を基に前記表示期間を決定する。
　この構成により、文字領域に含まれる文字数から、文字を読んで理解するのに必要な期間を強調表示期間とすることができるようになり、必要以上に視聴の妨げとならずに、文字の視認性を向上できる。
　また、本発明の画像表示装置であって、前記文字領域解析部は、前記切り出した文字領域に含まれる画素数を計数する画素数計数部を有し、前記表示期間決定部は、前記画素数計数部が計数する画素数を基に前記表示期間を決定する。
　この構成により、文字領域の大きさから、文字を読んで理解するのに必要な期間を強調表示期間とすることができるようになり、必要以上に視聴の妨げとならずに、文字の視認性を向上できる。
　また、本発明の画像表示装置であって、前記文字領域解析部は、前記切り出した文字領域に含まれる画素数を計数する画素数計数部と、文字領域の複雑度を測定する複雑度測定部とを有し、前記表示期間決定部は、前記画素数と前記複雑度を基に前記表示期間を決定する。
　この構成により、文字を含む領域の大きさと複雑度から、文字を読んで理解するのに必要な期間を強調表示期間とすることができるようになり、必要以上に視聴の妨げとならずに、文字の視認性を向上させる事ができる。
　また、本発明の画像表示装置に含まれる前記複雑度測定部は、エッジ画素の数を計数するエッジ画素係数部である。
　この構成により、文字を含む領域の複雑度から、文字を読んで理解するのに必要な期間を強調表示期間とすることができるようになり、必要以上に視聴の妨げとならずに文字の視認性を向上させる事ができる。
　また、本発明の画像表示装置に含まれる前記強調処理部は、拡大処理を行う。この構成により、文字領域が大きく表示されるために文字の視認性を向上させる事ができる。
　また、本発明の携帯端末装置は、前記記載のいずれかの画像表示装置を備える。この構成により、文字を読んで理解するのに必要な期間を強調表示期間とすることができるようになり、必要以上に視聴の妨げとならずに文字の視認性を向上させる事ができる。
　本発明の画像表示方法は、動画像内の１フレーム画像から文字を含む領域を検出して切り出す第１ステップと、前記文字領域に対して強調処理を施す第２ステップと、前記文字領域を解析する第３ステップと、前記解析結果より前記強調処理を施した文字領域を表示する期間を決定する第４ステップと、前記期間中、前記強調処理を施した文字領域を前期決定した期間だけ前記１フレーム画像に合成する第５ステップと、を有する。この構成により、文字領域の解析結果に基づいて、強調処理を施した文字領域を元の画像に合成して表示する期間を決定するため、文字を読んで理解するのに必要な期間だけを強調できるようになり、必要以上に視聴の妨げとならずに、文字の視認性を向上できる。
　また、本発明の画像表示方法は、前記文字領域に含まれる文字数を計数するステップと、前記ステップで計数する文字数を基に前記表示期間を決定するステップを有する。この構成により、文字領域に含まれる文字数から、文字を読んで理解するのに必要な期間を強調表示期間とすることができるようになり、必要以上に視聴の妨げとならずに、文字の視認性を向上できる。
　また、本発明の画像表示方法は、前記切り出した文字領域に含まれる画素数を計数するステップと、前記画素数を基に前記表示期間を決定するステップとを有する。この構成により、文字領域の大きさから、文字を読んで理解するのに必要な期間を強調表示期間とすることができるようになり、必要以上に視聴の妨げとならずに、文字の視認性を向上できる。
　また、本発明の画像表示方法は、切り出した文字領域に含まれる画素数を計数するステップと、文字領域の複雑度を測定するステップと、前記画素数と前記複雑度を基に前記表示期間を決定するステップとを有する。この構成により、文字を含む領域の大きさと複雑度から、文字を読んで理解するのに必要な期間を強調表示期間とすることができるようになり、必要以上に視聴の妨げとならずに、文字の視認性を向上させる事ができる。
　また、本発明の画像表示方法は、エッジ画素の数を計数するステップを有する。この構成により、文字を含む領域の複雑度から、文字を読んで理解するのに必要な期間を強調表示期間とすることができるようになり、必要以上に視聴の妨げとならずに文字の視認性を向上させる事ができる。
　また、本発明の画像表示方法は、前記いずれか１項に記載の画像表示方法であって、強調表示処理として拡大処理を有する。この構成により、文字領域が大きく表示されるために文字の視認性を向上させる事ができる。
　本発明の画像表示装置および画像表示方法によれば、画面内から文字領域を抽出し、その中に含まれる文字数や文字領域の大きさや複雑さ等から、強調表示期間を決定するため、文字を読んで理解するのに適切な期間だけ強調表示される。これにより、必要以上に映像部分の視聴の妨げにならずに文字の視認性を向上させることが可能となる。
本発明による動画表示装置の第１の形態のブロック図 本発明による動画表示装置の第２の形態のブロック図 本発明による動画表示装置の第３の形態のブロック図 本発明による動画表示方法の第１の処理フロー図 本発明による動画表示方法の第２の処理フロー図 本発明による動画表示方法の第３の処理フロー図
　本発明を実施するための最良の形態を以下に述べる。
　（第１実施形態）
　本発明を実施するための第１の最良の形態について、図１を用いて説明する。図１において、動画表示装置は、文字領域抽出部１００、文字数計数部１０１、表示期間決定部１０２、強調処理部１０３、合成処理部１０４、表示出力用バッファ１０５を備える。
　入力画像は、文字領域抽出部１００に入力され、文字領域抽出部１００において入力画像内にある文字領域の抽出を行う。文字領域の抽出方法の一例として、前述の特許文献１にあるような手法を用いても良い。本発明では、文字領域の抽出方法については限定しない。また、抽出の対象とする領域もここでは限定しないが、処理量と効果の観点から、いわゆるテレビ画面の左上や右上などに表示されるコーナーテロップを対象とすることが考えられる。
　文字領域抽出部１００からは、文字領域を検出できたかどうかを示す検出結果を出力する。文字領域抽出部１００は、前のフレームでは文字領域を検出できなかったが、現在のフレームでは検出できた場合のみ、文字領域を検出できたと判定し、値１を出力する。前のフレームと現在のフレームで同じ文字領域を検出した場合や、前のフレームで検出していたが現フレームで検出しなかった場合は値０を出力する。
　文字領域抽出部１００は、より安定した検出結果を出すために、文字領域を検出できなかった次のフレームから連続してＮフレームの間、同じ位置に同じ内容の文字領域を検出した場合に、値１を出力するようにしても良い。
　つまり、文字領域抽出部１００は、検出結果として、文字領域を検出できていない状況から初めて文字領域を検出したフレームの時のみ、もしくはＮフレーム期間連続して検出した時のみ、値１を出力する。
　文字領域抽出部１００は、文字領域を検出できた場合は、文字領域のサイズ（たとえば、縦と横の画素数）と、抽出した文字領域を含む画像データとを出力する。検出できていない場合は、縦と横の画素数をそれぞれ０として出力し、画像データの出力も行わない。
　文字領域抽出部１００は、検出結果の出力とは異なり、サイズと画像データは、文字領域を検出できている期間、出力し続ける。
　文字数計数部１０１は、検出結果の値が１の場合は、文字領域のサイズおよび画像データから、その文字領域内に含まれる文字を認識し、その数をカウントし、出力する。
　表示期間決定部１０２は、文字数計数部１０１から出力される文字数に基づき、強調して表示する期間を決定する。たとえば、文字数が０文字であれば０秒、１～５文字であれば３秒、６～１０文字であれば１０秒、１１文字以上であれば１５秒とする。この秒数は一例であり、この数値に限定するものではない。
　強調処理部１０３は、サイズが０でない場合、入力された画像データに対して拡大処理を実施する。ここでは、一例として縦と横の画素数を１．５倍にするものとする。
　表示期間決定部１０２で指定された期間だけ、合成処理部１０４では、入力画像と強調処理部１０３で拡大された画像を合成して出力する。合成位置は、前述のコーナーテロップを対象とする場合、検出した位置とおおよそ同じ位置に合成するのが望ましい。合成したデータは表示出力用バッファ１０５に格納され、ディスプレイに表示される。
　このように、文字数により表示期間を決定するため、必要以上に視聴の妨げとならずに文字の視認性を向上させる事ができる。
　（第２実施形態）
　本発明を実施するための第２の最良の形態について、図２を用いて説明する。図２において、図１と同じ処理ブロックには同一の番号を付与するものとし、説明も割愛する。
　第２実施形態は、図２において、表示期間決定部２００の動作が異なる例である。
　表示期間決定部２００では、サイズから強調表示を実施する期間を決定する。例えば、検出した文字領域の総画素数(縦の画素数と横の画素数の乗算により求める)に応じて決定する。一例として、１０００画素以下なら３秒、１０００画素超～２０００画素以下であれば５秒、２０００画素以上は１０秒といった決め方である。
　以降の処理については、前述と同様である。
　このように文字領域の画素数だけで表示期間を決定するため、極めて簡易な処理で文字の視認性を向上させることができる。
　（第３実施形態）
　本発明を実施するための第３の最良の形態について、図３を用いて説明する。図３において、図１と同じ処理ブロックには同一の番号を付与するものとし、説明も割愛する。
　第３実施形態は、図３において、複雑度計数部３００を備え、表示期間決定部３０１の動作が異なる例である。
　複雑度計数部３００は、検出結果の値が１の時に、入力されたサイズと画像データから複雑度を出力する。複雑度は、検出した文字領域の総画素数と輝度変化の大きい画素の数の２つから成り、この２つの数値を表示期間決定部３０１に出力する。文字領域の総画素数は、文字領域の縦の画素数と横の画素数の乗算により得られた数とする。また、輝度変化の大きい画素の数は、文字領域内に含まれる画素のうち、隣接する画素の輝度の値がある閾値よりも大きい画素の数をカウントした数とする。
　表示期間決定部３０１では、文字領域の総画素数が多い場合と少ない場合、輝度変化の大きい画素の数が多い場合と少ない場合に分類する。総画素数の大小と輝度変化の大きい画素数の大小を（大、小）のような組み合わせで表記すると、（大、大）、（大、小）、（小、大）、（小、小）の４種類となる。この内、（小、大）は領域が小さくて複雑度が高いため長い時間（たとえば１０秒程度）強調表示をすることが望ましいと考えられる。一方、（大、小）は領域が大きく、複雑度が低いため、読みやすいと思われるため短い時間（たとえば３秒程度）強調表示する。（大、大）、（小、小）については中程度の読みやすさと思われるため、強調表示期間を５秒程度にする。
　以降の処理については、前述と同様である。
　このように文字領域の画素数と複雑度で表示期間を決定するため、比較的簡易な処理で文字の視認性を向上させることができる。
　（第４実施形態）
　本発明の画像表示方法を実施するための第４の最良の形態について、図４を用いて説明する。入力画像に対して、文字領域抽出ステップ（ＳＴ０１）で文字を含む領域を検出して切り出しを行う。文字領域を検出できたかどうかの判定ステップ（ＳＴ０２）において判定を行う。検出できなかった場合は、現在のフレームをそのまま出力し、次のフレームの処理に移行する。文字領域を検出できて、かつ、前フレームにおいて同位置に同一サイズの文字領域が検出できているかどうかを判定するステップ（ＳＴ０３）において判定を行う。検出できていない場合は、現在のフレームをそのまま出力し、次のフレームの処理に移行する。検出できた場合、文字数計数ステップ（ＳＴ０４）で文字数のカウントを行う。表示期間決定ステップ（ＳＴ０５）で強調表示を行う期間を決定する。表示期間中かどうかを判定するステップ（ＳＴ０６）において、現フレームが強調表示期間中かどうか判定する。強調表示期間中でない場合、そのまま現フレームを出力して次フレームの処理に移行する。期間中である場合、強調処理ステップ（ＳＴ０７）において検出した文字領域を拡大して出力する。合成処理（ＳＴ０８）において拡大した文字領域を現フレームと合成して出力する。出力ステップ（ＳＴ０９）において、表示用のバッファに出力し、次フレームの処理に移行する。
　このように、文字数により表示期間を決定するため、要以上に視聴の妨げとならずに文字の視認性を向上させる事ができる。
　（第５実施形態）
　本発明の画像表示方法を実施するための第５の最良の形態について、図５を用いて説明する。図５において、図４と同一の処理ステップには同一の番号を付与するものとし、説明も割愛する。表示期間決定ステップ（ＳＴ１１）において、文字領域のサイズをもとに表示期間を決定する。文字領域が大きい場合は短く（例：３秒）、小さい場合は長く（例：１０秒）設定する。以下は前述と同様の処理となる。
　このように文字領域の画素数だけで表示期間を決定するため、極めて簡易な処理で文字の視認性を向上させることができる。
　（第６実施形態）
　本発明の画像表示方法を実施するための第６の最良の形態について、図６を用いて説明する。図６において、図４と同一の処理ステップには同一の番号を付与するものとし、説明も割愛する。
　複雑度計数ステップ（ＳＴ１２）において、文字領域内の複雑度を計数する。これは隣接する画素の差分値を計算し、ある閾値を超えている画素の数をカウントする。表示期間決定ステップ（ＳＴ１３）において、文字領域の大きさと複雑度に応じて表示期間を決定する。文字領域が小さく、複雑度が高い場合は、表示期間を長くする。文字領域が大きく、複雑度が低い場合は、表示期間を短くする。
　このように文字領域の画素数と複雑度で表示期間を決定するため、比較的簡易な処理で文字の視認性を向上させることができる。
　なお、本発明は、本発明の趣旨ならびに範囲を逸脱することなく、明細書の記載、並びに周知の技術に基づいて、当業者が様々な変更、応用することも本発明の予定するところであり、保護を求める範囲に含まれる。また、発明の趣旨を逸脱しない範囲で、上記実施形態における各構成要素を任意に組み合わせてもよい。
　本出願は、２０１０年４月２０日出願の日本特許出願（特願2010-096783）に基づくものであり、その内容はここに参照として取り込まれる。
　本発明は、小型で携帯性の高い機器に適用が可能であり、特に携帯電話端末、ＰＤＡ（パーソナルデジタルアシスタント）、ポータブルテレビなどが考えられる。
　１００　　文字領域抽出部
　１０１　　文字数計数部
　１０２　　表示期間決定部
　１０３　　強調処理部
　１０４　　合成処理部
　１０５　　表示出力用バッファ
　２００　　表示期間決定部
　３００　　複雑度計数部
　３０１　　表示期間決定部
 

Claims (13)

  1. 　動画像内の１フレーム画像から文字を含む領域を検出して切り出す文字領域抽出部と、
    　前記切り出した文字領域に対して強調処理を施す強調処理部と、
    　前記検出した文字領域を解析する文字領域解析部と、
    　前記解析結果より前記強調処理を施した文字領域を表示する期間を決定する表示期間決定処理部と、
    　前記表示期間中に前記強調処理を施した文字領域を１フレーム画像に合成する合成処理部と、を有する画像表示装置。
  2. 　請求項１記載の画像表示装置であって、
    　前記文字領域解析部は、前記切り出した文字領域に含まれる文字数を計数する文字数計数部を有し、
    　前記表示期間決定部は、前記文字数計数部が計数する文字数を基に前記表示期間を決定する画像表示装置。
  3. 　請求項１記載の画像表示装置であって、
    　前記文字領域解析部は、前記切り出した文字領域に含まれる画素数を計数する画素数計数部を有し、
    　前記表示期間決定部は、前記画素数計数部が計数する画素数を基に前記表示期間を決定する画像表示装置。
  4. 　請求項１記載の画像表示装置であって、
    　前記文字領域解析部は、前記切り出した文字領域に含まれる画素数を計数する画素数計数部と、文字領域の複雑度を測定する複雑度測定部と、を有し、
    　前記表示期間決定部は、前記画素数と前記複雑度を基に前記表示期間を決定する画像表示装置。
  5. 　請求項４記載の画像表示装置であって、
    　前記複雑度測定部は、エッジ画素の数を計数するエッジ画素係数部である画像表示装置。
  6. 　請求項１から請求項５のいずれか１項に記載の画像表示装置であって、
    　前記強調処理部は、拡大処理を行う画像表示装置。
  7. 　請求項１から６記載のいずれか１項に記載の画像表示装置を備える携帯端末装置。
  8. 　動画像内の１フレーム画像から文字を含む領域を検出して切り出す第１ステップと、
    　前記文字領域に対して強調処理を施す第２ステップと、
    　前記文字領域を解析する第３ステップと、
    　前記解析結果より前記強調処理を施した文字領域を表示する期間を決定する第４ステップと、
    　前記期間中、前記強調処理を施した文字領域を前期決定した期間だけ前記１フレーム画像に合成する第５ステップと、を有する画像表示方法。
  9. 　請求項８に記載の画像表示方法であって、
    　前記第３ステップは、前記文字領域に含まれる文字数を計数し、
    　前記第４ステップは、前記第３ステップで計数する文字数を基に前記表示期間を決定する画像表示方法。
  10. 　請求項８に記載の画像表示方法であって、
    　前記第３ステップは、前記切り出した文字領域に含まれる画素数を計数し、
    　前記第４ステップは、前記第３ステップで計数する画素数を基に前記表示期間を決定する画像表示方法。
  11. 　請求項８に記載の画像表示方法であって、
    　前記第３ステップは、前記切り出した文字領域に含まれる画素数を計数する第６ステップと、文字領域の複雑度を測定する第７ステップと、を有し、
    　前記第４ステップは、前記画素数と前記複雑度を基に前記表示期間を決定する画像表示方法。
  12. 　請求項１１に記載の画像表示方法であって、
    　前記第７ステップは、エッジ画素の数を計数する画像表示方法。
  13. 　請求項８から請求項１２のいずれか１項に記載の画像表示方法であって、
    　前記第２ステップは拡大処理である画像表示方法。
     
PCT/JP2011/002261 2010-04-20 2011-04-18 画像表示装置、携帯端末装置、及び画像表示方法 WO2011132397A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010096783A JP2013141051A (ja) 2010-04-20 2010-04-20 画像表示装置、携帯端末装置、及び画像表示方法
JP2010-096783 2010-04-20

Publications (1)

Publication Number Publication Date
WO2011132397A1 true WO2011132397A1 (ja) 2011-10-27

Family

ID=44833941

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/002261 WO2011132397A1 (ja) 2010-04-20 2011-04-18 画像表示装置、携帯端末装置、及び画像表示方法

Country Status (2)

Country Link
JP (1) JP2013141051A (ja)
WO (1) WO2011132397A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002261995A (ja) * 2001-03-05 2002-09-13 Sharp Corp 画像通信装置、画像通信方法及びプログラム記録媒体
JP2006270139A (ja) * 2005-03-22 2006-10-05 Matsushita Electric Ind Co Ltd データ再生装置、データ再生方法およびプログラム
JP2006285051A (ja) * 2005-04-01 2006-10-19 Sharp Corp 画像拡大装置
JP2007300270A (ja) * 2006-04-28 2007-11-15 Canon Inc デジタル放送受信装置及びその制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002261995A (ja) * 2001-03-05 2002-09-13 Sharp Corp 画像通信装置、画像通信方法及びプログラム記録媒体
JP2006270139A (ja) * 2005-03-22 2006-10-05 Matsushita Electric Ind Co Ltd データ再生装置、データ再生方法およびプログラム
JP2006285051A (ja) * 2005-04-01 2006-10-19 Sharp Corp 画像拡大装置
JP2007300270A (ja) * 2006-04-28 2007-11-15 Canon Inc デジタル放送受信装置及びその制御方法

Also Published As

Publication number Publication date
JP2013141051A (ja) 2013-07-18

Similar Documents

Publication Publication Date Title
EP2109313B1 (en) Television receiver and method
KR101318459B1 (ko) 수신기 상에서 오디오비주얼 문서를 시청하는 방법 및이러한 문서를 시청하기 위한 수신기
KR101527672B1 (ko) 비디오 적응 및 재타겟팅을 위한 비디오 캡션 재-오버레이 시스템 및 방법
US10540791B2 (en) Image processing apparatus, and image processing method for performing scaling processing based on image characteristics
EP2131583A1 (en) Video transmitter, video receiver, video recorder, video reproducer, and video display
US9001272B2 (en) Image synthesizing device, coding device, program, and recording medium
CN105916004A (zh) 一种图像的叠加显示方法和系统
JP4267649B2 (ja) ビデオ番組の処理方法、関連装置及び関連媒体
US20110261264A1 (en) Image Processing
JP2009071809A (ja) 映像表示装置ならびに補間画像生成回路および方法
JP2014077993A (ja) 表示装置
CN101562712A (zh) 实现数字电视网络视频自适应窗口截取播放的方法
KR20130104215A (ko) 영상의 적응적 부분대체 방법과, 이를 이용하여 광고영상이 삽입된 프로그램 동영상을 생성하는 방법
US20150215543A1 (en) Method and apparatus for displaying preview image and storage medium
WO2011132397A1 (ja) 画像表示装置、携帯端末装置、及び画像表示方法
CN110300326B (zh) 一种视频卡顿的检测方法、装置、电子设备及存储介质
JP6080667B2 (ja) 映像信号処理装置及び方法、並びにプログラム及び記録媒体
US20080285888A1 (en) Image resizing device and parameter adjusting method thereof
JP5377649B2 (ja) 画像処理装置および映像再生装置
JP2008102233A (ja) 映像信号処理装置
JP2014212434A5 (ja)
US8867832B2 (en) Method for detecting and removing scrolling texts during video communication
JP5232744B2 (ja) 要約コンテンツを表示する表示装置、方法及びプログラム
WO2014001095A1 (en) Method for audiovisual content dubbing
WO2011061915A1 (ja) 画像表示装置及び画像表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11771740

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11771740

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP