WO2011070793A1 - 画像表示装置及び画像表示方法 - Google Patents

画像表示装置及び画像表示方法 Download PDF

Info

Publication number
WO2011070793A1
WO2011070793A1 PCT/JP2010/007208 JP2010007208W WO2011070793A1 WO 2011070793 A1 WO2011070793 A1 WO 2011070793A1 JP 2010007208 W JP2010007208 W JP 2010007208W WO 2011070793 A1 WO2011070793 A1 WO 2011070793A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
size
image
pixels
character area
Prior art date
Application number
PCT/JP2010/007208
Other languages
English (en)
French (fr)
Inventor
井村　康治
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2011070793A1 publication Critical patent/WO2011070793A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0442—Handling or displaying different aspect ratios, or changing the aspect ratio
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored

Definitions

  • the present invention relates to the display of moving images in a mobile device, and more particularly to an image display apparatus and an image display method for improving the visibility of telops displayed in a television program or the like.
  • Mobile devices are made small to prioritize portability, and the display for display is also about 3 to 4 inches. Even if the content becomes high quality, if the display is small, the visibility of the small object being displayed is not very good, and in particular, the characters and telops etc. displayed in the television program are small and unreadable and difficult to read There is a problem such as
  • Patent Document 1 discloses a technique for detecting telop information.
  • edge detection processing is performed on an input image to specify a telop area.
  • the same content may be displayed by changing the image size according to the use situation.
  • the display is displayed horizontally when the image is displayed on the full screen, the display is vertically displayed, the horizontal size of the image is displayed on the short side of the display, or other applications such as mail are displayed Display small in the corner of Therefore, when displaying on the full screen, it is considered preferable not to display the telop larger than necessary and not to disturb viewing, and when the display is small, it is preferable to display larger to ensure visibility.
  • Patent Document 3 Although it is possible to arbitrarily enlarge and display character information (subtitles) stored in a DVD or the like, it is necessary for the user to specify an enlargement factor each time, which takes time and effort. There is a problem.
  • the present invention solves the above-described problems, and improves the visibility of small characters even when viewing a moving image or a TV program on a mobile device.
  • the image display device detects a region including characters from one frame image in a moving image and cuts out the region, the number of pixels of the one frame image, and the one frame image And a scaling factor determining unit that determines a scaling factor for the clipped character area based on a ratio to the number of pixels when displaying on the display, and converting the size of the clipped character area according to the scaling factor Character area size conversion unit, a display size conversion unit converting the size into the number of pixels for displaying the one frame image on the display, the character area converted in size, and the one frame image converted into the display size It has a synthesis processing unit to synthesize.
  • the scaling ratio determining unit determines the scaling ratio from the ratio and the size of the display.
  • the size of the display is the length of the diagonal of the display and the maximum number of vertical and horizontal pixels that can be displayed on the display.
  • the scaling ratio can be easily calculated by using general display information.
  • the number of vertical or horizontal pixels in the character area after the size conversion has an upper limit of the number of vertical or horizontal pixels in the display size.
  • the number of vertical or horizontal pixels of the extracted character area is x
  • the length of the diagonal of the display is N
  • the maximum number of vertical pixels that can be displayed on the display is Y
  • the portable terminal device of the present invention is mounted with the image display device described in any one of the above.
  • the moving image display method of the present invention comprises a first step of detecting and cutting out a region including characters from one frame image in the moving image, displaying the number of pixels of the one frame image and the one frame image on a display A second step of determining an enlargement / reduction rate for the extracted character area based on a ratio to the number of pixels; a third step of converting the size of the extracted character area according to the enlargement / reduction rate; A fourth step of converting the size into the number of pixels for displaying an image, and a fifth step of combining the size-converted character area and the one-frame image converted into the display size.
  • the scaling factor in the second step is determined from the ratio and the size of the display.
  • the size of the display is the length of the diagonal of the display and the maximum number of vertical and horizontal pixels that can be displayed on the display.
  • the number of vertical or horizontal pixels in the character area after size conversion is limited to the number of vertical or horizontal pixels displayed on the display.
  • the number of vertical or horizontal pixels of the extracted character area is x
  • the length of the display diagonal is N
  • the maximum number of vertical pixels that can be displayed on the display is Y
  • the enlargement / reduction ratio of the character area is determined based on the image size and the display size when displaying on the display, and the character is easy to read. Have an effect.
  • FIG. 6 is an explanatory view in which an enlarged character area in the first embodiment of the image display device of the present invention is synthesized. It is a block diagram of the 2nd form of the image display apparatus of this invention. It is explanatory drawing which synthesize
  • 101 is a character area extraction unit
  • 102 is an image size information acquisition unit
  • 103 is a scaling factor determination unit
  • 104 is a character area size conversion unit
  • 105 is a combining processing unit
  • 106 is a display size conversion unit
  • 107 is It is a buffer for display output.
  • the character area extraction unit 101 detects a character area from the input image, and cuts out a rectangular area including the area. Further, image data cut out of the presence / absence of detection of the character area and the image size (the number of vertical and horizontal pixels) of the rectangular area is output.
  • the image size information acquisition unit 102 acquires and outputs image size information and input image size information to be displayed on the display. For example, a numerical value of 848 pixels wide and 480 pixels high is output as the input image size, and image size information to be displayed on the display is a display capable of displaying 848 pixels ⁇ 480 pixels, and wants to display the entire screen in landscape. In this case, if you want to display 848 horizontal pixels and 480 vertical pixels and display the screen vertically, output 480 horizontal pixels and 270 vertical pixels (the gray (symbols ⁇ and ⁇ in Fig. 2a) ).
  • the enlargement / reduction ratio determination unit 103 determines the size of the character area after the size conversion of the character area extracted by the character area extraction unit 101 based on the image size to be displayed and the input image size, and outputs the enlargement / reduction ratio.
  • the character area size after enlargement or reduction is preferably as large as possible in consideration of visibility only, but it should be suppressed to an extent that does not interfere with viewing on the screen, and the enlargement or reduction ratio may be appropriately determined according to the display image size. desirable. That is, as the display image size becomes smaller than the input image size, the enlargement ratio of the character area is suppressed. For example, the enlargement / reduction rate as shown in the following table.
  • the text area is enlarged according to the enlargement / reduction ratio in the following table, and when the vertical or horizontal image size of the display image size becomes large, the size not exceeding the display image size is the upper limit.
  • the character area size conversion unit 104 performs size conversion based on the scaling factor, and outputs image data.
  • the combining processing unit 105 combines the input image and the character area after size conversion and outputs the result.
  • the input image size is 848 pixels horizontally and 480 pixels vertically
  • the image size displayed on the display is also 848 pixels horizontally and 480 pixels vertically
  • the detected character area size is 120 pixels horizontally and 40 vertically
  • the enlargement / reduction ratio is tripled, and the size is converted into 360 horizontal pixels and 120 vertical pixels and output.
  • the input image size is 848 pixels horizontally and 480 pixels vertically
  • the image size displayed on the display is 480 pixels horizontally and 270 pixels vertically
  • the detected character area size is 120 pixels horizontally and vertically
  • the enlargement / reduction ratio is set to 1.25
  • size conversion is performed to 150 pixels horizontally and 50 pixels vertically (FIG. 2 b).
  • the display size conversion unit 106 converts the input image size into a display size.
  • the display size is 848 pixels horizontally and 480 pixels vertically, since it is the same as the input image size, size conversion is not performed, and it is output as it is.
  • the display size is 480 pixels horizontally and 270 pixels vertically, the image is converted to this size and output.
  • the composition processing unit 105 composes and outputs the input image converted to the display size and the character area after the size conversion.
  • the output image is stored in the display output buffer 107.
  • reference numeral 201 denotes a display size information acquisition unit
  • reference numeral 202 denotes a scaling ratio determination unit.
  • the display 1 has a display size of 848 pixels ⁇ 480 pixels and a diagonal length of 3.5 inches.
  • the display 2 has a display size of 424 pixels ⁇ 240 pixels and a diagonal length of 2 inches.
  • the display 1 is displayed in a horizontally long screen. It is assumed that the display 2 is also made wide and displayed on the full screen.
  • the display size information acquisition unit 201 When displaying on the display 1, the display size information acquisition unit 201 outputs a numerical value of maximum displayable size 848 pixels ⁇ 480 pixels and a numerical value of diagonal length 3.5 inches.
  • the display size information acquisition unit 201 When displaying on the display 2, the display size information acquisition unit 201 outputs a numerical value of the maximum displayable size of 424 pixels ⁇ 240 pixels and a numerical value of the diagonal length of 2 inches.
  • the image size information acquisition unit 102 outputs numerical values of 848 pixels horizontally and 480 pixels vertically for both the input image size and the display image size.
  • the size of the character area detected by the character area extraction unit 101 is 120 pixels horizontally and 40 pixels vertically.
  • the scaling factor determination unit 202 determines the scaling factor from the display size information and the image size information according to Table 2 below.
  • the display image size becomes smaller than the input image size, the enlargement ratio of the character area is suppressed.
  • the display size is different, the smaller the size, the higher the ratio of the character area to the screen (FIG. 4).
  • the text area is enlarged according to the enlargement / reduction ratio in the following table, and when the vertical or horizontal image size of the display image size becomes large, the size not exceeding the display image size is the upper limit.
  • the number of vertical or horizontal pixels in the character area is x
  • the diagonal length of the display is N
  • the maximum number of vertical pixels that can be displayed on the display is Y
  • the number of horizontal pixels is X
  • the image size of the character area not to exceed the display size, it is possible to prevent the character area from being cut off and becoming invisible. Also, with this calculation method, the desired size can be obtained.
  • reference numeral 301 denotes a recording medium
  • 302 denotes a separation unit
  • 303 denotes an image decoding unit
  • 304 denotes an audio decoding unit
  • 305 denotes a moving image display device
  • 306 denotes a speaker
  • 307 denotes a display.
  • the content such as a TV program stored in the recording medium 301 is read out.
  • the separation unit 302 separates the read content into encoded image data and encoded acoustic data, and outputs the separated data.
  • the image decoding unit 303 decodes the encoded image data into viewable image data.
  • There are various possible encoding methods for the image coded data but a technique (generally called MPEG-4) etc. defined in ISO / IEC 14496 Part 2 can be mentioned as an example.
  • the sound decoding unit 304 decodes the coded sound data into sound data that can be viewed.
  • a technique (generally called AAC) defined in ISO / IEC 14496 Part. 3 can be cited as an example.
  • the image decoded by the image decoding unit 303 is subjected to enlargement processing of the character area in the moving image display device 305, and is synthesized and output to the input image.
  • the combined image is displayed on the display 307.
  • the sound data decoded by the sound decoding unit 304 is ringed by the speaker 306.
  • FIG. 6 the same processing blocks as in FIG. 5 are given the same numbers, and the description will be omitted.
  • reference numeral 401 denotes a switching unit for switching to which of two displays
  • reference numeral 402 denotes a display smaller than 307.
  • a region including characters such as telops is detected and cut out from the input image in the character region extraction processing step (ST01). It is determined whether it has been detected in the character area detection step (ST02). If not detected, the processing of the next input image is performed. If it is detected, in the image size acquisition step (ST03), the input image size and the display image size are acquired. In the resizing step (ST04), the input image is resized to the display size. In the scaling factor determination step (ST05), the scaling factor of the character area extracted according to Table 1 is determined. In the text area scaling process step (ST06), the text area is scaled up or down according to the scaling rate. A combining process step (ST07) combines the enlarged or reduced character area and the input image resized to the display size. In the buffer storage step (ST08), the combined image data is stored in the display output buffer. Then, it proceeds to processing of the next input image.
  • the character By thus determining the size of the character area based on the size of the image to be displayed on the display, the character can be made easier to read.
  • FIG. 8 Sixth Embodiment A sixth embodiment of the moving picture display method of the present invention will be described with reference to FIG. In FIG. 8, the same processing steps are assigned the same numbers, and descriptions thereof will be omitted.
  • the size acquisition step (ST10) the input image size, the display image size and the display size are acquired, and in the enlargement / reduction ratio step (ST05), the enlargement / reduction ratio is determined according to Table 2.
  • the enlargement / reduction ratio is determined according to Table 2. According to this method, by determining the size of the character area based on the display size and the image size to be displayed on the display, characters can be easily read even in a plurality of displays of different sizes.
  • the present invention is applicable to small-sized and highly portable devices, and in particular, mobile phone terminals, PDAs (Personal Digital Assistants), portable TVs, etc. can be considered.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Image Analysis (AREA)

Abstract

　小型のディスプレイを備える画像表示装置においてテレビ番組内のテロップのような小さな文字の視認性を向上させる。　動画表示装置は、動画像内の１フレーム画像から文字を含む領域を検出して切り出す文字領域抽出部と、前記１フレーム画像の画素数と前記１フレーム画像をディスプレイに表示する時の画素数との比率を基に前記切り出した文字領域に対する拡大縮小率を決定する拡大縮小率決定部と、前記拡大縮小率に応じて前記切り出した文字領域のサイズを変換する文字領域サイズ変換部と、前記１フレーム画像をディスプレイに表示するための画素数にサイズを変換する表示サイズ変換部と、前記サイズ変換した文字領域と前記表示サイズに変換した１フレーム画像とを合成する合成処理部を有する。

Description

画像表示装置及び画像表示方法
　本発明は、モバイル機器における動画像の表示に関するものであり、特に、テレビ番組等で表示されるテロップの視認性を改善する画像表示装置及び画像表示方法に関するものである。
　携帯端末やPDAなどのモバイル機器において搭載されるプロセッサ等の処理性能の向上に伴い、従来のメールやインターネット上のホームページ等の閲覧といった用途から、動画の視聴へと広がってきた。2006年4月からは、地上デジタル放送の伝送帯域の一部を使い、携帯端末等での視聴を目的としたワンセグ放送が開始された。また、今後はアナログ放送停止以降の帯域を利用した新たなサービスが検討されており、ワンセグよりも高画質なコンテンツの視聴の可能性が出てきた。
　一方、家庭内の機器と連係し、録画したテレビ番組を記録媒体等に適切な手段で書き込んだり、インターネットからダウンロードしたコンテンツを記録媒体に書き込んだりして、モバイル機器を使って出先で視聴するといった機能も実現されてきている。
　このように放送、家電、インターネットなど様々な手段で高画質なコンテンツを入手・視聴できる環境が整いつつある。
日本国特開2007-074091号公報 日本国特開2005-084157号公報 日本国特開2002-091409号公報
　モバイル機器は携帯性を優先するために小型に作られており、表示のためのディスプレイも3～4インチ程度となっている。コンテンツが高画質になっても、ディスプレイが小さいと、表示されている小さい対象物の視認性はあまり良くなく、特に、テレビ番組中に表示される文字やテロップなどが小さくて読めない・読みづらいといった課題がある。
　このような課題に対応するため、画面内のテロップ情報を検出し、強調表示を行う技術の検討が行われている。テロップ情報の検出技術に関しては、特許文献１に開示されている。特許文献１では、入力された画像に対してエッジ検出処理を施し、テロップ領域を特定するものである。
　また、携帯端末では、同じコンテンツを、使用状況に応じて画像サイズを変えて表示することがある。例えば、ディスプレイを横長にして画像を画面一杯に表示したり、ディスプレイを縦長にしてディスプレイの短辺に画像の横サイズを合わせて表示したり、メール等の他のアプリケーションを起動している時にディスプレイの隅に小さく表示したりする。よって、画面一杯に表示している時には、テロップを必要以上に大きく表示せず、視聴の妨げにならないようにし、小さい時は視認性確保のために大きめに表示する事が望ましいと考えられる。
　特許文献２では、テロップ領域を検出して拡大表示して視認性の向上をはかっているが、拡大率を変更する事を考慮していないため、前述の望ましい表示が実現できないという課題がある。
　また、特許文献３では、DVDなどに格納されている文字情報(字幕)を任意に拡大して表示する事は可能であるが、ユーザーが都度拡大率を指定する必要があり、手間がかかるという課題がある。
　本発明は、上記の課題を解決し、モバイル機器で動画やTV番組等の視聴を行う場合でも、小さい文字の視認性を改善するものである。
　上記の課題を鑑みて、本発明の画像表示装置は、動画像内の１フレーム画像から文字を含む領域を検出して切り出す文字領域抽出部と、前記１フレーム画像の画素数と前記１フレーム画像をディスプレイに表示する時の画素数との比率を基に前記切り出した文字領域に対する拡大縮小率を決定する拡大縮小率決定部と、前記拡大縮小率に応じて前記切り出した文字領域のサイズを変換する文字領域サイズ変換部と、前記１フレーム画像をディスプレイに表示するための画素数にサイズを変換する表示サイズ変換部と、前記サイズ変換した文字領域と前記表示サイズに変換した１フレーム画像とを合成する合成処理部を有する。
　この構成により、ディスプレイに表示する画像サイズを元に文字領域の大きさを決定することにより、文字を読みやすくすることができる。
　また、本発明の画像表示装置は、前記拡大縮小率決定部は、前記比率およびディスプレイの大きさから拡大縮小率を決定する。
　この構成により、ディスプレイサイズとディスプレイに表示する画像サイズを元に文字領域の大きさを決定することにより、大きさの異なる複数のディスプレイにおいても文字をよみやすくすることができる。
　また、本発明の画像表示装置は、前記ディスプレイの大きさは、ディスプレイの対角線の長さとディスプレイで表示可能な最大の縦と横の画素数である。
　この構成により、一般的なディスプレイの情報を用いることにより、容易に拡大縮小率の計算をすることができる。
　また、本発明の画像表示装置は、前記サイズ変換後の文字領域の縦もしくは横の画素数は、前記表示サイズの縦もしくは横の画素数を上限とする。
　この構成により、文字領域の画像サイズが表示サイズを超えないようにすることにより、文字領域が切れて見えなくなることを回避することができる。
　また、本発明の画像表示装置は、前記切り出した文字領域の縦もしくは横の画素数をｘ、ディスプレイの対角線の長さをＮ、ディスプレイで表示可能な最大の縦の画素数をＹ、横の画素数をＸ、サイズ変換後の文字領域の縦もしくは横の長さをＬとすると、前記拡大縮小率ｓは、以下の式で表される。
　s ＝ L・√(X2 + Y2)／Nx
　また、本発明の携帯端末装置は、前記いずれか１項に記載の画像表示装置を搭載している。
　この構成により、携帯端末装置に搭載することにより、携帯端末での視聴において文字することができる。
　本発明の動画像表示方法は、動画像内の１フレーム画像から文字を含む領域を検出して切り出す第１ステップと、前記１フレーム画像の画素数と前記１フレーム画像をディスプレイに表示する時の画素数との比率を基に前記切り出した文字領域に対する拡大縮小率を決定する第２ステップと、前記拡大縮小率に応じて前記切り出した文字領域のサイズを変換する第３ステップと、前記１フレーム画像をディスプレイに表示するための画素数にサイズを変換する第４ステップと、前記サイズ変換した文字領域と前記表示サイズに変換した１フレーム画像とを合成する第５ステップとを有している。
　この方法により、ディスプレイに表示する画像サイズを元に文字領域の大きさを決定することにより、文字を読みやすくすることができる。
　また、本発明の画像表示方法は、前記第２ステップにおける前記拡大縮小率は、前記比率およびディスプレイの大きさから決定する。
　この方法により、ディスプレイサイズとディスプレイに表示する画像サイズを元に文字領域の大きさを決定することにより、大きさの異なる複数のディスプレイにおいても文字をよみやすくすることができる。
　また、本発明の画像表示方法は、前記ディスプレイの大きさは、前記ディスプレイの対角線の長さと前記ディスプレイで表示可能な最大の縦と横の画素数である。
　この方法により、一般的なディスプレイの情報を用いることにより、容易に拡大縮小率の計算をすることができる。
　また、本発明の画像表示方法は、サイズ変換後の文字領域の縦もしくは横の画素数は、前記ディスプレイに表示するサイズの縦もしくは横の画素数を上限とする。
　この方法により、文字領域の画像サイズが表示サイズを超えないようにすることにより、文字領域が切れて見えなくなることを回避することができる。
　また、本発明の画像表示方法は、前記切り出した文字領域の縦もしくは横の画素数をｘ、ディスプレイの対角線の長さをＮ、ディスプレイで表示可能な最大の縦の画素数をＹ、横の画素数をＸ、サイズ変換後の文字領域の縦もしくは横の長さをＬとすると、前記拡大縮小率ｓは、以下の式で表される。
　s ＝ L・√(X2 + Y2)／Nx
　この計算方法により、所望のサイズにすることができる。
　本発明の画像表示装置および方法によれば、ディスプレイに表示する時の画像サイズやディスプレイサイズをもとに、文字領域の拡大縮小率を決定して合成・表示するため、文字を読みやすくなるという効果を有する。
本発明の画像表示装置の第１の形態のブロック図である。 本発明の画像表示装置の第１の形態における拡大文字領域を合成した説明図である。 本発明の画像表示装置の第２の形態のブロック図である。 本発明の画像表示装置の第２の形態における拡大文字領域を合成した説明図である。 本発明の携帯端末装置の第１の形態のブロック図である。 本発明の携帯端末装置の第２の形態のブロック図である。 本発明の画像表示方法の第１の処理フローである。 本発明の画像表示方法の第２の処理フローである。
　本発明を実施するための形態を以下に述べる。
　（第１実施形態）
　本発明を実施するための第１の形態を図１用いて説明する。図１において、１０１は文字領域抽出部、１０２は画像サイズ情報取得部、１０３は拡大縮小率決定部、１０４は文字領域サイズ変換部、１０５は合成処理部、１０６は表示サイズ変換部、１０７は表示出力用バッファである。
　文字領域抽出部１０１は、入力画像から文字領域を検出し、その領域を含む矩形領域を切り出す。さらに、文字領域の検出有無と、矩形領域の画像サイズ(縦と横の画素数)と切出した画像データを出力する。画像サイズ情報取得部１０２は、ディスプレイ上に表示する画像サイズ情報と入力画像サイズ情報を取得して出力する。例えば、入力画像サイズとして横８４８画素、縦４８０画素という数値を出力し、ディスプレイ上に表示する画像サイズ情報については、８４８画素×４８０画素の表示が可能なディスプレイであり、横長に画面一杯表示したい場合は、横８４８画素、縦４８０画素という数値を出力し、ディスプレイを縦長にして表示したい場合は、横４８０画素、縦２７０画素という数値を出力する（図２aの灰色（符号α、β）部分）。
　拡大縮小率決定部１０３は、表示する画像サイズと入力画像サイズとから文字領域抽出部１０１で抽出した文字領域のサイズ変換後の画像サイズを決定し、その拡大縮小率を出力する。拡大もしくは縮小後の文字領域サイズは、視認性だけを考慮すると、できるだけ大きい方が好ましいが、画面の視聴の妨げとならない程度に抑え、表示画像サイズに応じて適切に拡大縮小率を定める事が望ましい。つまり、入力画像サイズに対して表示画像サイズが小さくなるにつれ、文字領域の拡大率を抑えるようにする。例えば、下表のような拡大縮小率とする。
　下表の拡大縮小率に応じて文字領域を拡大し、表示画像サイズの縦もしくは横の画像サイズが大きくなる場合は、表示画像サイズを超えないサイズを上限とする。
Figure JPOXMLDOC01-appb-T000001
　文字領域サイズ変換部１０４は、前記拡大縮小率に基づいてサイズ変換を行い、画像データを出力する。合成処理部１０５は、入力画像とサイズ変換後の文字領域を合成して出力する。
　例えば、入力画像サイズが横８４８画素、縦が４８０画素であり、ディスプレイ上に表示する画像サイズも横８４８画素、縦が４８０画素であり、検出された文字領域のサイズが横１２０画素、縦４０画素である場合、拡大縮小率を３倍とし、横３６０画素、縦１２０画素にサイズ変換して出力する。
　別の一例として、入力画像サイズが横８４８画素、縦が４８０画素であり、ディスプレイ上に表示する画像サイズが横４８０画素、縦２７０画素であり、検出された文字領域サイズが横１２０画素、縦４０画素である場合、拡大縮小率を１．２５倍とし、横１５０画素、縦５０画素にサイズ変換して出力する（図２ｂ）。
　表示サイズ変換部１０６は、入力画像サイズを表示サイズに変換する。表示サイズが横８４８画素、縦４８０画素の場合、入力画像サイズと同じであるため、サイズ変換は行われず、そのまま出力される。表示サイズが横４８０画素、縦２７０画素の場合は、このサイズに変換して出力を行う。
　合成処理部１０５は、表示サイズに変換された入力画像と前記サイズ変換後の文字領域を合成して出力する。出力画像は表示出力用バッファ１０７に格納される。このように、ディスプレイに表示する画像サイズを元に文字領域の大きさを決定することにより、文字を読みやすくすることができる。
（第２実施形態）
　本発明を実施するための第２の形態について図３を用いて説明する。図３において、図１と同じ処理ブロックには同一の番号を付与するものとし、説明も割愛する。
　図３において、２０１はディスプレイサイズ情報取得部、２０２は拡大縮小率決定部である。ここでは、２つのディスプレイを有し、利用シーンによって、いずれかのディスプレイに表示するよう使いわけるものとする。ディスプレイ１は、表示サイズが８４８画素×４８０画素であり、対角線の長さが３．５インチであるものとする。ディスプレイ２は、表示サイズが４２４画素×２４０画素であり、対角線の長さが２インチであるものとする。
　また、ここでは、ディスプレイ１を横長にして画面一杯に表示することを想定する。ディスプレイ２も横長にして画面一杯に表示することを想定する。
　ディスプレイ１に表示を行う場合、ディスプレイサイズ情報取得部２０１は、表示可能な最大サイズ８４８画素×４８０画素という数値と、対角線の長さ３．５インチという数値を出力する。
　ディスプレイ２に表示を行う場合、ディスプレイサイズ情報取得部２０１は表示可能な最大サイズ４２４画素×２４０画素という数値と、対角線の長さ２インチという数値を出力する。
　画像サイズ情報取得部１０２は、入力画像サイズおよび表示画像サイズいずれも横８４８画素、縦４８０画素という数値を出力する。
　また、文字領域抽出部１０１で検出された文字領域のサイズは、横１２０画素、縦４０画素であるとする。
　拡大縮小率決定部２０２は、ディスプレイサイズ情報と画像サイズ情報とから、以下の表２に従い、拡大縮小率の決定を行う。同じディスプレイサイズの場合は、第１の実施形態と同様に、入力画像サイズに対して表示画像サイズが小さくなるにつれ、文字領域の拡大率を抑えるようにする。また、ディスプレイサイズが異なる場合は、サイズの小さい方が画面に占める文字領域の割合が高くなるように設定する（図４）。
　下表の拡大縮小率に応じて文字領域を拡大し、表示画像サイズの縦もしくは横の画像サイズが大きくなる場合は、表示画像サイズを超えないサイズを上限とする。
　また、拡大縮小率を決めるにあたり、表示される画面上における文字領域のサイズを具体的な長さ(センチ等)で決めたい場合は、以下の手順で計算することも可能である。
　文字領域の縦もしくは横の画素数をｘ、ディスプレイの対角線の長さをＮ、ディスプレイで表示可能な最大の縦の画素数をＹ、横の画素数をＸ、サイズ変換後の文字領域の縦もしくは横の長さをＬとすると、前記拡大縮小率ｓは、三平方の定理を用いて以下の式で表される。
　s ＝ L・√(X2 + Y2)／Nx
　この構成により、ディスプレイサイズとディスプレイに表示する画像サイズを元に文字領域の大きさを決定することにより、大きさの異なる複数のディスプレイにおいても文字をよみやすくすることができる。
　また、一般的なディスプレイの情報を用いることにより、容易に拡大縮小率の計算をすることができる。
　さらに、文字領域の画像サイズが表示サイズを超えないようにすることにより、文字領域が切れて見えなくなることを回避することができる。また、この計算方法により、所望のサイズにすることができる。
Figure JPOXMLDOC01-appb-T000002
（第３実施形態）
　本発明の携帯端末装置の第３の実施の形態について、図５を使って説明を行う。図５において３０１は記録媒体、３０２は分離部、３０３は画像復号部、３０４は音響復号部、３０５は動画表示装置、３０６はスピーカ、３０７はディスプレイである。
　携帯端末装置において、記録媒体３０１に格納されているTV番組等のコンテンツを読み出す。分離部３０２は、読み出したコンテンツから符号化画像データと符号化音響データに分離して出力する。画像復号部３０３は、符号化画像データを視聴可能な画像データに復号する。画像符号化データの符号化方式は、さまざまなものが考えられるが、ISO/IEC(アイエスオー・アイイーシー) 14496 Part.2で規定されている技術(通称MPEG-4)等が例として挙げられる。音響復号部３０４は、符号化音響データを視聴可能な音響データに復号する。符号化音響データも同様にISO/IEC 14496 Part.3で規定されている技術(通称 AAC)が例としてあげられる。
　画像復号部３０３で復号された画像は、動画表示装置３０５において文字領域の拡大処理を施し、入力画像に合成して出力を行う。合成した画像はディスプレイ３０７に表示される。音響復号部３０４で復号された音響データは、スピーカ３０６にて鳴動する。
　このような構成にすることで、小型の携帯端末装置において、文字領域の拡大縮小率を適切に制御した画像の視聴が可能となり、文字などの視認性が向上する。
（第４実施形態）
　本発明の携帯端末装置の第４の実施の形態について、図６を使って説明を行う。図６において、図５と同じ処理ブロックには同一の番号を付与するものとし、説明も割愛する。
　図６において、４０１は２つのディスプレイのどちらに出力するかを切り替える切替部、４０２は３０７よりも小さいディスプレイである。このような構成にする事で、表示するディスプレイに応じた文字領域の拡大縮小率を決定し、適切な文字サイズにすることができるため、文字が読みやすくなる。
（第５実施形態）
　本発明の動画表示方法の第５の実施の形態について、図７を使って説明を行う。
　入力画像に対して、文字領域抽出処理ステップ（ＳＴ０１)でテロップ等の文字を含む領域を検出して切り出しを行う。文字領域検出ステップ（ＳＴ０２）で検出されたか否かを判定する。検出されなかったら次の入力画像の処理に移る。検出された場合、画像サイズ取得ステップ（ＳＴ０３）において、入力画像サイズと表示画像サイズを取得する。リサイズステップ（ＳＴ０４）において、入力画像を表示サイズにリサイズする。拡大縮小率決定ステップ（ＳＴ０５）において、表１に従って抽出した文字領域の拡大縮小率を定める。文字領域の拡大縮小処理ステップ（ＳＴ０６）では、前記拡大縮小率に応じて、文字領域の拡大もしくは縮小処理を実施する。合成処理ステップ(ＳＴ０７)は、拡大もしくは縮小後の文字領域と表示サイズにリサイズされた入力画像を合成する。バッファ格納ステップ（ＳＴ０８）では、合成後の画像データを表示出力用バッファに格納する。そして、次の入力画像の処理へと移る。
　このように、ディスプレイに表示する画像サイズを元に文字領域の大きさを決定することにより、文字を読みやすくすることができる。
（第６実施形態）
　本発明の動画表示方法の第６の実施の形態について、図８を用いて説明を行う。図８において、同じ処理ステップについては同一番号を付与し、説明も割愛する。サイズ取得ステップ（ＳＴ１０）において入力画像サイズと表示画像サイズとディスプレイサイズを取得し、拡大縮小率ステップ（ＳＴ０５）において、表２にしたがって拡大縮小率を決定する。この方法により、ディスプレイサイズとディスプレイに表示する画像サイズを元に文字領域の大きさを決定することにより、大きさの異なる複数のディスプレイにおいても文字をよみやすくすることができる。
　本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
　本出願は、2009年12月11日出願の日本特許出願No.2009-281270に基づくものであり、その内容はここに参照として取り込まれる。
　本発明は、小型で携帯性の高い機器に適用が可能であり、特に携帯電話端末、PDA(パーソナルデジタルアシスタント)、ポータブルテレビなどが考えられる。
　１０１　文字領域抽出部
　１０２　画像サイズ情報取得部
　１０３　拡大縮小率決定部
　１０４　文字領域サイズ変換部
　１０５　合成処理部
　１０６　表示サイズ変換部
　１０７　表示出力用バッファ
　２０１　ディスプレイサイズ情報取得部
　２０２　拡大縮小率決定部
　３０１　記録媒体
　３０２　分離部
　３０３　画像復号部
　３０４　音響復号部
　３０５　動画表示装置
　３０６　スピーカ
　３０７　ディスプレイ
　４０１　切替部
　４０２　ディスプレイ

Claims (11)

  1. 動画像内の１フレーム画像から文字を含む領域を検出して切り出す文字領域抽出部と、
    前記１フレーム画像の画素数と前記１フレーム画像をディスプレイに表示する時の画素数との比率を基に前記切り出した文字領域に対する拡大縮小率を決定する拡大縮小率決定部と、
    前記拡大縮小率に応じて前記切り出した文字領域のサイズを変換する文字領域サイズ変換部と、
    前記１フレーム画像をディスプレイに表示するための画素数にサイズを変換する表示サイズ変換部と、
    前記サイズ変換した文字領域と前記表示サイズに変換した１フレーム画像とを合成する合成処理部と、
    を有する画像表示装置。
  2. 請求項１に記載の画像表示装置であって
    前記拡大縮小率決定部は、前記比率およびディスプレイの大きさから拡大縮小率を決定する画像表示装置。
  3. 請求項２に記載の画像表示装置であって、
    前記ディスプレイの大きさは、ディスプレイの対角線の長さとディスプレイで表示可能な最大の縦と横の画素数である画像表示装置。
  4. 請求項１から３のいずれか１項に記載の画像表示装置であって、
    前記サイズ変換後の文字領域の縦もしくは横の画素数は、前記表示サイズの縦もしくは横の画素数を上限とする画像表示装置。
  5. 請求項１から４のいずれか１項に記載の画像表示装置であって、
    前記切り出した文字領域の縦もしくは横の画素数をｘ、ディスプレイの対角線の長さをＮ、ディスプレイで表示可能な最大の縦の画素数をＹ、横の画素数をＸ、サイズ変換後の文字領域の縦もしくは横の長さをＬとすると、前記拡大縮小率ｓは、以下の式で表される画像表示装置。
    　s ＝ L・√(X2 + Y2)／Nx
  6. 前記請求項１から５のいずれか１項の画像表示装置を搭載した携帯端末装置。
  7. 動画像内の１フレーム画像から文字を含む領域を検出して切り出す第１ステップと、
    前記１フレーム画像の画素数と前記１フレーム画像をディスプレイに表示する時の画素数との比率を基に前記切り出した文字領域に対する拡大縮小率を決定する第２ステップと、
    前記拡大縮小率に応じて前記切り出した文字領域のサイズを変換する第３ステップと、
    前記１フレーム画像をディスプレイに表示するための画素数にサイズを変換する第４ステップと、
    前記サイズ変換した文字領域と前記表示サイズに変換した１フレーム画像とを合成する第５ステップと、
    を有する画像表示方法。
  8. 請求項７に記載の画像表示方法であって、
    前記第２ステップにおいて、前記比率およびディスプレイの大きさから前記拡大縮小率を決定する画像表示方法。
  9. 請求項８に記載の画像表示方法であって、
    前記ディスプレイの大きさは、前記ディスプレイの対角線の長さと前記ディスプレイで表示可能な最大の縦と横の画素数である画像表示方法。
  10. 請求項７から９のいずれか１項に記載の画像表示方法であって、
    サイズ変換後の文字領域の縦もしくは横の画素数は、前記ディスプレイに表示するサイズの縦もしくは横の画素数を上限とする画像表示方法。
  11. 請求項７から１０のいずれか１項に記載の画像表示方法であって、
    前記切り出した文字領域の縦もしくは横の画素数をｘ、ディスプレイの対角線の長さをＮ、ディスプレイで表示可能な最大の縦の画素数をＹ、横の画素数をＸ、サイズ変換後の文字領域の縦もしくは横の長さをＬとすると、前記拡大縮小率ｓは、以下の式で表される画像表示方法。
    　s ＝ L・√(X2 + Y2)／Nx
PCT/JP2010/007208 2009-12-11 2010-12-10 画像表示装置及び画像表示方法 WO2011070793A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009281270A JP2013040976A (ja) 2009-12-11 2009-12-11 画像表示装置及び画像表示方法
JP2009-281270 2009-12-11

Publications (1)

Publication Number Publication Date
WO2011070793A1 true WO2011070793A1 (ja) 2011-06-16

Family

ID=44145350

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/007208 WO2011070793A1 (ja) 2009-12-11 2010-12-10 画像表示装置及び画像表示方法

Country Status (2)

Country Link
JP (1) JP2013040976A (ja)
WO (1) WO2011070793A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014050984A1 (ja) * 2012-09-27 2014-04-03 シャープ株式会社 輪郭線幅設定装置、輪郭階調数設定装置、輪郭線幅設定方法、及び輪郭階調数設定方法
JP2017173789A (ja) * 2016-03-22 2017-09-28 文鼎科技開發股▲ふん▼有限公司 第一ピクセル行列で設計された文字を調整して出力デバイスの第二ピクセル行列にその文字を出力する文字調整方法
US20170323425A1 (en) * 2014-11-21 2017-11-09 Rakuten, Inc. Information processing device, information processing method, and information processing program
CN110162286A (zh) * 2019-05-17 2019-08-23 维沃移动通信有限公司 一种图片显示方法及终端

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110177295B (zh) * 2019-06-06 2021-06-22 北京字节跳动网络技术有限公司 字幕越界的处理方法、装置和电子设备
FR3110995A1 (fr) * 2020-05-27 2021-12-03 Orange Procédé d’affichage d’une interface graphique d’un équipement source sur un équipement récepteur.

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05161085A (ja) * 1991-12-09 1993-06-25 Olympus Optical Co Ltd 映像再生装置
JP2000259142A (ja) * 1999-03-12 2000-09-22 Omron Corp 文字サイズ調整装置、文字サイズ調整方法および文字サイズ調整プログラムを記録した記録媒体
JP2001134262A (ja) * 1999-11-08 2001-05-18 Canon Inc 画像表示装置及び方法並びに記憶媒体
JP2001169199A (ja) * 1999-12-08 2001-06-22 Nec Corp 字幕補正回路及びその字幕補正方法
JP2002041026A (ja) * 2000-07-19 2002-02-08 Sony Corp 映像表示方法および映像表示装置
JP2003259215A (ja) * 2002-02-27 2003-09-12 Hitachi Ltd 映像変換装置およびその実行のためのプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05161085A (ja) * 1991-12-09 1993-06-25 Olympus Optical Co Ltd 映像再生装置
JP2000259142A (ja) * 1999-03-12 2000-09-22 Omron Corp 文字サイズ調整装置、文字サイズ調整方法および文字サイズ調整プログラムを記録した記録媒体
JP2001134262A (ja) * 1999-11-08 2001-05-18 Canon Inc 画像表示装置及び方法並びに記憶媒体
JP2001169199A (ja) * 1999-12-08 2001-06-22 Nec Corp 字幕補正回路及びその字幕補正方法
JP2002041026A (ja) * 2000-07-19 2002-02-08 Sony Corp 映像表示方法および映像表示装置
JP2003259215A (ja) * 2002-02-27 2003-09-12 Hitachi Ltd 映像変換装置およびその実行のためのプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014050984A1 (ja) * 2012-09-27 2014-04-03 シャープ株式会社 輪郭線幅設定装置、輪郭階調数設定装置、輪郭線幅設定方法、及び輪郭階調数設定方法
JP2014081627A (ja) * 2012-09-27 2014-05-08 Sharp Corp 輪郭線幅設定装置、輪郭階調数設定装置、輪郭線幅設定方法、及び輪郭階調数設定方法
CN104662601A (zh) * 2012-09-27 2015-05-27 夏普株式会社 轮廓线宽度设定装置、轮廓灰度数设定装置、轮廓线宽度设定方法、以及轮廓灰度数设定方法
CN104662601B (zh) * 2012-09-27 2016-09-28 夏普株式会社 轮廓线宽度设定装置、轮廓灰度数设定装置、轮廓线宽度设定方法、以及轮廓灰度数设定方法
US20170323425A1 (en) * 2014-11-21 2017-11-09 Rakuten, Inc. Information processing device, information processing method, and information processing program
US10121226B2 (en) * 2014-11-21 2018-11-06 Rakuten, Inc. Information processing device, information processing method, and information processing program
JP2017173789A (ja) * 2016-03-22 2017-09-28 文鼎科技開發股▲ふん▼有限公司 第一ピクセル行列で設計された文字を調整して出力デバイスの第二ピクセル行列にその文字を出力する文字調整方法
CN110162286A (zh) * 2019-05-17 2019-08-23 维沃移动通信有限公司 一种图片显示方法及终端

Also Published As

Publication number Publication date
JP2013040976A (ja) 2013-02-28

Similar Documents

Publication Publication Date Title
KR101527672B1 (ko) 비디오 적응 및 재타겟팅을 위한 비디오 캡션 재-오버레이 시스템 및 방법
US8269886B2 (en) Methods and systems for improving low-resolution video
WO2011070793A1 (ja) 画像表示装置及び画像表示方法
JP2008152114A (ja) 映像処理装置及び映像処理装置の制御方法
JP5899503B2 (ja) 描画装置及び方法
JP4575803B2 (ja) 圧縮符号化装置および圧縮符号化プログラム
JP2003338991A (ja) 画像表示装置及び画像表示方法
TWI245560B (en) Video data processing method and apparatus capable of saving bandwidth
JP6045405B2 (ja) 映像処理装置、表示装置、テレビジョン受信機及び映像処理方法
EP2999215A1 (en) Image processing device and image processing method
KR101648449B1 (ko) 디스플레이 장치에서 영상 처리 방법 및 디스플레이 장치
JP2007259193A (ja) 映像出力装置、及び方法
US20100295923A1 (en) Multi-screen displaying apparatus
EP1848203B2 (en) Method and system for video image aspect ratio conversion
WO2011061915A1 (ja) 画像表示装置及び画像表示方法
JP2011055485A (ja) 映像処理装置
JP5557311B2 (ja) 映像表示装置、表示制御方法及びプログラム
JP4991884B2 (ja) 画像処理装置、および画像処理方法
JP4530671B2 (ja) 画像再生装置および画像再生方法
WO2011132397A1 (ja) 画像表示装置、携帯端末装置、及び画像表示方法
JP2011182274A (ja) 映像記録再生装置
JP2005123689A (ja) デジタル放送受信機
JP2006191345A (ja) デジタル放送受信機
JP2010251818A (ja) 映像出力装置
JP2011035595A (ja) 補間フレーム生成装置およびそれを搭載した表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10835716

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10835716

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP