JP5266035B2 - Sign language video display device, sign language video display method, and program - Google Patents
Sign language video display device, sign language video display method, and program Download PDFInfo
- Publication number
- JP5266035B2 JP5266035B2 JP2008320901A JP2008320901A JP5266035B2 JP 5266035 B2 JP5266035 B2 JP 5266035B2 JP 2008320901 A JP2008320901 A JP 2008320901A JP 2008320901 A JP2008320901 A JP 2008320901A JP 5266035 B2 JP5266035 B2 JP 5266035B2
- Authority
- JP
- Japan
- Prior art keywords
- setting information
- display setting
- sign language
- video
- program
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、番組映像と手話映像とを表示する手話映像表示装置等に関する。 The present invention relates to a sign language video display device that displays a program video and a sign language video.
従来、番組映像と、その番組映像に関する手話映像とを表示する場合があった。その場合に、手話映像の表示位置が決まっていることがあった（例えば、特許文献１参照）。
手話映像が番組映像の表示領域内に表示される場合（例えば、番組映像の右上の領域などに、番組映像よりも小さい大きさの手話映像を表示する場合など）であって、手話映像の表示位置が決まっている場合には、不都合が生じる場合などがある。例えば、その番組映像において重要な領域が、手話映像によって隠されてしまう場合などである。 When sign language video is displayed within the program video display area (for example, when a sign language video smaller than the program video is displayed in the upper right area of the program video) When the position is determined, inconvenience may occur. For example, an important area in the program video is hidden by a sign language video.
本発明は、このような課題を解決するためになされたものであり、記憶されている表示設定情報を用いて、手話映像を表示する手話映像表示装置等を提供することを目的とする。 The present invention has been made to solve such a problem, and an object of the present invention is to provide a sign language video display device that displays a sign language video using stored display setting information.
上記目的を達成するため、本発明による手話映像表示装置は、番組の映像である番組映像を受け付ける番組映像受付部と、前記番組映像に対応した手話の映像である手話映像を受け付ける手話映像受付部と、前記手話映像を表示する位置に関する情報である位置情報を含む表示設定情報が記憶される表示設定情報記憶部と、前記表示設定情報記憶部から表示設定情報を取得する表示設定情報取得部と、前記表示設定情報取得部が取得した表示設定情報に応じて、前記手話映像受付部が受け付けた手話映像と、前記番組映像受付部が受け付けた番組映像とを表示する表示部と、を備えたものである。 To achieve the above object, a sign language video display device according to the present invention includes a program video reception unit that receives a program video that is a video of a program, and a sign language video reception unit that receives a sign language video corresponding to the program video. A display setting information storage unit that stores display setting information including position information that is information related to a position at which the sign language video is displayed; a display setting information acquisition unit that acquires display setting information from the display setting information storage unit; A display unit for displaying the sign language video received by the sign language video receiving unit and the program video received by the program video receiving unit according to the display setting information acquired by the display setting information acquiring unit. Is.
このような構成により、表示設定情報で示される表示位置に手話映像を表示することができる。その結果、表示設定情報が適切に設定されることによって、番組映像の重要な領域を隠さないように手話映像を表示することができるようになる。 With such a configuration, a sign language image can be displayed at the display position indicated by the display setting information. As a result, when the display setting information is appropriately set, the sign language video can be displayed so as not to hide the important area of the program video.
また、本発明による手話映像表示装置では、前記表示設定情報は、前記手話映像を表示する大きさに関する情報である大きさ情報をも含んでいてもよい。
このような構成により、表示設定情報によって、手話映像の大きさをも設定することができるようになる。
In the sign language image display device according to the present invention, the display setting information may include size information that is information related to a size for displaying the sign language image.
With such a configuration, the size of the sign language video can be set by the display setting information.
また、本発明による手話映像表示装置では、前記番組映像受付部が受け付ける番組映像に関連する情報である番組関連情報を受け付ける番組関連情報受付部をさらに備え、前記表示設定情報記憶部において、前記表示設定情報は、番組関連情報に対応付けられて記憶されており、前記表示設定情報取得部は、前記番組関連情報受付部が受け付けた番組関連情報に対応する表示設定情報を取得してもよい。 The sign language video display device according to the present invention further includes a program related information receiving unit that receives program related information that is information related to a program video received by the program video receiving unit, and the display setting information storage unit includes the display The setting information may be stored in association with the program related information, and the display setting information acquisition unit may acquire display setting information corresponding to the program related information received by the program related information reception unit.
このような構成により、番組関連情報に応じて表示設定情報を変更することができうる。例えば、ニュースなどでは、アナウンサーの顔や、ニュースのタイトル等をできるだけ隠さないように、右下や、左下に手話映像が表示されるように表示設定情報を設定することもできうる。また、表示設定情報によって手話映像の大きさも設定できる場合には、例えば、ニュースでは、手話映像が大きく表示されるように設定し、ドラマでは、手話映像が小さく表示されるように設定してもよい。ニュースでは、アナウンサーの発話内容が重要であり、ドラマでは、俳優等の演技が重要であると考えられるからである。 With this configuration, the display setting information can be changed according to the program related information. For example, in news, display setting information can be set so that sign language images are displayed in the lower right and lower left so as not to hide the announcer's face and the title of the news as much as possible. In addition, when the size of the sign language video can also be set by the display setting information, for example, it may be set so that the sign language video is displayed large in news and the sign language video is displayed small in drama. Good. This is because the content of the announcer's utterance is important in the news, and acting such as an actor is considered important in the drama.
また、本発明による手話映像表示装置では、前記番組関連情報は、番組映像のジャンルを示す情報を含んでもよく、番組映像の名称を示す情報を含んでもよい。
このような構成により、番組のジャンルや名称に応じて、表示設定情報を設定することができうる。
In the sign language video display device according to the present invention, the program related information may include information indicating a genre of the program video or information indicating a name of the program video.
With such a configuration, display setting information can be set according to the genre and name of the program.
また、本発明による手話映像表示装置では、前記番組映像受付部が受け付けた番組映像から表示設定情報を生成し、前記表示設定情報記憶部に蓄積する表示設定情報生成部をさらに備えてもよい。 The sign language video display device according to the present invention may further include a display setting information generation unit that generates display setting information from the program video received by the program video reception unit and stores the display setting information in the display setting information storage unit.
このような構成により、手話映像が表示される番組映像に応じた適切な表示設定情報を用いて、手話映像を表示することができうる。その結果、番組映像の重要な領域を隠さないように手話映像を表示することができるようになりうる。 With such a configuration, it is possible to display a sign language video using appropriate display setting information corresponding to a program video on which a sign language video is displayed. As a result, the sign language video can be displayed so as not to hide the important area of the program video.
また、本発明による手話映像表示装置では、前記表示設定情報生成部は、前記番組映像受付部が受け付けた番組映像に対して動き検出を行い、動きのない領域に前記手話映像を表示する表示設定情報を生成してもよい。
このような構成により、「動きのある領域はユーザが見たい領域である」という仮定の基に、ユーザが見たい領域を隠さないように表示設定情報を生成することができうる。
Further, in the sign language video display device according to the present invention, the display setting information generation unit performs a motion detection on the program video received by the program video reception unit, and displays the sign language video in an area without motion. Information may be generated.
With such a configuration, the display setting information can be generated so as not to hide the area that the user wants to see based on the assumption that “the area where the motion is desired is the area that the user wants to see”.
また、本発明による手話映像表示装置では、前記手話映像によって覆われたくないオブジェクトを特定するための情報であるオブジェクト特定情報が記憶されるオブジェクト特定情報記憶部をさらに備え、前記表示設定情報生成部は、前記番組映像受付部が受け付けた番組映像に、前記オブジェクト特定情報で特定されるオブジェクトが存在する場合に、当該オブジェクトを覆わない領域に前記手話映像を表示する表示設定情報を生成してもよい。 The sign language video display apparatus according to the present invention further includes an object specification information storage unit that stores object specification information that is information for specifying an object that is not desired to be covered by the sign language video, and the display setting information generation unit If the program video received by the program video receiving unit includes an object specified by the object specifying information, display setting information for displaying the sign language video in an area that does not cover the object may be generated. Good.
このような構成により、ユーザが見たいと考えられるオブジェクトを、オブジェクト特定情報によって特定しておくことによって、ユーザが見たいオブジェクトを隠さないように表示設定情報を生成することができうる。 With such a configuration, the display setting information can be generated so as not to hide the object that the user wants to see by specifying the object that the user wants to see using the object specifying information.
また、本発明による手話映像表示装置では、前記表示設定情報取得部は、前記表示設定情報の取得を繰り返し、前記表示部は、前記表示設定情報取得部が表示設定情報を取得するごとに、最新の表示設定情報に応じて手話映像を表示してもよい。
このような構成により、表示設定情報が書き換えられる場合においても、その書き換えられた後の表示設定情報を用いて手話映像を表示することができるようになる。
In the sign language video display device according to the present invention, the display setting information acquisition unit repeatedly acquires the display setting information, and the display unit updates the display setting information every time the display setting information acquisition unit acquires the display setting information. The sign language image may be displayed according to the display setting information.
With this configuration, even when the display setting information is rewritten, the sign language video can be displayed using the display setting information after the rewriting.
また、本発明による手話映像表示装置では、前記表示設定情報取得部は、定期的に最新の表示設定情報を取得してもよく、前記表示設定情報記憶部に新たに生成された表示設定情報が記憶されるごとに、最新の表示設定情報を取得してもよい。 In the sign language video display device according to the present invention, the display setting information acquisition unit may periodically acquire the latest display setting information, and the newly generated display setting information is stored in the display setting information storage unit. Each time it is stored, the latest display setting information may be acquired.
このような構成により、定期的に、あるいは、新たな表示設定情報が記憶されるごとに、表示設定情報を取得することができ、その取得後の表示設定情報を用いて手話映像を表示することができる。 With such a configuration, display setting information can be acquired periodically or whenever new display setting information is stored, and a sign language image is displayed using the display setting information after the acquisition. Can do.
本発明による手話映像表示装置等によれば、記憶されている表示設定情報を用いて、手話映像を表示することができ、例えば、番組映像において重要な領域が、手話映像によって隠されないようにすることができうる。 According to the sign language video display device and the like according to the present invention, the sign language video can be displayed using the stored display setting information. For example, an important area in the program video is not hidden by the sign language video. Can be.
以下、本発明による手話映像表示装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。 Hereinafter, a sign language video display device according to the present invention will be described using embodiments. In the following embodiments, components and steps denoted by the same reference numerals are the same or equivalent, and repetitive description may be omitted.
（実施の形態１）
本発明の実施の形態１による手話映像表示装置について、図面を参照しながら説明する。本実施の形態による手話映像表示装置は、番組映像に関連する番組関連情報をも受け付け、その番組関連情報を用いて、手話映像の表示を行うものである。
(Embodiment 1)
A sign language image display apparatus according to
図１は、本実施の形態による手話映像表示装置１の構成を示すブロック図である。本実施の形態による手話映像表示装置１は、番組映像受付部１１と、手話映像受付部１２と、番組関連情報受付部１３と、表示設定情報記憶部１４と、表示設定情報取得部１５と、表示部１６とを備える。
FIG. 1 is a block diagram showing a configuration of a sign language
番組映像受付部１１は、番組の映像である番組映像を受け付ける。番組映像は、例えば、ドラマや、映画、ニュース、ドキュメンタリー、スポーツ等の映像であり、そのジャンルを問わない。また、番組映像のデータ形式も問わない。例えば番組情報は、アナログのデータであってもよく、デジタルのデータであってもよい。後者の場合に、番組映像の形式は、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）であってもよく、ＡＶＩ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅ）であってもよく、あるいは、その他の形式であってもよい。また、その番組映像が圧縮されている場合に、その圧縮形式も問わない。番組映像は、音声の情報を含んでいてもよく、あるいは、含んでいてもよい。
The program
番組映像受付部１１は、例えば、カメラ等のデバイスから入力された番組映像を受け付けてもよく、有線もしくは無線の通信回線を介して送信された番組映像を受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）から読み出された番組映像を受け付けてもよい。本実施の形態では、放送された番組映像を受信する場合について説明する。なお、番組映像受付部１１は、受け付けを行うためのデバイス（例えば、モデムやネットワークカードなど）を含んでもよく、あるいは含まなくてもよい。また、番組映像受付部１１は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
For example, the program
手話映像受付部１２は、番組映像に対応した手話の映像である手話映像を受け付ける。この手話映像は、番組映像受付部１１が受け付けた番組映像に対応するものである。したがって、聴覚障害者が番組映像と、その番組映像に対応した手話映像とを見ることによって、番組映像に対応する音声の情報を知ることができることになる。手話映像は、例えば、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）の映像であってもよく、アニメーションの映像であってもよく、実写の映像であってもよい。この手話映像が生成される過程は問わない。例えば、放送局において、番組映像と、手話映像とが生成され、それらが同期されて放送されてもよく、番組映像（例えば、放送されたものでもよく、記録媒体から読み出されたものでもよい）に対応する手話通訳が手話通訳者によって行われ、その手話通訳者の映像を撮影することによって手話映像が生成されてもよく、番組映像に対応するテキスト情報（例えば、番組映像に対応する字幕情報であってもよく、番組映像に対応する音声情報を音声認識することによって得られたテキスト情報であってもよい）を用いて自動的に手話映像が生成されてもよく、その他の手法で生成されてもよい。
The sign language
手話映像受付部１２は、例えば、カメラ等のデバイスから入力された手話映像を受け付けてもよく、有線もしくは無線の通信回線を介して送信された手話映像を受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）から読み出された手話映像を受け付けてもよい。なお、手話映像受付部１２は、受け付けを行うためのデバイス（例えば、モデムやネットワークカードなど）を含んでもよく、あるいは含まなくてもよい。また、手話映像受付部１２は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
For example, the sign language
なお、番組映像受付部１１が受け付ける番組映像と、手話映像受付部１２が受け付ける手話映像とは、同期を取ることができるようになっている、すなわち、時間的な位置の対応が分かるようになっていることが好適である。例えば、時間的な位置が対応している番組映像と手話映像とのそれぞれが、番組映像受付部１１と手話映像受付部１２とにおいて同時に受け付けられてもよく、両者にタイムコードが含まれており、そのタイムコードを用いて両者の同期を取ることができるようになっていてもよい。
The program video received by the program
番組関連情報受付部１３は、番組映像受付部１１が受け付ける番組映像に関連する情報である番組関連情報を受け付ける。番組関連情報は、例えば、番組映像のジャンルを示す情報を含んでいてもよく、番組映像の名称を示す情報を含んでいてもよく、番組の内容に関する情報（例えば、番組のトピックや、番組に登場する俳優の氏名等であってもよい）を含んでいてもよく、番組についての説明の情報を含んでいてもよく、その他の情報を含んでいてもよい。また、番組関連情報は、ＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ：電子番組ガイド）の情報そのものであってもよく、その情報の一部であってもよい。このＥＰＧの情報は、例えば、ＳＩ情報（公式番組情報）と呼ばれることもある。
The program related information receiving unit 13 receives program related information that is information related to the program video received by the program
番組関連情報受付部１３が番組関連情報を受け付ける過程は問わない。番組関連情報受付部１３は、例えば、インターネット等のネットワーク上のサーバから番組関連情報を受信してもよく、放送された番組関連情報を受信してもよく、番組映像に重畳されている番組関連情報を受け付けてもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）から読み出された番組関連情報を受け付けてもよい。本実施の形態では、番組関連情報受付部１３は、番組映像に重畳されている番組関連情報を受け付けるものとする。なお、番組関連情報受付部１３は、受け付けを行うためのデバイス（例えば、モデムやネットワークカードなど）を含んでもよく、あるいは含まなくてもよい。また、番組関連情報受付部１３は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。 The process in which the program relevant information reception part 13 receives program relevant information does not ask | require. The program-related information receiving unit 13 may receive program-related information from a server on a network such as the Internet, may receive broadcast-related program-related information, or may be related to a program-related information superimposed on a program video. Information may be received, and program-related information read from a predetermined recording medium (for example, an optical disk, a magnetic disk, a semiconductor memory, etc.) may be received. In the present embodiment, it is assumed that the program related information receiving unit 13 receives the program related information superimposed on the program video. Note that the program-related information reception unit 13 may or may not include a device (for example, a modem or a network card) for reception. The program related information receiving unit 13 may be realized by hardware, or may be realized by software such as a driver that drives a predetermined device.
表示設定情報記憶部１４では、手話映像を表示する位置に関する情報である位置情報を含む表示設定情報が記憶される。この位置情報によって、番組映像の画面において手話映像が表示される位置が決定されることになる。この位置情報は、例えば、手話映像の画面が表示される番組映像の画面における座標値を示すもの（例えば、手話映像の左上の端点の座標値など）であってもよく、手話映像の画面が表示される複数の位置があらかじめ設定されている場合には、その位置を識別する情報（例えば、「右上」「左下」や、「表示位置０１」「表示位置０２」など）であってもよい。また、表示設定情報は、手話映像を表示する大きさに関する情報である大きさ情報をも含んでいてもよく、あるいは、そうでなくてもよい。この大きさ情報は、例えば、手話映像の画面の大きさそのものを示す情報（例えば、手話映像の画面の縦・横の長さを示す情報など）であってもよく、番組映像の画面に対する手話映像の画面の相対的な大きさを示す情報（例えば、面積や長さについて５０％、３０％など）であってもよく、手話映像の画面の複数の大きさがあらかじめ設定されている場合には、その大きさを識別する情報（例えば、「大」「中」「小」など）であってもよい。
The display setting
また、表示設定情報記憶部１４において、この表示設定情報は、番組関連情報に対応付けられて記憶されていてもよい。本実施の形態では、この場合について説明する。表示設定情報が番組関連情報に対応付けられているとは、番組関連情報から、表示設定情報を取得できればよいという意味である。したがって、表示設定情報記憶部１４において、番組関連情報と、表示設定情報とを組として含む情報が記憶されていてもよく、番組関連情報と、表示設定情報とをリンク付ける情報が表示設定情報記憶部１４において記憶されていてもよい。本実施の形態では、前者の場合について説明する。
Further, the display setting
表示設定情報記憶部１４に表示設定情報等が記憶される過程は問わない。例えば、記録媒体を介して表示設定情報等が表示設定情報記憶部１４で記憶されるようになってもよく、通信回線等を介して送信された表示設定情報等が表示設定情報記憶部１４で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された表示設定情報等が表示設定情報記憶部１４で記憶されるようになってもよい。表示設定情報記憶部１４での記憶は、ＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。表示設定情報記憶部１４は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。
The process in which the display setting information is stored in the display setting
表示設定情報取得部１５は、表示設定情報記憶部１４から表示設定情報を取得する。特に本実施の形態では、表示設定情報取得部１５は、番組関連情報受付部１３が受け付けた番組関連情報に対応する表示設定情報を取得するものとする。厳密に言えば、表示設定情報取得部１５は、番組関連情報受付部１３が受け付けた番組関連情報であって、後述する表示部１６が表示する番組映像に対応する番組関連情報に、表示設定情報記憶部１４で対応付けられている表示設定情報を取得する。その表示設定情報は、後述する表示部１６が表示する番組映像と共に表示される手話映像の表示のために用いられることになる。表示部１６によって表示される番組映像に対応する番組関連情報を特定することができるように、番組映像と番組関連情報とが紐付けられていることが好適である。例えば、対応する番組映像と番組関連情報とが番組映像識別情報などによって紐付けられていてもよい。その場合には、表示設定情報取得部１５は、表示部１６によって表示される番組映像の番組映像識別情報を取得し、その番組映像識別情報に対応する番組関連情報を特定することによって、表示部１６によって表示される番組映像に対応する番組関連情報を特定することができることになる。
The display setting
表示部１６は、表示設定情報取得部１５が取得した表示設定情報に応じて、手話映像受付部１２が受け付けた手話映像と、番組映像受付部１１が受け付けた番組映像とを表示する。すなわち、表示部１６は、表示設定情報取得部１５が取得した表示設定情報に含まれる位置情報の示す位置に、手話映像の画面を表示するように、手話映像と番組映像とを表示する。また、表示設定情報取得部１５が取得した表示設定情報に大きさ情報も含まれる場合には、表示部１６は、その大きさ情報の示す大きさの手話映像と、番組映像とを表示する。なお、この表示によって、番組映像の画面（ウィンドウ）の上（すなわち、その画面の内側）に、その画面よりも小さい画面（ウィンドウ）で手話映像が表示されることになる。したがって、通常、番組映像が主となり、手話映像が従となるように表示がなされる。
The
なお、表示部１６は、それらの表示を行う表示デバイス（例えば、ＣＲＴや液晶ディスプレイなど）を含んでもよく、あるいは含まなくてもよい。本実施の形態では、表示部１６が外部のディスプレイに表示のための映像データを出力する場合について説明する。また、表示部１６は、ハードウェアによって実現されてもよく、あるいは表示デバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
Note that the
また、番組映像受付部１１が受け付けた番組映像や、手話映像受付部１２が受け付けた手話映像、番組関連情報受付部１３が受け付けた番組関連情報などは、図示しない記録媒体において一時的に記憶されてもよいことは言うまでもない。
Further, the program video received by the program
次に、本実施の形態による手話映像表示装置１の動作について、図２のフローチャートを用いて説明する。
Next, the operation of the sign language
（ステップＳ１０１）番組関連情報受付部１３は、番組関連情報を受け付けたかどうか判断する。そして、番組関連情報を受け付けた場合には、ステップＳ１０２に進み、そうでない場合には、ステップＳ１０３に進む。 (Step S101) The program related information receiving unit 13 determines whether program related information has been received. If the program related information is received, the process proceeds to step S102. If not, the process proceeds to step S103.
（ステップＳ１０２）表示設定情報取得部１５は、番組関連情報受付部１３が受け付けた番組関連情報を図示しない記録媒体において一時的に記憶する。そして、ステップＳ１０１に戻る。
(Step S102) The display setting
（ステップＳ１０３）番組映像受付部１１は、番組映像を受け付けたかどうか判断する。そして、番組映像を受け付けた場合には、ステップＳ１０４に進み、そうでない場合には、ステップＳ１０５に進む。なお、番組映像受付部１１は、番組映像を一フレームごとに受信してもよく、あるいは、連続する複数のフレームごとに受信してもよい。
(Step S103) The program
（ステップＳ１０４）表示部１６は、番組映像受付部１１が受け付けた番組映像を表示する。そして、ステップＳ１０１に戻る。
(Step S104) The
（ステップＳ１０５）手話映像受付部１２は、手話映像を受け付けたかどうか判断する。そして、手話映像を受け付けた場合には、ステップＳ１０６に進み、そうでない場合には、ステップＳ１０１に戻る。なお、手話映像受付部１２は、手話映像を一フレームごとに受信してもよく、あるいは、連続する複数のフレームごとに受信してもよい。
(Step S105) The sign language
（ステップＳ１０６）表示部１６は、表示設定情報取得部１５によって表示設定情報が取得されているかどうか判断する。そして、取得されている場合、すなわち、手話映像を表示するための表示設定情報が存在する場合には、ステップＳ１０８に進み、そうでない場合には、ステップＳ１０７に進む。なお、表示部１６は、取得された表示設定情報が記憶されるべき領域に、表示設定情報が格納されているかどうかによって、表示設定情報が取得されているかどうか判断してもよい。この場合には、表示設定情報が格納されている場合に、表示設定情報が取得されていることになる。
(Step S <b> 106) The
（ステップＳ１０７）表示設定情報取得部１５は、一時的に記憶している番組関連情報に対応する表示設定情報を取得する。また、表示設定情報取得部１５は、その取得した表示設定情報を図示しない記録媒体において一時的に記憶してもよい。
(Step S107) The display setting
（ステップＳ１０８）表示部１６は、表示設定情報取得部１５が取得した表示設定情報が示す位置や大きさで、手話映像受付部１２が受け付けた手話映像を表示する。そして、ステップＳ１０１に戻る。
(Step S108) The
なお、このフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。また、このフローチャートでは、表示部１６が、番組映像と手話映像とを別々に表示する場合について説明したが（ステップＳ１０４，Ｓ１０８）、表示部１６は、番組映像と手話映像とを一緒に表示するようにしてもよい。例えば、表示部１６は、番組映像のフレームの一部の領域に手話映像が表示されるフレームを構成し、その構成したフレームを表示してもよい。
Note that in this flowchart, the processing is ended by powering off or interruption for aborting the processing. In this flowchart, the case where the
また、後述する具体例で説明するように、通常、番組関連情報に応じて表示設定情報が異なるため、新たな番組映像が受け付けられた場合には、その新たな番組映像に対応する番組関連情報が受け付けられることが好適であり、また、そのようにして受け付けられた新たな番組関連情報に対応する表示設定情報が取得されることが好適である。また、そのようにして取得された新たな表示設定情報を用いて手話映像が表示されることが好適である。 In addition, as will be described in a specific example described later, since display setting information usually differs depending on program-related information, when a new program video is accepted, program-related information corresponding to the new program video Is preferably received, and display setting information corresponding to the new program-related information received in this manner is preferably acquired. In addition, it is preferable that the sign language image is displayed using the new display setting information acquired as described above.
また、このフローチャートでは、手話映像の受け付けを行った後であって、表示設定情報が存在しないときに表示設定情報の取得を行う場合について説明したが、そうでなくてもよい。例えば、表示設定情報取得部１５は、番組関連情報受付部１３が番組関連情報を受け付けた際に、その番組関連情報に対応する表示設定情報を取得してもよく、その他のタイミングで表示設定情報を取得してもよい。
In this flowchart, the case where the display setting information is acquired when the sign setting image is received and the display setting information does not exist has been described. For example, when the program related information receiving unit 13 receives the program related information, the display setting
次に、本実施の形態による手話映像表示装置１の動作について、具体例を用いて説明する。
この具体例では、手話映像表示装置１が放送された番組映像、及び手話映像を受信し、その番組映像に重畳されている番組関連情報を用いて表示設定情報の取得が行われるものとする。したがって、番組映像に、その番組映像に対応する番組関連情報が重畳されていることによって、番組映像と番組関連情報との紐付けが行われていることになる。
Next, the operation of the sign language
In this specific example, it is assumed that the sign language
また、この具体例において、表示設定情報記憶部１４では、図３で示される情報が記憶されているものとする。図３において、番組のジャンルを示す番組関連情報と、表示設定情報とが対応付けられている。表示設定情報は、手話映像の画面の左上の位置を示す位置情報と、手話映像の画面の幅及び高さを示す大きさ情報とを含んでいる。例えば、番組関連情報「ニュース」には、位置情報（Ｘ１，Ｙ１）、大きさ情報（Ｗ１，Ｈ１）を含む表示設定情報が対応付けられている。したがって、ニュースの番組映像の場合には、手話映像の画面の左上が（Ｘ１，Ｙ１）の座標値となり、その手話映像の画面の幅がＷ１となり、高さがＨ１となるように手話映像が表示されることになる。
In this specific example, it is assumed that the display setting
まず、手話映像表示装置１のユーザが、手話映像表示装置１を操作することによって、ニュース番組を見るようにチャンネル設定を行ったとする。すると、番組映像受付部１１において、そのチャンネルの番組映像が受信され（ステップＳ１０３）、その番組映像がディスプレイに表示される（ステップＳ１０４）。そのようにして表示された番組映像は、図４で示されるものであったとする。この番組映像受付部１１による番組映像の受信と、表示部１６による番組映像の表示とは、繰り返して実行されることになる。
First, it is assumed that the user of the sign language
なお、その番組映像の受信に応じて、その番組映像に重畳されている番組関連情報「ニュース」が番組映像受付部１１によって抽出され、その抽出された番組関連情報が図示しない経路を介して番組関連情報受付部１３に渡されたとする。番組関連情報受付部１３は、その番組関連情報を受け付けると表示設定情報取得部１５に渡す（ステップＳ１０１）。表示設定情報取得部１５は、その受け取った番組関連情報「ニュース」を図示しない記録媒体において一時的に記憶する（ステップＳ１０２）。
In response to the reception of the program video, program-related information “news” superimposed on the program video is extracted by the program
手話映像受付部１２は、番組映像のチャンネルと、その番組映像に対応した手話映像のチャンネルとを対応付ける情報を用いて、ユーザが設定した番組映像のチャンネルに対応する手話映像のチャンネルを特定し、そのチャンネルの手話映像を受信する（ステップＳ１０５）。その手話映像は、例えば、図５で示されるものであったとする。
The sign language
次に、表示部１６は、表示設定情報が記憶されるべき領域を参照し、そこに表示設定情報が格納されていないことを検知して（ステップＳ１０６）、表示設定情報取得部１５に表示設定情報を取得する指示を出す。すると、表示設定情報取得部１５は、図示しない記録媒体で記憶している番組関連情報「ニュース」を読み出し、その番組関連情報を検索キーとして図３の情報を検索する。そして、検索でヒットした図３の１番目のレコードから、位置情報（Ｘ１，Ｙ１）、大きさ情報（Ｗ１，Ｈ１）を含む表示設定情報を取得し、それらを図示しない記録媒体に蓄積する（ステップＳ１０７）。
Next, the
表示部１６は、そのようにして取得された表示設定情報を参照し、番組映像の（Ｘ１，Ｙ１）の位置が左上の端点となり、幅がＷ１，高さがＨ１となるように手話映像受付部１２が受け付けた手話映像の画面を表示する（ステップＳ１０８）。その結果、図６で示されるように、番組映像上に手話映像が表示されることになる。この手話映像受付部１２による手話映像の受信と、表示部１６による手話映像の表示とは、繰り返して時刻されることになる。このようにして、番組映像と手話映像との放送の受信が継続され、その番組映像と手話映像との表示が継続されることになる。
The
この具体例では、表示設定情報が番組のジャンルを示す番組関連情報に対応付けられている場合について説明したが、前述のように、表示設定情報は、例えば、番組の名称やその他の情報を示す番組関連情報に対応付けられていてもよいことは言うまでもない。例えば、番組の名称を示す番組関連情報に表示設定情報が対応付けられていることによって、手話映像のより細かい表示位置の制御が可能となる。 In this specific example, the case where the display setting information is associated with the program related information indicating the genre of the program has been described. However, as described above, the display setting information indicates, for example, the name of the program and other information. Needless to say, it may be associated with the program-related information. For example, the display setting information is associated with the program related information indicating the name of the program, so that the display position of the sign language video can be controlled more finely.
以上のように、本実施の形態による手話映像表示装置１によれば、表示設定情報の示す位置や大きさで、手話映像を表示することができる。また、番組関連情報受付部１３が受け付けた番組関連情報に対応する表示設定情報を用いることによって、例えば、番組のジャンルごとや、番組ごとに手話映像の表示位置や大きさを設定することができ、各番組においてできるだけ影響がないと考えられる位置に手話映像を表示することができるようになる。その結果、手話映像と番組映像とを見るユーザは、番組映像と手話映像との両方を、適切に見ることができるようになりうる。
As described above, according to the sign language
なお、本実施の形態では、番組関連情報に応じた表示設定情報を用いて手話映像を表示する場合について説明したが、そうでなくてもよい。番組関連情報を用いない場合には、手話映像表示装置１は、番組関連情報受付部１３を備えていなくてもよい。また、表示設定情報記憶部１４において、表示設定情報が番組関連情報に対応付けられていなくてもよい。
In the present embodiment, the case where the sign language video is displayed using the display setting information corresponding to the program related information has been described. When the program related information is not used, the sign language
（実施の形態２）
本発明の実施の形態２による手話映像表示装置について、図面を参照しながら説明する。本実施の形態による手話映像表示装置は、手話映像表示装置において表示設定情報を生成するものである。
(Embodiment 2)
A sign language video display apparatus according to Embodiment 2 of the present invention will be described with reference to the drawings. The sign language video display device according to the present embodiment generates display setting information in the sign language video display device.
図７は、本実施の形態による手話映像表示装置２の構成を示すブロック図である。本実施の形態による手話映像表示装置２は、番組映像受付部１１と、手話映像受付部１２と、表示設定情報記憶部１４と、表示設定情報取得部１５と、表示部１６と、オブジェクト特定情報記憶部２１と、表示設定情報生成部２２とを備える。オブジェクト特定情報記憶部２１、表示設定情報生成部２２以外の構成及び動作は、表示設定情報取得部１５が番組関連情報に対応する表示設定情報を取得するのではなく、表示設定情報記憶部１４で記憶されている表示設定情報を単に取得する以外は、実施の形態１と同様であり、その説明を省略する。
FIG. 7 is a block diagram showing a configuration of the sign language video display device 2 according to the present embodiment. The sign language video display device 2 according to the present embodiment includes a program
オブジェクト特定情報記憶部２１では、手話映像によって覆われたくないオブジェクトを特定するための情報であるオブジェクト特定情報が記憶される。例えば、野球の番組である場合には、点数やカウント（ストライク、ボール、アウトのカウント）であってもよく、ニュースの番組である場合には、アナウンサーの顔や、ニュースの概要を示す文字であってもよく、ドラマの番組である場合には、人物であってもよい。オブジェクト特定情報は、手話映像によって覆われたくないオブジェクトを特定するための情報であれば、その内容を問わない。例えば、パターンマッチングで用いるパターンの図形であってもよく、オブジェクトの属性を指定する情報であってもよい。例えば、オブジェクトが野球のカウントである場合には、オブジェクト特定情報は、「Ｓ」「Ｂ」「Ｏ」の文字が直線上に並んでいることであってもよい。このようなオブジェクト特定情報を用いることによって、縦一列や横一列に並ぶ「Ｓ」「Ｂ」「Ｏ」の文字の領域（この領域がカウントの領域に対応する）を特定することができる。また、例えば、オブジェクトが人物である場合には、オブジェクト特定情報は、肌色検出を行い、検出された肌色を含む領域を、輪郭抽出を行うことによって特定する手順を示す情報であってもよい。このようなオブジェクト特定情報を用いることによって、番組映像における人物の領域を特定することができる。なお、例えば、人物やその他のオブジェクトの領域を特定する方法としては、すでに多くの方法が知られており、それらに応じたオブジェクト特定情報がオブジェクト特定情報記憶部２１で記憶されていてもよいことは言うまでもない。
The object specifying
オブジェクト特定情報記憶部２１にオブジェクト特定情報が記憶される過程は問わない。例えば、記録媒体を介してオブジェクト特定情報がオブジェクト特定情報記憶部２１で記憶されるようになってもよく、通信回線等を介して送信されたオブジェクト特定情報がオブジェクト特定情報記憶部２１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力されたオブジェクト特定情報がオブジェクト特定情報記憶部２１で記憶されるようになってもよい。オブジェクト特定情報記憶部２１での記憶は、ＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。オブジェクト特定情報記憶部２１は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。
The process in which object specific information is memorize | stored in the object specific
表示設定情報生成部２２は、番組映像受付部１１が受け付けた番組映像から表示設定情報を生成し、表示設定情報記憶部１４に蓄積する。本実施の形態では、表示設定情報生成部２２は、番組映像受付部１１が受け付けた番組映像に対して動き検出を行い、動きのない領域に手話映像を表示する表示設定情報を生成する。ここで、「動きのない領域」とは、例えば、動きが全くない領域であってもよく、他の領域と比較して動きが少ない領域であってもよい。なお、動き検出の方法は、例えば、ブロックマッチング法や勾配法などがすでに知られており、その詳細な説明を省略する。
The display setting
また、本実施の形態では、表示設定情報生成部２２は、番組映像受付部１１が受け付けた番組映像に、オブジェクト特定情報で特定されるオブジェクトが存在する場合に、そのオブジェクトを覆わない領域に手話映像を表示する表示設定情報を生成するものとする。例えば、表示設定情報生成部２２は、『「Ｓ」「Ｂ」「Ｏ」の文字が直線上に並んでいること』を示すオブジェクト特定情報に応じて、番組映像上において文字認識を行い、「Ｓ」「Ｂ」「Ｏ」の文字が含まれるかどうか判断し、含まれる場合には、それらが直線上に並んでいるかどうか判断する。そして、直線上に並んでいる場合には、表示設定情報生成部２２は、その「Ｓ」「Ｂ」「Ｏ」の文字の領域をオブジェクトとして特定する。また、例えば、表示設定情報生成部２２は、人物を特定する情報であるオブジェクト特定情報に応じて、肌色検出等を行うことによって、人物の領域を特定してもよい。また、表示設定情報生成部２２は、オブジェクトの領域よりもさらに広い領域を覆わないように手話映像を表示する表示設定情報を生成してもよい。オブジェクトの領域よりもさらに広い領域とは、例えば、オブジェクトと、オブジェクトの外周の領域（例えば、オブジェクトの最外縁の位置から、所定の長さだけオブジェクトから離れた位置までの範囲でもよい）とを含む領域であってもよい。また、表示設定情報生成部２２は、オブジェクトの外縁の一部に手話映像の一部が表示されるように表示設定情報を生成してもよい。すなわち、オブジェクトの一部と手話映像の一部とが重なってもよい。オブジェクトの外縁のあたりは、オブジェクトの中心のあたりに比較して重要度が低いとも考えられるからである。
Further, in the present embodiment, the display setting
なお、表示設定情報生成部２２は、番組映像の表示領域を複数のブロックに分け、そのブロック単位で動き検出や、オブジェクトを覆うかどうかの判定等を行ってもよい。本実施の形態では、このようにブロック単位で動き検出等を行う場合について説明する。
The display setting
なお、本実施の形態では、表示設定情報取得部１５は、表示設定情報の取得を繰り返して実行してもよい。前述のように、表示設定情報生成部２２が新たな表示設定情報を表示設定情報記憶部１４に蓄積するため、その新たな表示設定情報を取得し、その新たな表示設定情報に応じた表示を行うためである。表示設定情報取得部１５は、例えば、定期的（例えば、１分ごと、５分ごと、３０分ごとなど）に最新の表示設定情報を取得してもよく、表示設定情報記憶部１４に新たに生成された表示設定情報が記憶されるごとに、表示設定情報記憶部１４で記憶されている最新の表示設定情報を取得してもよい。表示設定情報生成部２２が上書きで表示設定情報を表示設定情報記憶部１４に蓄積する場合には、表示設定情報記憶部１４で記憶されている表示設定情報が最新の表示設定情報となる。一方、表示設定情報生成部２２が上書きしないで表示設定情報を表示設定情報記憶部１４に蓄積する場合には、最後に蓄積された表示設定情報が最新の表示設定情報となる。
In the present embodiment, the display setting
また、表示部１６は、表示設定情報取得部１５が表示設定情報を取得するごとに、最新の表示設定情報に応じて手話映像を表示することになる。
The
なお、表示設定情報記憶部１４と、オブジェクト特定情報記憶部２１とは、同一の記録媒体によって実現されてもよく、あるいは、別々の記録媒体によって実現されてもよい。前者の場合には、例えば、表示設定情報を記憶している領域が表示設定情報記憶部１４となり、オブジェクト特定情報を記憶している領域がオブジェクト特定情報記憶部２１となる。
The display setting
次に、本実施の形態による手話映像表示装置２の動作について、図８のフローチャートを用いて説明する。 Next, the operation of the sign language video display apparatus 2 according to the present embodiment will be described with reference to the flowchart of FIG.
（ステップＳ２０１）番組映像受付部１１は、番組映像を受け付けたかどうか判断する。そして、番組映像を受け付けた場合には、ステップＳ２０２に進み、そうでない場合には、ステップＳ２０４に進む。なお、番組映像受付部１１は、番組映像を一フレームごとに受信してもよく、あるいは、連続する複数のフレームごとに受信してもよい。
(Step S201) The program
（ステップＳ２０２）表示部１６は、番組映像受付部１１が受け付けた番組映像を表示する。
(Step S202) The
（ステップＳ２０３）表示設定情報生成部２２は、表示設定情報の生成のために、受け付けられた番組映像を一時的に記憶する。そして、ステップＳ２０１に戻る。
(Step S203) The display setting
（ステップＳ２０４）手話映像受付部１２は、手話映像を受け付けたかどうか判断する。そして、手話映像を受け付けた場合には、ステップＳ２０５に進み、そうでない場合には、ステップＳ２０６に進む。なお、手話映像受付部１２は、手話映像を一フレームごとに受信してもよく、あるいは、連続する複数のフレームごとに受信してもよい。
(Step S204) The sign language
（ステップＳ２０５）表示部１６は、表示設定情報取得部１５が取得した表示設定情報が示す位置や大きさで、手話映像受付部１２が受け付けた手話映像を表示する。そして、ステップＳ２０１に戻る。なお、このステップＳ２０５の処理が実行されるまでに、ステップＳ２０９での表示設定情報の取得が行われているものとする。
(Step S205) The
（ステップＳ２０６）表示設定情報生成部２２は、表示設定情報を生成するかどうか判断する。そして、生成する場合には、ステップＳ２０７に進み、そうでない場合には、ステップＳ２０８に進む。表示設定情報生成部２２は、例えば、定期的に（例えば、１０秒ごと、３０秒ごと、１分ごとなど）に、表示設定情報を生成すると判断してもよく、あらかじめ決められているイベントの発生（例えば、番組映像におけるシーンチェンジの発生でもよい。なお、シーンチェンジを検出する方法はすでに公知である）を契機として、表示設定情報を生成すると判断してもよく、あるいは、その他のタイミングで表示設定情報を生成すると判断してもよい。
(Step S206) The display setting
（ステップＳ２０７）表示設定情報生成部２２は、表示設定情報を生成する。この処理の詳細については、図９のフローチャートを用いて後述する。
(Step S207) The display setting
（ステップＳ２０８）表示設定情報取得部１５は、表示設定情報を取得するかどうか判断する。そして、表示設定情報を取得する場合には、ステップＳ２０９に進み、そうでない場合には、ステップＳ２０１に戻る。表示設定情報取得部１５は、例えば、定期的に（例えば、１０秒ごと、３０秒ごと、１分ごとなど）に、表示設定情報を取得すると判断してもよく、あらかじめ決められているイベントの発生（例えば、新たな表示設定情報が表示設定情報記憶部１４に蓄積されたことでもよい）を契機として、表示設定情報を取得すると判断してもよく、あるいは、その他のタイミングで表示設定情報を取得すると判断してもよい。
(Step S208) The display setting
（ステップＳ２０９）表示設定情報取得部１５は、表示設定情報記憶部１４で記憶されている最新の表示設定情報を取得する。また、表示設定情報取得部１５は、その取得した表示設定情報を図示しない記録媒体において一時的に記憶してもよい。そして、ステップＳ２０１に戻る。
(Step S209) The display setting
なお、このフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。また、このフローチャートでは、表示部１６が、番組映像と手話映像とを別々に表示する場合について説明したが（ステップＳ２０２，Ｓ２０５）、表示部１６は、番組映像と手話映像とを一緒に表示するようにしてもよい。例えば、表示部１６は、番組映像のフレームの一部の領域に手話映像が表示されるフレームを構成し、その構成したフレームを表示してもよい。
Note that in this flowchart, the processing is ended by powering off or interruption for aborting the processing. In this flowchart, the case where the
図９は、図８のフローチャートにおける表示設定情報の生成（ステップＳ２０７）の処理の詳細を示すフローチャートである。なお、このフローチャートでは、番組映像を複数のブロックに分けて、そのブロックごとに処理する場合について説明する。 FIG. 9 is a flowchart showing details of the processing for generating display setting information (step S207) in the flowchart of FIG. In this flowchart, a case where a program video is divided into a plurality of blocks and processed for each block will be described.
（ステップＳ３０１）表示設定情報生成部２２は、ブロックごとに動き検出を行う。
(Step S301) The display setting
（ステップＳ３０２）表示設定情報生成部２２は、オブジェクト特定情報記憶部２１で記憶されているオブジェクト特定情報を用いて、番組映像上のオブジェクトを特定し、そのオブジェクトを含むブロックを検出する。なお、このブロックの検出において、例えば、特定されたオブジェクトがブロックの面積の所定の割合（例えば、５０％）以上を占める場合に、オブジェクトを含むブロックであるとしてもよい。
(Step S302) The display setting
（ステップＳ３０３）表示設定情報生成部２２は、ステップＳ３０２でオブジェクトを含むブロックが検出された場合には、そのオブジェクトを含むブロック以外のブロックであって、ステップＳ３０１で検出した動きの程度が小さい１以上のブロックを、手話映像を表示するブロックに決定する。なお、手話映像を表示するブロックの範囲は、あらかじめその大きさが決められていてもよく（例えば、２×２のブロックに決められていてもよい）、あるいは、そのブロックの最大値のみが決められていてもよい（例えば、ブロックの最大値が３×３のブロックに決められていてもよい）。前者の場合には、例えば、表示設定情報生成部２２は、そのブロックの範囲を、特定されたオブジェクトを含まないブロックであって、動きの程度が最も小さくなるブロックの範囲に決定してもよい。後者の場合には、例えば、表示設定情報生成部２２は、そのブロックの範囲を、特定されたオブジェクトを含まないブロックであって、動きの程度があらかじめ決められているしきい値以下となるブロックの範囲（ただし、全てのブロックの動きの程度がしきい値を超えている場合には、動きの程度が最も小さいブロック）に決定してもよい。
(Step S303) When a block including an object is detected in Step S302, the display setting
（ステップＳ３０４）表示設定情報生成部２２は、ステップＳ３０３で決定したブロックの範囲に手話映像が表示されるように、表示設定情報を生成する。
(Step S304) The display setting
（ステップＳ３０５）表示設定情報生成部２２は、その生成した表示設定情報を、表示設定情報記憶部１４に蓄積する。そして、図８のフローチャートに戻る。
(Step S305) The display setting
次に、本実施の形態による手話映像表示装置２の動作について、具体例を用いて説明する。
この具体例でも、手話映像表示装置２が放送された番組映像、及び手話映像を受信し、その番組映像に重畳されている番組関連情報を用いて表示設定情報の取得が行われるものとする。また、この具体例では、表示設定情報が位置情報のみを含む場合について説明する。また、この具体例では、表示設定情報生成部２２は、１０秒ごとに表示設定情報を生成するものとする。また、この具体例では、人物を特定するためのオブジェクト特定情報がオブジェクト特定情報記憶部２１で記憶されているものとする。また、この具体例では、２×２のブロックが手話映像の表示領域として特定されるものとする。したがって、手話映像の表示の大きさは、その２×２のブロックの大きさにあらかじめ決められていることになる。また、表示設定情報取得部１５は、表示設定情報が蓄積されたタイミングで、新たな表示設定情報を取得すると判断するものとする。
Next, the operation of the sign language video display device 2 according to the present embodiment will be described using a specific example.
Also in this specific example, it is assumed that the sign language video display device 2 receives the broadcast program video and the sign language video, and obtains the display setting information using the program related information superimposed on the program video. In this specific example, a case will be described in which the display setting information includes only position information. In this specific example, the display setting
また、この具体例では、図１０で示されるように、番組映像を４×５のブロックに分けて、そのブロックごとに動き検出などを行うものとする。ブロック上の「Ｂ０１」「Ｂ０２」などは、ブロックを識別するブロックＩＤである。また、各ブロックの左上の端点の座標値があらかじめ図示しない記録媒体において記憶されているものとする。 In this specific example, as shown in FIG. 10, the program video is divided into 4 × 5 blocks, and motion detection is performed for each block. “B01”, “B02” and the like on the block are block IDs for identifying the blocks. Further, it is assumed that the coordinate value of the upper left end point of each block is stored in advance in a recording medium (not shown).
まず、手話映像表示装置２のユーザが、手話映像表示装置２を操作することによって、ニュース番組を見るようにチャンネル設定を行ったとする。すると、番組映像受付部１１において、そのチャンネルの番組映像が受信され（ステップＳ２０１）、その番組映像がディスプレイに表示される（ステップＳ２０２）。そのようにして表示された番組映像は、図４で示されるものであったとする。また、その番組映像受付部１１が受け付けた番組映像は、表示設定情報生成部２２に渡され、その表示設定情報生成部２２において一時的に記憶される（ステップＳ２０３）。
First, it is assumed that the user of the sign language video display device 2 performs channel setting so as to watch a news program by operating the sign language video display device 2. Then, the program
手話映像受付部１２は、番組映像のチャンネルと、その番組映像に対応した手話映像のチャンネルとを対応付ける情報を用いて、ユーザが設定した番組映像のチャンネルに対応する手話映像のチャンネルを特定し、そのチャンネルの手話映像を受信する（ステップＳ２０４）。その手話映像は、例えば、図５で示されるものである。表示部１６は、表示設定情報取得部１５がそれまでに取得している表示設定情報に応じて手話映像を表示する（ステップＳ２０５）。したがって、この場合の手話映像の表示は、番組映像に応じていない不適切なものとなりうる。この番組映像受付部１１による番組映像の受信と、表示部１６による番組映像の表示とは、繰り返して実行されることになる。
The sign language
次に、番組映像受付部１１が第１１フレーム目の番組映像を受信した時点で、表示設定情報生成部２２は、表示設定情報の生成を行うと判断したとする（ステップＳ２０６）。そして、それらの番組映像を用いて、表示設定情報の生成が行われる（ステップＳ２０７）。具体的には、表示設定情報生成部２２は、図１０で示されるブロックごとに、動き検出を行う（ステップＳ３０１）。この動き検出は、各ブロックにおいて、時間的に隣接するフレーム間の類似度を算出することによって行うものとする。具体的には、第１フレームのブロックＩＤ「Ｂ０１」で識別されるブロック（このブロックを「ブロックＢ０１」と呼ぶことにする。他のブロックについても同様であるとする）について、第１フレームと、第２フレームとの間の類似度を算出する。その類似度が１００％であれば、まったく変化がないことになり、動きのないブロックとなる。一方、その類似度が１００％未満であれば、その類似度に応じた変化（動き）が存在したことになる。類似度が低いほど、変化（動き）が大きくなることは自明である。この具体例では、最新の１０個の類似度の平均を用いて、動き検出を行うものとする。したがって、表示設定情報生成部２２は、ブロックごとに、最新の１０個の隣接するフレーム間の類似度を算出し、また、その算出した１０個の類似度の平均を算出して、図１１で示されるように、図示しない記録媒体に蓄積する。図１１において、ブロックＩＤと、類似度の平均とが対応付けられている。例えば、ブロックＢ０１の類似度の平均が１００％であり、ブロックＢ０１では、１０フレームにわたって変化が全くなかったことが示されている。
Next, it is assumed that the display setting
次に、表示設定情報生成部２２は、人物を特定するオブジェクト特定情報を読み出し、番組映像の最新のフレームを用いて人物の特定を行う。そして、その特定した人物の領域を含むブロックＩＤを、図示しない記録媒体に蓄積する（ステップＳ３０２）。この場合には、ブロックＩＤ「Ｂ０６」「Ｂ０７」「Ｂ０８」「Ｂ１１」「Ｂ１２」「Ｂ１３」「Ｂ１６」「Ｂ１７」「Ｂ１８」がオブジェクトを含むブロックのブロックＩＤとして蓄積され、一時的に記憶されるものとする。
Next, the display setting
すると、表示設定情報生成部２２は、その一時的に記憶されているオブジェクトを含むブロックＩＤで識別されるブロックを含まない２×２のブロックであって、その４個のブロックの類似度の合計が最も大きい２×２のブロックを特定する（ステップＳ３０３）。この場合には、ブロックＢ１４，Ｂ１５，Ｂ１９，Ｂ２０がそのようにして特定されたとする。
Then, the display setting
表示設定情報生成部２２は、その２×２のブロックの左上の端点に対応する座標値（Ｘ１０１，Ｙ１０１）を取得し（ステップＳ３０４）、その座標値を表示設定情報記憶部１４に蓄積する（ステップＳ３０５）。その結果、図１２で示される表示設定情報が表示設定情報記憶部１４で記憶されるようになる。
The display setting
新たな表示設定情報が蓄積されたため、表示設定情報取得部１５は、表示設定情報を取得するタイミングであると判断し（ステップＳ２０８）、図１２で示される表示設定情報を表示設定情報記憶部１４から取得して、図示しない記録媒体に蓄積する（ステップＳ２０９）。その後、手話映像が表示される際には、図１３で示されるように、ブロックＢ１４，Ｂ１５，Ｂ１９，Ｂ２０の領域に手話映像が表示されることになる（ステップＳ２０４，Ｓ２０５）。
Since the new display setting information has been accumulated, the display setting
なお、この具体例では、表示設定情報生成部２２が表示設定情報のうちの位置情報のみを生成する場合について説明したが、表示設定情報生成部２２は、大きさ情報も生成してもよい。この具体例の場合には、その大きさ情報は、いつも同じ情報となる。
In this specific example, the case where the display setting
以上のように、本実施の形態による手話映像表示装置２によれば、動的に表示設定情報を生成することにより、各番組映像において最適な位置に手話映像を表示することができるようになる。動きのない領域に手話映像を表示することによって、ユーザが見たいであろう動きのある領域を手話映像によって隠すことを回避できうる。また、オブジェクト特定情報によって特定されるオブジェクトの領域を避けて手話映像を表示することによって、手話映像によって隠したくない領域が確実にユーザに見られるようにすることができる。 As described above, according to the sign language video display device 2 according to the present embodiment, the sign language video can be displayed at an optimum position in each program video by dynamically generating the display setting information. . By displaying the sign language video in the area without movement, it is possible to avoid hiding the area with the movement that the user wants to see with the sign language video. In addition, by displaying the sign language video while avoiding the object area specified by the object specifying information, it is possible to ensure that the user does not want to hide the area that is not hidden by the sign language video.
なお、本実施の形態では、オブジェクト特定情報で特定されるオブジェクトを覆わない領域に手話映像を表示する表示設定情報を生成する場合について説明したが、そうでなくてもよい。オブジェクト特定情報を用いた表示設定情報の生成を行わない場合には、手話映像表示装置２は、オブジェクト特定情報記憶部２１を備えていなくてもよく、また、表示設定情報生成部２２は、オブジェクト特定情報を用いた表示設定情報の生成を行わなくてもよい。
In the present embodiment, a case has been described in which display setting information for displaying a sign language video in a region that does not cover the object specified by the object specifying information is generated, but this need not be the case. When the display setting information is not generated using the object specifying information, the sign language video display device 2 may not include the object specifying
また、本実施の形態では、動き検出を行って、動きのない領域に手話映像を表示する表示設定情報を生成する場合について説明したが、そうでなくてもよい。表示設定情報生成部２２は、動き検出を行わないで表示設定情報を生成してもよい。その場合には、例えば、オブジェクト特定情報を用いた表示設定情報の生成を行ってもよい。
In the present embodiment, the case has been described where motion detection is performed to generate display setting information for displaying a sign language video in an area where there is no motion, but this need not be the case. The display setting
また、上記各実施の形態の具体例において、まず番組映像が表示された後に、手話映像を含む番組映像が表示されるようになる場合について説明したが、番組映像のみが表示されている期間は、１，２フレーム程度であり、１／３０〜２／３０秒程度であるため、あまり影響はないと考えられる。一方、はじめから番組映像と手話映像とが同時に表示されるようにしてもよい。その場合には、手話映像を表示することができるようになるまで、すなわち、表示設定情報の取得等が行われるまで番組映像の表示を行わず、手話映像を表示できるようになってから、手話映像と番組映像とを表示するようにしてもよい。 Further, in the specific examples of the above embodiments, the case where the program video including the sign language video is displayed after the program video is first displayed is described. However, the period during which only the program video is displayed is as follows. Since it is about 1 or 2 frames and 1/30 to 2/30 seconds, it is considered that there is not much influence. On the other hand, the program video and the sign language video may be displayed simultaneously from the beginning. In that case, the sign language video can be displayed without displaying the program video until the sign language video can be displayed, that is, until the display setting information is acquired. A video and a program video may be displayed.
また、上記各実施の形態では、手話映像表示装置１，２がスタンドアロンである場合について説明したが、手話映像表示装置１，２は、スタンドアロンの装置であってもよく、サーバ・クライアントシステムにおけるサーバ装置であってもよい。後者の場合には、表示部や受付部は、通信回線を介して情報を表示したり、情報を受け付けたりしてもよい。
In each of the above embodiments, the sign language
また、上記各実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。 In each of the above embodiments, each processing or each function may be realized by centralized processing by a single device or a single system, or distributed processing by a plurality of devices or a plurality of systems. May be realized.
また、上記各実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりした情報や、各構成要素が処理で用いるしきい値や数式、アドレス等の情報等は、上記説明で明記していない場合であっても、図示しない記録媒体において、一時的に、あるいは長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、あるいは、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、あるいは、図示しない読み出し部が行ってもよい。 Also, in each of the above embodiments, information related to processing executed by each component, for example, each component received, acquired, selected, generated, transmitted, or received Information and information such as threshold values, mathematical formulas, addresses, etc. used by each component in processing are retained temporarily or over a long period of time on a recording medium (not shown) even if not explicitly stated in the above description. May be. Further, the storage of information in the recording medium (not shown) may be performed by each component or a storage unit (not shown). Further, reading of information from the recording medium (not shown) may be performed by each component or a reading unit (not shown).
また、上記各実施の形態において、各構成要素等で用いられる情報、例えば、各構成要素が処理で用いるしきい値やアドレス、各種の設定値等の情報がユーザによって変更されてもよい場合には、上記説明で明記していない場合であっても、ユーザが適宜、それらの情報を変更できるようにしてもよく、あるいは、そうでなくてもよい。それらの情報をユーザが変更可能な場合には、その変更は、例えば、ユーザからの変更指示を受け付ける図示しない受付部と、その変更指示に応じて情報を変更する図示しない変更部とによって実現されてもよい。その図示しない受付部による変更指示の受け付けは、例えば、入力デバイスからの受け付けでもよく、通信回線を介して送信された情報の受信でもよく、所定の記録媒体から読み出された情報の受け付けでもよい。 In each of the above embodiments, when information used by each component, for example, information such as a threshold value, an address, and various setting values used by each component may be changed by the user Even if it is not specified in the above description, the user may be able to change the information as appropriate, or it may not be. If the information can be changed by the user, the change is realized by, for example, a not-shown receiving unit that receives a change instruction from the user and a changing unit (not shown) that changes the information in accordance with the change instruction. May be. The change instruction received by the receiving unit (not shown) may be received from an input device, information received via a communication line, or information read from a predetermined recording medium, for example. .
また、上記各実施の形態において、手話映像表示装置１，２に含まれる２以上の構成要素が通信デバイスや入力デバイス等を有する場合に、２以上の構成要素が物理的に単一のデバイスを有してもよく、あるいは、別々のデバイスを有してもよい。
In each of the above embodiments, when two or more constituent elements included in the sign language
また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。なお、上記実施の形態における手話映像表示装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、番組の映像である番組映像を受け付ける番組映像受付部、前記番組映像に対応した手話の映像である手話映像を受け付ける手話映像受付部、前記手話映像を表示する位置に関する情報である位置情報を含む表示設定情報が記憶される表示設定情報記憶部から表示設定情報を取得する表示設定情報取得部、前記表示設定情報取得部が取得した表示設定情報に応じて、前記手話映像受付部が受け付けた手話映像と、前記番組映像受付部が受け付けた番組映像とを表示する表示部、として機能させるためのものである。 In each of the above embodiments, each component may be configured by dedicated hardware, or a component that can be realized by software may be realized by executing a program. For example, each component can be realized by a program execution unit such as a CPU reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory. Note that the software that realizes the sign language video display apparatus in the above embodiment is the following program. In other words, this program causes a computer to receive a program video reception unit that receives a program video that is a video of a program, a sign language video reception unit that receives a sign language video that is a video of a sign language corresponding to the program video, and a position for displaying the sign language video. Display setting information acquisition unit that acquires display setting information from a display setting information storage unit that stores display setting information that includes position information that is information relating to the display setting information acquired by the display setting information acquisition unit, This is for functioning as a display unit for displaying the sign language video received by the sign language video receiving unit and the program video received by the program video receiving unit.
なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を取得する取得部や、情報を受け付ける受付部、情報を表示する表示部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には少なくとも含まれない。 In the program, the functions realized by the program do not include functions that can be realized only by hardware. For example, functions that can be realized only by hardware such as a modem and an interface card in an acquisition unit that acquires information, a reception unit that receives information, and a display unit that displays information are included in at least the functions realized by the above program. Absent.
また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。 Further, this program may be executed by being downloaded from a server or the like, and a program recorded on a predetermined recording medium (for example, an optical disk such as a CD-ROM, a magnetic disk, a semiconductor memory, or the like) is read out. May be executed by Further, this program may be used as a program constituting a program product.
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。 Further, the computer that executes this program may be singular or plural. That is, centralized processing may be performed, or distributed processing may be performed.
図１４は、上記プログラムを実行して、上記各実施の形態による手話映像表示装置１，２を実現するコンピュータの外観の一例を示す模式図である。上記各実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。
FIG. 14 is a schematic diagram showing an example of the external appearance of a computer that executes the program and realizes the sign language
図１４において、コンピュータシステム９００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブ９０５、ＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）ドライブ９０６を含むコンピュータ９０１と、キーボード９０２と、マウス９０３と、モニタ９０４とを備える。
14, a
図１５は、コンピュータシステム９００の内部構成を示す図である。図１５において、コンピュータ９０１は、ＣＤ−ＲＯＭドライブ９０５、ＦＤドライブ９０６に加えて、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ９１２と、ＭＰＵ９１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク９１４と、ＭＰＵ９１１、ＲＯＭ９１２等を相互に接続するバス９１５とを備える。なお、コンピュータ９０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでいてもよい。
FIG. 15 is a diagram showing an internal configuration of the
コンピュータシステム９００に、上記各実施の形態による手話映像表示装置１，２の機能を実行させるプログラムは、ＣＤ−ＲＯＭ９２１、またはＦＤ９２２に記憶されて、ＣＤ−ＲＯＭドライブ９０５、またはＦＤドライブ９０６に挿入され、ハードディスク９１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ９０１に送信され、ハードディスク９１４に記憶されてもよい。プログラムは実行の際にＲＡＭ９１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ９２１やＦＤ９２２、またはネットワークから直接、ロードされてもよい。
A program for causing the
プログラムは、コンピュータ９０１に、上記各実施の形態による手話映像表示装置１，２の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム９００がどのように動作するのかについては周知であり、詳細な説明は省略する。
The program does not necessarily include an operating system (OS), a third party program, or the like that causes the
また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。 Further, the present invention is not limited to the above-described embodiment, and various modifications are possible, and it goes without saying that these are also included in the scope of the present invention.
以上より、本発明による手話映像表示装置等によれば、記憶されている表示設定情報を用いて手話映像を表示することができ、手話映像を表示する装置等として有用である。 As described above, according to the sign language image display device and the like according to the present invention, the sign language image can be displayed using the stored display setting information, which is useful as an apparatus for displaying a sign language image.
１、２ 手話映像表示装置
１１ 番組映像受付部
１２ 手話映像受付部
１３ 番組関連情報受付部
１４ 表示設定情報記憶部
１５ 表示設定情報取得部
１６ 表示部
２１ オブジェクト特定情報記憶部
２２ 表示設定情報生成部
DESCRIPTION OF
Claims (12)
前記番組映像に対応した手話の映像である手話映像を受け付ける手話映像受付部と、
前記手話映像を表示する位置に関する情報である位置情報を含む表示設定情報が記憶される表示設定情報記憶部と、
前記表示設定情報記憶部から表示設定情報を取得する表示設定情報取得部と、
前記表示設定情報取得部が取得した表示設定情報に応じて、前記手話映像受付部が受け付けた手話映像と、前記番組映像受付部が受け付けた番組映像とを表示する表示部と、
前記番組映像受付部が受け付けた番組映像から表示設定情報を生成し、前記表示設定情報記憶部に蓄積する表示設定情報生成部と、
前記手話映像によって覆われたくないオブジェクトを特定するための情報であるオブジェクト特定情報が記憶されるオブジェクト特定情報記憶部と、を備え、
前記表示設定情報生成部は、前記番組映像受付部が受け付けた番組映像に対して動き検出を行い、当該番組映像に前記オブジェクト特定情報で特定されるオブジェクトが存在する場合に、動きのない領域であり、当該オブジェクトを覆わない領域に前記手話映像を表示する表示設定情報を生成する、手話映像表示装置。 A program video reception unit for receiving a program video which is a video of the program;
A sign language image receiving unit that accepts a sign language image that is a sign language image corresponding to the program image;
A display setting information storage unit that stores display setting information including position information that is information regarding a position for displaying the sign language video;
A display setting information acquisition unit for acquiring display setting information from the display setting information storage unit;
A display unit for displaying the sign language video received by the sign language video receiving unit and the program video received by the program video receiving unit according to the display setting information acquired by the display setting information acquiring unit;
A display setting information generating unit that generates display setting information from the program video received by the program video receiving unit and stores the display setting information in the display setting information storage unit;
An object specifying information storage unit that stores object specifying information that is information for specifying an object that is not desired to be covered by the sign language video ,
The display setting information generation unit performs motion detection on the program video received by the program video reception unit, and in an area where there is no motion when the object specified by the object specification information exists in the program video. A sign language image display device that generates display setting information for displaying the sign language image in an area that does not cover the object .
前記表示部は、前記表示設定情報取得部が表示設定情報を取得するごとに、最新の表示設定情報に応じて手話映像を表示する、請求項１から請求項３のいずれか記載の手話映像表示装置。 The display setting information acquisition unit repeatedly acquires the display setting information,
Wherein the display unit, each time the display setting information acquiring unit acquires the display setting information and displays the sign language image according to the latest display setting information, sign language video display according to any one of claims 1 to 3 apparatus.
前記番組映像受付部が、番組の映像である番組映像を受け付ける番組映像受付ステップと、
前記手話映像受付部が、前記番組映像に対応した手話の映像である手話映像を受け付ける手話映像受付ステップと、
前記表示設定情報生成部が、前記番組映像受付ステップで受け付けた番組映像から表示設定情報を生成し、前記表示設定情報記憶部に蓄積する表示設定情報生成ステップと、
前記表示設定情報取得部が、前記表示設定情報記憶部から表示設定情報を取得する表示設定情報取得ステップと、
前記表示部が、前記表示設定情報取得ステップで取得した表示設定情報に応じて、前記手話映像受付ステップで受け付けた手話映像と、前記番組映像受付ステップで受け付けた番組映像とを表示する表示ステップと、を備え、
前記表示設定情報生成ステップでは、前記番組映像受付ステップで受け付けた番組映像に対して動き検出を行い、当該番組映像に前記オブジェクト特定情報で特定されるオブジェクトが存在する場合に、動きのない領域であり、当該オブジェクトを覆わない領域に前記手話映像を表示する表示設定情報を生成する、手話映像表示方法。 A program video reception unit, a sign language video reception unit, a display setting information storage unit that stores display setting information including position information that is information about a position for displaying a sign language video as a sign language video, and is covered by the sign language video. Sign language processed using an object specification information storage unit that stores object specification information that is information for specifying an object that is not to be received, a display setting information generation unit, a display setting information acquisition unit, and a display unit An image display method,
A program video receiving step in which the program video receiving unit receives a program video that is a video of the program; and
A sign language image receiving step for receiving a sign language image that is a sign language image corresponding to the program image;
The display setting information generating unit generates display setting information from the program video received in the program video receiving step, and stores the display setting information in the display setting information storage unit;
The display setting information acquisition unit acquires display setting information from the display setting information storage unit; and
A display step for displaying the sign language video received in the sign language video reception step and the program video received in the program video reception step according to the display setting information acquired in the display setting information acquisition step; , equipped with a,
In the display setting information generating step, motion detection is performed on the program video received in the program video receiving step, and an object specified by the object specifying information exists in the program video in an area where there is no motion. A sign language image display method for generating display setting information for displaying the sign language image in an area that does not cover the object .
番組の映像である番組映像を受け付ける番組映像受付部、
前記番組映像に対応した手話の映像である手話映像を受け付ける手話映像受付部、
前記手話映像を表示する位置に関する情報である位置情報を含む表示設定情報が記憶される表示設定情報記憶部から表示設定情報を取得する表示設定情報取得部、
前記表示設定情報取得部が取得した表示設定情報に応じて、前記手話映像受付部が受け付けた手話映像と、前記番組映像受付部が受け付けた番組映像とを表示する表示部、
前記番組映像受付部が受け付けた番組映像から表示設定情報を生成し、前記表示設定情報記憶部に蓄積する表示設定情報生成部として機能させ、
前記表示設定情報生成部は、前記番組映像受付部が受け付けた番組映像に対して動き検出を行い、当該番組映像に、前記手話映像によって覆われたくないオブジェクトを特定するための情報であるオブジェクト特定情報が記憶されるオブジェクト特定情報記憶部で記憶されているオブジェクト特定情報で特定されるオブジェクトが存在する場合に、動きのない領域であり、当該オブジェクトを覆わない領域に前記手話映像を表示する表示設定情報を生成する、プログラム。 Computer
A program video reception unit that receives a program video that is a video of the program,
A sign language image receiving unit for receiving a sign language image which is a sign language image corresponding to the program image;
A display setting information acquisition unit that acquires display setting information from a display setting information storage unit that stores display setting information including position information that is information relating to a position for displaying the sign language video;
A display unit for displaying the sign language video received by the sign language video receiving unit and the program video received by the program video receiving unit according to the display setting information acquired by the display setting information acquiring unit;
Generating display setting information from the program video received by the program video receiving unit , and functioning as a display setting information generating unit for storing in the display setting information storage unit ;
The display setting information generation unit performs object motion detection on the program video received by the program video reception unit, and specifies an object that is information for specifying an object that the program video does not want to be covered with the sign language video. When the object specified by the object specifying information stored in the object specifying information storage unit in which the information is stored exists, the display is a region that does not move and displays the sign language video in a region that does not cover the object A program that generates configuration information .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008320901A JP5266035B2 (en) | 2008-12-17 | 2008-12-17 | Sign language video display device, sign language video display method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008320901A JP5266035B2 (en) | 2008-12-17 | 2008-12-17 | Sign language video display device, sign language video display method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010147649A JP2010147649A (en) | 2010-07-01 |
| JP5266035B2 true JP5266035B2 (en) | 2013-08-21 |
Family
ID=42567646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008320901A Expired - Fee Related JP5266035B2 (en) | 2008-12-17 | 2008-12-17 | Sign language video display device, sign language video display method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5266035B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150154774A1 (en) * | 2013-07-24 | 2015-06-04 | Telefonaktiebolaget Lm Ericsson (Publ) | Media rendering apparatus and method with widget control |
| JP6386933B2 (en) * | 2015-02-19 | 2018-09-05 | 株式会社アステム | Program output device, program and auxiliary information output method, and program |
| JP2019016206A (en) * | 2017-07-07 | 2019-01-31 | 株式会社富士通ソーシアルサイエンスラボラトリ | Sound recognition character display program, information processing apparatus, and sound recognition character display method |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001333335A (en) * | 2000-05-24 | 2001-11-30 | Minolta Co Ltd | Video information device |
| JP4185790B2 (en) * | 2003-03-12 | 2008-11-26 | シャープ株式会社 | Television broadcast receiver |
| JP4476723B2 (en) * | 2004-07-14 | 2010-06-09 | アルパイン株式会社 | Image display device |
| JP2007266800A (en) * | 2006-03-28 | 2007-10-11 | Hitachi Ltd | Information reproducing device |
| JP4871635B2 (en) * | 2006-04-28 | 2012-02-08 | キヤノン株式会社 | Digital broadcast receiving apparatus and control method thereof |
-
2008
- 2008-12-17 JP JP2008320901A patent/JP5266035B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010147649A (en) | 2010-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8730354B2 (en) | Overlay video content on a mobile device | |
| US8774592B2 (en) | Media reproduction for audio visual entertainment | |
| WO2017211250A1 (en) | Image overlay display method and system | |
| US8654131B2 (en) | Video image processing apparatus and video image processing method | |
| KR102246305B1 (en) | Augmented media service providing method, apparatus thereof, and system thereof | |
| US8045004B2 (en) | Display signal control apparatus, and display signal control method | |
| JP2011055270A (en) | Information transmission apparatus and information transmission method | |
| EP2893706A2 (en) | Augmented reality for video system | |
| TW201036437A (en) | Systems and methods for providing closed captioning in three-dimensional imagery | |
| KR20130127423A (en) | Method of picture-in-picture for multimedia applications | |
| CN106658030B (en) | A kind of playback method and equipment of the composite video comprising SCVF single channel voice frequency multi-channel video | |
| WO2014030405A1 (en) | Display device, display method, television receiver, and display control device | |
| JP5346797B2 (en) | Sign language video synthesizing device, sign language video synthesizing method, sign language display position setting device, sign language display position setting method, and program | |
| JP5266035B2 (en) | Sign language video display device, sign language video display method, and program | |
| EP2286592B1 (en) | Signal processing device and method for tuning an audiovisual system to a viewer attention level. | |
| CN111050204A (en) | Video clipping method and device, electronic equipment and storage medium | |
| EP2575358B1 (en) | Display apparatus and control method thereof | |
| JP5317710B2 (en) | Image processing apparatus, control method therefor, program, and recording medium | |
| US9875521B2 (en) | Image output apparatus, image output method, and program | |
| JP2004312208A (en) | Device, method and program for displaying video | |
| CN111698261B (en) | Video playing method, device, equipment and storage medium based on streaming media | |
| US20110304769A1 (en) | Digital broadcast receiver apparatus and image display method | |
| US20140047309A1 (en) | Apparatus and method for synchronizing content with data | |
| JP2012063547A (en) | Image processing apparatus and image processing method | |
| US7747130B2 (en) | Apparatus and method for extracting representative still images from MPEG video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130402 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130426 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130502 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5266035 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |