JP6271194B2 - 携帯デバイスへのセカンドスクリーン情報の提供方法 - Google Patents

Description

本発明は、映画上映などの音声を伴った映像に対する字幕、手話又は音声ガイドなどのセカンドスクリーン情報を携帯デバイスに出力する方法に関する。

映画などの上映に際して、その映画の鑑賞を支援するために聴覚障害者に対しては字幕や手話映像をスクリーン上に表示したり、視覚障害者に対しては、音声ガイドをスピーカから流したり、また異なる文化と言語を持つ人々に対しては、複数の異なる言語で表示された字幕を表示したりする、いわゆる、セカンドスクリーン情報の映像コンテンツへの付加によりバリアフリー化が行われている。

しかし、例えば字幕が入っていたり、音声ガイドがスピーカから流れると、健常者にとっては、むしろ目障り、耳障りとなり、複数の異なる言語で字幕が表示されると、映像が見づらくなってしまう。
このようなバリアフリー化に伴う問題を解決するために、例えば個々の映画視聴者に携帯デバイスを提供し、この携帯デバイスにセカンドスクリーン情報を表示又は出力させることが行われている。

特許文献１には、映画館、視聴覚室等の、複数人が同時に映画鑑賞可能な空間に設置されたスクリーン等の上映面に映し出されている映画の字幕を、観客が携帯するポータブルデバイスに映画の進行と同期して表示可能な映画・字幕同期表示システムが記載されている。

また、特許文献２には、視覚的解説やオーディオ解説に相当するデータが予めプログラムされた携帯デバイスを視聴者に提供し、映画の上演中に少なくとも１つのタイムコードを赤外線又は無線周波で送信し、携帯デバイスで前記少なくとも１つのタイムコードを処理して前記視覚的解説やオーディオ解説の開始位置を決定して、上演と同期させて前記視覚的解説を表示させたり、前記オーディオ解説を自動的に再生することが記載されている。

特開２０１０−６８０１６号公報 特許第４５０３２９２号公報

特許文献１や２に開示されているシステムや方法は、バリアフリー化に伴って提起された問題点をかなり解決しているもののやはり以下の様な限界を有している。
特許文献１に記載された発明では、映画の各映像シーンと携帯デバイスに表示される字幕とのタイミング（字幕表示タイミング）を正確に同期させるために、各ポータブルデバイスは標準時配信サーバ（ＮＴＰサーバ）にアクセスしてその現在時刻に内部時計の時刻を合わせたり、字幕サーバにアクセスして字幕データ組をダウンロードしたり、字幕サーバに保存された上映開始時刻を記憶保持しなければならない。
従って、各ポータブルデバイスは映画上映開始前にネットワークを介して多くのタスクを実行する必要があり、システムの構成が複雑となるという問題を有している。

特許文献２に記載された発明では、赤外線（ＩＲ）又は無線周波（ＲＦ）を利用して携帯デバイスをトリガする。従って映画館内や劇場の座席エリアを含む各種の場所に送信機を設置しておかなければならないという問題がある。
本発明は、上記問題点を解決し、システムの構成を複雑化することなく、映像の近傍で携帯デバイスを起動するだけで、簡単に映像に同期されたセカンドスクリーン情報を出力させることの出来る方法を提供することを目的とする。

本発明の音声を伴った映像に対するセカンドスクリーン情報を、音声入出力及び画像表示可能な携帯デバイスに出力する方法は、音声中に、映像の各映像シーンに対応付けられたタイムコードを電子透かしとして埋め込み、セカンドスクリーン情報に相当するデータにタイムコードを対応付けてセカンドスクリーン情報を作成して携帯デバイスに予め格納し、映像の近傍で携帯デバイスに音声を入力し、映像シーンに同期させてセカンドスクリーン情報を出力することを特徴とする。

また、本発明の方法は、セカンドスクリーン情報は、字幕、手話及び音声ガイドのいずれかであり、字幕及び手話は携帯デバイスに画像表示され、音声ガイドは音声出力されることを特徴とする。
また、本発明の方法は、セカンドスクリーン情報は携帯デバイスのユーザによりいずれかを選択可能とすることを特徴とする。
また、本発明の方法は、字幕は、聴覚障害者用字幕であることを特徴とする。
また、本発明の方法は、字幕は、複数の異なる言語のいずれかで表示されることを特徴とする。
また、本発明の方法は、音声ガイドの音声出力を点字リーダを介して視覚障害者用点字として出力することを特徴とする。
また、本発明の方法は、携帯デバイスは、スマートフォン、携帯情報端末（ＰＤＡ）又は携帯用ＰＣのいずれかであることを特徴とする。
さらに、本発明の方法は、音声を伴った映像は、上映映像、展示映像、実演映像、アトラクション映像、又はパブリックビュー映像のいずれかであることを特徴とする。

本発明では簡単なシステム構成で、安価に映像に同期されたセカンドスクリーン情報を出力することができる。

映画上映について本発明を実施した場合の概念図。 本発明の方法によりセカンドスクリーン情報が携帯デバイスに出力されるまでの手順を示すフローチャート。 映像とタイムコードとセカンドスクリーン情報との関係を示すタイムチャート。

オランダのＣｉｖｏｌｕｔｉｏｎ社（ｈｔｔｐ：／／ｗｗｗ．ｃｉｖｏｌｕｔｉｏｎ．ｃｏｍ）は音声透かしを使ったセカンドスクリーンソリューション「ＳｙｎｃＮｏｗ」を提供している（ｈｔｔｐ：／／ｗｗｗ．ｓｙｎｃｎｏｗ．ｃｏｍ／）。また、日本の日本エヴィクサー株式会社（ｈｔｔｐ：／／ｗｗｗ．ｅｖｉｘａｒ．ｃｏｍ）も同様の技術を提供している（ｈｔｔｐ：／／ｗｗｗ．ｅｖｉｘａｒ．ｃｏｍ／ｓｏｌｕｔｉｏｎｔｏｐ／ｖｉｄｅｏ）。この技術は、音声の可聴範囲の周波数帯域に分散して、種々のコード情報を透かしとして埋め込んでおき、コンテンツの映像シーンに応じてスマートフォンやタブレット端末のアプリケーションが自動的に関連情報を表示するというものである。

音声電子透かしは、オーディオコンテンツ（ファイル又はサウンドトラック）に挿入される、人間の耳では感知できない情報で構成され、オリジナルコンテンツのオーディオ品質には何等影響を与えない。
また、電子透かしとして音声に挿入され埋め込まれた情報は、信号伝達に伴う信号圧縮や変換を通しても失われることなく残る。従ってスピーカから出てくる音声には透かし情報が入ったままで、スマートフォンやタブレット端末は、マイク入力からこの情報を取り出すことが出来る。

本発明は、音声中に映像の各映像シーンに対応付けられたタイムコードを電子透かしとして埋め込む、上記技術を使用して、映像の近傍でスマートフォンやタブレット端末などの携帯デバイスに音声を入力し、上記タイムコードを取出して各映像シーンに同期させてセカンドスクリーン情報を出力するようにしたものである。
以下、実施例に基づいて詳細に説明する。

図１は本発明を映画館での映画上映について実施する場合の概念図を示したものである。
映画館の上映室内のスクリーン１０に邦画が上映されており、スクリーン１０に映写されている映像の各映像シーンに関連する台詞（科白）、ナレーション、バックグランドミュージック、効果音などの音声情報が上映室の所定の場所に設けられたスピーカ２０から上映室内に流れている。

視聴覚障害者や外国人を含む観客は、スマートフォン、携帯情報端末（ＰＤＡ）又は携帯用ＰＣなどの音声入出力及び画像表示可能な携帯デバイス３０−１、３０−２、３０−３、３０−４を持って入館する。
この携帯デバイスには、後述するような方法で作成されたセカンドスクリーン情報が予め格納されており、観客の選択により、字幕、手話又は音声ガイドのいずれかを選択することができ、字幕及び手話は、携帯デバイスに画面表示され、音声ガイドは、音声出力される。なお、音声ガイドの音声出力を点字リーダを介して視覚障害者用点字として出力することも可能である。

本実施例では携帯デバイス３０−１は字幕表示用、携帯デバイス３０−２は手話表示用、携帯デバイス３０−３は音声ガイド出力用、携帯デバイス３０−４は点字リーダ４０接続用にそれぞれ観客によって選択されている。
携帯デバイス３０−１が表示する字幕には、聴覚障害者用字幕と複数の異なる言語のいずれかを表示する多言語用字幕の二種類がある。

聴覚障害者が映画を鑑賞する場合、映像シーンに関連する音声情報が全く入手出来ないのであるから、単に台詞（科白）やナレーションだけを字幕として表示するだけでは不十分であり、効果音や各映像シーンの解説などを追加して字幕を作成しなければならない。これに対し、多言語用字幕の場合には、そのような追加の解説は必要とせず、単に日本語の台詞（科白）やナレーションを翻訳して表示すれば足りる。

携帯デバイス３０−２は、聴覚障害者用として用いられるもので、字幕表示に替えて、手話を画面表示するものである。
携帯デバイス３０−３、３０−４は、視覚障害者用として用いられるもので、セカンドスクリーン情報が音声ガイドとして出力される。視覚障害者が映画を鑑賞するのは奇異に思えるかもしれないが、それは従来視覚障害者に対するセカンドスクリーン情報を十分に提供できなかったことに起因しており、充実した音声ガイドを提供することが出来れば、視覚障害者も十分に映画を鑑賞することが出来る。

セカンドスクリーン情報を点字として入手したい観客に対しては、携帯デバイス３０−４の音声出力端子に点字リーダ４０を接続して使用することが出来る。
スピーカ２０から流れている音声には、後述するようにスクリーン１０に映写されている映像の各映像シーンに対応するタイムコードが電子透かしとして埋め込まれている。
なお、タイムコードは、台詞（科白）やナレーションなどのマスター音声に埋め込むのがよく、バックグランドミュージックや効果音などには通常埋め込まない。
観客は、映画館で、セカンドスクリーン情報が格納された携帯デバイスを起動して待機し、映画が上映され、音声がマイク入力されると、映像シーンに同期した字幕、手話、音声ガイドなどのセカンドスクリーン情報がそれぞれの選択に応じた携帯デバイスから出力される。

図２は、本発明の方法によりセカンドスクリーン情報が携帯デバイスに出力されるまでの手順を示すフローチャートである。
まず、映画の上映前に、音声中に、映像の各映像シーンに対応付けられたタイムコードを電子透かしとして埋め込む（ステップ１００）。
次いで、セカンドスクリーン情報に相当するデータにタイムコードを対応付けてセカンドスクリーン情報を作成して携帯デバイスに予め格納する（ステップ１０２）。
そして、映像の近傍、即ち、映画の音声が聞こえる範囲内で、携帯デバイスを駆動して、音声を入力し、各映像シーンに同期させてセカンドスクリーン情報を出力する（ステップ１０４）。

図３は、映像の各映像シーンと音声に埋め込まれているタイムコードと携帯デバイスに格納されているセカンドスクリーン情報（ＳＳＩ）との関係を示したタイムチャートで、映画の上映開始からの経過時間に応じて映像シーンに同期してセカンドスクリーン情報（ＳＳＩ）が次々と出力される様子を示している。
ここでタイムコードは、上映開始時刻からの経過時間を示す時間軸情報（ＴＣ_１−ｎ）と、出力すべきセカンドスクリーン情報のデータを特定する識別情報（ＩＤ_１−ｎ）とから構成されている。

そして、セカンドスクリーン情報（ＳＳＩ）は、識別情報（ＩＤ_１−ｎ）に対応付けられたセカンドスクリーン情報の各エレメント情報（ＳＳＩ_１−ｎ）で構成されている。
従って、仮にセカンドスクリーン情報（ＳＳＩ）が字幕であるとすると、上映中の映画のシーン毎の、即ち、上映開始時刻からの経過時間と対応付けられた字幕が携帯デバイスの格納領域から呼び出され、映画の進行に同期したシーン毎の字幕が携帯デバイスの表示面に表示される。

上述した実施例は、音声を伴った映像の一例として映画館での上映映像を挙げたが、これに限定されるものではなく、テレビ放送やネット配信される映画、ドラマ、ショーなどの番組に対しても本発明は適用可能である。
また、博物館や美術館での音声での説明つきの展示映像や、劇場での実演映像、アトラクション映像、又は公開の場所でのパブリックビュー映像であっても本発明は適用可能である。

一般に展示中の映像に字幕を付けて作り直すには多額の費用が必要となるが、本発明を用いると、展示映像の前に携帯デバイスを置くだけで、映像に同期した字幕表示が可能となり、また、多言語字幕表示も可能となる。
字幕・手話・音声ガイドなどのセカンドスクリーン情報を配信するサーバを用意しておけば、本発明を用いて発売済みのＤＶＤにセカンドスクリーン情報を付加し、携帯デバイスに出力することが可能となる。

１０：スクリーン
２０：スピーカ
３０−１〜３０−４：携帯デバイス
４０：点字リーダ

Claims (8)

1. 音声を伴った映像に対するセカンドスクリーン情報を、音声入出力及び画像表示可能な携帯デバイスに出力する方法であって、
   前記音声中に、前記映像の各映像シーンに対応付けられたタイムコードを電子透かしとして埋め込み、
   前記タイムコードは、前記映像の上映開始時刻からの経過時間を示す時間軸情報（ＴＣ _１−ｎ ）と、出力すべきセカンドスクリーン情報のデータを特定する識別情報（ＩＤ _１−ｎ ）とから構成され、
   前記セカンドスクリーン情報は、前記識別情報（ＩＤ _１−ｎ ）に対応付けられた各エレメント情報（ＳＳＩ _１−ｎ ）で構成されて前記携帯デバイスに予め格納され、
   前記映像の近傍で前記携帯デバイスに前記音声を入力し、前記映像シーンに同期させて前記セカンドスクリーン情報を出力することを特徴とする方法。
2. 請求項１に記載の方法において、
   前記セカンドスクリーン情報は、字幕、手話及び音声ガイドのいずれかであり、前記字幕及び前記手話は前記携帯デバイスに画像表示され、前記音声ガイドは音声出力されることを特徴とする方法。
3. 請求項２に記載の方法において、
   前記セカンドスクリーン情報は前記携帯デバイスのユーザによりいずれかを選択可能とすることを特徴とする方法。
4. 請求項２に記載の方法において、
   前記字幕は、聴覚障害者用字幕であることを特徴とする方法。
5. 請求項２に記載の方法において、
   前記字幕は、複数の異なる言語のいずれかで表示されることを特徴とする方法。
6. 請求項２に記載の方法において、
   前記音声ガイドの音声出力を点字リーダを介して視覚障害者用点字として出力することを特徴とする方法。
7. 請求項１に記載の方法において、
   前記携帯デバイスは、スマートフォン、携帯情報端末（ＰＤＡ）又は携帯用ＰＣのいずれかであることを特徴とする方法。
8. 請求項１に記載の方法において、
   前記音声を伴った映像は、上映映像、展示映像、実演映像、アトラクション映像、又はパブリックビュー映像のいずれかであることを特徴とする方法。

Images