JP5664356B2 - 生成装置および生成方法 - Google Patents

Description

本発明は、生成装置および生成方法に関する。

複数の撮像装置を用いて撮影したステレオ画像から、立体映像を表示するための立体画像を生成する技術が知られている。ここでいうステレオ画像とは、例えば、所定の視差がある複数の画像を指す。また、撮像装置の一例としては、デジタルカメラや、携帯端末に設けられたカメラ、ＰＣ（Personal Computer）などに設けられたカメラなどが挙げられる。

また、１つの撮像装置を用いて撮影した画像と、この画像中の各物体を所定の視差分移動させた画像とを用いて、複数の撮像装置を用いた場合と比較して簡易な構成で、立体画像を生成する技術が知られている。

また、視聴者などのユーザの好みに応じて、立体映像と２次元映像とを切り替える従来技術が知られている。

特開２００１−０５４１４１号公報 特開２００５−１２４２００号公報 特開平０８−１１１８７６号公報

しかしながら、上記の従来技術では、ユーザに負担がかかるという問題がある。これを説明すると、従来技術は、ユーザの操作によって立体映像から２次元映像へ切り替える。立体映像から２次元映像へ切り替えるタイミングの一例としては、ユーザが疲れたと感じたタイミングが挙げられる。すなわち、ユーザは、視認した映像から、立体映像を思考し、立体映像を組み立てているため、立体映像を視聴する場合には、２次元映像を視聴する場合と比較して、疲労の度合いが大きい。そのため、ユーザは、疲労の度合いがより小さい２次元映像へ切り替えることがある。しかしながら、ユーザが疲れたと感じた時点で、すでにユーザに負担がかかっているといえる。

また、立体映像と２次元映像とでは、それぞれの映像に対する、ユーザの目の焦点距離が異なる。そのため、立体映像と２次元映像とを切り替えると、焦点距離が変動するので、ユーザの負担の一因となる。

開示の技術は、上記に鑑みてなされたものであって、ユーザの負担をより軽減することができる生成装置および生成方法を提供することを目的とする。

本願の開示する生成装置は、一つの態様において、取込部と、抽出部と、生成部とを有する。取込部は、撮影位置が視差分異なる複数の映像信号を取り込む。抽出部は、映像信号のうち、少なくとも一方の映像信号から、注目時間を抽出する。生成部は、注目時間について、撮影位置が視差分異なる複数の映像信号によって立体視映像信号を生成する。また、生成部は、注目時間以外の時間について、撮影位置が視差分異なる映像信号のうち一方の映像信号を用いて、一定の奥行きの立体視映像信号を生成する。

本願の開示する生成装置の一つの態様によれば、ユーザの負担をより軽減することができる。

図１は、実施例１に係る生成装置の構成の一例を示す図である。 図２は、画像データの一例を示す図である。 図３は、管理テーブルの一例を示す図である。 図４は、同期部の処理の一例を説明するための図である。 図５Ａは、解析部が行う処理の一例を説明するための図である。 図５Ｂは、解析部が行う処理の一例を説明するための図である。 図５Ｃは、解析部が行う処理の一例を説明するための図である。 図５Ｄは、解析部が行う処理の一例を説明するための図である。 図６Ａは、第一の立体視映像の信号を生成する生成方法の一例を説明するための図である。 図６Ｂは、第一の立体視映像の信号を生成する生成方法の一例を説明するための図である。 図７は、第一の立体視映像の信号を生成する生成方法の一例を説明するための図である。 図８Ａは、第二の立体視映像の信号を生成する生成方法の一例を説明するための図である。 図８Ｂは、第二の立体視映像の信号を生成する生成方法の一例を説明するための図である。 図９は、第二の立体視映像の信号を生成する生成方法の一例を説明するための図である。 図１０は、生成部が生成する第一の立体視映像および第二の立体視映像の一例を説明するための図である。 図１１は、実施例１に係る生成処理の手順を示すフローチャートである。 図１２は、生成プログラムを実行するコンピュータを示す図である。

以下に、本願の開示する生成装置および生成方法の各実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［生成装置の構成］
実施例１に係る生成装置について説明する。図１は、実施例１に係る生成装置の構成の一例を示す図である。本実施例に係る生成装置１０は、撮影位置が視差分異なる複数の映像信号を取り込む。また、本実施例に係る生成装置１０は、映像信号のうち、少なくとも一方の映像信号から、注目時間を抽出する。また、本実施例に係る生成装置１０は、抽出された注目時間について、撮影位置が視差分異なる複数の映像信号によって立体視映像信号を生成する。また、本実施例に係る生成装置１０は、注目時間以外の時間について、撮影位置が視差分異なる映像信号のうち一方の映像信号を用いて、一定の奥行きの立体視映像信号を生成する。生成装置１０は、第一の撮像装置１７および第二の撮像装置１８に接続されている。図１に示すように、生成装置１０は、入力部１１と、Ｉ／Ｆ（Inter Face）１２と、出力部１３と、クロック発生部１４と、記憶部１５と、制御部１６とを有する。

入力部１１は、制御部１６に情報を入力する。例えば、入力部１１は、ユーザからの指示を受け付けて、制御部１６に、後述の生成処理を実行する指示を入力する。また、入力部１１は、ユーザからの指示を受け付けて、制御部１６に、後述の第一の立体視映像が表示される時間の開始時刻と終了時刻とを入力する。入力部１１のデバイスの一例としては、キーボードやマウスなどが挙げられる。

Ｉ／Ｆ１２は、第一の撮像装置１７および第二の撮像装置１８と、制御部１６との通信を行うための通信インタフェースである。例えば、Ｉ／Ｆ１２は、第一の撮像装置１７および第二の撮像装置１８から送信された画像データおよび音声データを受信し、受信した画像データおよび音声データを制御部１６へ送信する。

出力部１３は、情報を出力する。例えば、出力部１３は、後述の生成部１６ｇにより生成された立体視映像信号を、図示しない表示装置に送信する。これにより、表示装置では、立体視映像が表示される。

クロック発生部１４は、クロック信号を発生する。例えば、クロック発生部１４は、第一の撮像装置１７から送信された画像データと、第二の撮像装置１８から送信された画像データとの同期をとるためのクロック信号を発生し、制御部１６へ送信する。かかるクロック信号の周波数の一例としては、２７ＭＨｚが挙げられる。しかしながら、クロック信号の周波数は、これに限られず、任意の値を採用できる。

第一の撮像装置１７および第二の撮像装置１８は、所定の距離だけ離れた位置に設けられ、所定の視差分異なる２組の画像データを所定のフレームレートで取得する。また、第一の撮像装置１７および第二の撮像装置１８は、取得した画像データに対応する音声データを所定のフレームレートで取得する。そして、第一の撮像装置１７および第二の撮像装置１８は、取得した画像データおよび音声データを生成装置１０に送信する。なお、生成装置１０では、かかる画像データを、映像に用いる信号として扱うため、以下の説明では、「画像データ」を「映像信号」と表記する場合がある。

記憶部１５は、制御部１６で実行される各種プログラムを記憶する。また、記憶部１５には、後述の取込部１６ａにより画像データ１５ａが記憶される。また、記憶部１５は、管理テーブル１５ｂを記憶する。また、記憶部１５には、後述の取込部１６ａにより音声データ１５ｃが記憶される。

画像データ１５ａについて説明する。画像データ１５ａには、第一の撮像装置１７および第二の撮像装置１８のそれぞれによって取得された画像データの他に、種々の情報が含まれる。図２は、画像データの一例を示す図である。図２の例では、画像データ１５ａに、画像データのサイズの情報である「サイズ情報」が含まれる場合が示されている。「サイズ情報」は、後述の取込部１６ａにより画像データのサイズが検出され、画像データに付加される。

また、図２の例では、画像データ１５ａに、第一の撮像装置１７および第二の撮像装置１８のそれぞれが画像データを取得するフレームレートの情報である「フレームレート情報」が含まれる場合が示されている。「フレームレート情報」は、取込部１６ａにより第一の撮像装置１７および第二の撮像装置１８のそれぞれのドライバから取得され、画像データに付加される。

また、図２の例では、画像データ１５ａに、画像データが示す画像の解像度の情報である「解像度情報」が含まれる場合が示されている。「解像度情報」は、取込部１６ａにより第一の撮像装置１７および第二の撮像装置１８のそれぞれのドライバから取得され、画像データに付加される。

また、図２の例では、画像データ１５ａに、画像データを取り込んだ時刻を示すクロックのカウント数である「ＣＬＫカウンタ情報」が含まれる場合が示されている。「ＣＬＫカウンタ情報」は、後述のクロック発生部１４により発生されたクロックのカウント数が、取込部１６ａによりカウントされたものである。取込部１６ａにより、かかるカウント数が「ＣＬＫカウンタ情報」として、画像データに付加される。

管理テーブル１５ｂについて説明する。管理テーブル１５ｂは、画像中の各物体の奥行きが一定でない第一の立体視映像信号、または、各物体の奥行きが一定である第二の立体視映像信号の時間が登録されるテーブルである。図３は、管理テーブルの一例を示す図である。図３の例では、映像信号が示す映像の背景のうち、第一の立体視映像信号が表示される背景の時間が登録される「シーンチェンジ」の項目が管理テーブル１５ｂに含まれる場合が示されている。図３の例では、「シーンチェンジ」の項目における時間の開始時刻を示す「ｓｔａｒｔ」と、終了時刻を示す「ｅｎｄ」とが示されている。例えば、図３の例では、第一の立体視映像が表示される背景の時間が、「０」から「１３５」までの時間、および、「８１０」から「１２００」までの時間である場合が示されている。なお、数値の一例としては、クロックのカウント数を採用できる。また、数値の単位の一例としては、１００００００単位を採用できる。「シーンチェンジ」の「ｓｔａｒｔ」および「ｅｎｄ」の項目は、後述のシーンチェンジ用抽出部１６ｅにより登録される。

また、図３の例では、第二の立体視映像信号が表示される時間が登録される「動きベクトル」の項目が示されている。図３の例では、「動きベクトル」の項目における時間の開始時刻を示す「ｓｔａｒｔ」と、終了時刻を示す「ｅｎｄ」とが示されている。例えば、図３の例では、第二の立体視映像が表示される時間が、「１０８」から「１３５」までの時間、および、「５４０」から「５９４」までの時間である場合が示されている。「動きベクトル」の「ｓｔａｒｔ」および「ｅｎｄ」の項目は、後述の動きベクトル用抽出部１６ｄにより登録される。

また、図３の例では、第一の立体視映像信号が表示される時間が登録される「音声」の項目が示されている。図３の例では、「音声」の項目における時間の開始時刻を示す「ｓｔａｒｔ」と、終了時刻を示す「ｅｎｄ」とが示されている。例えば、図３の例では、第一の立体視映像が表示される時間が、「５００」から「１０００」までの時間である場合が示されている。「音声」の「ｓｔａｒｔ」および「ｅｎｄ」の項目は、後述の音声用抽出部１６ｆにより登録される。

また、図３の例では、第一の立体視映像信号が表示される時間が登録される「ユーザ指示」の項目が示されている。図３の例では、「ユーザ指示」の項目における時間の開始時刻を示す「ｓｔａｒｔ」と、終了時刻を示す「ｅｎｄ」とが示されている。例えば、図３の例では、第一の立体視映像が表示される時間が、「１３００」から「１６００」までの時間である場合が示されている。「ユーザ指示」の「ｓｔａｒｔ」および「ｅｎｄ」の項目は、後述の取込部１６ａにより登録される。

音声データ１５ｃについて説明する。音声データ１５ｃは、画像データとともに第一の撮像装置１７および第二の撮像装置１８により取得された音声を示すデータである。

記憶部１５は、例えば、フラッシュメモリなどの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。なお、記憶部１５は、上記の種類の記憶装置に限定されるものではなく、ＲＡＭ（Random Access Memory)、ＲＯＭ（Read Only Memory)であってもよい。

図１の説明に戻り、制御部１６は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部１６は、取込部１６ａと、同期部１６ｂと、解析部１６ｃと、動きベクトル用抽出部１６ｄと、シーンチェンジ用抽出部１６ｅと、音声用抽出部１６ｆと、生成部１６ｇとを有する。

取込部１６ａは、撮影位置が視差分異なる複数の映像信号を取り込む。例えば、取込部１６ａは、第一の撮像装置１７および第二の撮像装置１８から送信される画像データを、Ｉ／Ｆ１２を介して受信する。取込部１６ａは、受信した画像データのサイズを検出する。また、取込部１６ａは、画像データを送信した第一の撮像装置１７または第二の撮像装置１８のドライバからフレームレート情報を取得する。また、取込部１６ａは、画像データを送信した第一の撮像装置１７または第二の撮像装置１８のドライバから解像度情報を取得する。

また、取込部１６ａは、クロック発生部１４から送信されるクロック信号をカウントする。例えば、取込部１６ａは、クロック信号の立ち上がりを検出し、立ち上がりを検出するたびに、カウンタの値を１つインクリメントする。

そして、取込部１６ａは、検出したサイズ、取得したフレームレート情報、解像度情報、画像データを受信したタイミングのカウンタの値を、画像データに付加する。そして、取込部１６ａは、サイズ、フレーム情報、解像度情報、カウンタの値が付加された画像データを記憶部１５に格納する。なお、サイズ、フレーム情報、解像度情報、カウンタの値が付加された画像データは、上述した画像データ１５ａである。

また、取込部１６ａは、第一の撮像装置１７および第二の撮像装置１８から送信される音声データ１５ｃを、Ｉ／Ｆ１２を介して受信する。そして、取込部１６ａは、受信した音声データ１５ｃを記憶部１５に格納する。

また、取込部１６ａは、入力部１１から入力された第一の立体視映像が表示される時間の開始時刻を、管理テーブル１５ｂの「ユーザ指示」の「ｓｔａｒｔ」の項目に登録する。また、取込部１６ａは、入力部１１から入力された第一の立体視映像が表示される時間の終了時刻を、管理テーブル１５ｂの「ユーザ指示」の「ｅｎｄ」の項目に登録する。これにより、第一の立体視映像が表示される時間が管理テーブル１５ｂに登録される。

同期部１６ｂは、第一の撮像装置１７および第二の撮像装置１８から送信される画像データの同期を取る。例えば、第一の撮像装置１７をユーザの右目に対応する右の撮像装置、第二の撮像装置１８をユーザの左目に対応する左の撮像装置とした場合に、同期部１６ｂは、次のような処理を行う。すなわち、同期部１６ｂは、付加された「ＣＬＫカウンタ情報」の値が、フレームに対して所定の係数を乗じた値、例えば、フレームの１／２の値以内となる左右の撮像装置から送信される画像データをステレオペアの画像データとする。

図４は、同期部の処理の一例を説明するための図である。図４の例では、第一の撮像装置１７から受信した画像データ１Ｒに付加された「ＣＬＫカウンタ情報」の値が、「８０００００」である場合が示されている。また、図４の例では、第一の撮像装置１７から受信した画像データ２Ｒに付加された「ＣＬＫカウンタ情報」の値が、「１７０００００」である場合が示されている。また、図４の例では、第一の撮像装置１７から受信した画像データ３Ｒに付加された「ＣＬＫカウンタ情報」の値が、「２６０００００」である場合が示されている。また、図４の例では、第一の撮像装置１７から受信した画像データ４Ｒに付加された「ＣＬＫカウンタ情報」の値が、「３５０００００」である場合が示されている。

また、図４の例では、第二の撮像装置１８から受信した画像データ１Ｌに付加された「ＣＬＫカウンタ情報」の値が、「０」である場合が示されている。また、図４の例では、第二の撮像装置１８から受信した画像データ２Ｌに付加された「ＣＬＫカウンタ情報」の値が、「９０００００」である場合が示されている。また、図４の例では、第二の撮像装置１８から受信した画像データ３Ｌに付加された「ＣＬＫカウンタ情報」の値が、「１８０００００」である場合が示されている。また、図４の例では、第二の撮像装置１８から受信した画像データ４Ｌに付加された「ＣＬＫカウンタ情報」の値が、「２７０００００」である場合が示されている。また、図４の例では、第二の撮像装置１８から受信した画像データ５Ｌに付加された「ＣＬＫカウンタ情報」の値が、「３６０００００」である場合が示されている。これらの画像データ１Ｒ〜４Ｒ、１Ｌ〜５Ｌは、取込部１６ａにより、記憶部１５に格納される。

図４の例において、クロックの周波数を２７ＭＨｚとし、フレームレートを３０ｆｐｓとした場合には、同期部１６ｂは、次のような処理を行う。すなわち、同期部１６ｂは、「ＣＬＫカウンタ情報」の値が、フレーム（２７００００００／３０）に、１／２を乗じた値（４５００００）以内となる左右の撮像装置から送信される画像データの組をステレオペアの画像データとする。図４の例では、画像データ１Ｒと、画像データ２Ｌとの「ＣＬＫカウンタ情報」の差が、１０００００（９０００００−８０００００）であり、フレームに１／２を乗じた値以内であるため、同期部１６ｂは、次のような処理を行う。すなわち、同期部１６ｂは、画像データ１Ｒと画像データ２Ｌとをステレオペアの画像データとする。また、図４の例では、同期部１６ｂは、「ＣＬＫカウンタ情報」の差が、フレームに１／２を乗じた値以内である画像データ２Ｒと画像データ３Ｌとをステレオペアの画像データとする。また、図４の例では、同期部１６ｂは、「ＣＬＫカウンタ情報」の差が、フレームに１／２を乗じた値以内である画像データ３Ｒと画像データ４Ｌとをステレオペアの画像データとする。また、図４の例では、同期部１６ｂは、「ＣＬＫカウンタ情報」の差が、フレームに１／２を乗じた値以内である画像データ４Ｒと画像データ５Ｌとをステレオペアの画像データとする。

解析部１６ｃは、画像データを解析する。例えば、解析部１６ｃは、第一の撮像装置１７または第二の撮像装置１８から送信される画像データを解析し、動きベクトルを検出する。また、解析部１６ｃは、前後の画像データの動きベクトルの差分を検出する。また、解析部１６ｃは、シーンチェンジを検出する。ここで、シーンチェンジとは、映像信号が示す映像の背景が切り替わったことを指す。

解析部１６ｃが行う処理について具体例を挙げて説明する。図５Ａ、図５Ｂ、図５Ｃ、図５Ｄは、解析部が行う処理の一例を説明するための図である。図５Ａおよび図５Ｂの例では、画像データを複数のブロックＭＢ１、ＭＢ２、ＭＢ３・・・に分割した場合が示されている。また、図５Ｃの例では、各ブロックの画素数が２５６である場合が示されている。また、図５Ａおよび図５Ｂの例に示す画像データは、第一の撮像装置１７または第二の撮像装置１８のいずれか一方から送信される画像データである。また、図５Ｂの例に示す画像データは、図５Ａの例に示す画像データの所定数のフレームの後、例えば１フレーム後に送信される画像データである。下記の説明では、図５Ａの例に示す画像データを「前画像データ」と表記する場合がある。また、図５Ｂの例に示す画像データを「後画像データ」と表記する場合がある。

解析部１６ｃは、後画像データの複数のブロックのうち未選択のブロックを一つ選択する。そして、解析部１６ｃは、選択したブロックの複数の画素１〜２５６のそれぞれの画素値と、前画像データの複数のブロックのそれぞれの画素１´〜２５６´のそれぞれの画素値との差分を算出する。続いて、解析部１６ｃは、算出した差分の総和を、前画像データのブロックごとに算出する。そして、解析部１６ｃは、算出した総和が最も小さい、前画像データのブロックを特定する。そして、解析部１６ｃは、後画像データで選択したブロックの位置と、前画像データで特定したブロックの位置との差分ベクトルを算出し、算出した差分ベクトルを動きベクトルとして検出する。

図５Ｄの例では、解析部１６ｃが、前画像データでブロックＭＢｎを特定した場合が示されている。また、図５Ｄの例では、解析部１６ｃが、後画像データでブロックＭＢ１を選択した場合が示されている。図５Ｄの例では、解析部１６ｃは、差分ベクトル（ｘ_１−ｘ_ｎ、ｙ_１−ｙ_ｎ）を動きベクトルとして算出する。なお、図５Ｄの例では、前画像データにおけるブロックＭＢｎの位置が（ｘ_ｎ、ｙ_ｎ）で表され、後画像データにおけるブロックＭＢ１の位置が（ｘ_１、ｙ_１）で表されている。解析部１６ｃは、このような動きベクトルを算出する処理を、後画像データの全てのブロックが選択されるまで繰り返し行う。そして、解析部１６ｃは、このような動きベクトルを算出する処理を、同期部１６ｂでステレオペアとされた画像データのうち、いずれか一方の全ての画像データに対して行う。

そして、解析部１６ｃは、算出した動きベクトルの大きさを算出する。例えば、動きベクトルが（Ｘ、Ｙ）で表される場合には、解析部１６ｃは、動きベクトルの大きさＳを下記の式（１）を用いて算出する。
Ｓ^２＝Ｘ^２＋Ｙ^２・・・式（１）

また、解析部１６ｃは、第一の閾値超えカウンタと、第一の閾値内カウンタと、第一の状態フラグとを有する。第一の状態フラグが示す状態には、閾値超え状態と閾値内状態とがある。第一の状態フラグが示す初期状態は、閾値内状態とする。また、第一の閾値超えカウンタの初期状態の値は０である。また、第一の閾値内カウンタの初期状態の値は０である。解析部１６ｃは、第一の状態フラグが示す状態が閾値内状態である場合に、動きベクトルの大きさが所定の閾値を超えたときには、第一の閾値超えカウンタの値を１つインクリメントする。また、解析部１６ｃは、第一の状態フラグが示す状態が閾値内状態である場合に、動きベクトルの大きさが所定の閾値以下となったときには、第一の閾値超えカウンタの値をクリアする。解析部１６ｃは、第一の閾値超えカウンタの値が１である時間が、所定の時間以上になった場合に、第一の閾値超えカウンタの値が１となった最初の画像データ１５ａに含まれる「ＣＬＫカウンタ情報」を取得する。また、解析部１６ｃは、第一の閾値超えカウンタの値が１である時間が、所定の時間以上になった場合に、第一の閾値超えカウンタの値をクリアする。また、解析部１６ｃは、第一の閾値超えカウンタの値が１である時間が、所定の時間以上になった場合に、第一の状態フラグが示す状態を、閾値超え状態に設定する。

また、解析部１６ｃは、第一の状態フラグが示す状態が閾値超え状態である場合に、動きベクトルの大きさが所定の閾値以下となったときには、第一の閾値内カウンタの値を１つインクリメントする。また、解析部１６ｃは、第一の状態フラグが示す状態が閾値超え状態である場合に、動きベクトルの大きさが所定の閾値を超えたときには、第一の閾値内カウンタの値をクリアする。解析部１６ｃは、第一の閾値内カウンタの値が１である時間が、所定の時間以上になった場合に、第一の閾値内カウンタの値が１となった最初の画像データ１５ａに含まれる「ＣＬＫカウンタ情報」を取得する。また、解析部１６ｃは、第一の閾値内カウンタの値が１である時間が、所定の時間以上になった場合に、第一の閾値内カウンタの値をクリアする。また、解析部１６ｃは、第一の閾値内カウンタの値が１である時間が、所定の時間以上になった場合に、第一の状態フラグが示す状態を、閾値内状態に設定する。

また、解析部１６ｃは、動きベクトルが算出された前画像データの各ブロックの動きベクトルのそれぞれと、動きベクトルが算出された後画像データの各ブロックの動きベクトルのそれぞれとの差分ベクトルを算出する。例えば、解析部１６ｃは、前画像データのブロックＭＢ１の動きベクトル（ｘ_１０、ｙ_１０）と、後画像データのブロックＭＢ１の動きベクトル（ｘ_１１、ｙ_１１）との差分ベクトル（ｘ_１０−ｘ_１１、ｙ_１０−ｙ_１１）を算出する。そして、解析部１６ｃは、ブロックごとに算出した差分ベクトルについて、差分ベクトルの大きさをブロックごとに算出する。この差分ベクトルの大きさの算出方法については、上述した動きベクトルの大きさの算出方法と同様である。そして、解析部１６ｃは、ブロックごとに算出した差分ベクトルの大きさの平均値を算出する。例えば、１つの画像データが示す画像におけるブロックの数が５０である場合には、解析部１６ｃは、５０個のブロックごとに算出した差分ベクトルの大きさの和を５０で除することで、差分ベクトルの大きさの平均値を算出する。

また、解析部１６ｃは、第二の閾値超えカウンタと、第二の閾値内カウンタと、第二の状態フラグとを有する。第二の状態フラグが示す状態には、閾値超え状態と閾値内状態とがある。第二の状態フラグが示す初期状態は、閾値内状態とする。また、第二の閾値超えカウンタの初期状態の値は０である。また、第二の閾値内カウンタの初期状態の値は０である。解析部１６ｃは、第二の状態フラグが示す状態が閾値内状態である場合に、差分ベクトルの大きさの平均値が所定の閾値を超えたときには、第二の閾値超えカウンタの値を１つインクリメントする。また、解析部１６ｃは、第二の状態フラグが示す状態が閾値内状態である場合に、差分ベクトルの大きさの平均値が所定の閾値以下となったときには、第二の閾値超えカウンタの値をクリアする。また、解析部１６ｃは、第二の閾値超えカウンタの値が１である時間が、所定の時間以上になった場合に、次のような処理を行う。すなわち、解析部１６ｃは、第二の閾値超えカウンタの値が１となった最初の差分ベクトルに対応する前後の画像データ１５ａのうち、前の画像データ１５ａに含まれる「ＣＬＫカウンタ情報」を取得する。ここで、この「ＣＬＫカウンタ情報」が示す時刻は、シーンチェンジが発生したタイミングとみなすことができる。また、解析部１６ｃは、第二の閾値超えカウンタの値が１である時間が、所定の時間以上になった場合に、第二の閾値超えカウンタの値をクリアする。また、解析部１６ｃは、第二の閾値超えカウンタの値が１である時間が、所定の時間以上になった場合に、第二の状態フラグが示す状態を、閾値超え状態に設定する。

また、解析部１６ｃは、第二の状態フラグが示す状態が閾値超え状態である場合に、差分ベクトルの大きさの平均値が所定の閾値以下となったときには、第二の閾値内カウンタの値を１つインクリメントする。また、解析部１６ｃは、第二の状態フラグが示す状態が閾値超え状態である場合に、差分ベクトルの大きさの平均値が所定の閾値を超えたときには、第二の閾値内カウンタの値をクリアする。また、解析部１６ｃは、第二の閾値内カウンタの値が１である時間が、所定の時間以上になった場合に、第二の閾値内カウンタの値をクリアする。また、解析部１６ｃは、第二の閾値内カウンタの値が１である時間が、所定の時間以上になった場合に、第二の状態フラグが示す状態を、閾値内状態に設定する。

また、解析部１６ｃは、所定のフレームレートで取得した音声データ１５ｃのそれぞれについて、音量の大きさを算出する。また、解析部１６ｃは、所定のフレームレートで取得した音声データ１５ｃのそれぞれについて、音程の大きさを算出する。

また、解析部１６ｃは、第三の閾値超えカウンタと、第三の閾値内カウンタと、第三の状態フラグとを有する。第三の状態フラグが示す状態には、閾値超え状態と閾値内状態とがある。第三の状態フラグが示す初期状態は、閾値内状態とする。また、第三の閾値超えカウンタの初期状態の値は０である。また、第三の閾値内カウンタの初期状態の値は０である。解析部１６ｃは、第三の状態フラグが示す状態が閾値内状態である場合に、音量および音程がそれぞれ所定の閾値を超えたときには、第三の閾値超えカウンタの値を１つインクリメントする。また、解析部１６ｃは、第三の状態フラグが示す状態が閾値内状態である場合に、音量および音程の少なくとも一方が所定の閾値以下となったときには、第三の閾値超えカウンタの値をクリアする。解析部１６ｃは、第三の閾値超えカウンタの値が１である時間が、所定の時間以上になった場合に、第三の閾値超えカウンタの値が１となった最初の音声データ１５ｃに対応する画像データ１５ａに含まれる「ＣＬＫカウンタ情報」を取得する。また、解析部１６ｃは、第三の閾値超えカウンタの値が１である時間が、所定の時間以上になった場合に、第三の閾値超えカウンタの値をクリアする。また、解析部１６ｃは、第三の閾値超えカウンタの値が１である時間が、所定の時間以上になった場合に、第三の状態フラグが示す状態を、閾値超え状態に設定する。

また、解析部１６ｃは、第三の状態フラグが示す状態が閾値超え状態である場合に、音量および音程の少なくとも一方が所定の閾値以下となったときには、第三の閾値内カウンタの値を１つインクリメントする。また、解析部１６ｃは、第三の状態フラグが示す状態が閾値超え状態である場合に、音量および音程がそれぞれ所定の閾値を超えたときには、第三の閾値内カウンタの値をクリアする。解析部１６ｃは、第三の閾値内カウンタの値が１である時間が、所定の時間以上になった場合に、第三の閾値内カウンタの値が１となった最初の音声データ１５ｃに対応する画像データ１５ａに含まれる「ＣＬＫカウンタ情報」を取得する。また、解析部１６ｃは、第三の閾値内カウンタの値が１である時間が、所定の時間以上になった場合に、第三の閾値内カウンタの値をクリアする。また、解析部１６ｃは、第三の閾値内カウンタの値が１である時間が、所定の時間以上になった場合に、第三の状態フラグが示す状態を、閾値内状態に設定する。

動きベクトル用抽出部１６ｄは、解析部１６ｃにより解析された動きベクトルに基づいて、所定の閾値よりも大きな動きベクトルを有する画像が連続する時間を除いて、注目時間を抽出する。ここで、注目時間とは、第一の立体視映像が表示される時間である。大きさが所定の閾値を超えた動きベクトルを有する画像については、映像中の各物体の移動が所定値より大きいと判断することができる。このため、このような映像については、第一の立体視映像と比較して、視聴者などのユーザにとってより負担が小さい第二の立体視映像として生成されるように、動きベクトル用抽出部１６ｄは、管理テーブル１５ｂの第二の立体視映像が生成される時間を登録する。

例えば、動きベクトル用抽出部１６ｄは、解析部１６ｃにより取得された「ＣＬＫカウンタ情報」であって、第一の閾値超えカウンタの値が１となった最初の画像データ１５ａに含まれる「ＣＬＫカウンタ情報」を、第一の立体視映像の表示開始時刻として登録する。すなわち、動きベクトル用抽出部１６ｄは、かかる「ＣＬＫカウンタ情報」を、管理テーブル１５ｂの「動きベクトル」の「ｓｔａｒｔ」に登録する。

また、動きベクトル用抽出部１６ｄは、解析部１６ｃにより取得された「ＣＬＫカウンタ情報」であって、第一の閾値内カウンタの値が１となった最初の画像データ１５ａに含まれる「ＣＬＫカウンタ情報」を、第一の立体視映像の表示終了時刻として登録する。すなわち、動きベクトル用抽出部１６ｄは、かかる「ＣＬＫカウンタ情報」を、管理テーブル１５ｂの「動きベクトル」の「ｅｎｄ」に登録する。

シーンチェンジ用抽出部１６ｅは、解析部１６ｃにより解析されたシーンチェンジに基づいて、注目時間を抽出する。例えば、大きさが所定の閾値を超えた差分ベクトルに対応する画像については、大きさが所定の閾値を超えたタイミングで、シーンチェンジが発生したと判断することができる。ここで、第一の立体視映像のほうが第二の立体視映像よりも臨場感あふれる映像であるがユーザの負担がかかるため、第一の立体視映像と第二の立体視映像とをユーザにとって違和感が少ないタイミングで切り替えることが望まれる。そこで、違和感がより少ないタイミングで第一の立体視映像と第二の立体視映像とを切り替えるため、シーンチェンジ用抽出部１６ｅは、次のような処理を行う。すなわち、シーンチェンジ用抽出部１６ｅは、シーンチェンジが発生したタイミングで第一の立体視映像と第二の立体視映像とが切り替わるように、各映像または一方の映像の表示時間を登録する。

例えば、シーンチェンジ用抽出部１６ｅは、シーンチェンジが発生したタイミングでシーンが切り替わることを利用して、１番目のシーン、３番目のシーン、５番目のシーンなど奇数番目のシーンで第一の立体視映像が行われ、偶数番目のシーンで第二の立体視映像が行われるようにする。具体例を挙げて説明する。シーンチェンジ用抽出部１６ｅは、解析部１６ｃにより取得された「ＣＬＫカウンタ情報」であって、上述したような、シーンチェンジが発生したタイミングとみなすことができる「ＣＬＫカウンタ情報」が示す時刻をシーンチェンジが発生した時刻と判定する。なお、この「ＣＬＫカウンタ情報」は、第二の閾値超えカウンタの値が１となった最初の差分ベクトルに対応する前後の画像データ１５ａのうち、前の画像データ１５ａに含まれるものである。そして、シーンチェンジ用抽出部１６ｅは、奇数番目のシーンの開始時刻と終了時刻とを「ＣＬＫカウンタ情報」に基づいて算出する。そして、シーンチェンジ用抽出部１６ｅは、算出した奇数番目のシーンの開始時刻を、管理テーブル１５ｂの「シーンチェンジ」の「ｓｔａｒｔ」に登録する。また、シーンチェンジ用抽出部１６ｅは、算出した奇数番目のシーンの終了時刻を、管理テーブル１５ｂの「シーンチェンジ」の「ｅｎｄ」に登録する。なお、シーンチェンジ用抽出部１６ｅは、偶数番目のシーンの開始時刻と終了時刻とを「ＣＬＫカウンタ情報」に基づいて算出し、それぞれ、管理テーブル１５ｂの「シーンチェンジ」の「ｓｔａｒｔ」と「ｅｎｄ」に登録することもできる。

音声用抽出部１６ｆは、解析部１６ｃにより解析された音声に基づいて、注目時間を抽出する。ここで、音量および音程がそれぞれの所定の閾値を超えた音声データ１５ｃに対応する画像データ１５ａについては、映像の内容が盛り上がっていると判断することができる。このため、このような映像については、第二の立体視映像と比較して、より臨場感があふれる第一の立体視映像として生成されるように、音声用抽出部１６ｆは、管理テーブル１５ｂの第一の立体視映像が生成される時間を登録する。

例えば、音声用抽出部１６ｆは、解析部１６ｃにより取得され、かつ、第三の閾値超えカウンタの値が１となった最初の音声データ１５ｃに対応する画像データ１５ａに含まれる「ＣＬＫカウンタ情報」を、第一の立体視映像の表示開始時刻として登録する。すなわち、音声用抽出部１６ｆは、かかる「ＣＬＫカウンタ情報」を、管理テーブル１５ｂの「音声」の「ｓｔａｒｔ」に登録する。

また、音声用抽出部１６ｆは、解析部１６ｃにより取得され、かつ、第三の閾値内カウンタの値が１となった最初の音声データ１５ｃに対応する画像データ１５ａに含まれる「ＣＬＫカウンタ情報」を、第一の立体視映像の表示終了時刻として登録する。すなわち、音声用抽出部１６ｆは、かかる「ＣＬＫカウンタ情報」を、管理テーブル１５ｂの「音声」の「ｅｎｄ」に登録する。

生成部１６ｇは、注目時間について、撮影位置が視差分異なる複数の映像信号によって立体視映像信号を生成する。また、生成部１６ｇは、注目時間以外の時間について、撮影位置が視差分異なる映像信号のうち一方の映像信号を用いて、一定の奥行きの立体視映像信号を生成する。

例えば、生成部１６ｇは、注目時間については、同期部１６ｂによりステレオペアとされた画像データを用いて、第一の立体視映像の信号を生成する。また、生成部１６ｇは、注目時間以外の時間については、同期部１６ｂによりステレオペアとされた画像データのうち、一方の画像データを用いて、第二の立体視映像の信号を生成する。

第一の立体視映像信号および第二の立体視映像信号の生成方法について、具体例を挙げて説明する。図６Ａ、図６Ｂ、図７は、第一の立体視映像の信号を生成する生成方法の一例を説明するための図である。図６Ａの例では、ステレオペアの画像データのうち、ユーザの左目に対応する画像データが示す画像が示されている。図６Ａの例では、画像中に、人の顔２０＿Ｌ、太陽２１＿Ｌが含まれている場合が示されている。図６Ｂの例では、ステレオペアの画像データのうち、ユーザの右目に対応する画像データが示す画像が示されている。図６Ｂの例では、画像中に、人の顔２０＿Ｒ、太陽２１＿Ｒが含まれている場合が示されている。図７の例では、生成部１６ｇは、これらのステレオペアの画像データを組み合わせて第一の立体視映像の信号を生成する。図７の例では、表示装置２３からユーザの左目２２Ｌおよび右目２２Ｒが所定距離離れた場合が示されている。このような場合に、図７の例では、生成部１６ｇは、表示装置２３に表示された人の顔２０＿Ｌ、２０＿Ｒの視差ａと、表示装置２３に表示された太陽２１＿Ｌ、２１＿Ｒの視差ｂとが異なるように、第一の立体視映像の信号を生成する。このように、生成部１６ｇは、視差を異ならせることで、表示される各物体の奥行きが異なる映像信号を生成することができる。

図８Ａ、図８Ｂ、図９は、第二の立体視映像の信号を生成する生成方法の一例を説明するための図である。図８Ａの例では、ステレオペアの画像データが示す画像のうち、一方の画像データであるユーザの左目に対応する画像データが示す画像が示されている。図８Ａの例では、画像中に、人の顔２０＿Ｌ、太陽２１＿Ｌが含まれている場合が示されている。図８Ｂの例では、生成部１６ｇが、図８Ａの例における人の顔２０＿Ｌ、太陽２１＿Ｌを所定の視差ａ分ずらした人の顔２０＿Ｌ´、太陽２１＿Ｌ´を含む画像の画像データを生成する場合が示されている。図９の例では、生成部１６ｇは、図８Ａの例の画像データおよび、図８Ｂの例の画像データを組み合わせて第二の立体視映像の信号を生成する。図９の例では、表示装置２３からユーザの左目２２Ｌおよび右目２２Ｒが所定距離離れた場合が示されている。このような場合に、図９の例では、生成部１６ｇは、表示装置２３に表示された人の顔２０＿Ｌ、２０＿Ｌ´の視差ａと、表示装置２３に表示された太陽２１＿Ｌ、２１＿Ｌ´の視差ａとが同一となるように、第二の立体視映像の信号を生成する。このように、生成部１６ｇは、視差を同一とすることで、表示される各物体の奥行きが同一となる映像信号を生成することができる。

生成部１６ｇは、管理テーブル１５ｂに登録された「シーンチェンジ」の「ｓｔａｒｔ」から「シーンチェンジ」の「ｅｎｄ」までの時間の画像データを用いて、第一の立体視映像を生成する。また、生成部１６ｇは、管理テーブル１５ｂに登録された「音声」の「ｓｔａｒｔ」から「音声」の「ｅｎｄ」までの時間の画像データを用いて、第一の立体視映像を生成する。また、生成部１６ｇは、管理テーブル１５ｂに登録された「ユーザ指示」の「ｓｔａｒｔ」から「ユーザ指示」の「ｅｎｄ」までの時間の画像データを用いて、第一の立体視映像を生成する。ただし、生成部１６ｇは、管理テーブル１５ｂに登録された「動きベクトル」の「ｓｔａｒｔ」から「動きベクトル」の「ｅｎｄ」までの時間については、第二の立体視映像を生成する。また、生成部１６ｇは、「シーンチェンジ」の「ｓｔａｒｔ」〜「ｅｎｄ」、「音声」の「ｓｔａｒｔ」〜「ｅｎｄ」、「ユーザ指示」の「ｓｔａｒｔ」〜「ｅｎｄ」以外の時間については、第二の立体視映像を生成する。

例えば、図３の管理テーブル１５ｂの例では、「シーンチェンジ」の「ｓｔａｒｔ」〜「ｅｎｄ」が「０」〜「１３５」、「８１０」〜「１２００」である場合が示されている。また、図３の管理テーブル１５ｂの例では、「動きベクトル」の「ｓｔａｒｔ」〜「ｅｎｄ」が「１０８」〜「１３５」、「５４０」〜「５９４」である場合が示されている。また、図３の管理テーブル１５ｂの例では、「音声」の「ｓｔａｒｔ」〜「ｅｎｄ」が「５００」〜「１０００」である場合が示されている。また、図３の管理テーブル１５ｂの例では、「ユーザ指示」の「ｓｔａｒｔ」〜「ｅｎｄ」が「１３００」〜「１６００」である場合が示されている。図３の例の場合では、生成部１６ｇは、第一の立体視映像信号を生成する時間は、「０」〜「１０７」、「５００」〜「５３９」、「５９５」〜「１２００」、「１３００」〜「１６００」であり、その他の時間については、第二の立体視映像信号を生成する。

図１０は、生成部が生成する第一の立体視映像および第二の立体視映像の一例を説明するための図である。図１０中左側の第一の立体視映像では、人の顔２０＿Ｌ、２０＿Ｒの視差ａと、太陽２１＿Ｌ、２１＿Ｒの視差ｂとが異なるため、各物体の奥行きが異なる。一方、図１０中右側の第二の立体視映像では、人の顔２０＿Ｌ、２０＿Ｌ´の視差ａと、太陽２１＿Ｌ、２１＿Ｒの視差ａとが同一であるため、各物体の奥行きが同一となる。また、生成部１６ｇは、第一の立体視映像で用いた視差ａを、第二の立体視映像を生成する際に用いているため、第一の立体視映像から第二の立体視映像に切り替わった際に、ユーザの焦点の移動がより少なくなる。このため、生成部１６ｇは、ユーザの疲労度がより抑制される立体視映像を生成することができる。

そして、生成部１６ｇは、生成した立体視映像信号を出力部１３に送信する。なお、生成部１６ｇは、シーンチェンジが発生したタイミングで、第一の立体視映像と第二の立体視映像とを切り替える際に、黒画面を挿入することができる。これにより、映像の切り替えの違和感を緩和することができる。

制御部１６は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路またはＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などの電子回路である。

［処理の流れ］
次に、本実施例に係る生成装置１０の処理の流れを説明する。図１１は、実施例１に係る生成処理の手順を示すフローチャートである。この生成処理の実行タイミングとしては様々なタイミングが考えられる。例えば、生成処理は、生成装置１０の電源がＯＮの間、第一の撮像装置１７および第二の撮像装置１８から画像データおよび音声データが送信されるたびに実行される。

図１１に示すように、取込部１６ａは、画像データおよび音声データを取り込み、記憶部１５に格納する（ステップＳ１０１）。同期部１６ｂは、「ＣＬＫカウンタ情報」の値が、フレームに対して所定の係数を乗じた値となる左右の撮像装置から送信される画像データをステレオペアの画像データとする（ステップＳ１０２）。解析部１６ｃは、画像データが示す画像における動きベクトルを検出する（ステップＳ１０３）。

解析部１６ｃは、算出した動きベクトルの大きさを算出する（ステップＳ１０４）。動きベクトル用抽出部１６ｄは、動きベクトルに基づいて、所定の閾値よりも大きな動きベクトルを有する画像が連続する時間を除いて、注目時間を抽出する（ステップＳ１０５）。解析部１６ｃは、前画像データのブロックの動きベクトルと、後画像データのブロックの動きベクトルとの差分ベクトルの大きさの平均値を算出し、算出した平均値からシーンチェンジを検出する（ステップＳ１０６）。シーンチェンジ用抽出部１６ｅは、シーンチェンジに基づいて、注目時間を抽出する（ステップＳ１０７）。音声用抽出部１６ｆは、音声に基づいて、注目時間を抽出する（ステップＳ１０８）。生成部１６ｇは、注目時間が第一の立体視映像であり、その他の時間が第二の立体視映像である立体視映像信号を生成し（ステップＳ１０９）、処理を終了する。

［実施例１の効果］
上述してきたように、本実施例に係る生成装置１０は、第一の撮像装置１７または第二の撮像装置１８からの映像信号から、注目時間を抽出する。また、本実施例に係る生成装置１０は、注目時間について、撮影位置が視差分異なる複数の映像信号によって立体視映像信号を生成し、注目時間以外の時間について、撮影位置が視差分異なる映像信号のうち一方の映像信号を用いて、一定の奥行きの立体視映像信号を生成する。したがって、本実施例に係る生成装置１０によれば、注目時間以外の時間では、ユーザにとって疲労度がより少ない一定の奥行きの立体視映像を示す立体視映像信号が生成されるので、ユーザの負担をより軽減することができる。

また、本実施例に係る生成装置１０は、映像信号が示す画像ごとに動きベクトルが所定の閾値よりも大きいか否かを判定し、所定の閾値よりも大きな動きベクトルを有する画像が連続する時間を除いて、第一の立体視映像が表示される注目時間を抽出する。よって、本実施例に係る生成装置１０によれば、動きベクトルに基づいて、第一の立体視映像が表示される注目時間を抽出することができる。

また、本実施例に係る生成装置１０は、映像信号が示す画像ごとにシーンチェンジが発生したか否か判定し、シーンチェンジが発生した画像に基づいて、第一の立体視映像が表示される注目時間の開始時刻または終了時刻を抽出する。よって、本実施例に係る生成装置１０によれば、シーンチェンジに基づいて、第一の立体視映像が表示される注目時間を抽出することができる。

また、本実施例に係る生成装置１０は、映像信号が示す画像ごとに音声が所定の閾値よりも大きいか否かを判定し、所定の閾値よりも大きな音声を有する画像が連続する時間を、注目時間として抽出する。よって、本実施例に係る生成装置１０によれば、音声に基づいて、第一の立体視映像が表示される注目時間を抽出することができる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

たとえば、実施例１では、映像信号から解析される動きベクトル、シーンチェンジ、音声に基づいて、注目時間を抽出する場合について例示した。しかしながら、開示の装置はこれに限られない。例えば、開示の装置は、映像信号から解析される動きベクトル、シーンチェンジ、音声の少なくとも一つに基づいて、注目時間を抽出することができる。

また、実施例１において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともできる。例えば、利用者などが、図示しない操作受付装置を介して、生成処理の実行指示を入力してもよい。

また、各種の負荷や使用状況などに応じて、各実施例において説明した各処理の各ステップでの処理を任意に細かくわけたり、あるいはまとめたりすることができる。また、ステップを省略することもできる。例えば、ステップＳ１０６とステップＳ１０７での処理をまとめてもよい。

また、各種の負荷や使用状況などに応じて、各実施例において説明した各処理の各ステップでの処理の順番を変更できる。例えば、ステップＳ１０６、１０７での処理と、ステップＳ１０８での処理との順番を変更してもよい。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的状態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、取込部１６ａと、同期部１６ｂとを統合して、新たな取込部とすることができる。また、解析部１６ｃと、動きベクトル用抽出部１６ｄと、シーンチェンジ用抽出部１６ｅと、音声用抽出部１６ｆとを統合して、新たな抽出部とすることができる。

［生成プログラム］
また、上記の実施例で説明した生成装置１０の生成処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、図１２を用いて、上記の実施例１で説明した生成装置１０と同様の機能を有する生成プログラムを実行するコンピュータの一例を説明する。

図１２は、生成プログラムを実行するコンピュータを示す図である。図１２に示すように、実施例２におけるコンピュータ３００は、ＣＰＵ（Central Processing Unit）３１０、ＲＯＭ（Read Only Memory）３２０、ＨＤＤ（Hard Disk Drive）３３０、ＲＡＭ（Random Access Memory）３４０を有する。これら３００〜３４０の各部は、バス３５０を介して接続される。

ＲＯＭ３２０には、上記の実施例１で示す取込部１６ａ、同期部１６ｂ、解析部１６ｃ、動きベクトル用抽出部１６ｄ、シーンチェンジ用抽出部１６ｅ、音声用抽出部１６ｆ、生成部１６ｇと同様の機能を発揮する生成プログラム３２０ａが予め記憶される。なお、生成プログラム３２０ａについては、適宜分離しても良い。例えば、同期部１６ｂ、解析部１６ｃと同様の機能を発揮するプログラムと、取込部１６ａ、動きベクトル用抽出部１６ｄ、シーンチェンジ用抽出部１６ｅ、音声用抽出部１６ｆ、生成部１６ｇと同様の機能を発揮するプログラムとに分離しても良い。

そして、ＣＰＵ３１０が、生成プログラム３２０ａをＲＯＭ３２０から読み出して実行する。

そして、ＨＤＤ３３０には、画像データ、管理テーブル、音声データが設けられる。これら画像データ、管理テーブル、音声データのそれぞれは、画像データ１５ａ、管理テーブル１５ｂ、音声データ１５ｃのそれぞれに対応する。

そして、ＣＰＵ３１０は、画像データ、管理テーブル、音声データを読み出してＲＡＭ３４０に格納する。さらに、ＣＰＵ３１０は、ＲＡＭ３４０に格納された画像データ、管理テーブル、音声データを用いて、生成プログラムを実行する。なお、ＲＡＭ３４０に格納される各データは、常に全てのデータがＲＡＭ３４０に格納されなくともよく、全てのデータのうち処理に用いられるデータのみがＲＡＭ３４０に格納されれば良い。

なお、上記した生成プログラムについては、必ずしも最初からＲＯＭ３２０に記憶させなくともよい。

例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」にプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。

さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ３００に接続される「他のコンピュータ（またはサーバ）」などにプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。

（付記１）撮影位置が視差分異なる複数の映像信号を取り込む取込部と、
前記映像信号のうち、少なくとも一方の映像信号から、注目時間を抽出する抽出部と、
前記注目時間について、撮影位置が視差分異なる複数の映像信号によって立体視映像信号を生成し、前記注目時間以外の時間について、前記撮影位置が視差分異なる映像信号のうち一方の映像信号を用いて、一定の奥行きの立体視映像信号を生成する生成部と
を有することを特徴とする生成装置。

（付記２）前記抽出部は、前記映像信号から解析される動きベクトル、シーンチェンジ、音声のいずれか一つまたは複数に基づいて、前記注目時間を抽出することを特徴とする付記１に記載の生成装置。

（付記３）前記抽出部は、前記映像信号が示す画像ごとに動きベクトルが所定の閾値よりも大きいか否かを判定し、前記所定の閾値よりも大きな動きベクトルを有する画像が連続する時間を除いて、前記注目時間を抽出する付記１または２に記載の生成装置。

（付記４）前記抽出部は、前記映像信号が示す画像ごとにシーンチェンジが発生したか否か判定し、前記シーンチェンジが発生した画像に基づいて、前記注目時間の開始時刻または終了時刻を抽出する付記１、２または３に記載の生成装置。

（付記５）前記抽出部は、前記映像信号が示す画像ごとに音声が所定の閾値よりも大きいか否かを判定し、前記所定の閾値よりも大きな音声を有する画像が連続する時間を、前記注目時間として抽出する付記１から４のいずれか一つに記載の生成装置。

（付記６）撮影位置が視差分異なる複数の映像信号から立体視映像信号を生成するコンピュータが実行する生成方法であって、
撮影位置が視差分異なる複数の映像信号を取り込み、
前記撮影位置が視差分異なる映像信号のうち、少なくとも一方の映像信号から、注目時間を抽出し、
抽出された注目時間について、撮影位置が視差分異なる複数の映像信号によって立体視映像信号を生成し、前記注目時間以外の時間について、前記撮影位置が視差分異なる映像信号のうち、一方の映像信号を用いて、一定の奥行きの立体視映像信号を生成する
ことを特徴とする生成方法。

（付記７）前記注目時間を抽出する方法は、前記映像信号から解析される動きベクトル、シーンチェンジ、音声のいずれか一つまたは複数に基づいて、前記注目時間を抽出することを特徴とする付記６に記載の生成方法。

（付記８）前記注目時間を抽出する方法は、前記映像信号が示す画像ごとに動きベクトルが所定の閾値よりも大きいか否かを判定し、前記所定の閾値よりも大きな動きベクトルを有する画像が連続する時間を除いて、前記注目時間を抽出する付記６または７に記載の生成方法。

（付記９）前記注目時間を抽出する方法は、前記映像信号が示す画像ごとにシーンチェンジが発生したか否か判定し、前記シーンチェンジが発生した画像に基づいて、前記注目時間の開始時刻または終了時刻を抽出する付記６、７または８に記載の生成方法。

（付記１０）前記注目時間を抽出する方法は、前記映像信号が示す画像ごとに音声が所定の閾値よりも大きいか否かを判定し、前記所定の閾値よりも大きな音声を有する画像が連続する時間を、前記注目時間として抽出する付記６から９のいずれか一つに記載の生成方法。

１０ 生成装置
１５ 記憶部
１５ａ 画像データ
１５ｂ 管理テーブル
１５ｃ 音声データ
１６ 制御部
１６ａ 取込部
１６ｂ 同期部
１６ｃ 解析部
１６ｄ 動きベクトル用抽出部
１６ｅ シーンチェンジ用抽出部
１６ｆ 音声用抽出部
１６ｇ 生成部

Claims (5)

1. 撮影位置が視差分異なる複数の映像信号を取り込む取込部と、
   前記映像信号のうち、少なくとも一方の映像信号から解析される動きベクトル、シーンチェンジ、音声のいずれか一つまたは複数に基づいて、注目時間を抽出する抽出部と、
   前記注目時間について、撮影位置が視差分異なる複数の映像信号によって立体視映像信号を生成し、前記注目時間以外の時間について、前記撮影位置が視差分異なる映像信号のうち一方の映像信号を用いて、一定の奥行きの立体視映像信号を生成する生成部と
   を有することを特徴とする生成装置。
2. 前記抽出部は、前記映像信号が示す画像ごとに動きベクトルが所定の閾値よりも大きいか否かを判定し、前記所定の閾値よりも大きな動きベクトルを有する画像が連続する時間を除いて、前記注目時間を抽出する請求項１に記載の生成装置。
3. 前記抽出部は、前記映像信号が示す画像ごとにシーンチェンジが発生したか否か判定し、前記シーンチェンジが発生した画像に基づいて、前記注目時間の開始時刻または終了時刻を抽出する請求項１または２に記載の生成装置。
4. 前記抽出部は、前記映像信号が示す画像ごとに音声が所定の閾値よりも大きいか否かを判定し、前記所定の閾値よりも大きな音声を有する画像が連続する時間を、前記注目時間として抽出する請求項１から３のいずれか一つに記載の生成装置。
5. 撮影位置が視差分異なる複数の映像信号から立体視映像信号を生成するコンピュータが実行する生成方法であって、
   撮影位置が視差分異なる複数の映像信号を取り込み、
   前記撮影位置が視差分異なる映像信号のうち、少なくとも一方の映像信号から解析される動きベクトル、シーンチェンジ、音声のいずれか一つまたは複数に基づいて、注目時間を抽出し、
   抽出された注目時間について、撮影位置が視差分異なる複数の映像信号によって立体視映像信号を生成し、前記注目時間以外の時間について、前記撮影位置が視差分異なる映像信号のうち、一方の映像信号を用いて、一定の奥行きの立体視映像信号を生成する
   ことを特徴とする生成方法。

Images