JPWO2013145326A1 - 決定装置、決定プログラムおよび決定方法 - Google Patents

Abstract

決定装置１０は、画像中の物体の位置が視差分異なるステレオ画像を含む映像信号を複数取り込む取込部１６ａを有する。決定装置１０は、取り込まれたステレオ画像について、ブロックマッチング処理を行い、ステレオ画像のうち一方の画像のブロックごとに動きベクトルを検出するとともに、ブロックごとに類似度を算出するブロックマッチング処理部１６ｂを有する。決定装置１０は、動きベクトル、または、類似度、もしくは、動きベクトルおよび類似度に基づいて、ステレオ画像に基づいた３次元の画面の表示または２次元の画面の表示を決定する決定部１６ｃを有する。決定装置１０は、ステレオ画像を表示する携帯端末２０に、決定結果をステレオ画像に付加して出力する送信制御部１６ｅを有する。

Description

本発明は、決定装置、決定プログラムおよび決定方法に関する。

複数の撮像装置を用いて撮影したステレオ画像から、立体映像を表示するための立体画像を生成する技術が知られている。ここでいうステレオ画像とは、例えば、所定の視差がある２つの画像の組を指す。また、撮像装置の一例としては、デジタルカメラや、携帯端末に設けられたカメラ、ＰＣ（Personal Computer）などに設けられたカメラなどが挙げられる。

また、立体映像のシーンのうち、撮像装置の急激な移動で立体映像に含まれる物体が急激に移動するシーンや、撮像装置に近い物体が移動するシーンなどでは、ユーザが不快に感じるなどの不具合が生ずる場合がある。

ここで、ユーザが不快に感じる原因の１つとして、視差が大きすぎるような場合が原因として考えられる。そこで、ユーザの不快感を低減するような技術が提案されている。例えば、画像の表示を行う装置は、画像のデコード処理を行う際にブロックマッチング処理を行い、ステレオ画像において類似するブロックを検出する。そして、かかる装置は、検出したブロックを用いて視差量を算出し、視差量の大きさに応じて３次元または２次元の画面を表示する。また、他の例としては、立体映像を表示する装置は、ユーザの疲労度を算出し、算出した疲労度が所定値以上の場合に、危険度の告知を行う。

特開平１１−３５５８０８号公報 特開２０１１−２０５７０２号公報

しかしながら、上記の従来技術では、画像の表示を行う装置の処理の負荷が大きいという問題がある。これを説明すると、かかる装置では、処理の負荷が大きいブロックマッチング処理が行われる。このため、画像の表示を行う装置の処理の負荷は、大きい。なお、ブロックマッチング処理は、画像のエンコード処理を行う装置において行われる場合がある。

開示の技術は、上記に鑑みてなされたものであって、画像の表示を行う装置における処理の負荷を軽減することができる決定装置、決定プログラムおよび決定方法を提供することを目的とする。

本願の開示する決定装置は、一つの態様において、取込部と、ブロックマッチング処理部と、決定部と、エンコード処理部と、出力部とを有する。取込部は、画像中の物体の位置が視差分異なるステレオ画像を含む映像信号を複数取り込む。ブロックマッチング処理部は、取込部により取り込まれたステレオ画像について、ブロックマッチング処理を行い、ステレオ画像のうち一方の画像のブロックごとに動きベクトルを検出するとともに、ブロックごとに類似度を算出する。決定部は、ブロックマッチング処理部により検出された動きベクトル、または、類似度、もしくは、動きベクトルおよび類似度に基づいて、ステレオ画像に基づいた３次元の画面の表示または２次元の画面の表示を決定する。出力部は、ステレオ画像を表示する表示装置に、決定部による決定結果をステレオ画像に付加して出力する。

本願の開示する決定装置の一つの態様によれば、画像の表示を行う装置における処理の負荷を軽減することができる。

図１は、実施例に係る決定装置が適用されるシステム構成の一例を示す図である。 図２Ａは、ブロックマッチング処理部が行う処理の一例を説明するための図である。 図２Ｂは、ブロックマッチング処理部が行う処理の一例を説明するための図である。 図２Ｃは、ブロックマッチング処理部が行う処理の一例を説明するための図である。 図２Ｄは、ブロックマッチング処理部が行う処理の一例を説明するための図である。 図３は、ブロックマッチング処理部が行う処理の一例を示す図である。 図４は、エンコード部が実行する処理の一例を説明するための図である。 図５は、実施例に係る決定処理の手順を示すフローチャートである。 図６は、実施例に係る表示制御処理の手順を示すフローチャートである。 図７は、決定プログラムを実行するコンピュータを示す図である。

以下に、本願の開示する決定装置、決定プログラムおよび決定方法の実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。

実施例に係る決定装置について説明する。図１は、実施例に係る決定装置が適用されるシステム構成の一例を示す図である。図１に示すように、システム１は、決定装置１０と、端末装置２０とを有する。決定装置１０と端末装置２０とは、ネットワーク３０を介して接続されている。

［決定装置の構成］
図１に示すように、決定装置１０は、入力部１１と、Ｉ／Ｆ（Inter Face）１２と、クロック発生部１３と、通信部１４と、記憶部１５と、制御部１６とを有する。

入力部１１は、制御部１６に情報を入力する。例えば、入力部１１は、ユーザからの指示を受け付けて、制御部１６に、後述の決定処理を実行する指示を入力する。入力部１１のデバイスの一例としては、キーボードやマウスなどが挙げられる。

Ｉ／Ｆ１２は、第一の撮像装置１７および第二の撮像装置１８と、制御部１６との通信を行うための通信インタフェースである。例えば、Ｉ／Ｆ１２は、第一の撮像装置１７および第二の撮像装置１８に接続されている。そして、Ｉ／Ｆ１２は、第一の撮像装置１７および第二の撮像装置１８から送信された画像データを受信し、受信した画像データを制御部１６へ送信する。

クロック発生部１３は、クロック信号を発生する。例えば、クロック発生部１３は、第一の撮像装置１７から送信された画像データと、第二の撮像装置１８から送信された画像データとの同期をとるためのクロック信号を発生し、制御部１６へ送信する。かかるクロック信号の周波数の一例としては、２７ＭＨｚが挙げられる。しかしながら、クロック信号の周波数は、これに限られず、任意の値を採用できる。

通信部１４は、決定装置１０と端末装置２０との通信を行う。例えば、通信部１４は、制御部１６からエンコード処理が行われた画像データを受信すると、受信した画像データをネットワーク３０を介して、端末装置２０へ送信する。このようにして、通信部１４は、エンコード処理が行われた画像データを出力する。

第一の撮像装置１７および第二の撮像装置１８は、所定の距離だけ離れた位置に設けられ、それぞれ、所定のフレームレートで画像データ（フレーム）を取得する。そして、第一の撮像装置１７および第二の撮像装置１８は、取得した画像データを決定装置１０に送信する。これにより、決定装置１０は、所定の視差分異なる２つの画像の組の画像データを所定のフレームレートで取得することができる。なお、決定装置１０では、かかる画像データを、映像に用いる信号として扱うため、以下の説明では、「画像データ」を含む信号を「映像信号」と表記する場合がある。また、以下の説明では、「２つの画像の組」を「ステレオ画像」と表記する場合がある。また、第一の撮像装置１７によって取得された画像を右目用の画像、第二の撮像装置１８によって取得された画像を左目用の画像とする。

記憶部１５は、制御部１６で実行される各種プログラムを記憶する。また、記憶部１５には、後述の決定部１６ｃにより、画像データ１５ａが記憶される。

画像データ１５ａについて説明する。画像データ１５ａには、第一の撮像装置１７および第二の撮像装置１８のそれぞれによって取得された画像データの他に、種々の情報が含まれる。例えば、画像データ１５ａには、画像データを取り込んだ時刻を示すクロックのカウント数である「ＣＬＫカウンタ情報」が含まれる。「ＣＬＫカウンタ情報」は、後述のクロック発生部１３により発生されたクロックのカウント数が、取込部１６ａによりカウントされたものである。取込部１６ａにより、かかるカウント数が「ＣＬＫカウンタ情報」として、画像データに付加される。また、画像データ１５ａには、決定部１６ｃにより付加された、２次元の画面または３次元の画面を表示する指示が含まれる。

記憶部１５は、例えば、フラッシュメモリなどの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。なお、記憶部１５は、上記の種類の記憶装置に限定されるものではなく、ＲＡＭ（Random Access Memory)、ＲＯＭ（Read Only Memory)であってもよい。

制御部１６は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部１６は、取込部１６ａと、ブロックマッチング処理部１６ｂと、決定部１６ｃと、エンコード処理部１６ｄと、送信制御部１６ｅとを有する。

取込部１６ａは、画像中の物体の位置が視差分異なるステレオ画像の映像信号を複数取り込む。例えば、取込部１６ａは、第一の撮像装置１７および第二の撮像装置１８から送信される画像データを、Ｉ／Ｆ１２を介して取り込む。

また、取込部１６ａは、クロック発生部１３から送信されるクロック信号をカウントする。例えば、取込部１６ａは、クロック信号の立ち上がりを検出し、立ち上がりを検出するたびに、カウンタの値を１つインクリメントする。このカウンタを、以下の説明では、「タイミングカウンタ」と表記する場合がある。

そして、取込部１６ａは、画像データを受信したタイミングのタイミングカウンタの値を、画像データに付加する。

ブロックマッチング処理部１６ｂは、取込部１６ａにより取り込まれたステレオ画像について、ブロックマッチング処理を行い、右目用および左目用の画像の組であるステレオ画像のうち、一方の画像のブロックごとに動きベクトルを検出する。また、ブロックマッチング処理部１６ｂは、一方の画像のブロックごとに類似度を算出する。

ブロックマッチング処理部１６ｂが行う処理について具体例を挙げて説明する。例えば、ブロックマッチング処理部１６ｂは、まず、取込部１６ａにより取り込まれて、タイミングカウンタの値が付加された右目用または左目用の画像データが示す画像を分割する。

図２Ａ、図２Ｂ、図２Ｃ、図２Ｄは、ブロックマッチング処理部が行う処理の一例を説明するための図である。図２Ａおよび図２Ｂの例では、ブロックマッチング処理部１６ｂが、左目用の画像データを複数のブロックＭＢ１、ＭＢ２、ＭＢ３・・・に分割した場合が示されている。また、図２Ｃの例では、各ブロックの画素数が２５６である場合が示されている。また、図２Ａおよび図２Ｂの例に示す画像データは、第一の撮像装置１７または第二の撮像装置１８のいずれか一方から送信される画像データである。また、図２Ｂの例に示す画像データは、図２Ａの例に示す画像データの所定数のフレームの後、例えば１フレーム後に送信される画像データである。以下の説明では、図２Ａの例に示す画像データを「前画像データ」と表記する場合がある。また、図２Ｂの例に示す画像データを「後画像データ」と表記する場合がある。ここで、「後画像データ」は、取込部１６ａにより新たに取り込まれた画像データであり、「前画像データ」は、その新たな画像データより前に取込部１６ａにより取り込まれた画像データである。

ブロックマッチング処理部１６ｂは、後画像データの複数のブロックのうち、未選択のブロックがあるか否かを判定する。未選択のブロックがある場合には、ブロックマッチング処理部１６ｂは、後画像データの複数のブロックのうち未選択のブロックを一つ選択する。そして、ブロックマッチング処理部１６ｂは、選択したブロックの複数の画素１〜２５６のそれぞれの画素値と、前画像データの複数のブロックのそれぞれの画素１´〜２５６´のそれぞれの画素値との差分を算出する。続いて、ブロックマッチング処理部１６ｂは、算出した差分の総和を、前画像データのブロックごとに算出する。かかる総和は、値が小さいほど、前画像データが示す前画像と後画像データが示す後画像とが類似する度合いが高いことを示す類似度である。そこで、ブロックマッチング処理部１６ｂは、算出した総和（類似度）が最も小さい、前画像データのブロックを特定する。

ブロックマッチング処理部１６ｂは、このようなブロックマッチング処理を、後画像データの全てのブロックが選択されるまで繰り返し行う。そして、ブロックマッチング処理部１６ｂは、ブロックマッチング処理を、ステレオペアとされる画像データのうち、右目用または左目用のいずれか一方の全ての画像データに対して行う。図３は、ブロックマッチング処理部が行う処理の一例を示す図である。図３の例に示すように、ブロックマッチング処理部１６ｂは、時系列で並んだ各画像のうち、後画像３１において選択したブロック３１ａに対して、類似度が最も小さい前画像３２のブロック３２ａを特定する。以下の説明では、時系列で前後の画像データに対して行うブロックマッチング処理のことを「時間方向ブロックマッチング」と表記する場合がある。

また、ブロックマッチング処理部１６ｂは、後述の決定部１６ｃにより、後述の第一のカウンタの値が所定の閾値Ｂ以下であると判定された場合に、ステレオペアとなる２つの画像データについても同様のブロックマッチング処理を行う。例えば、図３の例に示すように、ブロックマッチング処理部１６ｂは、左目用の画像３１において選択したブロック３１ａに対して、類似度が最も小さい画像３３のブロック３３ａを特定する。以下の説明では、ステレオペアとなる画像データに対して行うブロックマッチング処理のことを「空間方向ブロックマッチング」と表記する場合がある。

そして、空間方向ブロックマッチングを行った場合には、ブロックマッチング処理部１６ｂは、右目用または左目用の画像の画像データで選択したブロックの位置と、ステレオペアとなる画像の画像データで特定したブロックの位置との差分ベクトルを算出し、算出した差分ベクトルを動きベクトルとして検出する。

図２Ｄの例では、ブロックマッチング処理部１６ｂが、左目用の画像でブロックＭＢｎを選択した場合が示されている。また、図２Ｄの例では、ブロックマッチング処理部１６ｂが、右目用の画像でブロックＭＢ１を特定した場合が示されている。図２Ｄの例では、ブロックマッチング処理部１６ｂは、差分ベクトル（ｘ_１−ｘ_ｎ、ｙ_１−ｙ_ｎ）を動きベクトルとして検出する。なお、図２Ｄの例では、左目用の画像におけるブロックＭＢｎの位置が（ｘ_ｎ、ｙ_ｎ）で表され、右目用の画像におけるブロックＭＢ１の位置が（ｘ_１、ｙ_１）で表されている。ブロックマッチング処理部１６ｂは、このような動きベクトルを検出する処理を、右目用または左目用の画像の画像データの全てのブロックが選択されるまで繰り返し行う。そして、ブロックマッチング処理部１６ｂは、このような動きベクトルを検出する処理を、ステレオペアとされる画像データのうち、右目用または左目用のいずれか一方の全ての画像データに対して行う。

また、動きベクトルを検出した場合には、ブロックマッチング処理部１６ｂは、検出した動きベクトルの大きさを算出する。例えば、動きベクトルが（Ｘ、Ｙ）で表される場合には、ブロックマッチング処理部１６ｂは、動きベクトルの大きさＳを下記の式（１）を用いて算出する。
Ｓ^２＝Ｘ^２＋Ｙ^２・・・式（１）

決定部１６ｃは、ブロックマッチング処理部１６ｂにより検出された動きベクトル、または、類似度、もしくは、動きベクトルおよび類似度に基づいて、ステレオ画像ごとに、ステレオ画像に基づいた３次元の画面の表示または２次元の画面の表示を決定する。

具体例を挙げて説明する。例えば、先のブロックマッチング処理部１６ｂにより時間方向ブロックマッチングが行われた場合には、決定部１６ｃは、特定された前画像データのブロックの類似度が所定の閾値Ａ以下であるか否かを判定する。なお、閾値Ａについては、２つの画像が類似していると判別できるような類似度の上限値が設定される。類似度が閾値Ａ以下である場合には、前画像と後画像とが類似しているため、決定部１６ｃは、初期値が０である第一のカウンタの値を１つインクリメントする。このようにして第一のカウンタの値を設定する処理を、決定部１６ｃは、ブロックマッチング処理部１６ｂにより時間方向ブロックマッチングが行われるたびに行う。そのため、前画像と後画像とで類似するブロックの数が多いほど、第一のカウンタの値が大きくなる。

そして、先のブロックマッチング処理部１６ｂにより１つの画像内の全てのブロックについて時間方向ブロックマッチングが行われた場合には、決定部１６ｃは、第一のカウンタの値が所定の閾値Ｂよりも大きいか否かを判定する。ここで、第一のカウンタの値が所定の閾値Ｂ以下である場合には、上述した空間方向ブロックマッチングが行われる。そして、決定部１６ｃは、空間方向ブロックマッチングにおいて算出されたステレオ画像の類似度、動きベクトルの大きさを用いて次のような処理を行う。すなわち、決定部１６ｃは、類似度が所定の閾値Ｃよりも大きいか否かを判定し、類似度が所定の閾値Ｃよりも大きい場合には、初期値が０である第二のカウンタの値を１つインクリメントする。また、決定部１６ｃは、動きベクトルの大きさが所定の閾値Ｄよりも大きいか否かを判定し、動きベクトルの大きさが所定の閾値Ｄよりも大きい場合には、先の第二のカウンタの値を１つインクリメントする。このようにして第二のカウンタの値を設定する処理を、決定部１６ｃは、ブロックマッチング処理部１６ｂにより空間方向ブロックマッチングが行われるたびに行う。そのため、ステレオ画像間で、動きベクトルに対応する視差が大きくなるほど、また、類似するブロックの数が少なくなるほど、第二のカウンタの値が大きくなる。なお、ステレオ画像間で、動きベクトルに対応する視差が大きくなるほど、ユーザは不快感を感じるようになる。これに加えて、ステレオ画像間で、類似するブロックの数が少なくなるほど、ユーザは不快感を感じるようになる。

そして、先のブロックマッチング処理部１６ｂにより１つの画像内の全てのブロックについて空間方向ブロックマッチングが行われた場合には、決定部１６ｃは、第二のカウンタの値が所定の閾値Ｅよりも大きいか否かを判定する。

第二のカウンタの値が所定の閾値Ｅよりも大きい場合には、決定部１６ｃは、２次元の画面を表示する指示を、先のブロックマッチング処理部１６ｂにより全てのブロックについて空間方向ブロックマッチングが行われた画像に付加する。すなわち、決定部１６ｃは、２次元の画面の表示を決定する。

一方、第二のカウンタの値が所定の閾値Ｅ以下である場合には、決定部１６ｃは、３次元の画面を表示する指示を、先のブロックマッチング処理部１６ｂにより全てのブロックについて空間方向ブロックマッチングが行われた画像に付加する。すなわち、決定部１６ｃは、３次元の画面の表示を決定する。

また、第一のカウンタの値が所定の閾値Ｂよりも大きい場合に、１つ前のフレームがあるときには、決定部１６ｃは、後画像データに、１つ前のフレームに付加された指示と同一の指示を付加する。これにより、前後の画像においてシーンチェンジなどが発生しておらず、ほぼ前後の画像が同一またはほぼ同一の画像である場合には、決定部１６ｃは、上述した各種の処理を省略して、表示する画面の指示を付加することができる。これにより、処理の負荷が軽減される。

また、第一のカウンタの値が所定の閾値Ｂよりも大きい場合に、１つ前のフレームがないときには、決定部１６ｃは、取込部１６ａにより取り込まれた画像データに、２次元の画面を表示する指示を付加する。

そして、決定部１６ｃは、指示が付加された画像データ１５ａを記憶部１５に格納する。

エンコード処理部１６ｄは、通信部１４を介して、携帯端末２４から画像データ１５ａを送信する旨の指示を受信した場合に、記憶部１５に記憶された画像データ１５ａを所定のアルゴリズムでエンコードするエンコード処理を実行する。この際、エンコード処理部１６ｄは、画像ごとに付加された指示を取得して、取得した指示が、２次元の画面を表示する指示である場合には、２次元の画面を表示する指示をエンコードされた画像データ１５ａの所定の領域に設定する。同様に、エンコード処理部１６ｄは、画像ごとに付加された指示を取得して、取得した指示が、３次元の画面を表示する指示である場合には、３次元の画面を表示する指示をエンコードされた画像データ１５ａの所定の領域に設定する。

図４は、エンコード部が実行する処理の一例を説明するための図である。例えば、エンコード処理部１６ｄが採用するエンコードのアルゴリズムが、「Ｈ．２６４／ＭＶＣ」方式である場合には、エンコード処理部１６ｄは、次のような処理を行う。すなわち、エンコード処理部１６ｄは、「ｕｓｅｒ＿ｄａｔａ＿ＳＥＩ」の項目に、図４の例に示すように、「ヘッダ」および「３Ｄ／２Ｄ指定フラグ」の項目を追加する。そして、エンコード処理部１６ｄは、「ヘッダ」の項目に、３次元または２次元のいずれの画面の表示を指定するためのフラグであることを示す情報、例えば、メッセージ「３Ｄ／２Ｄ指定フラグ」を登録する。これに加えて、エンコード処理部１６ｄは、取得した指示が、３次元の画面を表示する指示である場合には、「３Ｄ／２Ｄ指定フラグ」の項目に、３次元の画面を表示する指示、例えば、「１」を設定する。また、エンコード処理部１６ｄは、取得した指示が、２次元の画面を表示する指示である場合には、「３Ｄ／２Ｄ指定フラグ」の項目に、２次元の画面を表示する指示、例えば、「０」を設定する。

送信制御部１６ｅは、エンコード処理部１６ｄによりエンコード処理が行われた画像データ１５ａのストリームを通信部１４に送信する。これにより、通信部１４が、ネットワーク３０を介して、エンコード処理部１６ｄによりエンコード処理が行われた画像データ１５ａを、携帯端末２０へ送信する。すなわち、送信制御部１６ｅは、エンコード処理が行われた画像データを出力する。

制御部１６は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路またはＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などの電子回路である。

図１に戻り、携帯端末２０は、３次元の画像または２次元の画像を決定装置１０から取得し、表示させる端末である。携帯端末２０として、携帯電話、ＰＤＡ（Personal Digital Assistant）などの各種の端末を採用することができる。携帯端末２０は、通信部２１、表示部２２、記憶部２３、制御部２４を有する。

通信部２１は、端末装置２０と決定装置１０との通信を行う。例えば、通信部２１は、決定装置１０からエンコード処理が行われた画像データを受信すると、受信した画像データを制御部２４へ送信する。また、通信部２１は、ユーザの指示を受け付けるマウスやキーボードなどの操作受付部から、画像データ１５ａを送信する旨の指示を受信すると、受信した指示を、ネットワーク３０を介して、決定装置１０へ送信する。

表示部２２は、各種の情報を表示する。例えば、後述の表示制御部２４ｃの制御により、決定装置１０から送信された画像データ１５ａが示す２次元または３次元の画像を表示する。

記憶部２３は、各種の情報を記憶する。例えば、記憶部２３には、後述の取得部２４ａにより画像データ２３が格納される。

記憶部２３は、例えば、フラッシュメモリなどの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。なお、記憶部２３は、上記の種類の記憶装置に限定されるものではなく、ＲＡＭ、ＲＯＭであってもよい。

制御部２４は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部２４は、取得部２４ａと、デコード処理部２４ｂと、表示制御部２４ｃとを有する。

取得部２４ａは、通信部２１から画像データ（フレーム）を受信し、受信した画像データ２３ａを記憶部２３に格納する。なお、かかる画像データ２３ａは、エンコード処理が行われた画像データ１５ａである。

デコード処理部２４ｂは、画像データ２３ａをデコードするデコード処理を行う。

表示制御部２４ｃは、デコード処理部２４ｂによりデコードされた画像データに含まれる指示を画像ごとに取得する。そして、表示制御部２４ｃは、取得した指示が２次元の画面を表示する指示であるか否かを判定する。

取得した指示が２次元の画面を表示する指示である場合には、表示制御部２４ｃは、取得した指示が付加された１枚の画面を表示するように表示部２２の表示を制御して、２次元の画面を表示させる。また、取得した指示が２次元の画面を表示する指示でない場合、すなわち、３次元の画面を表示する指示である場合には、表示制御部２４ｃは、次のような処理を行う。すなわち、表示制御部２４ｃは、取得した指示が付加された１枚の画面のペアとなる画面を取得部２４ａにより取得済みであるか否かを判定する。例えば、表示制御部２４ｃは、取得した指示が付加された１枚の画面に付加された「ＣＬＫカウンタ情報」の値を含む所定範囲内の値を「ＣＬＫカウンタ情報」の項目に有する画像があるか否かを判定する。

取得済みである場合には、表示制御部２４ｃは、取得した指示が付加された１枚の画面のペアとなる画面を決定する。そして、表示制御部２４ｃは、取得した指示が付加された１枚の画面と、決定されたペアとなる画面とを表示するように表示部２２の表示を制御して、３次元の画面を表示させる。

制御部２４は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路またはＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などの電子回路である。

［処理の流れ］
次に、本実施例に係る決定装置１０の処理の流れを説明する。図５は、実施例に係る決定処理の手順を示すフローチャートである。この決定処理の実行タイミングとしては様々なタイミングが考えられる。例えば、決定処理は、決定装置１０の電源がＯＮの間、第一の撮像装置１７および第二の撮像装置１８から画像データが送信されるたびに実行される。

図５に示すように、取込部１６ａは、画像データを取り込む（ステップＳ１０１）。そして、取込部１６ａは、画像データを受信したタイミングのタイミングカウンタの値を、画像データに付加する。（ステップＳ１０２）。ブロックマッチング処理部１６ｂは、取込部１６ａにより取り込まれて、タイミングカウンタの値が付加された右目用または左目用の画像データが示す画像を分割する（ステップＳ１０３）。

ブロックマッチング処理部１６ｂは、取り込まれた画像データの複数のブロックのうち、未選択のブロックがあるか否かを判定する（Ｓ１０４）。未選択のブロックがない場合（Ｓ１０４否定）には、Ｓ１１０へ進む。

一方、未選択のブロックがある場合（Ｓ１０４肯定）には、ブロックマッチング処理部１６ｂは、画像データの複数のブロックのうち未選択のブロックを一つ選択する（Ｓ１０５）。続いて、ブロックマッチング処理部１６ｂは、取り込まれた画像データの前のフレーム（画像）があるか否かを判定する（Ｓ１０６）。取り込まれた画像データの前のフレームがない場合（Ｓ１０６否定）には、Ｓ１１０へ進む。一方、取り込まれた画像データの前のフレームがある場合（Ｓ１０６肯定）には、ブロックマッチング処理部１６ｂは、上述した時間方向ブロックマッチングを行う（Ｓ１０７）。

続いて、決定部１６ｃは、時間方向ブロックマッチングにおいて特定された前画像データのブロックの類似度が所定の閾値Ａ以下であるか否かを判定する（Ｓ１０８）。類似度が閾値Ａ以下である場合（Ｓ１０８肯定）には、決定部１６ｃは、初期値が０である第一のカウンタの値を１つインクリメントし（Ｓ１０９）、Ｓ１０４に戻る。

また、決定部１６ｃは、第一のカウンタの値が所定の閾値Ｂよりも大きいか否かを判定する（Ｓ１１０）。第一のカウンタの値が所定の閾値Ｂ以下である場合（Ｓ１１０否定）には、ブロックマッチング処理部１６ｂは、取込部１６ａにより取り込まれた右目用または左目用の画像データが示す画像を分割する（ステップＳ１１１）。

そして、ブロックマッチング処理部１６ｂは、取り込まれた画像データの複数のブロックのうち、未選択のブロックがあるか否かを判定する（Ｓ１１２）。

未選択のブロックがある場合（Ｓ１１２肯定）には、ブロックマッチング処理部１６ｂは、画像データの複数のブロックのうち未選択のブロックを一つ選択する（Ｓ１１３）。続いて、ブロックマッチング処理部１６ｂは、上述した空間方向ブロックマッチングを行う（Ｓ１１４）。そして、ブロックマッチング処理部１６ｂは、動きベクトルを検出する（Ｓ１１５）。続いて、ブロックマッチング処理部１６ｂは、動きベクトルの大きさを算出する（Ｓ１１６）。

そして、決定部１６ｃは、類似度が所定の閾値Ｃよりも大きいか否かを判定する（Ｓ１１７）。類似度が所定の閾値Ｃよりも大きい場合（Ｓ１１７肯定）には、決定部１６ｃは、初期値が０である第二のカウンタの値を１つインクリメントし（Ｓ１１９）、Ｓ１１２へ戻る。一方、類似度が所定の閾値Ｃ以下である場合（Ｓ１１７否定）には、決定部１６ｃは、動きベクトルの大きさが所定の閾値Ｄよりも大きいか否かを判定する（Ｓ１１８）。動きベクトルの大きさが所定の閾値Ｄよりも大きい場合（Ｓ１１８肯定）には、Ｓ１１９へ進む。

また、第一のカウンタの値が所定の閾値Ｂより大きい場合（Ｓ１１０肯定）には、ブロックマッチング処理部１６ｂは、１つ前のフレームがあるか否かを判定する（Ｓ１２０）。１つ前のフレームがある場合（Ｓ１２０肯定）には、決定部１６ｃは、後画像データに、１つ前のフレームに付加された指示と同一の指示を付加する（Ｓ１２１）。そして、決定部１６ｃは、指示が付加された画像データ１５ａを記憶部１５に格納し（Ｓ１２６）、処理を終了する。

一方、１つ前のフレームがない場合（Ｓ１２０否定）には、決定部１６ｃは、取込部１６ａにより取り込まれた画像データに、２次元の画面を表示する指示を付加し（Ｓ１２２）、Ｓ１２６へ進む。

また、未選択のブロックがない場合（Ｓ１１２否定）には、決定部１６ｃは、第二のカウンタの値が所定の閾値Ｅよりも大きいか否かを判定する（Ｓ１２３）。第二のカウンタの値が所定の閾値Ｅよりも大きい場合（Ｓ１２３肯定）には、決定部１６ｃは、２次元の画面を表示する指示を、ブロックマッチング処理部１６ｂにより全てのブロックについて空間方向ブロックマッチングが行われた画像に付加する（Ｓ１２４）。そして、Ｓ１２６へ進む。

第二のカウンタの値が所定の閾値Ｅ以下である場合（Ｓ１２３否定）には、決定部１６ｃは、３次元の画面を表示する指示を、ブロックマッチング処理部１６ｂにより全てのブロックについて空間方向ブロックマッチングが行われた画像に付加する（Ｓ１２５）。そして、Ｓ１２６へ進む。

次に、本実施例に係る携帯端末２０の処理の流れを説明する。図６は、実施例に係る表示制御処理の手順を示すフローチャートである。この表示制御処理の実行タイミングとしては様々なタイミングが考えられる。例えば、表示制御処理は、携帯端末２０の電源がＯＮの間、決定装置１０から送信された、エンコード処理が行われた画像データを制御部２４が受信するたびに実行される。

図６に示すように、取得部２４ａは、通信部２１から画像データ（フレーム）を受信することにより取得し、取得した画像データ２３ａを記憶部２３に格納する（Ｓ２０１）。そして、デコード処理部２４ｂは、画像データ２３ａをデコードするデコード処理を行う（Ｓ２０２）。

続いて、表示制御部２４ｃは、デコード処理部２４ｂによりデコードされた画像データに含まれる指示を画像ごとに取得する（Ｓ２０３）。そして、表示制御部２４ｃは、取得した指示が２次元の画面を表示する指示であるか否かを判定する（Ｓ２０４）。

取得した指示が２次元の画面を表示する指示である場合（Ｓ２０４肯定）には、表示制御部２４ｃは、取得した指示が付加された１枚の画面を表示するように表示部２２の表示を制御して、２次元の画面を表示させ（Ｓ２０５）、処理を終了する。また、取得した指示が２次元の画面を表示する指示でない場合、すなわち、３次元の画面を表示する指示である場合（Ｓ２０４否定）には、表示制御部２４ｃは、次のような処理を行う。すなわち、表示制御部２４ｃは、取得した指示が付加された１枚の画面のペアとなる画面を取得部２４ａにより取得済みであるか否かを判定する（Ｓ２０６）。

取得済みである場合（Ｓ２０６肯定）には、表示制御部２４ｃは、取得した指示が付加された１枚の画面のペアとなる画面を決定する（Ｓ２０７）。そして、表示制御部２４ｃは、取得した指示が付加された１枚の画面と、決定されたペアとなる画面とを表示するように表示部２２の表示を制御して、３次元の画面を表示させ（Ｓ２０８）、処理を終了する。また、取得済みでない場合（Ｓ２０６否定）にも、処理を終了する。

［実施例の効果］
上述してきたように、本実施例に係るシステム１では、画像の表示を行う携帯端末２０において、ブロックマッチング処理などの高負荷の処理を行うことなく、決定装置１０において、２次元の画像の表示または３次元の画像の表示を決定することができる。したがって、システム１および決定装置１０によれば、画像の表示を行う携帯端末２０における処理の負荷を軽減することができる。

また、本実施例に係る決定装置１０によれば、既存のブロックマッチング処理部１６ｂを用いて、動きベクトルや類似度を算出するため、新たな処理部を設けることなく、２次元の画像の表示または３次元の画像の表示を決定することができる。

また、本実施例に係る決定装置１０は、前のフレームと後のフレームとが類似している場合には、前のフレームについて決定された３次元の画面の表示または２次元の画面の表示を、後のフレームについての画面の表示として決定することができる。このため、簡易な処理で、画面の表示を決定することができる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

また、実施例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともできる。

また、各種の負荷や使用状況などに応じて、各実施例において説明した各処理の各ステップでの処理を任意に細かくわけたり、あるいはまとめたりすることができる。また、ステップを省略することもできる。

また、各種の負荷や使用状況などに応じて、各実施例において説明した各処理の各ステップでの処理の順番を変更できる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的状態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

［決定プログラム］
また、上記の実施例で説明した決定装置１０の生成処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、図７を用いて、上記の実施例で説明した決定装置１０と同様の機能を有する決定プログラムを実行するコンピュータの一例を説明する。

図７は、決定プログラムを実行するコンピュータを示す図である。図７に示すように、コンピュータ３００は、ＣＰＵ（Central Processing Unit）３１０、ＲＯＭ（Read Only Memory）３２０、ＨＤＤ（Hard Disk Drive）３３０、ＲＡＭ（Random Access Memory）３４０を有する。これら３００〜３４０の各部は、バス３５０を介して接続される。

ＨＤＤ３３０には、上記の実施例で示す取込部１６ａ、ブロックマッチング処理部１６ｂ、決定部１６ｃ、エンコード処理部１６ｄ、送信制御部１６ｅと同様の機能を発揮する決定プログラム３３０ａが予め記憶される。なお、決定プログラム３３０ａについては、適宜分離しても良い。

そして、ＣＰＵ３１０が、決定プログラム３３０ａをＨＤＤ３３０から読み出して実行する。

また、ＨＤＤ３３０には、画像データが設けられる。画像データは、画像データ１５ａに対応する。

そして、ＣＰＵ３１０は、画像データを読み出してＲＡＭ３４０に格納する。さらに、ＣＰＵ３１０は、ＲＡＭ３４０に格納された画像データを用いて、決定プログラムを実行する。なお、ＲＡＭ３４０に格納される各データは、常に全てのデータがＲＡＭ３４０に格納されなくともよく、全てのデータのうち処理に用いられるデータのみがＲＡＭ３４０に格納されれば良い。

なお、上記した決定プログラムについては、必ずしも最初からＨＤＤ３３０に記憶させなくともよい。

例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」にプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。

さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ３００に接続される「他のコンピュータ（またはサーバ）」などにプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。

１０ 決定装置
１５ 記憶部
１５ａ 画像データ
１６ 制御部
１６ａ 取込部
１６ｂ ブロックマッチング処理
１６ｃ 決定部
１６ｄ エンコード処理部
１６ｅ 送信制御部

Claims (6)

1. 画像中の物体の位置が視差分異なるステレオ画像を含む映像信号を複数取り込む取込部と、
   前記取込部により取り込まれた前記ステレオ画像について、ブロックマッチング処理を行い、当該ステレオ画像のうち一方の画像のブロックごとに動きベクトルを検出するとともに、ブロックごとに類似度を算出するブロックマッチング処理部と、
   前記ブロックマッチング処理部により検出された動きベクトル、または、類似度、もしくは、動きベクトルおよび類似度に基づいて、前記ステレオ画像に基づいた３次元の画面の表示または２次元の画面の表示を決定する決定部と、
   前記ステレオ画像を表示する表示装置に、前記決定部による決定結果を前記ステレオ画像に付加して出力する出力部と、
   を有することを特徴とする決定装置。
2. 前記決定部は、全てのブロックについて、大きさが第１の所定値よりも大きい前記動きベクトルの個数を計数し、計数した該個数が、第２の所定値よりも大きい場合には、前記２次元の画面の表示を決定する
   ことを特徴とする請求項１に記載の決定装置。
3. 前記決定部は、全てのブロックのうち、前記ステレオ画像間で類似していると判定されたブロックの数が、第２の所定値よりも大きい場合には、前記２次元の画面の表示を決定する
   ことを特徴とする請求項１または２に記載の決定装置。
4. 前記決定部は、前記ステレオ画像のうち一方の画像と、当該一方の画像の前の画像とが類似している場合には、当該前の画像を有するステレオ画像について決定された３次元の画面の表示または２次元の画面の表示を、当該一方の画像を有するステレオ画像についての画面の表示として決定する
   ことを特徴とする請求項１または２に記載の決定装置。
5. コンピュータに、
   画像中の物体の位置が視差分異なる２つのステレオ画像を含む映像信号を複数取り込み、
   取り込まれた前記ステレオ画像について、ブロックマッチング処理を行い、当該ステレオ画像のうち一方の画像のブロックごとに動きベクトルを検出するとともに、ブロックごとに類似度を算出するブロックマッチング処理部により検出された動きベクトル、または、類似度、もしくは、動きベクトルおよび類似度に基づいて、前記ステレオ画像に基づいた３次元の画面の表示または２次元の画面の表示を決定し、
   前記ステレオ画像を表示する表示装置に、決定結果を前記ステレオ画像に付加して出力する
   各処理を実行させることを特徴とする決定プログラム。
6. コンピュータが、
   画像中の物体の位置が視差分異なる２つのステレオ画像を含む映像信号を複数取り込み、
   取り込まれた前記ステレオ画像について、ブロックマッチング処理を行い、当該ステレオ画像のうち一方の画像のブロックごとに動きベクトルを検出するとともに、ブロックごとに類似度を算出するブロックマッチング処理部により検出された動きベクトル、または、類似度、もしくは、動きベクトルおよび類似度に基づいて、前記ステレオ画像に基づいた３次元の画面の表示または２次元の画面の表示を決定し、
   前記ステレオ画像を表示する表示装置に、決定結果を前記ステレオ画像に付加して出力する
   各処理を実行することを特徴とする決定方法。

Images