JP5990309B2 - Image processing apparatus and control method thereof - Google Patents
Image processing apparatus and control method thereof Download PDFInfo
- Publication number
- JP5990309B2 JP5990309B2 JP2015155389A JP2015155389A JP5990309B2 JP 5990309 B2 JP5990309 B2 JP 5990309B2 JP 2015155389 A JP2015155389 A JP 2015155389A JP 2015155389 A JP2015155389 A JP 2015155389A JP 5990309 B2 JP5990309 B2 JP 5990309B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- information
- viewpoint
- video
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、ユーザが視聴を所望する視点に対応する任意視点映像を再生可能な映像処理装置、及びその制御方法に関する。 The present invention relates to a video processing apparatus capable of reproducing an arbitrary viewpoint video corresponding to a viewpoint that a user desires to view and a control method thereof.
デジタル放送が開始され、デジタル放送を受信可能なテレビ(デジタルテレビ)が普及している。現在、本格的なデジタル放送時代を迎え、様々な次世代放送システムの研究・開発が多数行われている。その中のひとつとして、カメラ視点をユーザ(視聴者)が自由に指示できる「任意視点映像」が注目されている。ユーザが指示したカメラ視点に対応する任意視点映像は、複数の視点で撮影された映像を用いて生成される。 Digital broadcasting has started, and televisions that can receive digital broadcasting (digital televisions) have become widespread. Currently, in the era of full-fledged digital broadcasting, various next-generation broadcasting systems are being researched and developed. As one of them, “arbitrary viewpoint video” that allows a user (viewer) to freely specify a camera viewpoint has attracted attention. The arbitrary viewpoint video corresponding to the camera viewpoint designated by the user is generated using videos taken from a plurality of viewpoints.
「任意視点映像」と「カメラで実際に撮像された映像(カメラ映像)」との表示の切り替えに関連する技術として、特許文献1が知られている。特許文献1には、放送映像と放送映像に対する視点情報とを含む放送ストリームを受信する受信装置が開示されている。この受信装置は、任意視点映像の配信要求を行う際に、任意視点映像の視点の初期値として放送ストリームから抽出した放送映像の視点情報を利用する。 Patent Document 1 is known as a technique related to switching between “arbitrary viewpoint video” and “video actually captured by a camera (camera video)”. Patent Document 1 discloses a receiving device that receives a broadcast stream including broadcast video and viewpoint information for the broadcast video. This receiving device uses the viewpoint information of the broadcast video extracted from the broadcast stream as the initial value of the viewpoint of the arbitrary viewpoint video when making a distribution request for the arbitrary viewpoint video.
任意視点映像は、視点の異なる複数のカメラから得られる映像を合成することにより生成されるため、一般的に任意視点映像の生成のために用いたカメラからの映像ほどは画質が高くない。従って、カメラからの映像がユーザの要求する視点からの映像だった場合、画質を考慮すると、ユーザはカメラからの映像の方が任意視点映像よりも高い満足度を得られると考えられる。しかしながら、任意視点映像を視聴中のユーザは、自分の要求する視点と近い視点からのカメラからの映像が存在するかどうかを知ることができない。特許文献1に記載の技術は、放送映像(カメラからの映像)から任意視点映像への切り替えを対象とするが、任意視点映像の視聴中に、ユーザの要求する視点とカメラからの映像の視点との関係について認識することができなかった。 Since the arbitrary viewpoint video is generated by synthesizing videos obtained from a plurality of cameras with different viewpoints, the image quality is generally not as high as the video from the camera used for generating the arbitrary viewpoint video. Therefore, when the video from the camera is from the viewpoint requested by the user, it is considered that the user can obtain a higher degree of satisfaction from the video from the camera than from the arbitrary viewpoint video in consideration of the image quality. However, a user who is viewing an arbitrary viewpoint video cannot know whether there is an image from a camera from a viewpoint close to the viewpoint requested by the user. The technology described in Patent Document 1 is intended for switching from a broadcast video (video from a camera) to an arbitrary viewpoint video. While viewing an arbitrary viewpoint video, the viewpoint requested by the user and the viewpoint of the video from the camera are described. I was unable to recognize the relationship.
本発明はこのような状況に鑑みてなされたものであり、視聴中の任意視点映像の視点に近い視点のカメラ映像の存在をユーザに通知する技術を提供することを目的とする。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide a technique for notifying a user of the presence of a camera image with a viewpoint close to the viewpoint of an arbitrary viewpoint image being viewed.
上記課題を解決するために、第1の本発明は、それぞれ異なる視点に対応した複数の第1画像データに基づいて生成される、ユーザに指定された任意の視点に対応した第2画像データを取得する取得手段と、前記取得手段で取得した前記第2画像データを表示部に出力する出力手段と、前記出力手段により前記第2画像データが前記表示部に出力中である場合に、前記複数の第1画像データの各画像に関連する複数の第1情報と、前記第2画像データの画像に関連する第2情報とに基づいて、前記表示部に出力中である前記第2画像データから、前記複数の第1画像データのうち所定の条件を満たす第1画像データへと、前記表示部へ出力する画像データを切り換えるよう前記出力手段を制御する制御手段と、を備えることを特徴とする画像処理装置を提供する。 In order to solve the above problems, the first aspect of the present invention provides second image data corresponding to an arbitrary viewpoint designated by a user, which is generated based on a plurality of first image data corresponding to different viewpoints. An acquisition unit for acquiring, an output unit for outputting the second image data acquired by the acquisition unit to a display unit, and the second image data being output to the display unit by the output unit; From the second image data being output to the display unit based on a plurality of first information related to each image of the first image data and second information related to the image of the second image data And control means for controlling the output means to switch the image data to be output to the display unit to first image data satisfying a predetermined condition among the plurality of first image data. image To provide a management apparatus.
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。 Other features of the present invention will become more apparent from the accompanying drawings and the following description of the preferred embodiments.
以上の構成により、本発明によれば、視聴中の任意視点映像の視点に近い視点のカメラ映像の存在をユーザに通知することが可能となる。 With the above configuration, according to the present invention, it is possible to notify the user of the presence of a camera video with a viewpoint close to the viewpoint of the arbitrary viewpoint video being viewed.
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。 Embodiments of the present invention will be described below with reference to the accompanying drawings. The technical scope of the present invention is determined by the claims, and is not limited by the following individual embodiments. In addition, not all combinations of features described in the embodiments are essential to the present invention.
[第1の実施形態]
本発明の映像処理装置をデジタル放送受信装置に適用した実施形態について説明する。本実施形態のデジタル放送受信装置は、デジタル放送波(放送信号)に含まれる放送映像を受信可能であり、また、複数のカメラ(撮像装置)それぞれが異なる視点から被撮像空間を撮像することにより得られる複数の映像データをインターネット経由で取得可能である。本実施形態において、「任意視点映像」は、このような複数の映像に基づいて生成される、ユーザに指定された任意の視点から見た前記被撮像空間の仮想的な映像を意味する。本実施形態において任意視点映像は、複数のカメラから得られる複数の映像データを用いて生成されることを想定するが、任意視点映像を生成するための複数の映像データは、複数の視点からのアニメーション映像データやCG映像データなどでもよい。
[First Embodiment]
An embodiment in which the video processing apparatus of the present invention is applied to a digital broadcast receiving apparatus will be described. The digital broadcast receiving apparatus of the present embodiment can receive broadcast video included in a digital broadcast wave (broadcast signal), and each of a plurality of cameras (imaging apparatuses) captures an imaged space from different viewpoints. A plurality of obtained video data can be acquired via the Internet. In the present embodiment, “arbitrary viewpoint video” means a virtual image of the imaged space viewed from an arbitrary viewpoint designated by the user, which is generated based on such a plurality of videos. In the present embodiment, it is assumed that an arbitrary viewpoint video is generated using a plurality of video data obtained from a plurality of cameras. However, a plurality of video data for generating an arbitrary viewpoint video is generated from a plurality of viewpoints. Animation video data or CG video data may be used.
図1は、第1の実施形態に係るデジタル放送受信装置100を含むシステムの構成例を示す図である。デジタル放送受信装置100は、イーサネット(登録商標)101を介して、ルータ103やその他のネットワークデバイス102と通信可能である。デジタル放送受信装置100は、ルータ103を介してインターネット104に接続している。また、デジタル放送受信装置100は、アンテナ105からデジタル放送波を受信し、デジタル放送を再生することができる。
FIG. 1 is a diagram illustrating a configuration example of a system including a digital
図2は、デジタル放送受信装置100及び放送局250の詳細な構成を示すブロック図である。デジタル放送受信装置100は、放送局250が放送する放送映像を受信することができる。最初に、放送映像の受信及び再生等に関係するブロックについて説明する。
FIG. 2 is a block diagram showing detailed configurations of the digital
図2において、アンテナ105により受信された信号は、チューナ部210に入力される。チューナ部210は、トランスポートストリームデータ(TS)を生成する。チューナ部210は、デスクランブラ211を経て、複数チャンネル分の映像、音声データ、及び番組情報データ等が多重化されているTSをデータ分離部212へ出力する。データ分離部212は、リモコン201により選択された番組の音声データ、映像データ、及び番組情報データをTSの中から取り出し、それぞれを音声デコード部213、映像デコード部214、番組情報デコード部215へ入力する。
In FIG. 2, a signal received by the
映像デコード部214は、データ分離部212から入力された映像データに対して、MPEG等の復号化処理を施し、復号した映像データを映像処理部217に出力する。音声デコード部213は、データ分離部212から入力された音声データに対して復号化処理を施し、音声制御部219へ出力する。音声制御部219は、音声データに対して、D/A(Digital/Analog)変換処理等を施し、音声出力部221に出力する。
The
番組情報デコード部215は、データ分離部212から入力された番組情報データから所望の情報を取得し、番組情報処理部216、映像処理部217、及びGUI(Graphic User Interface)処理部218へ出力する。番組情報データには、SI(Service Information)データ、及びPSI(Program Specific Information)データが含まれている。
The program
映像処理部217は、映像デコード部214から入力された映像データと、番組情報デコード部215から入力された番組情報とに基づいて映像調整処理を施し、調整した映像データを表示制御部220へ出力する。表示制御部220は、映像処理部217及びGUI処理部218から入力された映像データや画面データをリモコン201からの操作に応じて切り替えたり、合成したりするなどしたりして、表示部222へ出力する。選局処理部223は、リモコン201により選局されたチャンネルの音声データ、映像データ及び番組情報データを、チューナ部210を介して受信できるように処理を行う。時間処理部224は、時間のカウントを行う。またメモリ管理部225は、デジタル放送受信装置100内に存在する不図示のメモリの管理を行う。
The
システム制御部226はCPUを有し、不図示のメモリに記憶されたプログラムを実行することにより、各構成要素を統括的にコントロールする。システム制御部226はまた、リモコン201からの指示を受光部202経由で受信する。
The
次に、図2に加えて図3(a)を参照して、任意視点映像生成用データの取得や任意視点映像の再生に関連するブロックについて説明する。図3(a)は、第1の実施形態に係る任意視点映像再生処理を示すシーケンス図である。図3(a)では、デジタル放送受信装置100が任意視点映像を生成する。図3(a)の処理に先立ち、デジタル放送受信装置100は、放送局250の任意視点映像生成用データサーバ251とインターネット104経由で接続する。なお、任意視点映像生成用データを生成する任意視点映像生成用データサーバ251は、放送局250の外にあってもよい。任意視点映像は、視点の異なる複数のカメラ映像を用いて生成する。ここで、カメラ映像とは、任意視点映像が表す被撮像空間の映像であって、カメラ(撮像装置)で実際に撮像された映像を意味する。カメラの例としては、例えば、固定カメラ252や放送カメラ240が挙げられる。ここで、固定カメラ252とは、撮影位置および撮影方向が所定期間中変化しないカメラであり、放送カメラ240とは、ハンディカメラ等のように所定期間内に撮影位置または撮影方向が変化するカメラを想定する。任意視点映像は、固定カメラ252及び放送カメラ240の映像を用いて生成することが可能である。放送カメラ240は複数台あってもよい。デジタル放送送信システム241が送信する放送番組の映像は、放送カメラ240の映像から作成される。放送カメラ240が複数台ある場合には、放送番組の映像は、複数台の放送カメラからの映像を適宜切り替えて作成できる。カメラは、上記のものに限定される訳ではなく、生成する任意視点映像と同じ被撮像空間の映像を表す、デジタル放送受信装置100が取得可能な(受信可能な)映像データを提供するものであれば、どのようなものでも構わない。本実施形態においては、複数の固定カメラ252を用いて任意視点映像を生成する場合について説明する。
Next, with reference to FIG. 3A in addition to FIG. 2, blocks related to acquisition of arbitrary viewpoint video generation data and playback of arbitrary viewpoint video will be described. FIG. 3A is a sequence diagram showing an arbitrary viewpoint video reproduction process according to the first embodiment. In FIG. 3A, the digital
S300で、任意視点情報処理部232は、リモコン201を介して、ユーザからの任意視点映像の視聴要求を受信する。このとき任意視点情報処理部232は、任意視点映像の視聴要求として、視聴を所望するチャンネル名または番組名と共に、ユーザがリモコンを介して入力した、視聴を所望する映像の視点情報を受信する。ユーザが視聴を所望する映像の視点情報を入力するにあたり、デジタル放送受信装置100は、放送局250からインターネット経由または放送波経由で、視聴を所望する番組における被撮像空間において設定された座標空間に関する情報を受信する。例えば、ユーザが入力した視聴を所望するチャンネル名または番組名に基づいてデジタル放送受信装置100が受信する該番組の映像に、該番組の映像の被撮像空間において任意に設定された座標空間に関する情報が関連付けられているものを受信する。または、ユーザが視聴を所望するチャンネル名または番組名に基づいて、デジタル放送受信装置100が任意視点映像生成用データサーバ251に、該番組の映像の被撮像空間において任意に設定された座標空間に関する情報を送信するように要求してもよい。このように受信した座標空間に関する情報に基づいて、GUI処理部218は、被撮像空間を示すGUIを作成し、表示制御部220は、生成されたGUIを表示部222に表示する。ユーザは、被撮像空間に設定された座標空間における視点を、リモコンを介してGUIを利用して指定することにより、視聴を所望する映像の視点情報を入力する。本発明において映像の視点情報とは、少なくとも被撮像空間における視点位置(座標位置)及び視線方向(パン・チルト角)に関する情報を含む。更に、映像の画角情報(映像に映し出される有効映像領域の大きさ)やズーム率の情報を含んでいてもよい。任意視点情報処理部232は、ユーザが指定した視点情報を内部に記憶する。ユーザが視聴を所望する映像の視点情報の入力方法としては、上記に限られず、例えば被撮像空間に設定された座標空間における視点を数値入力するものでもよく、任意視点映像生成用データサーバ251から送信される、予め決められた複数の視点の中から選択するものでもよい。また、システム制御部226は、ユーザからの視点の変更要求に応じて、被撮像空間を示すGUIを表示部222に表示させるよう、表示制御部220を制御する。S301で、任意視点情報処理部232は、ユーザが視聴を所望する視点における任意視点映像を生成するための任意視点映像作成用データを取得するために、任意視点映像作成用データ取得要求を作成する。S302で、任意視点情報処理部232は、作成された任意視点映像作成用データ取得要求を、要求データ処理部234及び通信制御部227を経由して放送局250の任意視点映像生成用データサーバ251に送信する。任意視点映像作成用データ取得要求の送信に関して具体的には、任意視点映像生成用データサーバ251側で、任意視点映像を生成するために必要な映像データを判断できるように、ユーザがリモコンを介して入力した、視聴を所望する映像の視点情報を送信する。
In step S <b> 300, the arbitrary viewpoint
S303で、任意視点映像生成用データサーバ251は、デジタル放送受信装置100から受信した任意視点映像作成用データ取得要求を解析する。S304で、任意視点映像生成用データサーバ251は、複数の固定カメラ252から映像データを取得する。複数の固定カメラ252は、それぞれが異なる視点から被撮像空間(例えば、サッカー競技場)を撮像するように(例えば、被撮像空間を取り囲むように)設置されている。任意視点映像生成用データサーバ251は、取得した映像データに基づき、任意視点映像作成用データを作成する。S305で、任意視点映像生成用データサーバ251は、作成した任意視点映像作成用データをデジタル放送受信装置100へ送信する。
In step S <b> 303, the arbitrary viewpoint video
任意視点映像作成用データとは具体的には、複数の固定カメラ252から取得した複数の映像データの中で、任意視点映像を生成するために必要な映像データ及び各映像データの撮影位置に関する情報である。任意視点映像作成用データの作成に際して、複数の固定カメラ252から取得した映像データを、任意視点映像データを作成しやすいように加工してもよい。任意視点映像作成用データは上記に限られず、例えば複数の固定カメラ252から取得した全ての映像データ及び各映像データの撮影位置に関する情報を任意視点映像作成用データとしてもよい。
Specifically, the arbitrary viewpoint video creation data is video data necessary for generating an arbitrary viewpoint video among a plurality of video data acquired from a plurality of fixed
S306で、受信データ解析部230は、通信制御部227を介して受信した任意視点映像生成用データを解析し、任意視点映像生成用データを解析結果と共に任意視点情報処理部232に出力する。S307で、任意視点情報処理部232(任意視点映像データ取得手段)は、入力された任意視点映像作成用データ及び解析結果に基づいて任意視点映像を生成する。S308で、任意視点情報処理部232は、任意視点映像を表示制御部220へ出力する。表示制御部220は、入力された任意視点映像と(必要であれば)GUI処理部218から入力されたGUIとを合成して表示部222へ出力する。これにより、任意視点映像が表示される。
In step S <b> 306, the received
デジタル放送受信装置100は、ユーザによる視点情報の入力に際し、該番組の映像の被撮像空間に関する情報の受信と共に予め、該被撮像空間を撮影している複数の固定カメラ252全ての映像データ及び各映像データの撮影位置に関する情報を受信していてもよい。その場合は図3(a)のS302からS305のように、任意視点映像作成用データの要求及び送受信を行わなくてもよい。デジタル放送受信装置100が、複数の固定カメラ252の撮影位置に関する情報のみを予め受信していてもよい。その場合は、任意視点映像を生成するために、複数の固定カメラ252の撮影位置に関する情報から、必要な固定カメラ252をデジタル放送受信装置100側で決定し、S302において、該固定カメラ252の映像データの要求を送信してもよい。図3(a)の処理ではデジタル放送受信装置100が任意視点映像を生成したが、他の場所で生成が行われてもよい。一例として、図3(b)は、任意視点映像生成用データサーバが任意視点映像を生成する場合を示す。図3(b)において、図3(a)と同一又は同様の処理が行われるステップには同一の符号を付し、説明を省略する。
When receiving viewpoint information by the user, the digital
S311で、任意視点情報処理部232は、ユーザが視聴を所望する視点における任意視点映像を取得する要求を作成する。S312で、任意視点情報処理部232は、作成された任意視点映像取得要求を、要求データ処理部234及び通信制御部227を経由して放送局250の任意視点映像生成用データサーバ251に送信する。その際送信されるデータとしては、少なくともユーザがリモコンを介して入力した、視聴を所望する映像の視点情報を含む。
In step S <b> 311, the arbitrary viewpoint
S313で、任意視点映像生成用データサーバ251は、デジタル放送受信装置100から受信した任意視点映像データ取得要求を解析する。S314で、任意視点映像生成用データサーバ251は、複数の固定カメラ252から映像データ及び映像データの撮影位置に関する情報を取得し、取得した映像データに基づき、任意視点映像データを生成する。S315で、任意視点映像生成用データサーバ251は、生成した任意視点映像データをデジタル放送受信装置100へ送信する。S316で、任意視点情報処理部232は、任意視点映像データを表示制御部220へ出力する。表示制御部220は、入力された任意視点映像データと(必要であれば)GUI処理部218から入力されたGUIとを合成して表示部222へ出力する。これにより、任意視点映像が表示される。
In step S <b> 313, the arbitrary viewpoint video
以上の図3(a)又は図3(b)の処理の繰り返しにより、デジタル放送受信装置100は、ユーザが視聴を所望する視点における任意視点映像を再生することができる。図3(a)又は図3(b)の処理は、少なくとも、ユーザが視聴を所望する映像の視点情報を、リモコンを介して任意視点情報処理部232が受信する度に行われる。例えば、S300において、任意視点映像を視聴中に、ユーザが視聴を所望する視点を変更する要求がリモコンを介して入力される度に行われる。これにより、ユーザが視聴を所望する視点を変更させた場合にも、変更後の視点における任意視点映像を再生することができる。
By repeating the process of FIG. 3A or FIG. 3B, the digital
次に、視聴中の(即ち、デジタル放送受信装置100が出力中の)任意視点映像の視点に近い視点のカメラ映像を検出する処理について説明する。 Next, a process for detecting a camera image of a viewpoint close to the viewpoint of an arbitrary viewpoint image being viewed (that is, being output by the digital broadcast receiving apparatus 100) will be described.
最初に、図4乃至図9を参照して、複数の固定カメラ252により得られた複数の映像データの各映像の中から任意視点映像の視点に近い視点を持つ映像を検出する場合について説明する。
First, with reference to FIGS. 4 to 9, a case where a video having a viewpoint close to the viewpoint of an arbitrary viewpoint video is detected from each video of a plurality of video data obtained by a plurality of fixed
図4は、複数の固定カメラ252の各映像の視点(被撮像空間に対する視点)を表す視点情報(撮像視点情報)を取得する処理を示すフローチャートである。本フローチャートの処理は、システム制御部226が各部を制御することにより、所定の間隔(例えば、1秒)毎に定期的に行われる。
FIG. 4 is a flowchart showing a process for acquiring viewpoint information (imaging viewpoint information) representing viewpoints (viewpoints with respect to the imaged space) of the videos of the plurality of fixed
S401で、固定カメラ情報処理部231は、システム制御部226から現在の映像の出力状態(デジタル放送映像出力中、任意視点映像出力中、外部入力映像出力中など)を取得する。表示制御部220で表示部222に出力している映像が、放送波から受信したデジタル放送映像である場合は、映像の出力状態はデジタル放送映像出力中となる。任意視点情報処理部232で生成された、または、通信制御部227を介して受信する任意視点映像生成用データサーバ251で生成された任意視点映像である場合は、映像の出力状態は任意視点映像出力中となる。デジタル放送受信装置と接続された不図示の外部機器からの映像である場合は、映像の出力状態は外部入力映像出力中となる。S402で、固定カメラ情報処理部231は、現在の出力状態が「任意視点映像出力中」であるか否かを判定する。「任意視点映像出力中」の場合、処理はS403に進み、そうでない場合、処理は終了する。
In S401, the fixed camera
S403で、固定カメラ情報処理部231は、デジタル放送受信装置100が任意視点映像生成用データサーバ251から受信可能なカメラ映像を生成する固定カメラ252の数を取得する。具体的には、固定カメラ情報処理部231は、要求データ処理部234及び通信制御部227を介して、任意視点映像生成用データサーバ251に対して固定カメラ252の数を問い合わせる。その後、S404乃至S406の処理が、固定カメラ252の数と同じ回数、繰り返される。
In step S <b> 403, the fixed camera
S404で、固定カメラ情報処理部231(撮像視点情報取得手段)は、任意視点映像生成用データサーバ251から固定カメラ252それぞれの視点情報(第1視点情報)を取得する(第1視点情報が複数取得される)。S405で、固定カメラ情報処理部231は、S405において以前に取得した保存済みの視点情報がある場合には、S404で取得した視点情報と比較し、一致するか否かを判定する。一致しない場合、S406で、固定カメラ情報処理部231は、内部に保存済みの視点情報を、今回取得した視点情報に更新する。
In S404, the fixed camera information processing unit 231 (imaging viewpoint information acquisition unit) acquires the viewpoint information (first viewpoint information) of each of the fixed
以上の処理により、固定カメラ情報処理部231には、固定カメラ252それぞれの最新の視点情報が保存される。
Through the above processing, the latest camera viewpoint information of each fixed
図4では、固定カメラ情報処理部231は、ステップS402において「任意視点映像出力中」と判定された場合に、固定カメラ252の視点情報を任意視点映像生成用データサーバ251から取得した。しかしながら、固定カメラ情報処理部231は、任意視点情報処理部232が任意視点映像を生成する際に、任意視点映像生成用データサーバ251から任意視点映像作成用データと共に固定カメラ252の視点情報を取得している場合は、特別に図4の処理を行わなくてもよい。つまり、図3(a)で説明したように任意視点映像作成用データとして固定カメラ252の映像データと共に(固定カメラ252の視点情報として利用可能な)各映像データの撮影位置に関する情報が提供される場合、固定カメラ情報処理部231は、固定カメラ252の映像データと共に送られてくる視点情報を用いることができる。
In FIG. 4, the fixed camera
次に、図5を参照して、任意視点映像の視点とカメラ映像の視点との一致度(一致の度合い)を取得する処理について説明する。本実施形態において一致度は、任意視点映像の視点とカメラ映像の視点とが類似しているほど高い値を示す。図5の処理は、図3(a)又は図3(b)のS300において、ユーザが視聴を所望する映像の視点情報を、リモコンを介して任意視点情報処理部232が受信した場合、及び、図4のS406において固定カメラ252の視点情報が更新された場合に実行される。図5において、図4と同一又は同様の処理が行われるステップには同一の符号を付し、説明を省略する。図5のフローチャートの処理は、図4と同様にシステム制御部226が各部を制御することにより実行される。
Next, with reference to FIG. 5, a process for acquiring the degree of coincidence (degree of coincidence) between the viewpoint of the arbitrary viewpoint video and the viewpoint of the camera video will be described. In the present embodiment, the degree of coincidence indicates a higher value as the viewpoint of the arbitrary viewpoint video and the viewpoint of the camera video are more similar. The processing of FIG. 5 is performed when the arbitrary viewpoint
S503で、視点情報処理部233(任意視点情報取得手段)は、任意視点情報処理部232から、任意視点映像の視点(被撮像空間に対する視点)を表す視点情報(任意視点情報)(第2視点情報)を取得する。S504で、視点情報処理部233は、固定カメラ情報処理部231から、(図4のS406でその映像データの視点情報を保存済みの)固定カメラ252の数を取得する。その後、S505乃至S507の処理が、固定カメラ252の数と同じ回数、繰り返される。
In step S <b> 503, the viewpoint information processing unit 233 (arbitrary viewpoint information acquisition unit) receives viewpoint information (arbitrary viewpoint information) (second viewpoint) representing the viewpoint of the arbitrary viewpoint video (viewpoint with respect to the imaging space) from the arbitrary viewpoint
S505で、視点情報処理部233は、固定カメラ情報処理部231から各固定カメラ252の視点情報を取得する。S506で、視点情報処理部233は、各固定カメラ252の各視点情報の各視点と任意視点情報の視点とを比較し、一致度を算出する。S507で、視点情報処理部233は、S506で算出した各固定カメラ252についての一致度を保存する。或いは、視点情報処理部233は、全ての固定カメラ252の一致度を保存するのではなく、任意視点映像の視点と各カメラ映像の視点との一致度の中で最大値の一致度と、これに対応する固定カメラ252を示す情報とを保存してもよい。
In step S <b> 505, the viewpoint
なお、視点の一致度は、例えば、任意視点情報及びカメラ映像の視点情報(カメラ位置、パン・チルト角、ズーム情報、画角情報など)の比較や、任意視点映像及びカメラ映像の画像の比較などにより算出可能であるが、これらに限定される訳ではない。また、カメラ映像の視点情報として、固定カメラ252の視点情報を用いる構成で説明したが、放送カメラ240の視点情報を任意視点映像生成用データサーバ251から取得して、カメラ映像の視点情報として放送カメラ240の視点情報を含めてもよい。
Note that the degree of coincidence of viewpoints is, for example, a comparison of arbitrary viewpoint information and viewpoint information of camera video (camera position, pan / tilt angle, zoom information, angle of view information, etc.), or comparison of arbitrary viewpoint video and camera video images. However, the calculation is not limited to these. Further, although the configuration using the viewpoint information of the fixed
次に、図6を参照して、視聴中の任意視点映像の視点に近い視点のカメラ映像の存在をユーザに通知する処理について説明する。本フローチャートの処理は、例えば、図5の処理に続いて実行される。図6のフローチャートの処理は、図4と同様にシステム制御部226が各部を制御することにより実行される。図6において、図4と同一又は同様の処理が行われるステップには同一の符号を付し、説明を省略する。但し、S402で「NO」と判定された場合、処理はS610へ進む。
Next, a process for notifying the user of the presence of a camera image with a viewpoint close to the viewpoint of the arbitrary viewpoint image being viewed will be described with reference to FIG. The process of this flowchart is performed following the process of FIG. 5, for example. The processing of the flowchart of FIG. 6 is executed by the
S603で、視点情報処理部233は、視点の一致度の閾値Aを(例えば不図示のメモリから)取得する。S604で、視点情報処理部233は、図5のS507で保存した各固定カメラ252の視点の一致度のうちの最大値Bを取得する。S605で、視点情報処理部233は、視点の一致度の最大値B≧閾値Aであるか否か、即ち、最大値が閾値以上であるか否かを判定する。最大値B≧閾値Aであれば処理はS606に進み、そうでなければ処理はS608に進む。
In step S <b> 603, the viewpoint
S606で、視点情報処理部233は、S605で閾値以上の一致度であると判定された固定カメラ252の映像の存在を、視聴中の任意視点映像の視点に近い視点のカメラ映像の存在としてユーザに通知中であるか否かを判定する。任意視点映像の視点に近い視点のカメラ映像の存在を通知していない、またはS605で閾値以上の一致度であると判定された固定カメラと異なる固定カメラについて通知中であれば処理はS607に進み、通知中であれば処理はS402に戻る。S607で、視点情報処理部233は、S605で閾値以上と判定された一致度を有する固定カメラの映像の存在をユーザに通知する処理を行う(詳細は図8及び図9を参照して後述)。
In step S <b> 606, the viewpoint
S608では、視点情報処理部233は、視聴中の任意視点映像の視点に近い視点のカメラ映像の存在をユーザに通知中であるか否かを判定する。通知中であれば処理はS609に進み、通知中でなければ処理はS402に戻る。S609で、視点情報処理部233は、通知停止処理を行う。
In step S <b> 608, the viewpoint
S610では、視点情報処理部233は、視聴中の任意視点映像の視点に近い視点のカメラ映像の存在をユーザに通知中であるか否かを判定する。通知中であれば処理はS611に進み、通知中でなければ本フローチャートの処理は終了する。S611で、視点情報処理部233は、通知停止処理を行う。
In step S610, the viewpoint
以上の処理により、視点情報処理部233は、視聴中の任意視点映像の視点に近い視点のカメラ映像を検出し、その存在をユーザに通知する。また、通知と非通知との切り替えが行われる。
Through the above processing, the viewpoint
ところで、S603及びS605では1つの閾値のみが使用されたが、複数の閾値(例えば、α及びβ)が使用されてもよい。図7は、一致度の閾値として複数の閾値が使用される場合の概念図である。横軸は時間、縦軸は各時間においてS604で取得した一致度の最大値Bである。 By the way, although only one threshold value is used in S603 and S605, a plurality of threshold values (for example, α and β) may be used. FIG. 7 is a conceptual diagram when a plurality of threshold values are used as the matching degree threshold values. The horizontal axis represents time, and the vertical axis represents the maximum coincidence value B acquired in S604 at each time.
ユーザが任意視点映像の視聴を開始した時点(時刻t1)では、一致度が閾値β未満である。従って、視聴中の任意視点映像の視点に近い視点のカメラ映像は存在せず、通知は行われない(図6のS605で「NO」と判定される)。その後、ユーザの指示に従って任意視点映像の視点が移動し、時刻t2において、一致度が閾値βに到達する。そのため、図6のS605で「YES」と判定され、視点情報処理部233は、視聴中の任意視点映像の視点に近い視点のカメラ映像の存在を通知する。その後、任意視点映像の視点が更に移動し、時刻t3において、一致度が閾値α(>β)に到達する。この場合も、図6のS605で「YES」と判定されるが、通知の形態が異なる。即ち、視点情報処理部233は、視聴中の任意視点映像の視点にほぼ一致する視点のカメラ映像の存在を通知する。
At the time when the user starts viewing the arbitrary viewpoint video (time t1), the degree of coincidence is less than the threshold value β. Accordingly, there is no camera image with a viewpoint close to the viewpoint of the arbitrary viewpoint image being viewed, and no notification is made (determined as “NO” in S605 of FIG. 6). Thereafter, the viewpoint of the arbitrary viewpoint video moves according to the user's instruction, and the coincidence reaches the threshold value β at time t2. Therefore, it is determined as “YES” in S605 of FIG. 6, and the viewpoint
なお、閾値(A、α、β)は、デジタル放送受信装置100が変更できないデータとして記憶していてもよいし、ユーザが変更可能なデータとして記憶していてもよい。
Note that the threshold values (A, α, β) may be stored as data that cannot be changed by the digital
次に、通知処理の詳細について説明する。視点情報処理部233は、GUI処理部218に通知表示GUIの生成を指示する。通知表示GUIは、表示制御部220へ入力される。表示制御部220は、映像処理部217から入力される映像に通知表示GUIを重畳して表示部222へ出力する。
Next, details of the notification process will be described. The viewpoint
図8及び図9は、通知表示GUIの具体例を示す図である。図8において、視点情報処理部233は、図6のS605における視点の一致度の判定をもとにGUIの表示により通知を行う。図8(a)において、アイコン801〜805は、ユーザにより指定された任意視点(位置及び方向)を示す。また、被撮像空間における固定カメラの視点を固定カメラ811〜815のようにアイコンで表わす。現在表示中の任意視点映像に対応する視点のアイコンのみが表示される。図8(b)において、任意視点映像821〜825はそれぞれアイコン801〜805の視点における映像の表示画面を示す。なお、本実施形態においては、アイコン801〜805の視点が1つずつ順次指定される場合について説明するが、視点が複数指定されてもよい。その場合には、画面上に複数の映像データを表示すればよい。図8(a)において、任意視点映像の視点がアイコン801の場合、アイコン801の視点と固定カメラ811の視点との視点の一致度が高い(閾値α以上)。そこで、視点情報処理部233は、視聴中の任意視点映像821と共に、該任意視点映像の視点にほぼ一致する視点のカメラ映像の存在を示すGUIを表示する。この際に表示するGUIは、視聴中の任意視点映像の視点にほぼ一致する視点のカメラの位置を表示するものでも、単に視聴中の任意視点映像の視点にほぼ一致する視点のカメラ映像が存在するかしないか、を表示するものでもよい。具体的には、図8(a)のように被撮像空間における、固定カメラの視点情報及び任意視点映像の視点情報をレイアウト表示して、視聴中の任意視点映像の視点にほぼ一致する視点の固定カメラの表示を変える(例えば、アイコン801の視点に近い固定カメラ811のアイコンの色を他のカメラのアイコンと異なる色にする)。この場合、図8(a)のようなGUIを表示部222に全画面表示しても良いし、任意視点映像の一部に子画面として合成して表示してもよい。GUIを全画面表示した場合は、所定時間経過後に任意視点映像に切り替える。または図8(b)のように、ユーザが視聴を所望する視点における任意視点映像(任意視点映像821)の表示中に、視聴中の任意視点映像の視点(アイコン801)にほぼ一致する視点のカメラ(固定カメラ811)の存在を通知するアイコン(アイコン831)を、任意視点映像の一部に合成して表示しても良い。例えば、アイコン803の視点との一致度がβ≦一致度<αである固定カメラ813が存在する場合、視点情報処理部233は、視聴中の任意視点映像の視点に近い視点のカメラ映像の存在を示すGUI(アイコン833)を表示する。ユーザに指定された視点とカメラ映像の視点との一致度に応じて、一致度が閾値α以上の際に表示するGUIと、一致度がβ≦一致度<αの際に表示するGUIとを区別可能に表示してもよい。例えば、図8(a)において、固定カメラ811、815のアイコンと、固定カメラ813とでアイコンの色を変えたり、図8(b)において、アイコン831、835とアイコン833とで色や形状を変えたりしてもよい。また、任意視点映像の視点アイコン802の場合、視点の一致度が一致度<βである固定カメラ(例えば固定カメラ812)しかない。この場合には、視点情報処理部233は、通知を行わない。または、視点の一致度の高いカメラ映像がない旨を通知してもよい。
8 and 9 are diagrams illustrating specific examples of the notification display GUI. In FIG. 8, the viewpoint
また、図8(b)に代えて図9のように表示することも可能である。図9の例では、視点情報処理部233は、視聴中の任意視点映像の視点に近い視点のカメラ映像を子画面で表示することにより、通知を行う。図9の任意視点映像901〜905は、図8(b)の任意視点映像821〜825と同様に、図8(a)のアイコン801〜805の視点における映像の表示画面を示す。図9では、任意視点映像の視点がアイコン801、803、及び805の場合はそれぞれ任意視点映像の視点とカメラの視点との一致度の高い、図8(a)の固定カメラ811、813及び815の映像が子画面で表示される。デジタル放送受信装置100が任意視点映像を生成する場合であって、任意視点映像生成用データに、図6のS605で閾値以上の一致度であると判定された固定カメラの映像が含まれている場合は、任意視点情報処理部232は、該固定カメラの映像を出力する。そして表示制御部220は、任意視点映像と、視点の一致度が閾値以上である固定カメラの映像とを合成して出力する。任意視点情報処理部232は、S605で閾値以上の一致度であると判定された固定カメラの映像を保持していない場合には、任意視点映像生成用データサーバ251から取得する。また通知方法として、視点の一致度の高い固定カメラ811と815の映像の子画面911と915の大きさを、やや一致度が高い固定カメラ813の映像の子画面913の大きさより大きく表示して、固定カメラ811と815の視点の一致度が固定カメラ813の視点の一致度より高いことをユーザに通知してもよい。
Further, it is also possible to display as shown in FIG. 9 instead of FIG. In the example of FIG. 9, the viewpoint
以上説明したように、本実施形態によれば、デジタル放送受信装置100は、各固定カメラ252の視点情報を取得し(図4)、各固定カメラ252の視点情報と任意視点映像の視点情報との一致度を算出する(図5)。そして、デジタル放送受信装置100は、算出した一致度の最大値が閾値以上であるか否かを判定し、閾値以上であれば通知を行う(図6)。これにより、視聴中の任意視点映像の視点に近い視点のカメラ映像の存在をユーザに通知することが可能となる。
As described above, according to the present embodiment, the digital
<変形例1>
前述の通り、カメラ映像は放送映像でもよい。この場合、図5及び図6の処理が図10に置き換わる。図10において、図4、図5、又は図6と同一又は同様の処理が行われるステップには同一の符号を付し、説明を省略する。図10のフローチャートの処理は、図4と同様にシステム制御部226が各部を制御することにより実行される。
<Modification 1>
As described above, the camera video may be a broadcast video. In this case, the processing of FIGS. 5 and 6 is replaced with FIG. In FIG. 10, steps in which the same or similar processing as that in FIG. 4, FIG. 5, or FIG. 6 is performed are denoted by the same reference numerals, and description thereof is omitted. The processing of the flowchart of FIG. 10 is executed by the
S1004で、視点情報処理部233は、番組情報処理部216から放送映像の視点情報を取得する。S1006で、視点情報処理部233は、放送映像の視点情報を任意視点情報と比較し、一致度Bを算出して取得する。こうして、S605で一致度B≧閾値Aであると判定されると、通知が行われる。
In step S <b> 1004, the viewpoint
<変形例2>
視聴中の任意視点映像の視点に近い視点のカメラ映像が検出された場合、デジタル放送受信装置100は、通知に応じたユーザからの指示に応えて、或いは自動的に、任意視点映像の代わりにカメラ映像を出力してもよい。
<Modification 2>
When a camera image with a viewpoint close to the viewpoint of the arbitrary viewpoint video being viewed is detected, the digital
例えば、任意視点映像の視点が図8(a)のアイコン801であるものとする。この場合、任意視点映像の視点(アイコン801)と固定カメラ811の視点との視点の一致度が高い(閾値α以上)ため、図8(b)の通知は、この視点(アイコン801)における任意視点映像の代わりに固定カメラ811のカメラ映像を出力(表示)させることができるということを示す。そして、この通知を見たユーザがリモコン201を用いてカメラ映像への映像切り替え指示を行ったものとする。この場合、システム制御部226の制御に従い、次の処理が行われる。固定カメラ情報処理部231は、複数の固定カメラ252の各一致度のうちの最大値を持つ視点に対応する映像データを、任意視点映像生成用データサーバ251から取得し、取得した映像データを表示制御部220へ出力する。システム制御部226は、任意視点映像データの代わりに、固定カメラ情報処理部231から入力された映像データを出力するように、表示制御部220を制御する。
For example, it is assumed that the viewpoint of the arbitrary viewpoint video is the
カメラ映像が放送映像の場合は、固定カメラ252の映像データを取得する代わりに、システム制御部226は、放送映像データを取得するようにチューナ部210等を制御する。そして、システム制御部226は、放送映像データを出力するように表示制御部220を制御する。
When the camera video is a broadcast video, instead of acquiring the video data of the fixed
このような制御は、自動的に行われてもよい。即ち、任意視点映像の視点と固定カメラの視点との視点の一致度が高い状態になった場合に、システム制御部226は自動的に、該任意視点映像の代わりに該固定カメラのカメラ映像を出力する制御を行ってもよい。
Such control may be performed automatically. That is, when the degree of coincidence between the viewpoint of the arbitrary viewpoint video and the viewpoint of the fixed camera is high, the
[その他の実施形態]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
[Other Embodiments]
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
100…デジタル放送受信装置、104…インターネット、105…アンテナ、250…放送局
DESCRIPTION OF
Claims (18)
前記取得手段で取得した前記第2画像データを表示部に出力する出力手段と、
前記出力手段により前記第2画像データが前記表示部に出力中である場合に、前記複数の第1画像データの各画像に関連する複数の第1情報と、前記第2画像データの画像に関連する第2情報とに基づいて、前記表示部に出力中である前記第2画像データから、前記複数の第1画像データのうち所定の条件を満たす第1画像データへと、前記表示部へ出力する画像データを切り換えるよう前記出力手段を制御する制御手段と、
を備えることを特徴とする画像処理装置。 Obtaining means for obtaining second image data corresponding to an arbitrary viewpoint designated by the user, which is generated based on a plurality of first image data corresponding to different viewpoints;
Output means for outputting the second image data acquired by the acquisition means to a display unit;
When the second image data is being output to the display unit by the output means, the plurality of first information related to each image of the plurality of first image data and the image of the second image data Output to the display unit from the second image data being output to the display unit to first image data satisfying a predetermined condition among the plurality of first image data based on the second information Control means for controlling the output means to switch image data to be performed;
An image processing apparatus comprising:
ことを特徴とする請求項1に記載の画像処理装置。 The first information is information relating to an image viewpoint of the first image data, and the second information is information relating to an image viewpoint of the second image data. Image processing device.
ことを特徴とする請求項2に記載の画像処理装置。 The image processing apparatus according to claim 2, wherein the information regarding the viewpoint includes at least one of a camera position, a pan / tilt angle, zoom information, and field angle information.
ことを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 3, wherein the predetermined condition is a condition that a degree of coincidence between the first information and the second information is a threshold value or more. .
前記複数の第1情報の中に前記第2情報との一致の度合いが前記閾値以上であるものが存在する場合、ユーザに対して通知を行い、
当該通知の後のユーザ指示に応じて、前記表示部に出力中である前記第2画像データから、前記複数の第1画像データのうち、前記第2情報との一致の度合いが前記閾値以上である前記第1情報に対応する第1画像データへと、前記表示部へ出力する画像データを切り換えるよう前記出力手段を制御する
ことを特徴とする請求項4に記載の画像処理装置。 The control means includes
If there is one of the plurality of first information whose degree of coincidence with the second information is greater than or equal to the threshold, a notification is given to the user,
In response to a user instruction after the notification, the degree of coincidence with the second information among the plurality of first image data is greater than or equal to the threshold value from the second image data being output to the display unit. The image processing apparatus according to claim 4, wherein the output unit is controlled to switch image data to be output to the display unit to first image data corresponding to the first information.
ことを特徴とする請求項5に記載の画像処理装置。 The notification to the user is a notification by GUI display or a notification by a small-screen display of an image of the first image data corresponding to the first information whose degree of coincidence with the second information is equal to or greater than the threshold. The image processing apparatus according to claim 5.
ことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。 In response to a user instruction, the control means changes the display from the second image data being output to the display unit to first image data satisfying the predetermined condition among the plurality of first image data. The image processing apparatus according to claim 1, wherein the output unit is controlled to switch image data to be output to a unit.
ことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。 The control means automatically transfers the second image data being output to the display unit to the first image data satisfying the predetermined condition among the plurality of first image data, to the display unit. The image processing apparatus according to claim 1, wherein the output unit is controlled to switch image data to be output.
ことを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the first information is information related to an image of image data included in a broadcast signal.
それぞれ異なる視点に対応した複数の第1画像データに基づいて生成される、ユーザに指定された任意の視点に対応した第2画像データを取得する取得工程と、
前記取得工程で取得した前記第2画像データを表示部に出力する出力工程と、
前記出力工程により前記第2画像データが前記表示部に出力中である場合に、前記複数の第1画像データの各画像に関連する複数の第1情報と、前記第2画像データの画像に関連する第2情報とに基づいて、前記表示部に出力中である前記第2画像データから、前記複数の第1画像データのうち所定の条件を満たす第1画像データへと、前記表示部へ出力する画像データを切り換えるよう前記出力工程を制御する制御工程と、
を備えることを特徴とする制御方法。 A control method for an image processing apparatus, comprising:
An acquisition step of acquiring second image data corresponding to an arbitrary viewpoint designated by the user, generated based on a plurality of first image data corresponding to different viewpoints;
An output step of outputting the second image data acquired in the acquisition step to a display unit;
When the second image data is being output to the display unit by the output step, the plurality of first information related to each image of the plurality of first image data and the image of the second image data Output to the display unit from the second image data being output to the display unit to first image data satisfying a predetermined condition among the plurality of first image data based on the second information A control process for controlling the output process to switch image data to be performed;
A control method comprising:
ことを特徴とする請求項10に記載の制御方法。 The first information is information relating to an image viewpoint of the first image data, and the second information is information relating to an image viewpoint of the second image data. Control method.
ことを特徴とする請求項11に記載の制御方法。 The control method according to claim 11, wherein the information on the viewpoint includes at least one of a camera position, a pan / tilt angle, zoom information, and field angle information.
ことを特徴とする請求項10乃至12のいずれか1項に記載の制御方法。 The control method according to any one of claims 10 to 12, wherein the predetermined condition is a condition that a degree of coincidence between the first information and the second information is a threshold value or more.
前記複数の第1情報の中に前記第2情報との一致の度合いが前記閾値以上であるものが存在する場合、ユーザに対して通知を行い、
当該通知の後のユーザ指示に応じて、前記表示部に出力中である前記第2画像データから、前記複数の第1画像データのうち、前記第2情報との一致の度合いが前記閾値以上である前記第1情報に対応する第1画像データへと、前記表示部へ出力する画像データを切り換えるよう前記出力工程を制御する
ことを特徴とする請求項13に記載の制御方法。 The control step includes
If there is one of the plurality of first information whose degree of coincidence with the second information is greater than or equal to the threshold, a notification is given to the user,
In response to a user instruction after the notification, the degree of coincidence with the second information among the plurality of first image data is greater than or equal to the threshold value from the second image data being output to the display unit. The control method according to claim 13, wherein the output step is controlled to switch the image data to be output to the display unit to first image data corresponding to the first information.
ことを特徴とする請求項14に記載の制御方法。 The notification to the user is a notification by GUI display or a notification by a small-screen display of an image of the first image data corresponding to the first information whose degree of coincidence with the second information is equal to or greater than the threshold. The control method according to claim 14.
ことを特徴とする請求項10乃至13のいずれか1項に記載の制御方法。 In accordance with a user instruction, the control step includes changing the display from the second image data being output to the display unit to first image data satisfying the predetermined condition among the plurality of first image data. The control method according to any one of claims 10 to 13, wherein the output step is controlled to switch image data to be output to a unit.
ことを特徴とする請求項10乃至13のいずれか1項に記載の制御方法。 In the control step, the second image data being output to the display unit is automatically changed to the first image data satisfying the predetermined condition among the plurality of first image data to the display unit. The control method according to claim 10, wherein the output process is controlled so as to switch image data to be output.
ことを特徴とする請求項10乃至17のいずれか1項に記載の制御方法。 The control method according to any one of claims 10 to 17, wherein the first information is information related to an image of image data included in a broadcast signal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015155389A JP5990309B2 (en) | 2010-07-02 | 2015-08-05 | Image processing apparatus and control method thereof |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010152071 | 2010-07-02 | ||
JP2010152071 | 2010-07-02 | ||
JP2015155389A JP5990309B2 (en) | 2010-07-02 | 2015-08-05 | Image processing apparatus and control method thereof |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011094374A Division JP5835932B2 (en) | 2010-07-02 | 2011-04-20 | Image processing apparatus and control method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015222989A JP2015222989A (en) | 2015-12-10 |
JP5990309B2 true JP5990309B2 (en) | 2016-09-14 |
Family
ID=54785753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015155389A Active JP5990309B2 (en) | 2010-07-02 | 2015-08-05 | Image processing apparatus and control method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5990309B2 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5714997A (en) * | 1995-01-06 | 1998-02-03 | Anderson; David P. | Virtual reality television system |
JP3943674B2 (en) * | 1996-10-25 | 2007-07-11 | キヤノン株式会社 | Camera control system, camera server and control method thereof |
JP4148671B2 (en) * | 2001-11-06 | 2008-09-10 | ソニー株式会社 | Display image control processing apparatus, moving image information transmission / reception system, display image control processing method, moving image information transmission / reception method, and computer program |
-
2015
- 2015-08-05 JP JP2015155389A patent/JP5990309B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015222989A (en) | 2015-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5835932B2 (en) | Image processing apparatus and control method thereof | |
US6646677B2 (en) | Image sensing control method and apparatus, image transmission control method, apparatus, and system, and storage means storing program that implements the method | |
JP5495855B2 (en) | Video processing apparatus and video processing method | |
KR101528863B1 (en) | Method of synchronizing tiled image in a streaming service providing system of panoramic image | |
EP2499825B1 (en) | Mosaic application for generating output utilizing content from multiple television receivers | |
KR102069930B1 (en) | Immersion communication client and server, and method for obtaining content view | |
WO2007061068A1 (en) | Receiver and line video distributing device | |
JP2016058994A (en) | Monitoring camera device and monitoring camera system | |
KR101446995B1 (en) | Helmet for imaging multi angle video and method thereof | |
JP2011087268A (en) | Terminal, relay node, and stream processing method for video conference system | |
US20200053395A1 (en) | Video distribution system, user terminal device, and video distribution method | |
JP2013255210A (en) | Video display method, video display device and video display program | |
JP2012109719A (en) | Video processing device and control method therefor | |
JP5675141B2 (en) | Playback apparatus and playback method | |
KR101311463B1 (en) | remote video transmission system | |
JP5520146B2 (en) | Video receiving apparatus and control method thereof | |
JP2012004991A (en) | Broadcast receiving apparatus and control method for the same | |
JP5500972B2 (en) | Broadcast receiving apparatus and control method thereof | |
JP5990309B2 (en) | Image processing apparatus and control method thereof | |
JP2012034083A (en) | Video processing apparatus and control method of the same | |
EP3820153A1 (en) | Image capturing device, distribution system, distribution method, and carrier means | |
JP5451022B2 (en) | Broadcast receiving apparatus and control method thereof | |
JPH11243508A (en) | Image display device | |
JP2017535172A (en) | Setting the data rate in a video camera system | |
EP3386203A1 (en) | Signalling of auxiliary content for a broadcast signal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160708 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160715 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160812 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5990309 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |