JP5433763B2

JP5433763B2 - Video processing apparatus and video processing method

Info

Publication number: JP5433763B2
Application number: JP2012238762A
Authority: JP
Inventors: 本崇博瀧
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2012-10-30
Filing date: 2012-10-30
Publication date: 2014-03-05
Anticipated expiration: 2031-08-31
Also published as: JP2013055681A

Description

本発明の実施形態は、映像処理装置および映像処理方法に関する。 Embodiments described herein relate generally to a video processing apparatus and a video processing method.

近年、視聴者が特殊なメガネを使用せずに裸眼で立体映像を見ることができる立体映像表示装置（いわゆる裸眼３Ｄテレビ）が普及しつつある。この立体映像表示装置は、視点の異なる複数の画像を表示する。そして、それらの画像の光線は、例えばパララックスバリア、レンチキュラレンズなどによって出力方向を制御され、視聴者の両眼に導かれる。視聴者の位置が適切であれば、視聴者は、左目と右目とで異なる視差画像を見ることになるため、映像を立体的に認識することができる。このように視聴者が立体映像を見ることの可能な領域を視域という。 In recent years, stereoscopic image display devices (so-called naked-eye 3D televisions) that allow viewers to view stereoscopic images with the naked eye without using special glasses have become widespread. This stereoscopic video display device displays a plurality of images with different viewpoints. The light rays of these images are guided to the viewer's eyes by controlling the output direction by, for example, a parallax barrier or a lenticular lens. If the viewer's position is appropriate, the viewer sees different parallax images for the left eye and the right eye, and thus can recognize the image in three dimensions. An area in which the viewer can view a stereoscopic image is called a viewing area.

しかしながら、このような視域は限定的であるという問題がある。すなわち、例えば、左目に知覚される画像の視点が右目に知覚される画像の視点に比べて相対的に右側となり、立体映像を正しく認識できなくなる観察位置である逆視領域が存在する。このため、裸眼方式の立体映像表示装置において、視聴者は、視聴位置によっては良好な立体映像を観察することが困難である。 However, there is a problem that such a viewing zone is limited. That is, for example, the viewpoint of the image perceived by the left eye is relatively on the right side as compared to the viewpoint of the image perceived by the right eye, and there is a reverse viewing region that is an observation position where the stereoscopic video cannot be recognized correctly. For this reason, it is difficult for the viewer to observe a good 3D image depending on the viewing position in the autostereoscopic image display device.

特開平１１−３３１８７６号公報JP-A-11-331876

本発明の目的は、視聴者が、良好な立体映像を容易に観察することができる映像処理装置および映像処理方法を提供することにある。 An object of the present invention is to provide a video processing apparatus and a video processing method that enable a viewer to easily observe a good stereoscopic video.

一実施形態によれば、映像処理装置は、表示部と、観測部と、視聴者検出部と、提示部と、視聴者選択部と、算出部と、視域制御部とを備える。表示部は、複数の視差画像を表示する。観測部は、一又は複数の視聴者を観測した観測画像を得る。視聴者検出部は、観測画像を用いて視聴者の位置を検出する。提示部は、一又は複数の視聴者の位置情報と、複数の視差画像を立体的に見ることが可能な視域を示す視域情報とを用いて、表示部と、視域と、一又は複数の視聴者との位置関係を表す俯瞰画像を生成して、当該俯瞰画像と観測画像を表示部に表示させる。視聴者選択部は、視聴者選択信号に応じて、前記観測画像における一以上の視聴者を選択し、優先度付けルールに基づいて、前記選択された視聴者に優先度を付ける。算出部は、複数の視聴者が選択された場合、全ての前記選択された視聴者の位置に応じた領域に前記視域が設定されるよう、制御パラメータを算出し、全ての前記選択された視聴者の位置に応じた領域に前記視域が設定されるよう前記制御パラメータを算出不可能な場合、最も高い優先度が付けられた前記選択された視聴者の位置に応じた領域に前記視域が設定されるよう、前記制御パラメータを算出する。視域制御部は、制御パラメータに応じて、視域を制御する。 According to one embodiment, the video processing apparatus includes a display unit, an observation unit, a viewer detection unit, a presentation unit, a viewer selection unit, a calculation unit, and a viewing zone control unit . The display unit displays a plurality of parallax images. The observation unit obtains an observation image obtained by observing one or a plurality of viewers. The viewer detection unit detects the viewer's position using the observed image. The presenting unit uses the position information of one or a plurality of viewers and viewing area information indicating a viewing area in which a plurality of parallax images can be viewed stereoscopically, and the display unit, the viewing area, An overhead image representing a positional relationship with a plurality of viewers is generated, and the overhead image and the observation image are displayed on the display unit. The viewer selection unit selects one or more viewers in the observed image in accordance with a viewer selection signal, and assigns a priority to the selected viewer based on a prioritization rule. When a plurality of viewers are selected, the calculation unit calculates a control parameter so that the viewing zone is set in a region corresponding to the position of all the selected viewers, and all the selected viewers are selected. If the control parameter cannot be calculated so that the viewing area is set in an area corresponding to the position of the viewer, the viewing is performed in the area corresponding to the position of the selected viewer with the highest priority. The control parameter is calculated so that a range is set. The viewing zone control unit controls the viewing zone according to the control parameter.

一実施形態に係る映像処理装置の外観図。1 is an external view of a video processing apparatus according to an embodiment. 図１の映像処理装置の概略構成を示すブロック図。The block diagram which shows schematic structure of the video processing apparatus of FIG. 一実施形態に係る液晶パネルおよびレンチキュラレンズの一部を上方から見た図。The figure which looked at a part of liquid crystal panel and lenticular lens concerning one embodiment from the upper part. 一実施形態に係る液晶パネルの一部に表示された観測画像と俯瞰画像を示す図。The figure which shows the observation image and overhead image which were displayed on a part of liquid crystal panel which concerns on one Embodiment. 一実施形態に係る制御パラメータを算出する手法の一例を示す図。The figure which shows an example of the method of calculating the control parameter which concerns on one Embodiment. 一実施形態に係る視域調整方法を示すフローチャート。The flowchart which shows the visual field adjustment method which concerns on one Embodiment. 一実施形態に係る優先度付けルールによる視聴者への優先度付けを説明するための図。The figure for demonstrating prioritization to the viewer by the prioritization rule which concerns on one Embodiment. 変形例に係る映像処理装置の概略構成を示すブロック図。The block diagram which shows schematic structure of the video processing apparatus which concerns on a modification.

以下に、図面を参照して本発明の実施形態について説明する。これらの実施形態は、本発明を限定するものではない。 Embodiments of the present invention will be described below with reference to the drawings. These embodiments do not limit the present invention.

図１は、一実施形態に係る映像処理装置１００の外観図であり、図２は、その概略構成を示すブロック図である。映像処理装置１００は、液晶パネル１と、レンチキュラレンズ２と、カメラ３と、受光部４と、コントローラ１０とを備えている。 FIG. 1 is an external view of a video processing apparatus 100 according to an embodiment, and FIG. 2 is a block diagram showing a schematic configuration thereof. The video processing apparatus 100 includes a liquid crystal panel 1, a lenticular lens 2, a camera 3, a light receiving unit 4, and a controller 10.

液晶パネル（表示部）１は、例えば５５インチサイズのパネルであり、水平方向に１１５２０（＝１２８０＊９）個、垂直方向に７２０個の画素が配置される。また、各画素内には、３つのサブピクセル、すなわち、Ｒサブピクセル、ＧサブピクセルおよびＢサブピクセルが垂直方向に形成されている。液晶パネル１には、背面に設けられるバックライト装置（図示せず）から光が照射される。各画素はコントローラ１０から供給される視差画像信号（後述）に応じた輝度の光を透過させる。つまり、液晶パネル１は、複数の視差画像を表示する。 The liquid crystal panel (display unit) 1 is, for example, a 55-inch panel, and 11520 (= 1280 * 9) pixels in the horizontal direction and 720 pixels in the vertical direction are arranged. In each pixel, three subpixels, that is, an R subpixel, a G subpixel, and a B subpixel are formed in the vertical direction. The liquid crystal panel 1 is irradiated with light from a backlight device (not shown) provided on the back surface. Each pixel transmits light having a luminance corresponding to a parallax image signal (described later) supplied from the controller 10. That is, the liquid crystal panel 1 displays a plurality of parallax images.

レンチキュラレンズ（開口制御部）２は液晶パネル１の水平方向に沿って配置される複数の凸部を有し、その数は液晶パネル１の水平方向画素数の１／９である。そして、水平方向に配置される９個の画素につき１つの凸部が対応するように、レンチキュラレンズ２は液晶パネル１の表面に貼り付けられている。各画素を透過した光は凸部の頂点付近から指向性を持って特定の方向へ出力される。つまり、レンチキュラレンズ２は、液晶パネル１に表示された複数の視差画像を所定の方向に出力する。 The lenticular lens (aperture control unit) 2 has a plurality of convex portions arranged along the horizontal direction of the liquid crystal panel 1, and the number thereof is 1/9 of the number of pixels in the horizontal direction of the liquid crystal panel 1. The lenticular lens 2 is affixed to the surface of the liquid crystal panel 1 so that one convex portion corresponds to nine pixels arranged in the horizontal direction. The light transmitted through each pixel is output in a specific direction with directivity from the vicinity of the top of the convex portion. That is, the lenticular lens 2 outputs a plurality of parallax images displayed on the liquid crystal panel 1 in a predetermined direction.

本実施形態の液晶パネル１は、３視差以上の多視差方式（インテグラルイメージング方式）または２視差方式で、立体映像を表示することができ、この他に通常の２次元映像も表示可能である。 The liquid crystal panel 1 of the present embodiment can display a stereoscopic image by a multi-parallax method (integral imaging method) of 3 or more parallax or a 2-parallax method, and can also display a normal two-dimensional image. .

以下の説明では、液晶パネル１の各凸部に対応して９個の画素を設けて、９視差の多視差方式を採用可能な例を説明する。多視差方式では、各凸部に対応する９個の画素にそれぞれ第１〜第９視差画像を表示する。第１〜第９視差画像とは、液晶パネル１の水平方向に沿って並ぶ９つの視点からそれぞれ被写体を見た画像である。視聴者は、レンチキュラレンズ２を介して、左目で第１〜第９視差画像のうちの１つの視差画像を、右目で他の１つの視差画像をそれぞれ見ることにより、映像を立体視できる。多視差方式によると、視差の数を増やすほど、視域を広げることができる。視域とは、液晶パネル１の前方から液晶パネル１を見たときに映像を立体視可能な領域をいう。 In the following description, an example in which nine pixels are provided corresponding to each convex portion of the liquid crystal panel 1 and a 9-parallax multi-parallax method can be adopted will be described. In the multi-parallax method, the first to ninth parallax images are displayed on nine pixels corresponding to the respective convex portions. The first to ninth parallax images are images obtained by viewing the subject from nine viewpoints arranged along the horizontal direction of the liquid crystal panel 1. The viewer can stereoscopically view the video through the lenticular lens 2 by viewing one parallax image of the first to ninth parallax images with the left eye and the other parallax image with the right eye. According to the multi-parallax method, the viewing zone can be expanded as the number of parallaxes is increased. The viewing area refers to an area in which an image can be viewed stereoscopically when the liquid crystal panel 1 is viewed from the front of the liquid crystal panel 1.

一方、２視差方式では、各凸部に対応する９個の画素のうちの４個に右目用視差画像を、他の５個に左目用視差画像をそれぞれ表示する。左目用および右目用視差画像とは、水平方向に並ぶ２つの視点のうち、左側の視点および右側の視点からそれぞれ被写体を見た画像である。視聴者は、レンチキュラレンズ２を介して、左目で左目用視差画像を、右目で右目用視差画像をそれぞれ見ることにより、映像を立体視できる。２視差方式によると、表示される映像の立体感が多視差方式よりも得られやすくなるが、多視差方式に比べて視域が狭くなる。 On the other hand, in the 2-parallax method, the right-eye parallax image is displayed on four of the nine pixels corresponding to each convex portion, and the left-eye parallax image is displayed on the other five. The left-eye and right-eye parallax images are images in which the subject is viewed from the left viewpoint and the right viewpoint among the two viewpoints arranged in the horizontal direction. The viewer can stereoscopically view the video through the lenticular lens 2 by viewing the left-eye parallax image with the left eye and the right-eye parallax image with the right eye. According to the two-parallax method, the stereoscopic effect of the displayed image is more easily obtained than in the multi-parallax method, but the viewing area is narrower than that in the multi-parallax method.

なお、液晶パネル１は各凸部に対応する９個の画素に同一の画像を表示して、２次元画像を表示することもできる。 The liquid crystal panel 1 can also display a two-dimensional image by displaying the same image on nine pixels corresponding to each convex portion.

また、本実施形態では、レンチキュラレンズ２の凸部と表示される視差画像との相対的な位置関係、すなわち、各凸部に対応する９個の画素にどのように視差画像を表示するか、に応じて、視域を可変制御できるようにしている。以下、多視差方式を例に取って、視域の制御について説明する。 In the present embodiment, the relative positional relationship between the convex portion of the lenticular lens 2 and the displayed parallax image, that is, how to display the parallax image on the nine pixels corresponding to each convex portion, The viewing zone can be variably controlled according to the situation. Hereinafter, control of the viewing zone will be described by taking a multi-parallax method as an example.

図３は、液晶パネル１およびレンチキュラレンズ２の一部を上方から見た図である。同図の網掛けの領域が視域を示しており、視域から液晶パネル１を見ると映像を立体視できる。他の領域は逆視やクロストークが発生する領域であり、映像を立体視するのが困難な領域である。 FIG. 3 is a view of a part of the liquid crystal panel 1 and the lenticular lens 2 as viewed from above. The shaded area in the figure shows the viewing area, and the image can be viewed stereoscopically when the liquid crystal panel 1 is viewed from the viewing area. The other areas are areas where reverse viewing and crosstalk occur, and it is difficult to stereoscopically view the video.

図３は、液晶パネル１とレンチキュラレンズ２との相対的な位置関係、より具体的には、液晶パネル１とレンチキュラレンズ２との距離、あるいは液晶パネル１とレンチキュラレンズ２との水平方向のずれ量によって、視域が変化する様子を示している。 3 shows the relative positional relationship between the liquid crystal panel 1 and the lenticular lens 2, more specifically, the distance between the liquid crystal panel 1 and the lenticular lens 2, or the horizontal shift between the liquid crystal panel 1 and the lenticular lens 2. FIG. It shows how the viewing zone changes depending on the amount.

実際には、レンチキュラレンズ２は、液晶パネル１に高精度に位置合わせをして貼り付けられるため、液晶パネル１とレンチキュラレンズ２との相対的な位置を物理的に変更することは困難である。 Actually, since the lenticular lens 2 is attached to the liquid crystal panel 1 with high accuracy, it is difficult to physically change the relative position between the liquid crystal panel 1 and the lenticular lens 2. .

そこで、本実施形態では、液晶パネル１の各画素に表示される第１〜第９視差画像の表示位置をずらすことで、見かけ上、液晶パネル１とレンチキュラレンズ２との相対的な位置関係を変更し、これにより、視域の調整を行う。 Therefore, in the present embodiment, the relative positional relationship between the liquid crystal panel 1 and the lenticular lens 2 is apparently displayed by shifting the display positions of the first to ninth parallax images displayed on each pixel of the liquid crystal panel 1. Change and thus adjust the viewing zone.

例えば、各凸部に対応する９個の画素に第１〜第９視差画像をそれぞれ表示した場合（図３（ａ））に比べ、視差画像を全体に右側にずらして表示した場合（図３（ｂ））、視域は左側に移動する。逆に、視差画像を全体に左側にずらして表示した場合、視域は右側に移動する。 For example, when the first to ninth parallax images are respectively displayed on nine pixels corresponding to the respective convex portions (FIG. 3A), the parallax images are displayed while being shifted to the right as a whole (FIG. 3). (B)), the viewing zone moves to the left. Conversely, when the parallax image is displayed shifted to the left as a whole, the viewing zone moves to the right.

また、水平方向の中央付近では視差画像をずらさず、液晶パネル１の外側ほど、視差画像を外側に大きくずらして表示した場合（図３（ｃ））、視域は液晶パネル１に近づく方向に移動する。なお、ずらす視差画像とずらさない視差画像との間の画素や、ずらす量が異なる視差画像間の画素は、周囲の画素に応じて適宜補間すればよい。また、図３（ｃ）とは逆に、水平方向の中央付近では視差画像をずらさず、液晶パネル１の外側ほど、視差画像を中心側に大きくずらして表示した場合、視域は液晶パネル１から遠ざかる方向に移動する。 Further, when the parallax image is not shifted in the vicinity of the center in the horizontal direction, and the parallax image is displayed with a larger shift toward the outside toward the outer side of the liquid crystal panel 1 (FIG. 3C), the viewing zone is closer to the liquid crystal panel 1. Moving. In addition, what is necessary is just to interpolate suitably the pixel between the parallax image which shifts and the parallax image which does not shift, and the pixel between the parallax images from which the shift amount differs according to a surrounding pixel. Contrary to FIG. 3C, when the parallax image is not shifted near the center in the horizontal direction, and the parallax image is displayed with a large shift toward the center toward the outside of the liquid crystal panel 1, the viewing area is the liquid crystal panel 1. Move away from the camera.

このように、視差画像の全体あるいは一部をずらして表示することにより、視域を液晶パネル１に対して左右方向あるいは前後方向に移動させることができる。図３では説明を簡略化するために視域を１つだけ示しているが、実際には複数の視域が存在し、これらは連動して移動する。視域は後述する図２のコントローラ１０により制御される。 As described above, the viewing area can be moved in the left-right direction or the front-rear direction with respect to the liquid crystal panel 1 by shifting the whole or part of the parallax image. Although only one viewing zone is shown in FIG. 3 for the sake of simplicity, there are actually a plurality of viewing zones that move in conjunction with each other. The viewing zone is controlled by the controller 10 shown in FIG.

図１に戻り、カメラ（観測部）３は、液晶パネル１の下部中央付近に、所定の仰角で取り付けられ、液晶パネル１の前方の所定の範囲を撮影する。つまり、カメラ３は、一又は複数の視聴者を観測した観測画像（カメラ映像）を得る。ただし、カメラの取り付け位置は、上記位置に限定されるものではない。観測画像はコントローラ１０に供給され、視聴者の位置や視聴者の顔等、視聴者に関する情報を検出するために用いられる。また、観測画像は、コントローラ１０を介して液晶パネル１に供給され、それにより視聴者に提示され、視域を調整すべき視聴者を選択するため等に用いられる。カメラ３は、動画像と静止画像のどちらを撮影してもよい。カメラ３は、可視カメラや赤外線カメラ等であってもよい。また、カメラ３の代わりにセンサやレーダ等を観測部として用いて観測画像を得てもよい。ただし、センサやレーダ等を用いる場合、直接観測画像を得ることができないため、ＣＧ（Computer Graphics）やアニメーション等を用いて観測画像を生成することが好ましい。 Returning to FIG. 1, the camera (observation unit) 3 is attached near the center of the lower part of the liquid crystal panel 1 at a predetermined elevation angle and photographs a predetermined range in front of the liquid crystal panel 1. That is, the camera 3 obtains an observation image (camera image) obtained by observing one or a plurality of viewers. However, the camera mounting position is not limited to the above position. The observation image is supplied to the controller 10 and used to detect information about the viewer such as the viewer's position and the viewer's face. Further, the observation image is supplied to the liquid crystal panel 1 via the controller 10, thereby being presented to the viewer and used for selecting the viewer whose viewing area should be adjusted. The camera 3 may shoot either a moving image or a still image. The camera 3 may be a visible camera or an infrared camera. In addition, an observation image may be obtained using a sensor, a radar, or the like as the observation unit instead of the camera 3. However, when a sensor, a radar, or the like is used, an observation image cannot be directly obtained. Therefore, it is preferable to generate an observation image using CG (Computer Graphics), animation, or the like.

受光部（操作信号受信部）４は、例えば液晶パネル１の下部の左側に設けられる。そして、受光部４は視聴者が使用するリモートコントローラから送信される赤外線信号を受信する。赤外線信号は、立体映像を表示するか２次元映像を表示するか、立体映像を表示する場合に多視差方式および２視差方式のいずれを採用するか、視域の制御を行うか否か、等を示す信号を含む。また、赤外線信号は、視域を調整すべき視聴者を選択するための視聴者選択信号を含む。 The light receiving unit (operation signal receiving unit) 4 is provided, for example, on the left side of the lower part of the liquid crystal panel 1. And the light-receiving part 4 receives the infrared signal transmitted from the remote controller which a viewer uses. Whether the infrared signal is a stereoscopic image or a two-dimensional image, whether a multi-parallax method or a two-parallax method is used when displaying a stereoscopic image, whether to control the viewing area, or the like Is included. The infrared signal includes a viewer selection signal for selecting a viewer whose viewing area should be adjusted.

図２に示すように、コントローラ１０は、チューナデコーダ１１と、視差画像変換部１２と、視聴者検出部１３と、算出部１４と、画像調整部１５と、視聴者選択部１６と、提示部１７と、記憶部１８とを有する。コントローラ１０は、例えば１つのＩＣ（Integrated Circuit）として実装され、液晶パネル１の裏側に配置される。もちろん、コントローラ１０の一部をソフトウェアで実装してもよい。 As shown in FIG. 2, the controller 10 includes a tuner decoder 11, a parallax image conversion unit 12, a viewer detection unit 13, a calculation unit 14, an image adjustment unit 15, a viewer selection unit 16, and a presentation unit. 17 and a storage unit 18. The controller 10 is mounted as one IC (Integrated Circuit), for example, and is disposed on the back side of the liquid crystal panel 1. Of course, a part of the controller 10 may be implemented by software.

チューナデコーダ（受信部）１１は入力される放送波を受信および選局し、符号化された映像信号を復号する。放送波に電子番組表（ＥＰＧ）等のデータ放送の信号が重畳されている場合、チューナデコーダ１１はこれを抽出する。あるいは、チューナデコーダ１１は、放送波ではなく、光ディスク再生装置やパーソナルコンピュータ等の映像出力機器から符号化された映像信号を受信し、これを復号する。復号された信号はベースバンド映像信号とも呼ばれ、視差画像変換部１２に供給される。なお、映像処理装置１００が放送波を受信せず、専ら映像出力機器から受信する映像信号を表示する場合、チューナデコーダ１１に代えて単に復号機能を有するデコーダを受信部として設けてもよい。 A tuner decoder (reception unit) 11 receives and selects an input broadcast wave and decodes an encoded video signal. When a data broadcast signal such as an electronic program guide (EPG) is superimposed on the broadcast wave, the tuner decoder 11 extracts it. Alternatively, the tuner decoder 11 receives an encoded video signal from a video output device such as an optical disk playback device or a personal computer instead of a broadcast wave, and decodes it. The decoded signal is also called a baseband video signal, and is supplied to the parallax image conversion unit 12. When the video processing apparatus 100 does not receive a broadcast wave and displays a video signal received exclusively from a video output device, a decoder having a decoding function may be provided as a receiving unit instead of the tuner decoder 11.

チューナデコーダ１１が受信する映像信号は、２次元の映像信号であってもよいし、フレームパッキング（ＦＰ）、サイドバイサイド（ＳＢＳ）あるいはトップアンドボトム（ＴＡＢ）方式等で左目用および右目用の画像を含む３次元の映像信号であってもよい。また、映像信号は３視差以上の画像含む３次元の映像信号であってもよい。 The video signal received by the tuner decoder 11 may be a two-dimensional video signal, and left-eye and right-eye images are obtained by frame packing (FP), side-by-side (SBS), top-and-bottom (TAB), or the like. It may be a three-dimensional video signal. In addition, the video signal may be a three-dimensional video signal including an image having three or more parallaxes.

視差画像変換部１２は、映像を立体表示するために、ベースバンド映像信号を複数の視差画像信号に変換して画像調整部１５に供給する。視差画像変換部１２は、多視差方式と２視差方式のどちらを採用するかで、処理内容が異なる。また、ベースバンド映像信号が２次元の映像信号であるか、３次元の映像信号であるか、に応じて、視差画像変換部１２の処理内容が異なる。 The parallax image conversion unit 12 converts the baseband video signal into a plurality of parallax image signals and supplies them to the image adjustment unit 15 in order to stereoscopically display the video. The parallax image conversion unit 12 has different processing contents depending on which of the multi-parallax method and the two-parallax method is adopted. The processing content of the parallax image conversion unit 12 differs depending on whether the baseband video signal is a two-dimensional video signal or a three-dimensional video signal.

２視差方式を採用する場合、視差画像変換部１２は、左目用および右目用視差画像にそれぞれ対応する左目用および右目用視差画像信号を生成する。より具体的には以下のようにする。 When the two-parallax method is adopted, the parallax image conversion unit 12 generates left-eye and right-eye parallax image signals corresponding to the left-eye and right-eye parallax images, respectively. More specifically, as follows.

２視差方式を採用し、かつ、左目用および右目用の画像を含む３次元映像信号が入力された場合、視差画像変換部１２は液晶パネル１に表示可能な形式の左目用および右目用視差画像信号を生成する。また、３つ以上の画像を含む３次元映像信号が入力される場合、例えばそのうちの任意の２つを用いて、視差画像変換部１２は左目用および右目用視差画像信号を生成する。 When a two-parallax method is adopted and a 3D video signal including a left-eye image and a right-eye image is input, the parallax image conversion unit 12 can display the left-eye and right-eye parallax images in a format that can be displayed on the liquid crystal panel 1. Generate a signal. When a 3D video signal including three or more images is input, for example, using any two of them, the parallax image conversion unit 12 generates a left-eye parallax image signal and a right-eye parallax image signal.

これに対し、２視差方式を採用し、かつ、視差情報を含まない２次元の映像信号が入力された場合、視差画像変換部１２は、映像信号における各画素の奥行き値に基づいて、左目用および右目用視差画像信号を生成する。奥行き値は、各画素がどの程度液晶パネル１に対して手前または奥に見えるように表示するか、を示す値である。奥行き値は予め映像信号に付加されていてもよいし、映像信号の特徴に基づいて動き検出、構図識別および人間の顔検出等を行って奥行き値を生成してもよい。左目用視差画像では、手前に見える画素は奥に見える画素より右側にずれて表示される必要がある。そのため、視差画像変換部１２は映像信号における手前に見える画素を右側にずらす処理を行って左目用視差画像信号を生成する。奥行き値が大きいほどずらす量を大きくする。 In contrast, when a two-dimensional parallax method is used and a two-dimensional video signal that does not include parallax information is input, the parallax image conversion unit 12 uses the left eye for the left eye based on the depth value of each pixel in the video signal. And a right-eye parallax image signal is generated. The depth value is a value indicating how much each pixel is displayed so as to be seen in front of or behind the liquid crystal panel 1. The depth value may be added to the video signal in advance, or the depth value may be generated by performing motion detection, composition identification, human face detection, and the like based on the characteristics of the video signal. In the parallax image for the left eye, the pixel seen in the foreground needs to be displayed shifted to the right side from the pixel seen in the back. Therefore, the parallax image conversion unit 12 generates a left-eye parallax image signal by performing a process of shifting the pixel that appears in the foreground in the video signal to the right. The larger the depth value, the larger the shift amount.

一方、多視差方式を採用する場合、視差画像変換部１２は第１〜第９視差画像にそれぞれ対応する第１〜第９視差画像信号を生成する。より具体的には以下のようにする。 On the other hand, when the multi-parallax method is adopted, the parallax image conversion unit 12 generates first to ninth parallax image signals corresponding to the first to ninth parallax images, respectively. More specifically, as follows.

多視差方式を採用し、かつ、２次元の映像信号または８視差以下の画像を含む３次元の映像信号が入力された場合、視差画像変換部１２は、２次元の映像信号から左目用および右目用視差画像信号を生成するのと同様に奥行き情報に基づいて、第１〜第９視差画像信号を生成する。 When the multi-parallax method is adopted and a two-dimensional video signal or a three-dimensional video signal including an image of 8 parallax or less is input, the parallax image conversion unit 12 uses the left-eye and right-eye from the two-dimensional video signal. The first to ninth parallax image signals are generated based on the depth information in the same manner as the generation of the parallax image signal.

多視差方式を採用し、かつ、９視差の画像を含む３次元の映像信号が入力された場合、視差画像変換部１２はその映像信号を用いて第１〜第９視差画像信号を生成する。 When a multi-parallax method is adopted and a three-dimensional video signal including an image of 9 parallax is input, the parallax image conversion unit 12 generates the first to ninth parallax image signals using the video signal.

視聴者検出部１３は、カメラ３により観測された観測画像を用いて一又は複数の視聴者の位置及び顔等を検出し、その視聴者の位置情報及び顔情報等（視聴者認識情報）を視聴者選択部１６および提示部１７に供給する。視聴者検出部１３は、視聴者が動いても、視聴者の顔情報に基づいて追尾することが可能である。よって、後述するように、選択された視聴者に視域を追従させること（オートトラッキングモード）や、視聴者ごとの視聴時間を把握すること等もできる。 The viewer detection unit 13 detects the position and face of one or a plurality of viewers using the observation image observed by the camera 3, and uses the viewer's position information and face information (viewer recognition information). It supplies to the viewer selection part 16 and the presentation part 17. The viewer detection unit 13 can track the viewer based on the viewer's face information even when the viewer moves. Therefore, as will be described later, it is possible to cause the selected viewer to follow the viewing zone (auto tracking mode), to grasp the viewing time for each viewer, and the like.

視聴者の位置情報は、例えば液晶パネル１の中央を原点とするＸ軸（水平方向）、Ｙ軸（垂直方向）およびＺ軸（液晶パネル１に対して直交する方向）上の位置として表される。より具体的には、視聴者検出部１３は、まず、観測画像から顔を検出することにより視聴者を認識する。次いで、視聴者検出部１３は観測画像における顔の位置からＸ軸およびＹ軸上の位置を算出し、顔の大きさからＺ軸上の位置を算出する。視聴者が複数いる場合、視聴者検出部１３は、予め定めた数、例えば１０人分だけ視聴者の位置を検出するようにしてもよい。この場合、検出された顔の数が１０より大きいときは、例えば液晶パネル１から近い、すなわち、Ｚ軸上の位置が小さい順に１０人の視聴者の位置を検出する。 The viewer's position information is represented as, for example, positions on the X axis (horizontal direction), Y axis (vertical direction), and Z axis (direction orthogonal to the liquid crystal panel 1) with the center of the liquid crystal panel 1 as the origin. The More specifically, the viewer detection unit 13 first recognizes the viewer by detecting a face from the observed image. Next, the viewer detection unit 13 calculates the position on the X axis and the Y axis from the position of the face in the observed image, and calculates the position on the Z axis from the size of the face. When there are a plurality of viewers, the viewer detection unit 13 may detect the positions of the viewers by a predetermined number, for example, 10 people. In this case, when the number of detected faces is larger than 10, for example, the positions of 10 viewers are detected in order from the position closer to the liquid crystal panel 1, that is, the position on the Z-axis is smaller.

提示部１７は、カメラ３により観測された観測画像を液晶パネル１に供給して視聴者に提示する。その際、提示部１７は、視聴者検出部１３からの視聴者の位置情報に基づいて、観測画像上の位置が検出された視聴者の顔に枠を付けることができる。視聴者は、枠の有無により、自分が認識されているか否か分かる。 The presentation unit 17 supplies the observation image observed by the camera 3 to the liquid crystal panel 1 and presents it to the viewer. At that time, the presentation unit 17 can add a frame to the face of the viewer whose position on the observed image is detected based on the position information of the viewer from the viewer detection unit 13. The viewer can know whether or not he / she is recognized by the presence / absence of a frame.

さらに、提示部１７は、視聴者の位置情報と、算出部１４からの現在設定されている視域のパターンを示す視域情報とを用いて、液晶パネル１と視域と視聴者との位置関係を表す俯瞰画像を生成する。そして、提示部１７は、この生成された俯瞰画像を液晶パネル１に供給して視聴者に提示する。つまり、この俯瞰画像は、液晶パネル１および視聴領域を上方から俯瞰した状態を示す画像である。視聴領域は、視聴者が液晶パネル１に表示されている画像を観察可能な領域である。視聴者は、俯瞰画像を見ることで、自分が視域に入っているか否か分かる。 Further, the presentation unit 17 uses the position information of the viewer and the viewing zone information indicating the currently set viewing zone pattern from the calculation unit 14 to position the liquid crystal panel 1, the viewing zone, and the viewer. An overhead image representing the relationship is generated. Then, the presentation unit 17 supplies the generated overhead image to the liquid crystal panel 1 and presents it to the viewer. That is, this bird's-eye view image is an image showing a state where the liquid crystal panel 1 and the viewing area are seen from above. The viewing area is an area where the viewer can observe the image displayed on the liquid crystal panel 1. The viewer can see whether he / she is in the viewing zone by looking at the overhead view image.

提示部１７は、観測画像と俯瞰画像の少なくとも何れかを液晶パネル１に供給すればよい。これにより、液晶パネル１は、観測画像と俯瞰画像の少なくとも何れかを表示できる。観測画像および俯瞰画像は二次元の画像として表示される。なお、俯瞰図に関しては、立体画像（コンピュータ・グラフィックスのような三次元の画像）として表示してもよい。 The presentation unit 17 may supply at least one of the observation image and the overhead image to the liquid crystal panel 1. Thereby, the liquid crystal panel 1 can display at least one of the observation image and the overhead image. The observation image and the overhead image are displayed as a two-dimensional image. The overhead view may be displayed as a stereoscopic image (a three-dimensional image such as computer graphics).

図４は、液晶パネル１の一部に表示された観測画像と俯瞰画像を示す。一例として、上下に並べられた観測画像と俯瞰画像は、液晶パネル１の右側に表示されている。観測画像上の３人の視聴者２０Ａ，２０Ｂ，２０Ｃの顔には、それぞれ枠Ａ，Ｂ，Ｃが付されている。観測画像及び俯瞰画像上の視聴者２０Ｃの顔には、選択用の枠Ｓが付されている。図示する例では、俯瞰画像から分かるように、視聴者２０Ａは視域２１に入っていて立体映像を観察できる。視聴者２０Ｂは一部が視域２１に入っているが立体映像を観察できない可能性がある。視聴者２０Ｃは逆視領域２２に入っていて立体映像を観察できない。 FIG. 4 shows an observed image and an overhead image displayed on a part of the liquid crystal panel 1. As an example, the observation image and the overhead image arranged in the vertical direction are displayed on the right side of the liquid crystal panel 1. Frames A, B, and C are attached to the faces of the three viewers 20A, 20B, and 20C on the observation image, respectively. A selection frame S is attached to the face of the viewer 20C on the observation image and the overhead image. In the example shown in the figure, as can be seen from the overhead image, the viewer 20A is in the viewing zone 21 and can observe the stereoscopic video. A part of the viewer 20 </ b> B is in the viewing zone 21, but there is a possibility that the stereoscopic video cannot be observed. The viewer 20 </ b> C is in the reverse viewing area 22 and cannot observe a stereoscopic image.

観測画像と俯瞰画像は、左右に並べられてもよく、斜めに並べられてもよく、液晶パネル１の全面に表示されてもよい。また、観測画像と俯瞰画像は、放送波による映像等の他の映像上に重畳されてもよく、他の映像上に重畳されなくてもよい。 The observation image and the overhead image may be arranged side by side, may be arranged obliquely, or may be displayed on the entire surface of the liquid crystal panel 1. Further, the observation image and the overhead image may be superimposed on another video such as a video by a broadcast wave, or may not be superimposed on the other video.

視聴者選択部１６は、入力された視聴者選択信号に応じて、観測画像または俯瞰画像上の一又は複数の視聴者の中から一以上の視聴者を選択する。例えば、視聴者選択信号は、リモートコントローラのカーソルボタンや決定ボタンを押した際に送信される信号である。具体的には、視聴者選択部１６は、視聴者検出部１３から供給された一又は複数の視聴者の位置情報の中から一以上の視聴者の位置情報を選択して、選択された視聴者の位置情報を算出部１４に供給する。 The viewer selection unit 16 selects one or more viewers from one or a plurality of viewers on the observation image or the overhead image according to the input viewer selection signal. For example, the viewer selection signal is a signal transmitted when a cursor button or a determination button of the remote controller is pressed. Specifically, the viewer selection unit 16 selects one or more viewer position information from the position information of one or more viewers supplied from the viewer detection unit 13, and selects the selected viewing The position information of the person is supplied to the calculation unit 14.

この時、提示部１７は、例えば図４に示すように、観測画像または俯瞰画像上において、ある視聴者に選択用の枠Ｓを付して、視聴者選択信号に応じて選択用の枠Ｓが付される視聴者を変更できる。これにより、視聴者は、例えばリモートコントローラのカーソルボタンを押すことで選択用の枠Ｓを移動させて、選択用の枠Ｓが所望の視聴者に付されている状態で決定ボタンを押すことで、その視聴者を選択できる。 At this time, for example, as shown in FIG. 4, the presentation unit 17 attaches a selection frame S to a certain viewer on the observation image or the overhead image, and selects the selection frame S according to the viewer selection signal. Viewers with can be changed. Thus, the viewer moves the selection frame S by, for example, pressing the cursor button of the remote controller, and presses the decision button while the selection frame S is attached to the desired viewer. , That viewer can be selected.

視聴者選択信号は、液晶パネル１に表示させたタッチパネル等の信号入力部（図示せず）から入力されてもよい。 The viewer selection signal may be input from a signal input unit (not shown) such as a touch panel displayed on the liquid crystal panel 1.

視聴者選択部１６は、視聴者選択信号に応じて、優先度を付けて一以上の視聴者を選択してもよい。この場合、例えば、視聴者が選択された順番に優先度を高く付けてもよい。あるいは、視聴者を選択する際に、視聴者がリモートコントローラを用いて優先度を入力するようにしてもよい。 The viewer selection unit 16 may select one or more viewers with priorities according to the viewer selection signal. In this case, for example, the priority may be set higher in the order in which the viewers are selected. Alternatively, when selecting a viewer, the viewer may input the priority using a remote controller.

また、視聴者選択部１６は、所定の優先度付けルールに基づいて、選択された視聴者に優先度を付けてもよい。優先度付けルールについては後述する。優先度付けルールは、予め設定されており、視聴者がメニュー画面等を用いて複数の優先度付けルールの中から所望のものを選択してもよいし、製品出荷時に所定の優先度付けルールを設定してもよい。 In addition, the viewer selection unit 16 may prioritize the selected viewer based on a predetermined prioritization rule. The prioritization rule will be described later. The prioritization rules are set in advance, and the viewer may select a desired one from a plurality of prioritization rules using a menu screen or the like, or a predetermined prioritization rule at the time of product shipment May be set.

算出部１４は、視聴者選択部１６で選択された視聴者の位置に応じた領域に適切に視域が設定されるよう、制御パラメータを算出し、画像調整部１５に供給する。この制御パラメータは、例えば、図３で説明した視差画像をずらす量である。 The calculation unit 14 calculates control parameters and supplies the control parameters to the image adjustment unit 15 so that the viewing zone is appropriately set in the region corresponding to the position of the viewer selected by the viewer selection unit 16. This control parameter is, for example, the amount by which the parallax image described in FIG. 3 is shifted.

より詳しくは、所望の視域を設定するために、算出部１４は、制御パラメータと、その制御パラメータで設定される視域とを対応付けた視域データベースを用いる。この視域データベースは記憶部１８に予め格納されている。算出部１４は、視域データベースを検索することによって、選択された視聴者を収めることの可能な視域を見つける。算出部１４は、適切であると判断した視域を示す視域情報を、提示部１７に供給する。 More specifically, in order to set a desired viewing zone, the calculation unit 14 uses a viewing zone database in which a control parameter is associated with a viewing zone set by the control parameter. This viewing area database is stored in the storage unit 18 in advance. The calculation unit 14 searches the viewing zone database to find a viewing zone in which the selected viewer can be accommodated. The calculation unit 14 supplies viewing zone information indicating the viewing zone determined to be appropriate to the presentation unit 17.

図５は、制御パラメータを算出する手法の一例を示す図である。視聴者選択部１６で一人の視聴者が選択された場合について説明する。算出部１４は、視域データベースに格納された各視域について、視域と選択された視聴者とが重なる面積を算出し、その面積が最大となる視域を適切な視域と判断する。図５の例では、予め定めた図５（ａ）〜図５（ｅ）の５つの視域（網掛けの領域）のパターンのうち、視域を液晶パネル１に向かって左側に設定する図５（ｂ）において、選択された視聴者２０と視域とが重なる面積が最大となる。よって、算出部１４は図５（ｂ）の視域のパターンを適切な視域と判断する。この場合、図５（ｂ）の視域のパターンで視差画像を表示するための制御パラメータが図２の画像調整部１５に供給される。 FIG. 5 is a diagram illustrating an example of a method for calculating the control parameter. A case where one viewer is selected by the viewer selection unit 16 will be described. For each viewing area stored in the viewing area database, the calculation unit 14 calculates an area where the viewing area overlaps with the selected viewer, and determines the viewing area having the maximum area as the appropriate viewing area. In the example of FIG. 5, among the predetermined patterns of the five viewing zones (shaded regions) in FIGS. 5A to 5E, the viewing zone is set on the left side toward the liquid crystal panel 1. In 5 (b), the area where the selected viewer 20 overlaps with the viewing area is maximized. Therefore, the calculation unit 14 determines that the viewing zone pattern in FIG. 5B is an appropriate viewing zone. In this case, control parameters for displaying a parallax image with the pattern of the viewing zone in FIG. 5B are supplied to the image adjustment unit 15 in FIG.

算出部１４は、視聴者選択部１６で複数の視聴者が選択された場合、最初に、全ての選択された視聴者の位置に応じた領域に視域が設定されるよう、制御パラメータを算出する。即ち、算出部１４は、全ての選択された視聴者が平等に立体映像を観察可能なように制御パラメータを算出する。 When a plurality of viewers are selected by the viewer selection unit 16, the calculation unit 14 first calculates the control parameter so that the viewing area is set in an area corresponding to the positions of all the selected viewers. To do. That is, the calculation unit 14 calculates the control parameter so that all the selected viewers can observe the stereoscopic video equally.

しかし、選択された視聴者の数や位置によっては、視域を平等に設定不可能な場合がある。そこで、算出部１４は、全ての選択された視聴者の位置に応じた領域に視域が設定されるよう制御パラメータを算出不可能な場合、最も高い優先度が付けられた選択された視聴者の位置に応じた領域に視域が設定されるよう、制御パラメータを算出する。 However, depending on the number and position of the selected viewers, the viewing zone may not be set equally. Therefore, the calculation unit 14 selects the selected viewer with the highest priority when the control parameter cannot be calculated so that the viewing zone is set in an area corresponding to the positions of all the selected viewers. The control parameter is calculated so that the viewing zone is set in the region corresponding to the position of the.

例えば、図４の例において、３人の視聴者２０Ａ，２０Ｂ，２０Ｃが選択された場合、全ての選択された視聴者２０Ａ，２０Ｂ，２０Ｃの位置に応じた領域に視域２１が設定できない。つまり、視域２１を液晶パネル１に向かって図４の俯瞰画像の例より左側に設定して、視聴者２０Ｃが視域２１に入るようにした場合、視聴者２０Ｂが視域２１に入らないようになる。同様に、視域２１を液晶パネル１に向かって図４の例より右側に設定して、視聴者２０Ｂの全体が視域２１に入るようにした場合、視聴者２０Ｃが視域２１に入らない。よって、この例の場合、視聴者２０Ａの優先度が最も高いと仮定すると、視聴者２０Ａが視域２１に入るようにする。 For example, in the example of FIG. 4, when three viewers 20A, 20B, and 20C are selected, the viewing zone 21 cannot be set in an area corresponding to the positions of all the selected viewers 20A, 20B, and 20C. That is, when the viewing area 21 is set to the left side of the liquid crystal panel 1 from the example of the bird's-eye view image of FIG. 4 and the viewer 20C enters the viewing area 21, the viewer 20B does not enter the viewing area 21. It becomes like this. Similarly, when the viewing area 21 is set to the right side from the example of FIG. 4 toward the liquid crystal panel 1 so that the entire viewer 20B enters the viewing area 21, the viewer 20C does not enter the viewing area 21. . Therefore, in this example, assuming that the viewer 20A has the highest priority, the viewer 20A enters the viewing zone 21.

なお、上述のように制御パラメータを算出不可能な場合に、算出部１４は、選択された視聴者のうち、優先度が相対的に低い視聴者を収めず、かつ優先度が相対的に高い視聴者を収める視域を設定するための制御パラメータを算出してもよい。例えば、まず、選択された視聴者のうち優先度が最も低い視聴者を除外して、残りの選択された視聴者が全て視域内に収まる視域を設定するための制御パラメータの算出を試みる。それでもなお制御パラメータを算出できない場合には、残った視聴者のうち最も優先度の低い視聴者を除外して、制御パラメータの算出を試みる。これを繰り返すことで、優先度が相対的に高い視聴者については常に視域内に収めることができる。 When the control parameter cannot be calculated as described above, the calculation unit 14 does not include viewers with relatively low priority among the selected viewers, and the priority is relatively high. A control parameter for setting a viewing area in which the viewer is accommodated may be calculated. For example, first, a viewer with the lowest priority among the selected viewers is excluded, and calculation of a control parameter for setting a viewing zone in which all the remaining selected viewers are within the viewing zone is attempted. If the control parameter still cannot be calculated, the control parameter calculation is attempted by excluding the viewer with the lowest priority among the remaining viewers. By repeating this, a viewer with a relatively high priority can always be within the viewing zone.

あるいは、算出部１４は、全ての選択された視聴者の位置に応じた領域に視域が設定されるよう制御パラメータを算出せずに、最初から、最も高い優先度が付けられた選択された視聴者の位置に応じた領域に視域が設定されるよう、制御パラメータを算出してもよい。 Alternatively, the calculation unit 14 does not calculate the control parameter so that the viewing area is set in the area corresponding to the position of all the selected viewers, and is selected with the highest priority from the beginning. The control parameter may be calculated so that the viewing area is set in an area corresponding to the position of the viewer.

画像調整部（視域制御部）１５は、視域を制御するために、算出された制御パラメータに応じて視差画像信号をずらしたり補間したりする調整を行った後に、液晶パネル１に供給する。これにより、液晶パネル１は調整された視差画像信号に対応する複数の視差画像を表示する。 The image adjusting unit (viewing zone control unit) 15 supplies the liquid crystal panel 1 after adjusting the parallax image signal according to the calculated control parameter in order to control the viewing zone. . Thereby, the liquid crystal panel 1 displays a plurality of parallax images corresponding to the adjusted parallax image signal.

記憶部１８は、フラッシュメモリなどの不揮発性メモリであり、視域データベースの他、優先度付けルール、後述するユーザ登録情報、３Ｄ優先視聴者情報、初期視聴位置などを記憶する。この記憶部１８は、コントローラ１０の外部に設けられてもよい。 The storage unit 18 is a non-volatile memory such as a flash memory, and stores a prioritization rule, user registration information (to be described later), 3D priority viewer information, an initial viewing position, and the like in addition to a viewing area database. The storage unit 18 may be provided outside the controller 10.

本実施形態の映像処理装置１００では、例えば、３次元視聴位置チェック機能を用いて視域を調整可能である。以下、図６を参照して３次元視聴位置チェック機能を用いた視域調整の方法について説明する。３次元視聴位置チェック機能は、例えば、リモートコントローラの所定のボタンを押すことで起動でき、液晶パネル１に観測画像と俯瞰画像の少なくとも何れかを表示した状態（例えば、図４の状態）で視域を調整可能なものである。 In the video processing apparatus 100 of the present embodiment, the viewing zone can be adjusted using, for example, a three-dimensional viewing position check function. Hereinafter, a method of adjusting the viewing area using the three-dimensional viewing position check function will be described with reference to FIG. The three-dimensional viewing position check function can be activated, for example, by pressing a predetermined button on the remote controller, and can be viewed in a state where at least one of an observation image and an overhead image is displayed on the liquid crystal panel 1 (for example, the state of FIG. 4). The range can be adjusted.

図６は、一実施形態に係る視域調整方法を示すフローチャートである。図６に示すように、まず、カメラ３により、一又は複数の視聴者を観測した観測画像を得る（ステップＳ１１）。 FIG. 6 is a flowchart illustrating a viewing zone adjustment method according to an embodiment. As shown in FIG. 6, first, an observation image obtained by observing one or a plurality of viewers is obtained by the camera 3 (step S11).

次に、視聴者検出部１３により、ステップＳ１１で得られた観測画像を用いて一又は複数の視聴者の位置を検出する（ステップＳ１２）。 Next, the viewer detection unit 13 detects the positions of one or more viewers using the observation image obtained in step S11 (step S12).

次に、提示部１７により、観測画像と俯瞰画像の少なくとも何れかを液晶パネル１に供給して視聴者に提示する（ステップＳ１３）。 Next, the presentation unit 17 supplies at least one of the observation image and the overhead image to the liquid crystal panel 1 and presents it to the viewer (step S13).

視聴者は、液晶パネル１に表示された観測画像と俯瞰画像の少なくとも何れかを見ながら、リモートコントローラのカーソルボタンや決定ボタン等を用いて、視域を調整すべき視聴者を選択する。つまり、視聴者選択部１６により、入力された視聴者選択信号に応じて、一又は複数の視聴者の中から一以上の視聴者を選択する（ステップＳ１４）。 The viewer selects a viewer whose viewing area is to be adjusted by using a cursor button, a determination button, or the like of the remote controller while viewing at least one of the observation image and the overhead image displayed on the liquid crystal panel 1. That is, the viewer selection unit 16 selects one or more viewers from one or a plurality of viewers according to the input viewer selection signal (step S14).

その後、例えば視聴者がリモートコントローラの所定のボタンを押すと、選択された視聴者に視域が調整される。つまり、算出部１４により、選択された視聴者の位置に応じた領域に視域が設定されるよう、制御パラメータを算出する（ステップＳ１５）。 Thereafter, for example, when the viewer presses a predetermined button on the remote controller, the viewing area is adjusted to the selected viewer. That is, the control parameter is calculated by the calculation unit 14 so that the viewing area is set in an area corresponding to the position of the selected viewer (step S15).

ステップＳ１５で制御パラメータを算出できた場合（ステップＳ１６；Ｙｅｓ）、ステップＳ１８に移行する。 When the control parameter can be calculated in step S15 (step S16; Yes), the process proceeds to step S18.

ステップＳ１５で制御パラメータを算出不可能な場合（ステップＳ１６；Ｎｏ）、算出部１４により、最も高い優先度が付けられた選択された視聴者の位置に応じた領域に視域が設定されるよう、制御パラメータを算出する（ステップＳ１７）。前述のように、制御パラメータを算出不可能な場合として、例えば、複数の視聴者が選択された場合などがある。 If the control parameter cannot be calculated in step S15 (step S16; No), the calculation unit 14 sets the viewing zone in an area corresponding to the position of the selected viewer with the highest priority. Then, control parameters are calculated (step S17). As described above, the case where the control parameter cannot be calculated includes, for example, a case where a plurality of viewers are selected.

ステップＳ１５，Ｓ１７において視域情報も更新されるため、俯瞰画像の視域も更新される。 Since the viewing zone information is also updated in steps S15 and S17, the viewing zone of the overhead image is also updated.

次に、画像調整部１５により、ステップＳ１５またはステップＳ１７で算出された制御パラメータに応じて、視域を制御する（ステップＳ１８）。 Next, the viewing zone is controlled by the image adjustment unit 15 in accordance with the control parameter calculated in step S15 or step S17 (step S18).

そして、液晶パネル１により、視差画像を表示する（ステップＳ１９）。 Then, a parallax image is displayed on the liquid crystal panel 1 (step S19).

３次元視聴位置チェック機能が起動されている時、例えばリモートコントローラの所定のボタンを押すと、チェック用の静止画が表示されるようにしてもよい。このチェック用の静止画は、複数の視差画像からなる。よって、視聴者は、この静止画が立体的に見えるか否か確認できる。 When the three-dimensional viewing position check function is activated, for example, when a predetermined button of the remote controller is pressed, a check still image may be displayed. This still image for check is composed of a plurality of parallax images. Therefore, the viewer can check whether or not the still image looks three-dimensional.

このようにして、選択された視聴者は、液晶パネル１に表示された複数の視差画像を立体的に見ることができる。 In this way, the selected viewer can view a plurality of parallax images displayed on the liquid crystal panel 1 in three dimensions.

なお、映像処理装置１００は、選択された視聴者に視域が追従するように定期的に視域を調整するオートトラッキングモードを有してもよい。オートトラッキングモードが有効になっている場合、３次元視聴位置チェック機能においては、以上のステップＳ１１からステップＳ１９の一連の処理が定期的に繰り返される。従って、この場合、視聴者検出部１３により、一又は複数の視聴者の位置を定期的に検出するようになる（ステップＳ１２）。また、算出部１４により、一又は複数の視聴者の位置が検出される度に制御パラメータを算出するようになる（ステップＳ１５，Ｓ１７）。これにより、選択された視聴者が移動しても、その視聴者の位置に視域が追従するようなる。従って、３次元視聴位置チェック機能が終了された後、選択された視聴者が移動しても、この視聴者は複数の視差画像を立体的に見ることができる。３次元視聴位置チェック機能が終了された後は、ステップＳ１３とステップＳ１４の処理を除いたステップＳ１１，Ｓ１２，Ｓ１５〜Ｓ１９の一連の処理が定期的に繰り返されて、視域が調整される。 Note that the video processing apparatus 100 may have an auto tracking mode in which the viewing area is periodically adjusted so that the viewing area follows the selected viewer. When the auto tracking mode is enabled, in the three-dimensional viewing position check function, the series of processes from step S11 to step S19 are periodically repeated. Therefore, in this case, the viewer detection unit 13 periodically detects the positions of one or more viewers (step S12). Further, the control unit calculates the control parameter every time the position of one or a plurality of viewers is detected by the calculation unit 14 (steps S15 and S17). As a result, even if the selected viewer moves, the viewing zone follows the viewer's position. Therefore, even if the selected viewer moves after the three-dimensional viewing position check function is finished, the viewer can view a plurality of parallax images in three dimensions. After the three-dimensional viewing position check function is completed, a series of processes of steps S11, S12, and S15 to S19 excluding the processes of steps S13 and S14 are periodically repeated to adjust the viewing zone.

［優先度付けルール］
次に、上述した優先度付けルールの具体例（ａ）〜（ｈ）を列挙する。 [Prioritization rule]
Next, specific examples (a) to (h) of the above-described prioritization rules are listed.

（ａ）液晶パネル１の端よりも正面にいる視聴者の方が、高い視聴意欲を有している可能性が大きい。そこで、本優先度付けルールでは、図７（ａ）に示すように、液晶パネル１の正面方向にいる視聴者Ａから液晶パネル１の端にいる視聴者Ｂの順に高い優先度を付ける。
本優先度付けルールを採る場合、視聴者選択部１６は、例えば、視聴者の位置情報を用いて、液晶パネル１の表示面と、視聴者および液晶パネル１の中心を通る垂直方向の面とがなす角度（最大９０°）を求め、その角度が大きい視聴者から順に高い優先度を付ける。 (A) The viewer who is in front of the end of the liquid crystal panel 1 is more likely to have a higher willingness to view. Therefore, in this priority setting rule, as shown in FIG. 7A, a higher priority is assigned in the order of the viewer A in the front direction of the liquid crystal panel 1 to the viewer B at the end of the liquid crystal panel 1.
In the case of adopting this prioritization rule, the viewer selection unit 16 uses, for example, the position information of the viewer to display the display surface of the liquid crystal panel 1 and the vertical surface passing through the viewer and the center of the liquid crystal panel 1. The angle (maximum 90 °) is determined, and the higher priority is given in order from the viewer with the largest angle.

（ｂ）立体映像を見る上で最適な視聴距離（液晶パネル１と視聴者との間の距離）に近い視聴者を優先する。本優先度付けルールでは、図７（ｂ）に示すように、視聴距離が立体映像を見る上で最適な視聴距離（最適視聴距離ｄ）に近い視聴者Ａから順に高い優先度を付ける。なお、最適視聴距離ｄの値は、液晶パネルのサイズ等の各種パラメータに依存するため、映像処理装置の製品ごとに異なる値が設定される。また、最適視聴距離ｄの値は、視聴者が設定してもよい。
本優先度付けルールを採る場合、視聴者選択部１６は、視聴者の位置情報に含まれるＺ軸上の位置と、最適視聴距離ｄとの差を求め、その差が小さい視聴者から順に高い優先度を付ける。 (B) Priority is given to viewers who are close to the optimal viewing distance (distance between the liquid crystal panel 1 and the viewer) for viewing stereoscopic images. In this prioritization rule, as shown in FIG. 7B, a higher priority is given in order from the viewer A whose viewing distance is close to the optimum viewing distance (optimum viewing distance d) for viewing stereoscopic video. Note that since the value of the optimum viewing distance d depends on various parameters such as the size of the liquid crystal panel, a different value is set for each product of the video processing apparatus. Further, the viewer may set the value of the optimum viewing distance d.
In the case of adopting this prioritization rule, the viewer selection unit 16 obtains a difference between the position on the Z axis included in the viewer position information and the optimum viewing distance d, and the difference increases in descending order from the viewer. Give priority.

（ｃ）視聴時間が長い視聴者ほど、その番組に対して高い視聴意欲を有している可能性が大きい。そこで、本優先度付けルールでは、視聴時間が長い視聴者から順に高い優先度を付ける。視聴時間は、例えば、視聴中の番組の開始時間を基準として計算する。視聴中の番組の開始時間は、電子番組表（ＥＰＧ）等から取得可能である。また、視聴時間は、視聴中の番組が選局された時間を基準として計算してもよい。また、視聴時間は、映像表示装置１００の電源が投入され、映像表示を開始した時間を基準として計算してもよい。
本優先度付けルールを採る場合、視聴者選択部１６は、視聴者ごとに視聴時間を計算し、視聴時間が長い視聴者から順に高い優先度を付ける。 (C) A viewer who has a long viewing time is more likely to have a high willingness to watch the program. Therefore, according to the prioritization rule, a higher priority is given in order from the viewer with the longest viewing time. The viewing time is calculated based on, for example, the start time of the program being viewed. The start time of the program being viewed can be acquired from an electronic program guide (EPG) or the like. The viewing time may be calculated based on the time when the program being viewed is selected. The viewing time may be calculated based on the time when the video display device 100 is turned on and the video display is started.
In the case of adopting this prioritization rule, the viewer selection unit 16 calculates the viewing time for each viewer, and assigns a higher priority in order from the viewer with the longer viewing time.

（ｄ）リモートコントローラを持っている視聴者は、リモートコントローラを操作して視聴チャンネルを選択するため、中心的な視聴者である可能性が大きい。そこで、本優先度付けルールでは、リモートコントローラを持っている視聴者、またはリモートコントローラに近い視聴者に最も高い優先度を付ける。
本優先度付けルールを採る場合、視聴者検出部１３は、リモートコントローラを持っている視聴者を認識し、その視聴者の視聴者認識情報を視聴者選択部１６に供給する。リモートコントローラを持っている視聴者の認識方法としては、リモートコントローラから発せられる赤外線もしくはリモートコントローラに予め設けられた目印をカメラ３で検出して、リモートコントローラ位置から最も近い視聴者を認識する方法、または、画像認識によってリモートコントローラを持っている視聴者を直接的に認識する方法などがある。そして、視聴者選択部１６は、リモートコントローラを持っている視聴者に最も高い優先度を付ける。なお、視聴者選択部１６は、リモートコントローラを持っている視聴者以外の視聴者については、例えばリモートコントローラに近い視聴者から順に高い優先度を付けるようにしてもよい。 (D) Since a viewer having a remote controller operates the remote controller to select a viewing channel, there is a high possibility that the viewer is a central viewer. Therefore, in this priority setting rule, the highest priority is given to a viewer who has a remote controller or a viewer close to the remote controller.
In the case of adopting this prioritization rule, the viewer detection unit 13 recognizes a viewer having a remote controller and supplies the viewer recognition information of the viewer to the viewer selection unit 16. As a method of recognizing a viewer who has a remote controller, a method of detecting an infrared ray emitted from the remote controller or a mark provided in advance on the remote controller with the camera 3 and recognizing the viewer closest to the remote controller position, Alternatively, there is a method of directly recognizing a viewer who has a remote controller by image recognition. And the viewer selection part 16 gives the highest priority to the viewer who has a remote controller. Note that the viewer selection unit 16 may give higher priority to viewers other than the viewer having the remote controller, for example, in order from the viewer closest to the remote controller.

（ｅ）映像処理装置１００のユーザに関する情報を、ユーザ登録情報として記憶部１８に記憶させることも可能である。このユーザ登録情報は、顔写真、及び、立体映像を視聴する優先度を示す３Ｄ視聴優先度などの情報を含むことができる。本優先度付けルールでは、この３Ｄ視聴優先度の高い視聴者を優先する。
本優先度付けルールを採る場合、視聴者検出部１３は、カメラ３で撮影された映像から各視聴者の顔情報を取得する。そして、視聴者検出部１３は、視聴者の各々について、顔情報とマッチングするユーザ登録情報の顔写真を検索することによりその視聴者の３Ｄ視聴優先度を記憶部１８から読み出す。そして、視聴者検出部１３は、各視聴者について、視聴者認識情報（位置情報）と３Ｄ視聴優先度の組み合わせを視聴者選択部１６に供給する。視聴者選択部１６は、３Ｄ視聴優先度が高い視聴者から順に高い優先度を付ける。なお、ユーザ登録情報のない視聴者については低め（あるいは最低）の優先度を付けてもよい。 (E) Information related to the user of the video processing device 100 can be stored in the storage unit 18 as user registration information. This user registration information can include information such as a face photograph and 3D viewing priority indicating the priority of viewing a stereoscopic video. In this priority setting rule, a viewer with a high 3D viewing priority is given priority.
In the case of adopting this prioritization rule, the viewer detection unit 13 acquires the face information of each viewer from the video captured by the camera 3. Then, the viewer detection unit 13 retrieves the viewer's 3D viewing priority from the storage unit 18 by searching for a facial photograph of the user registration information that matches the facial information for each viewer. Then, the viewer detection unit 13 supplies the viewer selection unit 16 with a combination of viewer recognition information (position information) and 3D viewing priority for each viewer. The viewer selection unit 16 assigns a higher priority in order from the viewer with the highest 3D viewing priority. A viewer with no user registration information may be given a lower (or lowest) priority.

（ｆ）映像処理装置１００およびソファーや椅子などの家具の配置状況によっては、液晶パネル１の正面からではなく斜め方向から視聴することが多くなる場合が想定される。そのような場合には、視域が液晶パネル１の斜め方向に設定される頻度が高くなる。そこで、本優先度付けルールでは、視域に頻繁に設定される場所にいる視聴者を優先する。
本優先度付けルールを採る場合、算出部１４は、例えば、制御パラメータを算出するごとに、算出された制御パラメータを記憶部１８に保存する。そして、視聴者選択部１６は、記憶部１８に保存された制御パラメータから、設定回数の多い視域を特定し、その視域内にいる視聴者に当該視域外にいる視聴者よりも高い優先度を付ける。 (F) Depending on the arrangement state of the image processing apparatus 100 and furniture such as a sofa and a chair, it is assumed that viewing is often performed from an oblique direction rather than from the front of the liquid crystal panel 1. In such a case, the frequency with which the viewing zone is set in the oblique direction of the liquid crystal panel 1 increases. Therefore, in this prioritization rule, priority is given to a viewer who is frequently set in the viewing zone.
When adopting this prioritization rule, for example, the calculation unit 14 stores the calculated control parameter in the storage unit 18 every time the control parameter is calculated. Then, the viewer selection unit 16 identifies a viewing area with a large number of times of setting from the control parameters stored in the storage unit 18, and gives a higher priority to viewers within the viewing area than viewers outside the viewing area. Add.

（ｇ）映像処理装置１００のユーザは、最も視聴しやすい位置などを初期視聴位置として設定することも可能である。本優先度付けルールでは、ユーザが初期視聴位置を予め設定しておき、その初期視聴位置に最も近い視聴者を優先する。
本優先度付けルールを採る場合、記憶部１８は、ユーザが設定した初期視聴位置に関する情報を保存する。視聴者選択部１６は、設定された初期視聴位置を記憶部１８から読み出し、その初期視聴位置に最も近い視聴者に高い優先度を付ける。 (G) The user of the video processing apparatus 100 can set a position where viewing is most easy as an initial viewing position. In this prioritization rule, the user sets an initial viewing position in advance and gives priority to the viewer closest to the initial viewing position.
When the priority setting rule is adopted, the storage unit 18 stores information related to the initial viewing position set by the user. The viewer selection unit 16 reads the set initial viewing position from the storage unit 18 and assigns a high priority to the viewer closest to the initial viewing position.

以上で説明したように、本実施形態によれば、カメラ３で視聴者を観測した観測画像と俯瞰画像の少なくとも何れかを液晶パネル１に表示して、視聴者が入力した視聴者選択信号に応じて、観測画像上または俯瞰画像上の視聴者の中から一以上の視聴者を選択するようにしている。その上で、選択された視聴者の位置に応じた領域に、複数の視差画像を立体的に見ることが可能な視域が設定されるようにしている。これにより、複数の視聴者が存在する場合に、視域を調整すべき視聴者を、視聴者が自由に選択できる。また、一人の視聴者がリモートコントローラを操作することで自分以外も含めた任意の視聴者に視域を調整することができるので、複数の視聴者がリモートコントローラを持ち替えて操作する手間が省ける。 As described above, according to the present embodiment, at least one of the observation image obtained by observing the viewer with the camera 3 and the overhead image is displayed on the liquid crystal panel 1, and the viewer selection signal input by the viewer is displayed. Accordingly, one or more viewers are selected from the viewers on the observation image or the overhead image. In addition, a viewing area in which a plurality of parallax images can be viewed stereoscopically is set in an area corresponding to the position of the selected viewer. Thereby, when there are a plurality of viewers, the viewer can freely select a viewer whose viewing area should be adjusted. In addition, since one viewer can operate the remote controller to adjust the viewing area to any viewer other than himself or herself, it is possible to save time and effort for a plurality of viewers to switch and operate the remote controller.

さらに、選択された視聴者に優先度を付けるようにしているので、選択された複数の視聴者の一部が視域内に収まらない場合であっても、優先度の高い視聴者を視域内に必ず収めることで、優先度の高い視聴者は高品位の立体映像を見ることができる。 Furthermore, since priority is given to the selected viewers, even if some of the selected viewers do not fit within the viewing area, viewers with high priority are placed within the viewing area. By ensuring that it is stored, high-priority viewers can view high-quality stereoscopic video.

このように、以上で説明した実施形態によれば、視聴者が、良好な立体映像を容易に観察することができる。 Thus, according to the embodiment described above, the viewer can easily observe a good stereoscopic image.

（変形例）
上述した実施形態に対して様々な変更を加えることが可能である。以下、図面を適宜参照しながら、変形の一例について説明する。 (Modification)
Various modifications can be made to the above-described embodiment. Hereinafter, an example of modification will be described with reference to the drawings as appropriate.

上記実施形態ではレンチキュラレンズ２を用い、視差画像をずらすことによって視域を制御する例を示したが、他の手法で視域を制御してもよい。例えば、レンチキュラレンズ２に代えてパララックスバリアを開口制御部として設けてもよい。また、図８は、図２の変形例である映像表示装置１００’の概略構成を示すブロック図である。同図に示すように、映像処理装置１００’のコントローラ１０’は、画像調整部１５の代わりに、視域制御部１５’を備える。この視域制御部１５’は、算出部１４により算出された制御パラメータに応じて開口制御部２’を制御する。この場合、液晶パネル１と開口制御部２’との距離、液晶パネル１と開口制御部２’との水平方向のずれ量等を制御パラメータとし、液晶パネル１に表示された視差画像の出力方向を制御することにより視域が制御される。このように、液晶パネル１に表示される視差画像の表示位置を調整する処理を行わず、視域制御部１５’により開口制御部２’を制御してもよい。 In the above-described embodiment, an example is shown in which the lenticular lens 2 is used and the viewing zone is controlled by shifting the parallax image, but the viewing zone may be controlled by other methods. For example, instead of the lenticular lens 2, a parallax barrier may be provided as the opening control unit. FIG. 8 is a block diagram showing a schematic configuration of a video display device 100 ′ that is a modification of FIG. 2. As shown in the figure, the controller 10 ′ of the video processing apparatus 100 ′ includes a viewing zone control unit 15 ′ instead of the image adjustment unit 15. The viewing zone control unit 15 ′ controls the aperture control unit 2 ′ according to the control parameter calculated by the calculation unit 14. In this case, the output direction of the parallax image displayed on the liquid crystal panel 1 using the distance between the liquid crystal panel 1 and the opening control unit 2 ′, the horizontal shift amount between the liquid crystal panel 1 and the opening control unit 2 ′, and the like as control parameters. The viewing zone is controlled by controlling. As described above, the aperture control unit 2 ′ may be controlled by the viewing zone control unit 15 ′ without performing the process of adjusting the display position of the parallax image displayed on the liquid crystal panel 1.

さらに、上記実施形態において、観測画像と俯瞰画像は液晶パネル１に表示されるとして説明したが、これに限られない。例えば、提示部１７は、観測画像と俯瞰画像の少なくとも何れかを、映像処理装置１００と有線または無線により接続された情報端末やパーソナルコンピュータ等に送信してもよい。この場合、視聴者は、情報端末に表示された観測画像と俯瞰画像の少なくとも何れかを見て、情報端末を操作することで視聴者を選択できる。そして、情報端末が視聴者選択信号を映像処理装置１００の操作信号受信部に向けて送信できる。また、リモートコントローラに液晶表示装置等を設けておき、提示部１７は、観測画像と俯瞰画像の少なくとも何れかをリモートコントローラに送信して、この液晶表示装置等に表示させて視聴者に提示してもよい。 Furthermore, although the observation image and the overhead image are described as being displayed on the liquid crystal panel 1 in the above embodiment, the present invention is not limited to this. For example, the presentation unit 17 may transmit at least one of the observation image and the bird's-eye view image to an information terminal, a personal computer, or the like connected to the video processing device 100 by wire or wireless. In this case, the viewer can select the viewer by operating at least one of the observation image and the overhead image displayed on the information terminal and operating the information terminal. Then, the information terminal can transmit the viewer selection signal to the operation signal receiving unit of the video processing device 100. In addition, a liquid crystal display device or the like is provided in the remote controller, and the presentation unit 17 transmits at least one of the observation image and the overhead image to the remote controller and displays the image on the liquid crystal display device or the like for presentation to the viewer. May be.

これらの変形例によっても、上記実施形態と同様の効果が得られる。 Also by these modified examples, the same effect as the above-described embodiment can be obtained.

上述した実施形態で説明したコントローラ１０の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、コントローラ１０の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。 At least a part of the controller 10 described in the above-described embodiment may be configured by hardware or software. When configured by software, a program for realizing at least a part of the functions of the controller 10 may be stored in a recording medium such as a flexible disk or a CD-ROM, and read and executed by a computer. The recording medium is not limited to a removable medium such as a magnetic disk or an optical disk, but may be a fixed recording medium such as a hard disk device or a memory.

また、コントローラ１０の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。 Further, a program for realizing at least a part of the functions of the controller 10 may be distributed via a communication line (including wireless communication) such as the Internet. Further, the program may be distributed in a state where the program is encrypted, modulated or compressed, and stored in a recording medium via a wired line such as the Internet or a wireless line.

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 As mentioned above, although some embodiment of this invention was described, these embodiment is shown as an example and is not intending limiting the range of invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and their modifications are included in the scope and gist of the invention, and are also included in the invention described in the claims and the equivalents thereof.

１液晶パネル（表示部）
２レンチキュラレンズ（開口制御部）
３カメラ（観測部）
４受光部（操作信号受信部）
１０コントローラ
１１チューナデコーダ
１２視差画像変換部
１３視聴者検出部
１４算出部
１５画像調整部（視域制御部）
１６視聴者選択部
１７提示部
１８記憶部
１００映像処理装置 1 LCD panel (display unit)
2 Lenticular lens (aperture control unit)
3 Camera (observation part)
4 Light receiver (operation signal receiver)
10 controller 11 tuner decoder 12 parallax image conversion unit 13 viewer detection unit 14 calculation unit 15 image adjustment unit (view zone control unit)
16 viewer selection unit 17 presentation unit 18 storage unit 100 video processing device

Claims

A display unit for displaying a plurality of parallax images;
An observation unit for obtaining an observation image including one or a plurality of viewers;
A viewer detection unit for detecting the position of the one or more viewers in the observed image;
Using the position information of the one or more viewers and viewing zone information indicating a viewing zone in which the plurality of parallax images can be viewed stereoscopically, the display unit, the viewing zone, and the one Or a presentation unit that generates a bird's-eye view image representing a positional relationship with a plurality of viewers and displays the bird's-eye view image and the observation image on the display unit;
A viewer selection unit that selects one or more viewers in the observed image in accordance with a viewer selection signal and prioritizes the selected viewers based on a prioritization rule;
When a plurality of viewers are selected, control parameters are calculated so that the viewing zone is set in an area corresponding to the positions of all the selected viewers, and the positions of all the selected viewers are calculated. If the control parameter cannot be calculated so that the viewing area is set in the area corresponding to the area, the viewing area is set in the area corresponding to the position of the selected viewer with the highest priority. A calculation unit for calculating the control parameter,
A viewing zone control unit that controls the viewing zone according to the control parameter ,
Video processing device.

A display unit for displaying a plurality of parallax images;
An observation unit for obtaining an observation image including one or a plurality of viewers;
A viewer detection unit for detecting the position of the one or more viewers in the observed image;
Using the position information of the one or more viewers and viewing zone information indicating a viewing zone in which the plurality of parallax images can be viewed stereoscopically, the display unit, the viewing zone, and the one Or a presentation unit that generates a bird's-eye view image representing a positional relationship with a plurality of viewers and displays the bird's-eye view image and the observation image on the display unit;
A viewer selection unit that selects one or more viewers in the observed image with priority according to a viewer selection signal;
When a plurality of viewers are selected, control parameters are calculated so that the viewing zone is set in an area corresponding to the positions of all the selected viewers, and the positions of all the selected viewers are calculated. If the control parameter cannot be calculated so that the viewing area is set in the area corresponding to the area, the viewing area is set in the area corresponding to the position of the selected viewer with the highest priority. A calculation unit for calculating the control parameter,
A viewing zone control unit that controls the viewing zone according to the control parameter,
Video processing device.

An operation signal receiving unit for receiving the viewer selection signal;
The viewer selection signal is transmitted from a remote controller
The video processing apparatus according to claim 1 or 2.

The viewer detection unit periodically detects the position of the one or more viewers;
The calculation unit calculates the control parameter each time the position of the one or more viewers is detected.
The video processing apparatus according to any one of claims 1 to 3.

Obtain observation images of one or more viewers,
Detecting the position of the one or more viewers in the observed image;
Using the position information of the one or more viewers and viewing zone information indicating a viewing zone in which a plurality of parallax images displayed on the display unit can be viewed stereoscopically, the display unit, the viewing A bird's-eye view image that represents a positional relationship between the area and the one or more viewers, and displays the bird's-eye view image and the observation image on the display unit ,
In response to a viewer selection signal, select one or more viewers in the observed image, prioritize the selected viewers based on a prioritization rule,
Calculating a control parameter so that the viewing area is set in an area according to the position of the selected one or more viewers;
When a plurality of viewers are selected, the control parameter is calculated so that the viewing zone is set in an area corresponding to the positions of all the selected viewers, and all the selected viewers are selected. If the control parameter cannot be calculated so that the viewing area is set in an area according to the position, the viewing area is set in an area according to the position of the selected viewer with the highest priority. To calculate the control parameter,
An image processing method for controlling the viewing zone according to the control parameter .

Obtain observation images of one or more viewers,
Detecting the position of the one or more viewers in the observed image;
Using the position information of the one or more viewers and viewing zone information indicating a viewing zone in which a plurality of parallax images displayed on the display unit can be viewed stereoscopically, the display unit, the viewing A bird's-eye view image that represents a positional relationship between the area and the one or more viewers, and displays the bird's-eye view image and the observation image on the display unit ,
In accordance with a viewer selection signal, prioritize and select one or more viewers in the observed image,
Calculating a control parameter so that the viewing area is set in an area according to the position of the selected one or more viewers;
When a plurality of viewers are selected, the control parameter is calculated so that the viewing zone is set in an area corresponding to the positions of all the selected viewers, and all the selected viewers are selected. If the control parameter cannot be calculated so that the viewing area is set in an area according to the position, the viewing area is set in an area according to the position of the selected viewer with the highest priority. To calculate the control parameter,
Control the viewing zone according to the control parameter
Video processing method.

Transmitting the viewer selection signal from a remote controller;
The viewer selection signal is received by the operation signal receiver.
The video processing method according to claim 5 or 6.

Periodically detecting the location of the one or more viewers;
The control parameter is calculated each time the position of the one or more viewers is detected
The video processing method according to claim 5.