JP4249187B2 - 3D image processing apparatus and program thereof - Google Patents

3D image processing apparatus and program thereof Download PDF

Info

Publication number
JP4249187B2
JP4249187B2 JP2006005727A JP2006005727A JP4249187B2 JP 4249187 B2 JP4249187 B2 JP 4249187B2 JP 2006005727 A JP2006005727 A JP 2006005727A JP 2006005727 A JP2006005727 A JP 2006005727A JP 4249187 B2 JP4249187 B2 JP 4249187B2
Authority
JP
Japan
Prior art keywords
image
video
eye
cut
data input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006005727A
Other languages
Japanese (ja)
Other versions
JP2007189489A (en
Inventor
史朗 小澤
造 神谷
尚生 阿部
篤信 成田
Original Assignee
エヌ・ティ・ティ・コムウェア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エヌ・ティ・ティ・コムウェア株式会社 filed Critical エヌ・ティ・ティ・コムウェア株式会社
Priority to JP2006005727A priority Critical patent/JP4249187B2/en
Publication of JP2007189489A publication Critical patent/JP2007189489A/en
Application granted granted Critical
Publication of JP4249187B2 publication Critical patent/JP4249187B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、2台のカメラにより撮影された実写立体映像を処理する立体映像処理装置並びにそのプログラムに関する。   The present invention relates to a stereoscopic image processing apparatus that processes real stereoscopic images captured by two cameras and a program thereof.

従来様々な立体表示装置が発明されており、立体データを立体表示装置で再現する方法が試されている。バリア方式三次元ディスプレイや偏光グラス・シャッター式グラスなどの眼鏡を使用した三次元ディスプレイに立体データを表示する際にはあらかじめ左右の目に対応する2視点の画像を用意しておき、三次元立体ディスプレイ上で合成することで人間が立体的に知覚することができる。これらのディスプレイに表示する画像を作成するには、図7に示すように、2台のカメラを平行に並べて撮影を行い、対象との位置に応じて左カメラの映像と右カメラの映像で、撮影の対象物の位置が同じになるように、左右の画角の交わる切出し位置からの切出し領域の画像を切り出す処理を行う必要がある。
従来技術では、予めカメラから撮影対象までの距離を計測しておき、2台のカメラで撮影した映像をコンピュータやメモリに取り込み、計測した距離に基づき左右カメラの画角が重複する切出し領域の大きさを算出して、これを取込んだ映像から切出して、三次元ディスプレイに表示するための三次元実写映像を作成している。このため、撮影対象が動的に変化するようなシーンであっても、一定の距離を対象にした三次元実写映像となっている。また、特許文献1では、左右の映像の相関から差がもっとも小さくなるように切出し領域を求めている
なお、その他の従来技術として、特許文献2から特許文献5が知られている。
特開2002−223458号公報 特開2002−330452号公報 特開平09−081786号公報 特開平06−284445号公報 特開平06−034343号公報
Conventionally, various stereoscopic display devices have been invented, and a method of reproducing stereoscopic data with a stereoscopic display device has been tried. When displaying 3D data on a 3D display using glasses such as a barrier 3D display or polarized glasses / shutter glasses, two viewpoint images corresponding to the left and right eyes are prepared in advance. Humans can perceive three-dimensionally by compositing on the display. In order to create an image to be displayed on these displays, as shown in FIG. 7, two cameras are photographed in parallel, and the left camera image and the right camera image according to the position of the target, It is necessary to perform a process of cutting out the image of the cut-out area from the cut-out position where the left and right angles of view intersect so that the positions of the objects to be photographed are the same.
In the prior art, the distance from the camera to the object to be photographed is measured in advance, the images photographed by the two cameras are taken into a computer or memory, and the size of the cut-out area where the angle of view of the left and right cameras overlaps based on the measured distance A 3D live-action video is created by cutting out the captured video and displaying it on a 3D display. For this reason, even in a scene where the subject to be photographed changes dynamically, it is a three-dimensional live-action image targeted at a certain distance. Further, in Patent Document 1, a cut-out region is obtained so that the difference is minimized from the correlation between left and right videos. Patent Documents 2 to 5 are known as other conventional techniques.
JP 2002-223458 A JP 2002-330552 A JP 09-081786 A Japanese Patent Laid-Open No. 06-284445 Japanese Patent Laid-Open No. 06-034343

しかしながら、予めカメラから撮影対象までの距離を計測しておく従来方式の立体映像作成装置にあっては、一定の距離を対象にした三次元実写映像となっているため、撮影対象が動的に変化するようなシーンでは、左目用と右目用の画像で、撮影の対象物の位置が離れてしまうことがある。また、特許文献1に示す立体映像作成装置にあっては、背景などが多くを占めるシーンでは背景の相関が高いため、左目用と右目用の画像で、背景の位置は一致するが、撮影の対象物の位置が離れてしまうことがある。そのため、これらの立体映像作成装置が生成した立体映像で、この対象物を見ようとすると、左目の視点と右目の視点とが別々になることがあり、見る人の負担となり疲れやすいという問題がある。   However, in the conventional stereoscopic image creation device that measures the distance from the camera to the shooting target in advance, the shooting target is dynamically changed because it is a three-dimensional live-action video for a certain distance. In a scene that changes, the position of the subject to be photographed may be separated between the left-eye and right-eye images. Further, in the stereoscopic image creating apparatus shown in Patent Document 1, since the background correlation is high in a scene in which the background occupies a large amount, the position of the background is the same in the left-eye and right-eye images. The position of the object may be separated. Therefore, when viewing this object in the stereoscopic video generated by these stereoscopic video creation devices, the viewpoint of the left eye and the viewpoint of the right eye may be separated, which is a burden on the viewer and is tiring. .

本発明は、このような事情に鑑みてなされたもので、その目的は、見る人の負担が少ない立体画像を生成する立体映像処理装置並びにそのプログラムを提供することにある。   The present invention has been made in view of such circumstances, and an object of the present invention is to provide a stereoscopic video processing apparatus that generates a stereoscopic image with less burden on the viewer and a program thereof.

この発明は上述した課題を解決するためになされたもので、請求項1に記載の発明は、被写体を撮影し、左目用の映像を出力する左映像撮影手段と、前記被写体を撮影し、右目用の映像を出力する右映像撮影手段と、立体映像を表示する立体映像出力手段と、前記立体映像出力手段を見ているユーザの左右の目の注視点の座標を遂次測定する視線位置計測手段とが接続される立体映像処理装置において、前記左映像撮影手段が出力した左目用の映像の入力を受け付けて、1フレームずつの左画像に分離して出力する左映像データ入力手段と、前記右映像撮影手段が出力した右目用の映像の入力を受け付けて、1フレームずつの右画像に分離して出力する右映像データ入力手段と、前記視線位置計測手段が測定した、左目の注視点の座標と右目の注視点の座標とを遂次受け付ける視線位置データ入力手段と、前記視線位置データ入力手段が受け付けた左目の注視点の座標と右目の注視点の座標および、前回算出した画像の切出し幅に基づき、画像の切出し幅を逐次算出する切出し幅算出手段と、前記切出し幅算出手段が算出した切出し幅を受け、前記左映像データ入力手段が出力した左画像の右端から切出し幅分の画像を切出した左切出し画像と、前記右映像データ入力手段が出力した右画像の左端から切出し幅分の画像を切出した右切出し画像とを出力する画像切出し手段と、前記画像切出し手段が切出した左切出し画像と右切出し画像とから立体映像を生成して出力する立体映像合成手段とを備えることを特徴とする立体映像処理装置である。   The present invention has been made to solve the above-described problems. The invention according to claim 1, the left image photographing means for photographing the subject and outputting the image for the left eye, and photographing the subject, the right eye Right image capturing means for outputting a video for use, stereoscopic image output means for displaying a stereoscopic image, and gaze position measurement for successively measuring the coordinates of the gazing point of the left and right eyes of the user viewing the stereoscopic image output means A left video data input unit that receives an input of a left-eye video output from the left video photographing unit, and outputs a left image separated by one frame; Right video data input means for accepting input of right eye video output by the right video photographing means and separating and outputting the right image for each frame; and for the left eye gazing point measured by the gaze position measuring means Coordinates and right eye Based on the gaze position data input means that sequentially receives the coordinates of the gazing point, the coordinates of the gazing point of the left eye and the coordinates of the gazing point of the right eye received by the gaze position data input means, and the image extraction width calculated last time, A cutout width calculating unit that sequentially calculates a cutout width of the image, and a cutout width calculated by the cutout width calculation unit, and a left image cut out from the right end of the left image output by the left video data input unit Image cutout means for outputting a cutout image and a right cutout image obtained by cutting out an image corresponding to the cutout width from the left end of the right image output by the right video data input means, and the left cutout image and the right cut out by the image cutout means A stereoscopic video processing apparatus comprising: a stereoscopic video synthesizing unit that generates and outputs a stereoscopic video from a cut-out image.

また、請求項2に記載の発明は、請求項1に記載の立体映像処理装置であって、前記切出し幅算出手段は、前回算出した切出し幅をWc、前記視線位置データ入力手段が受け付けた左目の注視点のx座標から右目の注視点のx座標を引いた値をWuとして、今回の切出し幅Wcnew=Wc−Wuにより、今回の切出し幅Wcnewを算出することを特徴とする。   The invention described in claim 2 is the stereoscopic image processing apparatus according to claim 1, wherein the cut-out width calculating means is configured to accept the cut-out width calculated last time as Wc, and the left eye received by the line-of-sight position data input means. A value obtained by subtracting the x-coordinate of the right-eye gazing point from the x-coordinate of the right gazing point is Wu, and the current cutting width Wcnew = Wc−Wu is used to calculate the current cutting width Wcnew.

また、請求項3に記載の発明は、請求項1または請求項2に記載の立体映像処理装置であって、前記左映像撮影手段と前記右映像撮影手段は、入力された距離に焦点を合わせて、被写体を撮影し、前記視線位置データ入力手段が受け付けた左目の注視点の座標と右目の注視点の座標および、左前記左映像撮影手段と前記右映像撮影手段との配置関係に基づき、注視点にある被写体までの距離を算出して、前記左映像撮影手段と前記右映像撮影手段とに出力する注視対象物距離算出手段を備えることを特徴とする。   The invention described in claim 3 is the stereoscopic image processing apparatus according to claim 1 or 2, wherein the left image capturing unit and the right image capturing unit focus on the input distance. The left eye gazing point coordinates and the right eye gazing point coordinates received by the line-of-sight position data input means, and the arrangement relationship between the left video photographing means and the right video photographing means, It is characterized by comprising gaze target distance calculating means for calculating the distance to the subject at the gazing point and outputting it to the left image capturing means and the right image capturing means.

また、請求項4に記載の発明は、請求項3に記載の立体映像処理装置であって、前記左映像撮影手段と前記右映像撮影手段は、設置間隔Bcで平行に設置され、撮影画像の横方向の画素数がWd、焦点距離がfであり、前記注視対象物距離算出手段は、前回算出した切出し幅をWc、前記視線位置データ入力手段が受け付けた左目の注視点のx座標から右目の注視点のx座標を引いた値をWuとして、注視点にある被写体までの距離Dc=Bc・f/{Q・(Wd−Wc+Wu)}(Qは単位あわせの係数)により、注視点にある被写体までの距離Dcを算出することを特徴とする。   The invention described in claim 4 is the stereoscopic image processing device according to claim 3, wherein the left image capturing unit and the right image capturing unit are installed in parallel at an installation interval Bc, and The number of pixels in the horizontal direction is Wd, the focal length is f, and the gaze target distance calculation unit calculates the right-eye from the x coordinate of the left gaze point received by the gaze position data input unit by Wc The value obtained by subtracting the x-coordinate of the gazing point is Wu, and the distance to the subject at the gazing point is Dc = Bc · f / {Q · (Wd−Wc + Wu)} (Q is a unit adjustment factor). The distance Dc to a certain subject is calculated.

また、請求項5に記載の発明は、被写体を撮影し、左目用の映像を出力する左映像撮影手段と、前記被写体を撮影し、右目用の映像を出力する右映像撮影手段と、立体映像を表示する立体映像出力手段と、前記立体映像出力手段を視聴するユーザの左右の目の注視点の座標を遂次測定する視線位置計測手段と接続されるコンピュータを、前記左映像撮影手段が出力した左目用の映像の入力を受け付けて、1フレームずつの左画像に分離して出力する左映像データ入力手段、前記右映像撮影手段が出力した右目用の映像の入力を受け付けて、1フレームずつの右画像に分離して出力する右映像データ入力手段、前記視線位置計測手段が測定した、左目の注視点の座標と右目の注視点の座標とを遂次受け付ける視線位置データ入力手段、前記視線位置データ入力手段が受け付けた左目の注視点の座標と右目の注視点の座標および、前回算出した画像の切り出し幅に基づき、画像の切出し幅を逐次算出する切出し幅算出手段、前記切出し幅算出手段が算出した切出し幅を受け、前記左映像データ入力手段が出力した左画像の右端から切出し幅分の画像を切出した左切出し画像と、前記右映像データ入力手段が出力した右画像の左端から切出し幅分の画像を切出した右切出し画像とを出力する画像切出し手段、前記画像切出し手段が切出した左切出し画像と右切出し画像とから立体映像を生成して出力する立体映像合成手段として機能させるためのプログラムである。 According to a fifth aspect of the present invention, there is provided a left video photographing means for photographing a subject and outputting a left eye video, a right video photographing means for photographing the subject and outputting a right eye video, and a stereoscopic video. The left video photographing means outputs a computer connected to a stereoscopic video output means for displaying the image and a gaze position measuring means for successively measuring the coordinates of the gazing point of the left and right eyes of the user viewing the stereoscopic video output means. Left video data input means for receiving the input of the left-eye video and separating and outputting the left image for each frame, and receiving the input of the right-eye video output by the right video photographing means for each frame Right image data input means for separating and outputting to the right image, gaze position data input means for successively receiving the left eye gaze coordinates and the right eye gaze coordinates measured by the gaze position measurement means, and the gaze Coordinates of the location data input means received left coordinates and right eye of the gaze point of the gazing point and, based on the cut-out width of the image previously calculated, cutout width calculating means for sequentially calculating the cut width of the image, the cutout width calculation means The left cut-out image obtained by cutting out the image corresponding to the cut-out width from the right end of the left image output by the left video data input means and the left end of the right image output by the right video data input means In order to function as an image cutout unit that outputs a right cutout image obtained by cutting out an image of a width, and as a 3D video composition unit that generates and outputs a 3D video from the left cutout image and the right cutout image cut out by the image cutout unit. It is a program.

この発明によれば、切出し幅算出手段が、左目の注視点の座標と右目の注視点の座標および、前回算出した画像の切出し幅に基づき、画像の切出し幅を逐次算出するので、ユーザが注視している被写体が左目用の映像と右目用の映像で同じ場所となり、見る人の負担が少ない立体画像を生成することができる。   According to the present invention, the cropping width calculation means sequentially calculates the cropping width of the image based on the coordinates of the gazing point of the left eye, the coordinates of the gazing point of the right eye, and the cropping width of the image calculated last time. The subject in question is the same place for the left-eye video and the right-eye video, and it is possible to generate a stereoscopic image with less burden on the viewer.

また、本発明によれば、切出し幅算出手段が、左目の注視点の座標と右目の注視点の座標および、左映像撮影手段と右映像撮影手段との配置関係に基づき、注視点にある被写体までの距離を算出するので、ユーザが注視している被写体に焦点の合った立体映像を得ることができる。   Further, according to the present invention, the cut-out width calculating unit is configured to determine the subject at the gazing point based on the coordinates of the gazing point of the left eye and the coordinates of the gazing point of the right eye and the arrangement relationship between the left image capturing unit and the right image capturing unit. Therefore, it is possible to obtain a stereoscopic image focused on the subject being watched by the user.

最初に、図1に示す本発明の実施形態の概要を説明する。本実施形態の立体映像処理装置は、2台のカメラで撮影した映像を3D合成処理により3D合成して、立体映像を表示する三次元ディスプレイに出力する。この際に、視線計測装置により測定したユーザの左右の目の注視点座標に基づき、視線位置変換処理が、ユーザが注視している対象物までの距離と、三次元ディスプレイ上の左目用の映像と右目用の映像において該対象物が同じ場所に表示されるように、該対象物を基準にした3D合成の切出し幅とを求める。視線位置変換処理は、カメラに対しては求めた距離を、3D合成処理に対しては切り出し幅をフィードバックする。カメラは、この距離に基づき、ユーザが注視している対象物に自動でカメラのピントを合わせ、3D合成処理は、閲覧したい対象物を基準に3D合成を行い、三次元ディスプレイに表示する実写立体映像を生成する装置である。   First, the outline of the embodiment of the present invention shown in FIG. 1 will be described. The stereoscopic video processing apparatus according to the present embodiment 3D composites video captured by two cameras by 3D composite processing, and outputs the composite video to a three-dimensional display that displays a stereoscopic video. At this time, based on the gaze point coordinates of the left and right eyes of the user measured by the gaze measuring device, the gaze position conversion process performs the distance to the object being watched by the user and the image for the left eye on the three-dimensional display. And a cut-out width of 3D synthesis based on the object so that the object is displayed at the same place in the video for the right eye. In the line-of-sight position conversion process, the obtained distance is fed back to the camera, and the cut-out width is fed back to the 3D synthesis process. Based on this distance, the camera automatically focuses the camera on the object that the user is gazing at, and the 3D composition process performs 3D composition based on the object to be viewed and displays it on a 3D display. It is a device that generates video.

以下、図面を参照して、本発明の実施の形態について説明する。図2は、この発明の一実施形態による立体映像処理装置100の構成を示す概略ブロック図である。立体映像処理装置100は、3D合成処理20と視線位置変換処理30とからなり、左カメラ10(左映像撮影手段)と右カメラ11(右映像撮影手段)と三次元ディスプレイ12(立体映像出力手段)と視線位置計測装置13とが接続される。   Embodiments of the present invention will be described below with reference to the drawings. FIG. 2 is a schematic block diagram showing the configuration of the stereoscopic video processing apparatus 100 according to one embodiment of the present invention. The stereoscopic image processing apparatus 100 includes a 3D composition process 20 and a line-of-sight position conversion process 30, and includes a left camera 10 (left image capturing unit), a right camera 11 (right image capturing unit), and a 3D display 12 (stereoscopic image output unit). ) And the line-of-sight position measuring device 13 are connected.

左カメラ10は、焦点距離がf(図5)であり、立体映像処理装置100から入力された距離に焦点を合わせて被写体を撮影し、横方向の画素数がWd(図4)の左目用の映像である左映像データを出力するテレビカメラやビデオカメラなどである。右カメラ11も同様に、焦点距離がfであり、立体映像処理装置100から入力された距離に焦点を合わせて被写体を撮影し、横方向の画素数がWdの右目用の映像である右映像データを出力するテレビカメラやビデオカメラなどであり、左カメラ10と設置間隔Bc(図5)で平行に設置されている。三次元ディスプレイ12は、立体映像処理装置100から立体映像データを受けて立体映像を表示するバリア方式三次元ディスプレイや偏光グラス・シャッター式グラスなどの眼鏡を使用した三次元ディスプレイなどである。視線位置計測装置13は、瞳孔/角膜反射方式などの方式によるアイマークレコーダなどであり、三次元ディスプレイ12を見ているユーザの左右の目の注視点の座標を遂次測定する。なお、立体映像表示処理装置12の画面における座標系は、画面の左上を原点とし、右方向をx座標、下方向をy座標とする。   The left camera 10 has a focal length of f (FIG. 5), focuses on the distance input from the stereoscopic image processing apparatus 100, shoots a subject, and has the horizontal pixel count Wd (FIG. 4). For example, a TV camera or a video camera that outputs left video data. Similarly, the right camera 11 has a focal length of f, photographs a subject focused on the distance input from the stereoscopic image processing apparatus 100, and is a right image that is a right-eye image having a horizontal pixel count of Wd. A television camera, a video camera, or the like that outputs data is installed in parallel with the left camera 10 at an installation interval Bc (FIG. 5). The three-dimensional display 12 is a barrier type three-dimensional display that receives stereoscopic video data from the stereoscopic video processing apparatus 100 and displays a stereoscopic video, or a three-dimensional display using glasses such as polarized glasses and shutter type glasses. The line-of-sight position measurement device 13 is an eye mark recorder or the like based on a pupil / corneal reflection method or the like, and sequentially measures the coordinates of the gazing points of the left and right eyes of the user who is looking at the three-dimensional display 12. In the coordinate system on the screen of the stereoscopic image display processing device 12, the upper left corner of the screen is the origin, the right direction is the x coordinate, and the lower direction is the y coordinate.

3D合成処理20は、左映像データ入力部21と右映像データ入力部22と画像切出し処理23と立体映像合成処理24とからなる。左映像データ入力部21は、左カメラ10が出力した左映像データの入力を受け付けて、1フレームずつの左画像データに分離する。右映像データ入力部22は、右カメラ11が出力した右映像データの入力を受け付けて、1フレームずつの右画像データに分離して出力する。画像切出し処理23は、視線位置変換処理30から切出し幅を受け、左映像データ入力部21が出力した左画像データの右端から切出し幅分の画像を切出した左切出し画像データと、右映像データ入力部22が出力した右画像データの左端から切出し幅分の画像を切出した右切出し画像データとを出力する。立体映像合成処理24は、画像切出し処理23が出力した左切出し画像データと右切出し画像データとから立体映像データを生成して出力する。   The 3D composition process 20 includes a left image data input unit 21, a right image data input unit 22, an image cutout process 23, and a stereoscopic image composition process 24. The left video data input unit 21 receives input of left video data output from the left camera 10 and separates it into left image data for each frame. The right video data input unit 22 receives the input of the right video data output from the right camera 11, and separates and outputs the right image data for each frame. The image cutout process 23 receives the cutout width from the line-of-sight position conversion process 30 and inputs left cutout image data obtained by cutting out an image corresponding to the cutout width from the right end of the left image data output by the left video data input unit 21 and the right video data input. The right cut-out image data obtained by cutting out the image corresponding to the cut-out width from the left end of the right image data output by the unit 22 is output. The stereoscopic video composition process 24 generates and outputs stereoscopic video data from the left cut-out image data and right cut-out image data output by the image cut-out process 23.

視線位置変換処理30は、視線位置データ入力部31と切出し幅算出処理32と注視対象物距離算出処理33とからなる。視線位置データ入力部31は、視線位置計測装置13が測定した、左目の注視点の座標と右目の注視点の座標とを遂次受け付ける。切出し幅算出処理32は、前回算出した切出し幅(ピクセル数)をWc、視線位置データ入力部31が受け付けた左目の注視点のx座標から右目の注視点のx座標を引いた値である視線幅(ピクセル数)をWuとして、式(1)により、今回の切出し幅(ピクセル数)Wcnewを算出する。これにより、左目の注視点と右目の注視点のx座標が同一になるように切出し幅を変更している。式(1)については、後に詳述する。
Wcnew=Wc−Wu・・・(1)
The line-of-sight position conversion process 30 includes a line-of-sight position data input unit 31, a cutout width calculation process 32, and a gaze target object distance calculation process 33. The line-of-sight position data input unit 31 sequentially receives the coordinates of the gazing point of the left eye and the coordinates of the gazing point of the right eye measured by the line-of-sight position measurement device 13. The cut-out width calculation processing 32 is the line-of-sight obtained by subtracting the x-coordinate of the right-eye gazing point from the x-coordinate of the left-eye gazing point received by the sight-line position data input unit 31 in Wc. The current cutout width (number of pixels) Wcnew is calculated according to the equation (1), where the width (number of pixels) is Wu. As a result, the cutout width is changed so that the x coordinate of the left eye point and the right eye point is the same. Formula (1) will be described in detail later.
Wcnew = Wc-Wu (1)

注視対象物距離算出処理33は、前回算出した切出し幅をWc、視線位置データ入力部31が受け付けた左目の注視点のx座標から右目の注視点のx座標を引いた値である視線幅をWuとして、式(2)により、注視点にある対象物までの距離Dcを算出して、左カメラ10と右カメラ11とに出力する。式(2)については、後に詳述する。
Dc=Bc・f/{Q・(Wd−Wc+Wu)}(Qは左カメラ10および右カメラ11の撮像面における画素あたりの長さ[m/pixel])・・・(2)
The gaze target distance calculation processing 33 calculates the gaze width, which is a value obtained by subtracting the x coordinate of the right eye gaze from the x coordinate of the left eye gaze received by the gaze position data input unit 31 from the previously calculated cutout width Wc. As Wu, the distance Dc to the object at the point of gaze is calculated by the equation (2), and is output to the left camera 10 and the right camera 11. Formula (2) will be described in detail later.
Dc = Bc · f / {Q · (Wd−Wc + Wu)} (Q is the length per pixel [m / pixel] on the imaging surface of the left camera 10 and the right camera 11) (2)

以下、切出し幅算出処理32において切出し幅を算出する際に用いる式(1)について、説明する。図3のように、静止している被写体O1、O2を左カメラ10および右カメラ11が撮影している場合を例にする。まず、三次元ディスプレイ12には、図4に示す左目用画面P1と右目用画面(前回)P2が切出し幅Wcで表示されており、ユーザが、三次元ディスプレイ12に表示されている被写体O1を注視しているとする。この状態では、被写体O1は、三次元ディスプレイ12は左目用画面P1と右目用画面(前回)P2とで同じ場所に表示されているが、被写体O1より手前側にある被写体O2は、左目用画面P1と右目用画面(前回)P2とで異なる場所に表示されている。このとき、ユーザが被写体O2に視線を移すと、左目用画面P1を見ている左目の視線と右目用画面(前回)P2を見ている右目の視線は、画面の手前で交差して、右目の注視点の方がピクセル数Wuだけ左側となる。ここで、右目と左目の視線が交差しないようにして注視点を三次元ディスプレイ12の画面上で一致させるには、右目用画面(前回)P2の表示位置をピクセル数Wu分だけ右に移動させた、右目用画面(今回)P3の位置にすればよい。このときの切出し幅Wcnewは、前回の切出し幅Wcから、右目用画面(前回)P2を移動させたピクセル数Wuが減少するので、Wcnew=Wc−Wu、即ち式(1)となる。   Hereinafter, the expression (1) used when the cutout width is calculated in the cutout width calculation process 32 will be described. As shown in FIG. 3, the case where the left camera 10 and the right camera 11 are photographing still subjects O1, O2 is taken as an example. First, the left-eye screen P1 and the right-eye screen (previous) P2 shown in FIG. 4 are displayed with a cut-out width Wc on the three-dimensional display 12, and the user displays the subject O1 displayed on the three-dimensional display 12. Suppose you are gazing. In this state, the subject O1 is displayed in the same place on the left-eye screen P1 and the right-eye screen (previous) P2 on the three-dimensional display 12, but the subject O2 on the near side of the subject O1 is the left-eye screen. P1 and the right-eye screen (previous) P2 are displayed at different places. At this time, when the user moves his / her line of sight to the subject O2, the line of sight of the left eye looking at the left-eye screen P1 and the line of sight of the right eye looking at the right-eye screen (previous) P2 cross each other before the screen. The gazing point is left by the number of pixels Wu. Here, in order to make the gaze point coincide on the screen of the three-dimensional display 12 so that the line of sight of the right eye and the left eye does not intersect, the display position of the right eye screen (previous) P2 is moved to the right by the number of pixels Wu. The right eye screen (current) P3 may be set. The cutout width Wcnew at this time is represented by Wcnew = Wc−Wu, that is, Expression (1) because the number of pixels Wu that has moved the right-eye screen (previous) P2 is decreased from the previous cutout width Wc.

以下、注視対象物距離算出処理において、注視対象物までの距離を算出する際に用いる式(2)について、図5を参照して説明する。左カメラ10および右カメラ11の撮像面L2における1ピクセルあたりの長さをQ、切出し幅算出処理32が算出する今回の切出し幅をWcnewとする。図5に示すように、レンズ面L1と撮像面L2の間の距離は焦点距離fである。また、被写体O2の位置において、画像切出し処理23にて切り落とされる領域の幅はBcであり、該領域に該当する撮像面L2における領域の幅は、QWd−QWcnewである。これらより、式(3)が成り立つ。
Dc:Bc=f:QWd−QWcnew・・・(3)
ここで、式(3)の内積と外積は等しいことから、式(4)が成り立つ。
Dc・(QWd−QWcnew)=Bc・f・・・(4)
この式(4)のWcnewに式(1)を代入して整理すると式(5)すなわち式(2)が得られる。
Dc=Bc・f/{Q・(Wd−Wc+Wu)}・・・(5)
Hereinafter, Formula (2) used when calculating the distance to the gaze target in the gaze target distance calculation process will be described with reference to FIG. The length per pixel on the imaging surface L2 of the left camera 10 and the right camera 11 is Q, and the current cutout width calculated by the cutout width calculation process 32 is Wcnew. As shown in FIG. 5, the distance between the lens surface L1 and the imaging surface L2 is a focal length f. In addition, at the position of the subject O2, the width of the region cut out by the image cutting process 23 is Bc, and the width of the region on the imaging surface L2 corresponding to the region is QWd−QWcnew. From these, the formula (3) is established.
Dc: Bc = f: QWd-QWcnew (3)
Here, since the inner product and outer product of Expression (3) are equal, Expression (4) is established.
Dc · (QWd−QWcnew) = Bc · f (4)
When formula (1) is substituted into Wcnew of formula (4) and rearranged, formula (5), that is, formula (2) is obtained.
Dc = Bc · f / {Q · (Wd−Wc + Wu)} (5)

次に、この立体映像処理装置100の動作を、図6を参照して説明する。最初に、画像切出し処理23、切出し幅算出処理32、注視対象物距離算出処理33は、切出し幅の初期値として、共通の値Wc0を得る(S1)。この値は、各処理に予めそれぞれ独自に保持していてもよいし、3つの処理の中のいずれか一つのみ或いは他の処理が保持しており、保持していない処理に通知するようにしてもよい。次に、左カメラ10が出力した左映像データを左映像データ入力部21が、右カメラ11が出力した右映像データを右映像データ入力部22が取込み(S2)、1フレームずつの画像データに分離して、それぞれ左画像データと右画像データを出力する。画像切出し処理23は、左映像データ入力部21から左画像データを受け、右映像データ入力部22から右画像データを受けると、ステップS1で得た切出し幅の初期値Wc0にて、これらの画像データから切出しを行い、左切出し画像データと右切出し画像データを得て、立体映像合成処理24に出力する(S3)。立体映像合成処理24は、左切出し画像データと右切出し画像データを受けると、これらから三次元ディスプレイ12表示用の立体映像データを生成して出力する(S4)。   Next, the operation of the stereoscopic image processing apparatus 100 will be described with reference to FIG. First, the image cutout process 23, the cutout width calculation process 32, and the gaze target distance calculation process 33 obtain a common value Wc0 as an initial value of the cutout width (S1). This value may be individually held in advance for each process, or only one of the three processes or another process is held, and a process not held is notified. May be. Next, the left video data input unit 21 captures the left video data output from the left camera 10, and the right video data input unit 22 captures the right video data output from the right camera 11 (S2) into image data for each frame. The left image data and the right image data are output separately. When the image cut-out process 23 receives the left image data from the left video data input unit 21 and the right image data from the right video data input unit 22, the image cut-out process 23 sets these images at the initial value Wc0 of the cut-out width obtained in step S1. Extraction is performed from the data, and left-extraction image data and right-extraction image data are obtained and output to the stereoscopic video composition process 24 (S3). Upon receiving the left cut-out image data and the right cut-out image data, the 3D video composition process 24 generates and outputs 3D video data for display on the 3D display 12 from these (S4).

ここで、処理終了でなければ、処理を継続して(S5)、視線位置データ入力部31は、視線位置計測装置13から、三次元ディスプレイ12の画面上でのユーザの左目および右目の注視点の座標を取得し、これらを注視対象物距離算出処理33と切出し幅算出処理32とに出力する(S6)。注視対象物距離算出処理33は、視線位置データ入力部31から左目および右目の注視点の座標を受けると、左目の注視点のx座標から右目の注視点のx座標を引いて視線幅Wuを算出する。次に、注視対象物距離算出処理33は、前回の切出し幅Wcとして切出し幅の初期値Wc0を用いて、式(2)により、注視点にある対象物までの距離Dcを算出し、これを左カメラ10および右カメラ11に出力する(S7)。左カメラ10および右カメラ11は、距離Dcを受けると、焦点を距離Dcに合わせる。これにより、ユーザが注視している対象物に左カメラ10および右カメラ11の焦点が合う。   If the process is not completed, the process continues (S5), and the line-of-sight position data input unit 31 receives the gaze point of the user's left eye and right eye on the screen of the three-dimensional display 12 from the line-of-sight position measurement device 13. Are output to the gaze target distance calculation process 33 and the cutout width calculation process 32 (S6). When the gaze target distance calculation process 33 receives the coordinates of the left eye and right eye gaze points from the gaze position data input unit 31, the gaze width Wu is obtained by subtracting the x coordinates of the right eye gaze points from the x coordinates of the left eye gaze points. calculate. Next, the gaze target distance calculation processing 33 calculates the distance Dc to the target at the gaze point using the initial value Wc0 of the cutout width as the previous cutout width Wc according to the equation (2), It outputs to the left camera 10 and the right camera 11 (S7). When receiving the distance Dc, the left camera 10 and the right camera 11 are focused on the distance Dc. Thereby, the left camera 10 and the right camera 11 are focused on the object being watched by the user.

次に、切出し幅算出処理32は、視線位置データ入力部31から左目および右目の注視点の座標を受けると、左目の注視点のx座標から右目の注視点のx座標を引いて視線幅Wuを算出する。次に、切出し幅算出処理32は、前回の切出し幅Wcとして切出し幅の初期値Wc0を用いて、式(2)により、今回の切出し幅Wcnewを算出し、これを画像切出し処理23に出力する(S8)。   Next, when the cutout width calculation processing 32 receives the coordinates of the left eye and right eye gazing point from the sight line position data input unit 31, the line width Wu is obtained by subtracting the x coordinate of the right eye gazing point from the x coordinate of the left eye gazing point. Is calculated. Next, the cut-out width calculation process 32 calculates the current cut-out width Wcnew according to Expression (2) using the initial value Wc0 of the cut-out width as the previous cut-out width Wc, and outputs this to the image cut-out process 23. (S8).

次に、処理はステップS2に戻って、初回と同様に、左カメラ10が出力した左映像データを左映像データ入力部21が、右カメラ11が出力した右映像データを右映像データ入力部22が取込み(S2)、1フレームずつの画像データに分離して、それぞれ左画像データと右画像データを出力する。画像切出し処理23は、左映像データ入力部21から左画像データを受け、右映像データ入力部22から右画像データを受けると、ここでは、切出し幅算出処理32から受けた切出し幅Wcnewを用いて、これらの画像データから切出しを行い、左切出し画像データと右切出し画像データを得て、立体映像合成処理24に出力する(S3)。立体映像合成処理24は、左切出し画像データと右切出し画像データを受けると、これらから三次元ディスプレイ12表示用の立体映像データを生成して出力する(S4)。   Next, the process returns to step S2, and as with the first time, the left video data input unit 21 outputs the left video data output from the left camera 10, and the right video data input unit 22 outputs the right video data output from the right camera 11. Is taken (S2), and is divided into image data for each frame, and left image data and right image data are output, respectively. When the image cutout process 23 receives the left image data from the left video data input unit 21 and receives the right image data from the right video data input unit 22, here, the cutout width Wcnew received from the cutout width calculation process 32 is used. Then, the image data is cut out from the image data, and the left cut-out image data and the right cut-out image data are obtained and output to the stereoscopic video composition process 24 (S3). Upon receiving the left cut-out image data and the right cut-out image data, the 3D video composition process 24 generates and outputs 3D video data for display on the 3D display 12 from these (S4).

ここで、処理終了でなければ、処理を継続して(S5)、視線位置データ入力部31は、視線位置計測装置13から、三次元ディスプレイ12の画面上でのユーザの左目および右目の注視点の座標を取得し、これらを注視対象物距離算出処理33と切出し幅算出処理32とに出力する(S6)。注視対象物距離算出処理33は、視線位置データ入力部31から左目および右目の注視点の座標を受けると、左目の注視点のx座標から右目の注視点のx座標を引いて視線幅Wuを算出する。次に、注視対象物距離算出処理33は、切出し幅算出処理32が前回算出した切出し幅を前回の切出し幅Wcとして用いて、式(2)により、注視点にある対象物までの距離Dcを算出し、これを左カメラ10および右カメラ11に出力する(S7)。左カメラ10および右カメラ11は、距離Dcを受けると、焦点を距離Dcに合わせる。これにより、ユーザが注視している対象物に左カメラ10および右カメラ11の焦点が合う。   If the process is not completed, the process continues (S5), and the line-of-sight position data input unit 31 receives the gaze point of the user's left eye and right eye on the screen of the three-dimensional display 12 from the line-of-sight position measurement device 13. Are output to the gaze target distance calculation process 33 and the cutout width calculation process 32 (S6). When the gaze target distance calculation process 33 receives the coordinates of the left eye and right eye gaze points from the gaze position data input unit 31, the gaze width Wu is obtained by subtracting the x coordinates of the right eye gaze points from the x coordinates of the left eye gaze points. calculate. Next, the gaze target distance calculation processing 33 uses the cutout width previously calculated by the cutout width calculation processing 32 as the previous cutout width Wc, and calculates the distance Dc to the target at the gaze point by the equation (2). This is calculated and output to the left camera 10 and the right camera 11 (S7). When receiving the distance Dc, the left camera 10 and the right camera 11 are focused on the distance Dc. Thereby, the left camera 10 and the right camera 11 are focused on the object being watched by the user.

次に、切出し幅算出処理32は、視線位置データ入力部31から左目および右目の注視点の座標を受けると、左目の注視点のx座標から右目の注視点のx座標を引いて視線幅Wuを算出する。次に、切出し幅算出処理32は、前回算出した切出し幅を前回の切出し幅Wcとして用いて、式(2)により、今回の切出し幅Wcnewを算出し、これを画像切出し処理23に出力する(S8)。
以降、ステップS5にて処理終了になるまで、同様にして処理を継続する。
Next, when the cutout width calculation processing 32 receives the coordinates of the left eye and right eye gazing point from the sight line position data input unit 31, the line width Wu is obtained by subtracting the x coordinate of the right eye gazing point from the x coordinate of the left eye gazing point. Is calculated. Next, the cutout width calculation process 32 calculates the current cutout width Wcnew according to the expression (2) using the previously calculated cutout width as the previous cutout width Wc, and outputs this to the image cutout process 23 ( S8).
Thereafter, the process is continued in the same manner until the process ends in step S5.

これにより、対象物の位置を自由に変化させたり、ユーザが映像中の任意の物体を対象物体に変更したりしながら映像撮影を行えるようになり、立体実写映像コンテンツの価値を広げることができる。特に従来技術にあるバリア方式三次元ディスプレイなどの平面型立体ディスプレイは装置の制限で奥行き感を感じることのできるレンジ幅が対象物の位置を基準にして有限で限られているが、本手法でターゲットの位置を奥行き方向に動的に変えることで、そのレンジ幅の制限を大幅に拡張することができる。また、本手法は特にWEBカメラのように観光スポットや街角などを撮影するような見る人によって注目したいもの(対象物)が異なるような映像を撮影するシーンで特に高い効果を発揮する。   As a result, the position of the object can be freely changed, and the user can take a video while changing any object in the video to the target object, so that the value of the stereoscopic video image content can be expanded. . In particular, flat-type 3D displays such as the barrier-type 3D display in the prior art have a limited range width that allows you to feel a sense of depth due to the limitations of the device, but this method is limited. By dynamically changing the position of the target in the depth direction, the range width limit can be greatly expanded. In addition, this method is particularly effective in scenes such as a WEB camera that shoots images with different things (objects) to be noticed by viewers who photograph tourist spots or street corners.

また、図2における左映像データ入力部21、右映像データ入力部22、画像切出し処理23、立体映像合成処理24、視線位置データ入力部31、切出し幅算出処理32および注視対象物距離算出処理33の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより左映像データ入力部21、右映像データ入力部22、画像切出し処理23、立体映像合成処理24、視線位置データ入力部31、切出し幅算出処理32および注視対象物距離算出処理33の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。   In addition, the left video data input unit 21, the right video data input unit 22, the image cutout process 23, the stereoscopic video composition process 24, the line-of-sight position data input unit 31, the cutout width calculation process 32, and the gaze target distance calculation process 33 in FIG. A program for realizing the above function is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed, whereby the left video data input unit 21 and the right video data input The unit 22, the image cutout process 23, the stereoscopic video composition process 24, the line-of-sight position data input unit 31, the cutout width calculation process 32, and the gaze target distance calculation process 33 may be performed. Here, the “computer system” includes an OS and hardware such as peripheral devices.

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。   The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. The program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.

以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。   The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes a design and the like within the scope not departing from the gist of the present invention.

この発明の一実施形態による立体映像処理装置の概要を説明する図である。It is a figure explaining the outline | summary of the three-dimensional-video processing apparatus by one Embodiment of this invention. 同実施形態による立体映像撮影装置100の構成を示すブロック図である。It is a block diagram which shows the structure of the stereoscopic video imaging device 100 by the same embodiment. 同実施形態における左カメラ10および右カメラ11の撮影領域と被写体O1、被写体O2の関係を説明する図である。It is a figure explaining the relationship between the imaging | photography area | region of the left camera 10 and the right camera 11, and the to-be-photographed object O1 and the to-be-photographed object O2 in the embodiment. 同実施形態における式(1)を説明する図である。It is a figure explaining Formula (1) in the embodiment. 同実施形態における式(2)を説明する図である。It is a figure explaining Formula (2) in the embodiment. 同実施形態における立体映像撮影装置の動作を説明するフローチャートである。It is a flowchart explaining operation | movement of the stereoscopic video imaging device in the same embodiment. 従来の技術を説明する図である。It is a figure explaining the prior art.

符号の説明Explanation of symbols

10…左カメラ
11…右カメラ
12…三次元ディスプレイ
13…視線位置計測装置
20…3D合成処理
21…左映像データ入力部
22…右映像データ入力部
23…画像切出し処理
24…立体映像合成処理
30…視線位置変換処理
31…視線位置データ入力部
32…切出し幅算出処理
33…注視対象物距離算出処理
100…立体映像処理装置

DESCRIPTION OF SYMBOLS 10 ... Left camera 11 ... Right camera 12 ... Three-dimensional display 13 ... Gaze position measuring device 20 ... 3D composition process 21 ... Left image data input part 22 ... Right image data input part 23 ... Image extraction process 24 ... Three-dimensional image composition process 30 Gaze position conversion processing 31 Gaze position data input unit 32 Cutout width calculation processing 33 Gaze target distance calculation processing 100 Stereoscopic image processing apparatus

Claims (5)

被写体を撮影し、左目用の映像を出力する左映像撮影手段と、前記被写体を撮影し、右目用の映像を出力する右映像撮影手段と、立体映像を表示する立体映像出力手段と、前記立体映像出力手段を見ているユーザの左右の目の注視点の座標を遂次測定する視線位置計測手段とが接続される立体映像処理装置において、
前記左映像撮影手段が出力した左目用の映像の入力を受け付けて、1フレームずつの左画像に分離して出力する左映像データ入力手段と、
前記右映像撮影手段が出力した右目用の映像の入力を受け付けて、1フレームずつの右画像に分離して出力する右映像データ入力手段と、
前記視線位置計測手段が測定した、左目の注視点の座標と右目の注視点の座標とを遂次受け付ける視線位置データ入力手段と、
前記視線位置データ入力手段が受け付けた左目の注視点の座標と右目の注視点の座標および、前回算出した画像の切出し幅に基づき、画像の切出し幅を逐次算出する切出し幅算出手段と、
前記切出し幅算出手段が算出した切出し幅を受け、前記左映像データ入力手段が出力した左画像の右端から切出し幅分の画像を切出した左切出し画像と、前記右映像データ入力手段が出力した右画像の左端から切出し幅分の画像を切出した右切出し画像とを出力する画像切出し手段と、
前記画像切出し手段が切出した左切出し画像と右切出し画像とから立体映像を生成して出力する立体映像合成手段と
を備えることを特徴とする立体映像処理装置。
Left video photographing means for photographing a subject and outputting a left-eye video, right video photographing means for photographing the subject and outputting a right-eye video, stereoscopic video output means for displaying a stereoscopic video, and the stereoscopic In the stereoscopic image processing apparatus connected to the gaze position measuring means for successively measuring the coordinates of the gazing point of the left and right eyes of the user watching the video output means,
Left video data input means for receiving an input of a left-eye video output by the left video photographing means and separating and outputting a left image frame by frame;
Right video data input means for receiving an input of a right-eye video output by the right video photographing means and separating and outputting the right image frame by frame;
Gaze position data input means for sequentially receiving the left eye gaze coordinates and the right eye gaze coordinates measured by the gaze position measurement means,
Extraction width calculation means for sequentially calculating the image extraction width based on the coordinates of the left eye fixation point and the right eye fixation point received by the line-of-sight position data input means, and the image extraction width calculated last time;
A left cut-out image obtained by cutting out the image corresponding to the cut-out width from the right end of the left image output by the left video data input means and receiving the cut width calculated by the cut-out width calculation means, and the right output from the right video data input means Image cutting means for outputting a right cut image obtained by cutting an image corresponding to the cut width from the left end of the image;
A stereoscopic video processing apparatus comprising: a stereoscopic video composition unit that generates and outputs a stereoscopic video from a left cut image and a right cut image cut out by the image cutout unit.
前記切出し幅算出手段は、前回算出した切出し幅をWc、前記視線位置データ入力手段が受け付けた左目の注視点のx座標から右目の注視点のx座標を引いた値をWuとして、今回の切出し幅Wcnew=Wc−Wuにより、今回の切出し幅Wcnewを算出することを特徴とする請求項1に記載の立体映像処理装置。   The cut-out width calculation means uses Wc as the cut-out width calculated last time and Wu as a value obtained by subtracting the x-coordinate of the right-eye gazing point from the x-coordinate of the left-eye gazing point received by the line-of-sight position data input means. The stereoscopic video processing apparatus according to claim 1, wherein the current cutout width Wcnew is calculated from the width Wcnew = Wc−Wu. 前記左映像撮影手段と前記右映像撮影手段は、入力された距離に焦点を合わせて、被写体を撮影し、
前記視線位置データ入力手段が受け付けた左目の注視点の座標と右目の注視点の座標および、前記左映像撮影手段と前記右映像撮影手段との配置関係に基づき、注視点にある被写体までの距離を算出して、前記左映像撮影手段と前記右映像撮影手段とに出力する注視対象物距離算出手段を備えること
を特徴とする請求項1または請求項2に記載の立体映像処理装置。
The left video photographing means and the right video photographing means focus on the input distance and photograph the subject,
The distance to the subject at the gazing point based on the coordinates of the gazing point of the left eye and the coordinates of the gazing point of the right eye received by the line-of-sight position data input unit and the arrangement relationship between the left image capturing unit and the right image capturing unit The stereoscopic image processing apparatus according to claim 1, further comprising: a gaze target distance calculating unit that calculates and outputs to the left image capturing unit and the right image capturing unit.
前記左映像撮影手段と前記右映像撮影手段は、設置間隔Bcで平行に設置され、撮影画像の横方向の画素数がWd、焦点距離がfであり、
前記注視対象物距離算出手段は、前回算出した切出し幅をWc、前記視線位置データ入力手段が受け付けた左目の注視点のx座標から右目の注視点のx座標を引いた値をWuとして、注視点にある被写体までの距離Dc=Bc・f/{Q・(Wd−Wc+Wu)}(Qは単位あわせの係数)により、注視点にある被写体までの距離Dcを算出すること
を特徴とする請求項3に記載の立体映像処理装置。
The left image capturing means and the right image capturing means are installed in parallel at an installation interval Bc, the number of pixels in the horizontal direction of the captured image is Wd, and the focal length is f.
The gaze target distance calculating means is Wc, where Wc is a previously calculated cutout width, and Wu is a value obtained by subtracting the x coordinate of the right eye gaze point from the x coordinate of the left eye gaze point received by the gaze position data input means. The distance Dc to the subject at the gazing point is calculated from the distance Dc = Bc · f / {Q · (Wd−Wc + Wu)} (Q is a unit adjustment factor). Item 4. The stereoscopic image processing apparatus according to Item 3.
被写体を撮影し、左目用の映像を出力する左映像撮影手段と、前記被写体を撮影し、右目用の映像を出力する右映像撮影手段と、立体映像を表示する立体映像出力手段と、前記立体映像出力手段を視聴するユーザの左右の目の注視点の座標を遂次測定する視線位置計測手段と接続されるコンピュータを、
前記左映像撮影手段が出力した左目用の映像の入力を受け付けて、1フレームずつの左画像に分離して出力する左映像データ入力手段、
前記右映像撮影手段が出力した右目用の映像の入力を受け付けて、1フレームずつの右画像に分離して出力する右映像データ入力手段、
前記視線位置計測手段が測定した、左目の注視点の座標と右目の注視点の座標とを遂次受け付ける視線位置データ入力手段、
前記視線位置データ入力手段が受け付けた左目の注視点の座標と右目の注視点の座標および、前回算出した画像の切り出し幅に基づき、画像の切出し幅を逐次算出する切出し幅算出手段、
前記切出し幅算出手段が算出した切出し幅を受け、前記左映像データ入力手段が出力した左画像の右端から切出し幅分の画像を切出した左切出し画像と、前記右映像データ入力手段が出力した右画像の左端から切出し幅分の画像を切出した右切出し画像とを出力する画像切出し手段、
前記画像切出し手段が切出した左切出し画像と右切出し画像とから立体映像を生成して出力する立体映像合成手段
として機能させるためのプログラム。
Left video photographing means for photographing a subject and outputting a left-eye video, right video photographing means for photographing the subject and outputting a right-eye video, stereoscopic video output means for displaying a stereoscopic video, and the stereoscopic A computer connected to a line-of-sight position measuring unit that sequentially measures the coordinates of the gazing point of the left and right eyes of a user who views the video output unit;
Left video data input means for accepting input of left-eye video output by the left video photographing means and separating and outputting the left image frame by frame;
Right video data input means for receiving an input of a right-eye video output from the right video photographing means and separating and outputting the right image for each frame;
Gaze position data input means for successively receiving the left eye gaze coordinates and the right eye gaze coordinates measured by the gaze position measurement means,
Extraction width calculation means for sequentially calculating the image extraction width based on the coordinates of the left eye fixation point and the right eye fixation point received by the line-of-sight position data input means, and the image extraction width calculated last time ;
A left cut-out image obtained by cutting out the image corresponding to the cut-out width from the right end of the left image output by the left video data input means and receiving the cut width calculated by the cut-out width calculation means, and the right output from the right video data input means Image cutting means for outputting a right cut image obtained by cutting an image for the cut width from the left end of the image,
A program for functioning as a stereoscopic video composition unit for generating and outputting a stereoscopic video from a left cut image and a right cut image cut out by the image cut out unit.
JP2006005727A 2006-01-13 2006-01-13 3D image processing apparatus and program thereof Expired - Fee Related JP4249187B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006005727A JP4249187B2 (en) 2006-01-13 2006-01-13 3D image processing apparatus and program thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006005727A JP4249187B2 (en) 2006-01-13 2006-01-13 3D image processing apparatus and program thereof

Publications (2)

Publication Number Publication Date
JP2007189489A JP2007189489A (en) 2007-07-26
JP4249187B2 true JP4249187B2 (en) 2009-04-02

Family

ID=38344356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006005727A Expired - Fee Related JP4249187B2 (en) 2006-01-13 2006-01-13 3D image processing apparatus and program thereof

Country Status (1)

Country Link
JP (1) JP4249187B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2530642A1 (en) 2011-05-31 2012-12-05 Thomson Licensing Method of cropping a 3D content
CN111093466A (en) * 2017-09-10 2020-05-01 凯罗斯股份有限公司 Endoscope system

Also Published As

Publication number Publication date
JP2007189489A (en) 2007-07-26

Similar Documents

Publication Publication Date Title
US8760502B2 (en) Method for improving 3 dimensional effect and reducing visual fatigue and apparatus enabling the same
JP5963422B2 (en) Imaging apparatus, display apparatus, computer program, and stereoscopic image display system
US9451242B2 (en) Apparatus for adjusting displayed picture, display apparatus and display method
JP5679978B2 (en) Stereoscopic image alignment apparatus, stereoscopic image alignment method, and program thereof
JP5917017B2 (en) Image processing apparatus, control method therefor, and program
JP5814692B2 (en) Imaging apparatus, control method therefor, and program
JP2011064894A (en) Stereoscopic image display apparatus
JP2009210840A (en) Stereoscopic image display device and method, and program
JP2010541513A (en) One-source multi-use (OSMU) type stereo camera and method for producing stereo image content thereof
JP2007052304A (en) Video display system
US8675042B2 (en) Image processing apparatus, multi-eye digital camera, and program
TWI520574B (en) 3d image apparatus and method for displaying images
JP2011142632A (en) Camera arrangement, camera system, and camera configuration method
TW201801528A (en) Stereo image generating method and electronic apparatus utilizing the method
TWI505708B (en) Image capture device with multiple lenses and method for displaying stereo image thereof
JP4249187B2 (en) 3D image processing apparatus and program thereof
JP5347987B2 (en) Video processing device
JP2006267767A (en) Image display device
JP5453552B2 (en) Imaging apparatus, method and program
JP2011217229A (en) Imaging apparatus and display method
JP5367747B2 (en) Imaging apparatus, imaging method, and imaging system
CN102478756B (en) Method and apparatus for shooting stereoscopic film
JP2007194694A (en) Three-dimensional video photographing apparatus and program thereof
JP5409481B2 (en) Compound eye photographing apparatus and program
JP4249188B2 (en) Stereoscopic image cut-out position calculating device, program thereof, stereoscopic image cutout device, and program thereof

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081007

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090106

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090114

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120123

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130123

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140123

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150123

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees