JP4924168B2 - Image processing apparatus, image processing method, and image processing program - Google Patents

Image processing apparatus, image processing method, and image processing program Download PDF

Info

Publication number
JP4924168B2
JP4924168B2 JP2007104697A JP2007104697A JP4924168B2 JP 4924168 B2 JP4924168 B2 JP 4924168B2 JP 2007104697 A JP2007104697 A JP 2007104697A JP 2007104697 A JP2007104697 A JP 2007104697A JP 4924168 B2 JP4924168 B2 JP 4924168B2
Authority
JP
Japan
Prior art keywords
data
camera work
camera
moving image
eff
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007104697A
Other languages
Japanese (ja)
Other versions
JP2008262392A (en
Inventor
久史 小黒
素梅 郭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Inc
Original Assignee
Toppan Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppan Inc filed Critical Toppan Inc
Priority to JP2007104697A priority Critical patent/JP4924168B2/en
Publication of JP2008262392A publication Critical patent/JP2008262392A/en
Application granted granted Critical
Publication of JP4924168B2 publication Critical patent/JP4924168B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、三次元CGデータから動画像を作成する画像処理装置、画像処理方法及び画像処理プログラムに関する。   The present invention relates to an image processing apparatus, an image processing method, and an image processing program for creating a moving image from three-dimensional CG data.

画像コンテンツがデジタル化されて、同一の画像コンテンツが、劇場型大型スクリーンや小型携帯端末の小型ディスプレイといった、様々な画面大きさのディスプレイで鑑賞される可能性が増えてきている。しかし、全く同一の画像コンテンツであっても、大型スクリーンを用いた場合と、パソコンや携帯端末等の小型ディスプレイを用いた場合とでは、臨場感や動揺感などの刺激の強度が異なって感じられることが知られている。特に、体験型映像コンテンツのような没入感を重視した映像の場合、鑑賞者に与える印象が観賞画面のサイズによって異なることは大きな問題となる。また、鑑賞者に与える印象を左右する要因として、画面サイズの他に、表示器の解像度等の物理特性、鑑賞者の年齢等の身体的特性などがある。   As image content is digitized, the same image content is increasingly likely to be viewed on displays of various screen sizes, such as a theater-type large screen or a small display of a small portable terminal. However, even if the image content is exactly the same, when using a large screen and when using a small display such as a personal computer or a mobile terminal, the intensity of stimuli such as a sense of presence and a sense of motion can be felt differently. It is known. In particular, in the case of video that emphasizes an immersive feeling such as experience-type video content, it is a big problem that the impression given to the viewer varies depending on the size of the viewing screen. In addition to the screen size, factors that affect the impression given to the viewer include physical characteristics such as the resolution of the display, and physical characteristics such as the age of the viewer.

そこで、鑑賞条件が異なる場合においてそれぞれに最適な画像の提供を行うには、各鑑賞条件に最適化された理想的な画像コンテンツをそれぞれ個別に製作する必要がある。例えば、映画館などの大型スクリーン用に作成された映像コンテンツとは別に家庭用TVなどの小型ディスプレイ向けに映像コンテンツを作成するなど、同一の内容であっても複数の映像コンテンツを製作する必要がある。   Therefore, in order to provide an optimal image for each viewing condition when viewing conditions are different, it is necessary to individually produce ideal image contents optimized for each viewing condition. For example, it is necessary to produce a plurality of video contents even for the same content, such as creating video contents for a small display such as a home TV separately from video contents created for a large screen such as a movie theater. is there.

しかしながら、鑑賞条件の組合せは多岐に亘ることから、各鑑賞条件に最適化された理想的な画像コンテンツをそれぞれ個別に製作するには、映像製作者は多大な時間および労力をかける必要があり、画像コンテンツの製造費が上昇する結果となる。従って、上記の如き画像コンテンツの個別の作り分けを現実に実施することは、困難である。   However, since there are a wide variety of combinations of viewing conditions, it is necessary for video producers to spend a great deal of time and effort to individually produce ideal image content optimized for each viewing condition. As a result, the production cost of the image content increases. Therefore, it is difficult to actually implement the separate creation of the image content as described above.

かかる事情に鑑みて、三次元CGデータによる三次元空間内に仮想配置されたカメラに対して設定された基本カメラワークデータを、所定の鑑賞条件に対応した補正パラメータによって補正して、二次元画像を作成する技術が提案されている(例えば特許文献1参照)。より詳細には、コンピュータで作成された三次元CGデータの三次元空間内に仮想配置されたカメラから見た画像が、表示器に表示される二次元動画であり、基本カメラワークを補正することによって二次元動画を変更する技術である。   In view of such circumstances, the basic camera work data set for the camera virtually arranged in the three-dimensional space by the three-dimensional CG data is corrected by the correction parameter corresponding to the predetermined viewing condition, and the two-dimensional image is obtained. Has been proposed (see, for example, Patent Document 1). More specifically, an image viewed from a camera virtually arranged in a three-dimensional space of three-dimensional CG data created by a computer is a two-dimensional video displayed on a display, and the basic camera work is corrected. This is a technology that changes 2D video.

当該技術によれば、画像コンテンツの基礎データとなる三次元CGデータを作成した後に、当該三次元CGデータを変更することなく、鑑賞条件に対応する補正パラメータを設定するだけで、鑑賞環境に対応した画像コンテンツを表示することが可能となる。また、該画像コンテンツを鑑賞するユーザが、適宜補正パラメータを設定することによって、該ユーザの嗜好に応じた動画像を得ることが可能となる。
特開2006−309612号公報
According to the technology, after creating 3D CG data as basic data of image content, it is possible to cope with the viewing environment by setting correction parameters corresponding to viewing conditions without changing the 3D CG data. The displayed image content can be displayed. In addition, a user who appreciates the image content can set a correction parameter as appropriate to obtain a moving image according to the user's preference.
JP 2006-309612 A

しかしながら、当該補正パラメータは、時刻ごとに設定されている基準カメラワークデータ毎に設定されており、さらに複数の鑑賞条件毎に設定されなければならなかった。すなわち、画像製作者は、鑑賞条件に応じた複数の補正パラメータ群を基準カメラワークデータに対応して設定しなければならず、データ量が膨大となるという問題がある。また、ユーザが自身の嗜好に合わせて動画像を得るには、基準カメラワークデータに対する補正パラメータを時刻毎に設定しなければならず、入力が煩わしいという問題がある。   However, the correction parameter is set for each reference camera work data set for each time, and must be set for each of a plurality of viewing conditions. That is, the image producer has to set a plurality of correction parameter groups corresponding to viewing conditions corresponding to the reference camera work data, and there is a problem that the amount of data becomes enormous. In addition, in order for a user to obtain a moving image in accordance with his / her preference, a correction parameter for reference camera work data must be set for each time, and there is a problem that input is troublesome.

本発明が解決しようとする課題には、前述した問題が1例として挙げられる。   The problem to be solved by the present invention includes the above-described problem as an example.

本発明による画像処理装置は、三次元CGデータによる三次元空間内に仮想配置されたカメラのカメラワークを設定して、動画像を作成する画像処理装置であって、前記カメラの時系列の視野情報を含む基準カメラワークデータを入力する基準カメラワークデータ入力手段と、前記基準カメラワークデータの視野情報に対する補正パラメータとなるカメラワーク補正データを入力するカメラワーク補正データ入力手段と、記カメラワーク補正データに対する調整係数を入力する調整係数入力手段と、前記調整係数によって調整された前記カメラワーク補正データを基に前記基準カメラワークデータを補正して各時刻における修正カメラワークデータを設定する修正カメラワークデータ設定手段と、前記三次元CGデータと前記修正カメラワークデータとを用いて動画像データを作成する動画像データ作成手段と、前記動画像データを外部装置へ送出する動画像データ送出手段と、を含むことを特徴とする。   An image processing apparatus according to the present invention is an image processing apparatus that sets a camera work of a camera virtually arranged in a three-dimensional space based on three-dimensional CG data and creates a moving image, and includes a time-series visual field of the camera. Reference camera work data input means for inputting reference camera work data including information, camera work correction data input means for inputting camera work correction data as a correction parameter for the visual field information of the reference camera work data, and camera work correction Adjustment coefficient input means for inputting an adjustment coefficient for data, and corrected camera work for correcting the reference camera work data based on the camera work correction data adjusted by the adjustment coefficient and setting corrected camera work data at each time Data setting means, the three-dimensional CG data and the modified camera Characterized in that it comprises a moving image data creating means for creating moving image data, and moving picture data sending means for sending the video data to an external device, a by using the data.

また、本発明による画像処理方法は、三次元CGデータによる三次元空間内に仮想配置されたカメラのカメラワークを設定して、動画像を作成する画像処理方法であって、前記カメラの時系列の視野情報を含む基準カメラワークデータを入力する基準カメラワークデータ入力ステップと、前記基準カメラワークデータの視野情報に対する補正パラメータとなるカメラワーク補正データを入力するカメラワーク補正データ入力ステップと、前記カメラワーク補正データに対する調整係数を入力する調整係数入力ステップと、前記調整係数によって調整された前記カメラワーク補正データを基に前記基準カメラワークデータを補正して各時刻における修正カメラワークデータを設定する修正カメラワークデータ設定ステップと、前記三次元CGデータと前記修正カメラワークデータとを用いて動画像データを作成する動画像データ作成ステップと、前記動画像データを外部装置へ送出する動画像データ送出ステップと、を含むことを特徴とする。   An image processing method according to the present invention is an image processing method for creating a moving image by setting camera work of a camera virtually arranged in a three-dimensional space based on three-dimensional CG data. A reference camera work data input step for inputting reference camera work data including field of view information, a camera work correction data input step for inputting camera work correction data as a correction parameter for the field of view information of the reference camera work data, and the camera An adjustment coefficient input step for inputting an adjustment coefficient for work correction data, and a correction for correcting the reference camera work data based on the camera work correction data adjusted by the adjustment coefficient and setting corrected camera work data at each time A camera work data setting step, and the three-dimensional CG data Characterized in that it comprises a moving image data creation step of creating moving image data, and moving image data transmission step of transmitting the moving image data to an external device, a by using the data and the correction camera work data.

また、本発明による画像処理プログラムは、三次元CGデータによる三次元空間内に仮想配置されたカメラのカメラワークを設定して、動画像を作成する画像処理プログラムであって、前記カメラの時系列の視野情報を含む基準カメラワークデータを入力する基準カメラワークデータ入力手段、前記基準カメラワークデータの視野情報に対する補正パラメータとなるカメラワーク補正データを入力するカメラワーク補正データ入力手段、前記カメラワーク補正データに対する調整係数を入力する調整係数入力手段、前記調整係数によって調整された前記カメラワーク補正データを基に前記基準カメラワークデータを補正して各時刻における修正カメラワークデータを設定する修正カメラワークデータ設定手段、前記三次元CGデータと前記修正カメラワークデータとを用いて動画像データを作成する動画像データ作成手段、及び前記動画像データを外部装置に送出する動画像データ送出手段、としてコンピュータを機能させることを特徴とする。   An image processing program according to the present invention is an image processing program for setting a camera work of a camera virtually arranged in a three-dimensional space based on three-dimensional CG data and creating a moving image, the time series of the camera Reference camera work data input means for inputting reference camera work data including the visual field information of the camera, camera work correction data input means for inputting camera work correction data as a correction parameter for the visual field information of the reference camera work data, and the camera work correction Adjustment coefficient input means for inputting an adjustment coefficient for data, corrected camera work data for correcting the reference camera work data based on the camera work correction data adjusted by the adjustment coefficient and setting corrected camera work data at each time Setting means, the three-dimensional CG data and the modification Moving picture data sending means for sending moving image data creating means for creating moving image data by using the camera work data, and the moving image data to an external device, and characterized by causing a computer to function as a.

本発明の画像処理装置、画像処理方法及び画像処理プログラムにおいては、三次元CGデータから動画像データを作成する際に、鑑賞者の鑑賞環境に応じて、該動画像データを修正することができる。動画像データの修正は、基準カメラワークデータ及びカメラワーク補正データと、カメラワーク補正データの修正に用いられる調整係数を基にして行われる。   In the image processing apparatus, the image processing method, and the image processing program of the present invention, when moving image data is created from three-dimensional CG data, the moving image data can be corrected according to the viewing environment of the viewer. . The correction of the moving image data is performed based on the reference camera work data, the camera work correction data, and the adjustment coefficient used for the correction of the camera work correction data.

かかる構成によれば、鑑賞環境に対応したカメラワーク補正データを予め複数設定しておく必要がない故、画像製作者による製作作業負担を軽減させることができる。また、データ量を増大させることなく様々な画像表示装置において、好適な動画像表示を行うことが出来る。また、鑑賞者は、調整係数を変更することによって、鑑賞環境及び嗜好に応じて簡便に動画像を変更することができる。   According to such a configuration, it is not necessary to set a plurality of camera work correction data corresponding to the viewing environment in advance, so that the production work burden on the image producer can be reduced. In addition, it is possible to display a suitable moving image on various image display devices without increasing the data amount. In addition, the viewer can easily change the moving image according to the viewing environment and preference by changing the adjustment coefficient.

以下、本発明の画像処理装置、画像処理方法及び画像処理プログラムの実施例について、図面を参照しつつ詳細に説明する。   Hereinafter, embodiments of an image processing apparatus, an image processing method, and an image processing program according to the present invention will be described in detail with reference to the drawings.

図1に示す如く、画像処理装置1はコンテンツデータベース2と接続しており、コンテンツデータベース2は、HDD、DVD-ROM等の大容量の記録媒体上に構築されている。コンテンツデータベース2は、三次元CGデータを記憶する三次元CGデータファイル3、基準カメラワークデータファイル4、カメラワーク補正データファイル5を含む。   As shown in FIG. 1, the image processing apparatus 1 is connected to a content database 2, and the content database 2 is constructed on a large-capacity recording medium such as an HDD or a DVD-ROM. The content database 2 includes a three-dimensional CG data file 3 that stores three-dimensional CG data, a reference camera work data file 4, and a camera work correction data file 5.

三次元CGデータファイル3内にはコンピュータで作成された三次元CGデータが記憶されている。基準カメラワークデータファイル4内には、該三次元CGデータによる仮想三次元空間内に設定されたカメラの視野情報が含まれ、当該視野情報は時系列データとなっている。なお、以下の実施例において、少ないデータ量で時系列的に滑らかに変化する視野情報が定義されるように、複数の制御点を設定し、設定された複数の制御点の間をスプライン曲線で補間し、視野情報のそれぞれの数値が滑らかな曲線的変化を示すよう処理する例を中心に記載する。すなわち、基準カメラワークデータファイル4は、該三次元CGデータによる仮想三次元空間内に設定された複数の制御点におけるカメラの視野情報を含む基準カメラワークデータを記憶している。ここで視野情報とは、カメラの位置(x、y、z)と、ヨー角(水平方向)Y、ピッチ角(垂直方向)P及びロール角(前後軸回り)Rで示されるカメラの向き(Y、P、R)と、を含むカメラの視野及び状態に関する情報をいう。なお、視野情報にはカメラのズーム操作に対応する視野角W、が適宜含まれる。   The three-dimensional CG data file 3 stores three-dimensional CG data created by a computer. The reference camera work data file 4 includes the visual field information of the camera set in the virtual three-dimensional space by the three-dimensional CG data, and the visual field information is time series data. In the following embodiment, a plurality of control points are set so that visual field information that changes smoothly in time series with a small amount of data is defined, and a spline curve is set between the set control points. An example of performing interpolation so that each numerical value of the visual field information shows a smooth curvilinear change will be mainly described. That is, the reference camera work data file 4 stores reference camera work data including camera field-of-view information at a plurality of control points set in the virtual three-dimensional space by the three-dimensional CG data. Here, the field-of-view information refers to the camera orientation (x, y, z), the yaw angle (horizontal direction) Y, the pitch angle (vertical direction) P, and the roll angle (around the front-rear axis) R ( Y, P, R). The visual field information appropriately includes a visual field angle W corresponding to the zoom operation of the camera.

表1に示すごとく、基準カメラワークデータ(B)は、制御点L1〜Lnに対して各々設定されており、
基準カメラワークデータ(Bm)=[(xbase、ybase、zbasem、(Ybase、Pbase、Rbasem、(Wbasem] (m=1〜n)
と示すことができる。
As shown in Table 1, the reference camera work data (B) are set for the control points L 1 to L n , respectively.
Reference camera work data (B m ) = [(x base , y base , z base ) m , (Y base , P base , R base ) m , (W base ) m ] (m = 1 to n)
Can be shown.

Figure 0004924168
Figure 0004924168

上記表中、時刻T〜Tは,再生開始時点を基準とした各制御点の通過時刻であり、ある時刻Tにおいて、どの制御点に対する視野情報を参照すればよいかを示している。中間の時刻に対する視野情報はスプライン補間によって求められる。 In the above table, times T 1 to T n are the passing times of the respective control points with respect to the reproduction start time, and indicate which control point should be referred to at a certain time T. The visual field information for the intermediate time is obtained by spline interpolation.

カメラワーク補正データファイル5は、該基準カメラワークデータの各制御点における視野情報を補正するカメラワーク補正データを記憶している。カメラワーク補正データは、上記した視野情報に対応して設定されている。すなわち、表2に示すごとく、カメラワーク補正データ(E)は、各制御点L1〜Lnに対応して設定されており、
カメラワーク補正データ(E)=[(xeff、yeff、zeffm、(Yeff、Peff、Reffm、(Weffm](m=1〜n)
で示されている。
The camera work correction data file 5 stores camera work correction data for correcting visual field information at each control point of the reference camera work data. The camera work correction data is set corresponding to the above-described visual field information. That is, as shown in Table 2, the camera work correction data (E) is set corresponding to each control point L 1 to L n ,
Camera work correction data (E m ) = [(x eff , y eff , z eff ) m , (Y eff , P eff , R eff ) m , (W eff ) m ] (m = 1 to n)
It is shown in

Figure 0004924168
Figure 0004924168

上記のごときデータファイルを有するコンテンツデータベース2に接続された画像処理装置1は、基準カメラワークデータファイル4から該基準カメラワークデータを入力する基準カメラワークデータ入力手段6と、カメラワーク補正データファイル5から該カメラワーク補正データを入力するカメラワーク補正データ入力手段7と、を含む。また、画像処理装置1は画像処理制御部8を有し、画像処理制御部8は、基準カメラワークデータ入力手段6及びカメラワーク補正データ入力手段7に接続されている。画像処理制御部8は、画像処理装置1の外部に設けられた画像再生信号入力手段9からの再生信号を受信すると、基準カメラワークデータ入力手段6及びカメラワーク補正データ入力手段7へ視野情報読取り信号を送信する。視野情報読取り信号を受信した基準カメラワークデータ入力手段6は、基準カメラワークデータファイル4から基準カメラワークデータを読み取り、該基準カメラワークデータを画像処理装置1に入力する。また視野情報読取り信号を受信したカメラワーク補正データ入力手段7は、カメラワーク補正データファイル5からカメラワーク補正データを読み取り、該カメラワーク補正データを画像処理装置1に入力する。   The image processing apparatus 1 connected to the content database 2 having the data file as described above includes a reference camera work data input means 6 for inputting the reference camera work data from the reference camera work data file 4 and a camera work correction data file 5. And camera work correction data input means 7 for inputting the camera work correction data from. Further, the image processing apparatus 1 includes an image processing control unit 8, and the image processing control unit 8 is connected to a reference camera work data input unit 6 and a camera work correction data input unit 7. When receiving the reproduction signal from the image reproduction signal input means 9 provided outside the image processing apparatus 1, the image processing control unit 8 reads the visual field information to the reference camera work data input means 6 and the camera work correction data input means 7. Send a signal. The reference camera work data input means 6 that has received the visual field information read signal reads the reference camera work data from the reference camera work data file 4 and inputs the reference camera work data to the image processing apparatus 1. The camera work correction data input means 7 that has received the visual field information read signal reads the camera work correction data from the camera work correction data file 5 and inputs the camera work correction data to the image processing apparatus 1.

画像処理装置1は、画像処理制御部8に接続され且つ画像処理制御部8から視野情報読取り信号を受信する調整係数入力手段10を含む。また、調整係数入力手段10は、画像処理装置1の外部の操作部11と接続している。調整係数入力手段10は、視野情報読取り信号の受信を契機として、操作部11から該カメラワーク補正データに対する調整係数(α)を読み取り、画像処理装置1に該調整係数を入力する。操作部11は、映像鑑賞者が任意に調整係数(α)を設定できる設定手段であり、例えば調整ヴォリュームなどの数値を連続的に変化させることができるつまみ若しくは調整係数を入力する数値キーなどのキースイッチとしても良い。なお、画像処理制御部8から調整係数入力手段10への視野情報読取り信号の送信は、上記した画像処理制御部8への再生信号の入力を契機として実施される。   The image processing apparatus 1 includes an adjustment coefficient input unit 10 connected to the image processing control unit 8 and receiving a visual field information reading signal from the image processing control unit 8. Further, the adjustment coefficient input unit 10 is connected to an operation unit 11 outside the image processing apparatus 1. The adjustment coefficient input unit 10 reads the adjustment coefficient (α) for the camera work correction data from the operation unit 11 when receiving the visual field information read signal, and inputs the adjustment coefficient to the image processing apparatus 1. The operation unit 11 is a setting unit that allows an image viewer to arbitrarily set an adjustment coefficient (α). For example, a knob that can continuously change a numerical value such as an adjustment volume or a numeric key that inputs an adjustment coefficient is used. It may be a key switch. The transmission of the visual field information read signal from the image processing control unit 8 to the adjustment coefficient input unit 10 is performed in response to the input of the reproduction signal to the image processing control unit 8 described above.

基準カメラワークデータ入力手段6、カメラワーク補正データ入力手段7、及び調整係数入力手段10は、修正カメラワークデータ設定手段12に接続されており、各々基準カメラワークデータ、カメラワーク補正データ及び調整係数を修正カメラワークデータ設定手段12に送信する。修正カメラワークデータ設定手段12は、画像処理制御部8と接続しており、カメラワークデータ修正信号を受信する。カメラワークデータ修正信号を受信した修正カメラワークデータ設定手段12は、該調整係数によって調整された該カメラワーク補正データを基に該基準カメラワークデータを補正して各制御点における修正カメラワークデータを設定する。より詳細には、修正カメラワーク設定手段12は、次式によって修正カメラワークデータ(S)を設定する。   The reference camera work data input means 6, the camera work correction data input means 7 and the adjustment coefficient input means 10 are connected to the modified camera work data setting means 12, and each of the reference camera work data, camera work correction data and adjustment coefficient. Is transmitted to the modified camera work data setting means 12. The corrected camera work data setting means 12 is connected to the image processing control unit 8 and receives a camera work data correction signal. The corrected camera work data setting means 12 that has received the camera work data correction signal corrects the reference camera work data based on the camera work correction data adjusted by the adjustment coefficient to obtain the corrected camera work data at each control point. Set. More specifically, the corrected camera work setting unit 12 sets the corrected camera work data (S) by the following equation.

Figure 0004924168
Figure 0004924168

なお、修正カメラワークデータ(S)は、カメラ位置データ(x,y,z)、カメラ向きデータ(Y、P、R)m、及び視野角データ(W)を含み、各々次式で算出することができる。 The corrected camera work data (S m ) includes camera position data (x, y, z) m , camera orientation data (Y, P, R) m , and viewing angle data (W) m. Can be calculated.

Figure 0004924168
Figure 0004924168

上記式に記載の如く、調整係数(α)は、複数の制御点におけるカメラワーク補正データ(E)に共通のパラメータとなっている。   As described in the above equation, the adjustment coefficient (α) is a parameter common to the camera work correction data (E) at a plurality of control points.

ここで、修正カメラワーク設定手段12によって行われる視野情報の修正について詳細に説明する。なお説明を簡単にするために、カメラ位置及びカメラ向きについての修正に関して説明を行う(視野角Wについてはここでは省略する)。図2に示す如く、カメラCの制御点Ln〜Ln+2について、基準カメラワークデータ(B)によってカメラ位置(xbase、ybase、zbasen〜(xbase、ybase、zbasen+1及びカメラ向き(Ybase、Pbase、Rbasen〜(Ybase、Pbase、Rbasen+2がそれぞれ制御点ごとに設定されている。また、カメラワーク補正データ(E)によって、カメラ位置(xeff、yeff、zeffn〜(xeff、yeff、zeffn+1及びカメラ向き(Yeff、Peff、Reffn〜(Yeff、Peff、Reffn+1がそれぞれ制御点ごとに設定されている(表3参照)。 Here, the correction of the visual field information performed by the corrected camera work setting unit 12 will be described in detail. In order to simplify the description, the correction of the camera position and the camera direction will be described (the viewing angle W is omitted here). As shown in FIG. 2, the camera positions (x base , y base , z base ) n to (x base , y base , z) are determined by the reference camera work data (B) for the control points L n to L n + 2 of the camera C. base ) n + 1 and camera direction (Y base , P base , R base ) n to (Y base , P base , R base ) n + 2 are set for each control point. In addition, the camera position (x eff , y eff , z eff ) n to (x eff , y eff , z eff ) n + 1 and the camera orientation (Y eff , P eff , R eff ) are determined according to the camera work correction data (E). ) N to (Y eff , P eff , R eff ) n + 1 are set for each control point (see Table 3).

Figure 0004924168
Figure 0004924168

かかる基準カメラワークデータ(B)及びカメラワーク補正データ(E)に対して、各制御点のカメラワーク補正データに共通の調整係数αが設定されており、カメラ位置及びカメラ向きについて下記の式に基づいて算出される。   For such reference camera work data (B) and camera work correction data (E), a common adjustment coefficient α is set for the camera work correction data of each control point. Calculated based on

Figure 0004924168
Figure 0004924168

Figure 0004924168
Figure 0004924168

修正カメラワーク設定手段によって、修正された制御点Lsn,Lsn+1,Lsn+2は、修正前の制御点Ln,Ln+1,Ln+2からカメラ位置及びカメラ向きが変動する。 The control points Ls n , Ls n + 1 , and Ls n + 2 corrected by the correction camera work setting means have the camera position and the camera orientation from the control points L n , L n + 1 , and L n + 2 before correction. fluctuate.

ここで再度、図1に示す如き、画像処理装置の説明を行うと、修正カメラワーク設定手段12によって設定された修正カメラワークデータ(S)は、修正カメラワーク設定手段12に接続している動画像データ作成手段13に送付される。また、動画像データ作成手段13は、画像処理制御部8に接続されており、画像処理制御部8から動画像作成信号を受信する。さらに、動画像データ作成手段13は、コンテンツデータベース2の三次元CGデータファイル3に接続されている。かかる動画像データ作成手段13は、画像処理制御部8からの動画像作成信号の受信を契機として、三次元CGデータファイル3から三次元CGデータを読み取る。かかる動画像データ作成手段13は、該三次元CGデータと該修正カメラワークデータとを用いて動画像データを作成する。具体的には、動画像データ作成手段13は、修正カメラワークデータに含まれるn点の制御点に対してBスプライン曲線を適用して、連続した視野情報に基づくカメラワークを生成し、さらに当該連続視野情報を基にして三次元CGデータから動画像を順次作成(レンダリング処理)する(図2参照)。例えば1/30秒の時間間隔で視野情報を算出し、レンダリング処理によって、時間ごとにカメラから見える画像を1フレームの静止画像(動画像データ)として生成し、かかる静止画像を順次表示することによって動画像が生成される。なお、画像処理制御部8から動画像データ作成手段13への動画像作成信号の送信は、上記した画像処理制御部8への再生信号の入力を契機として実施される。   Here, when the image processing apparatus is described again as shown in FIG. 1, the corrected camera work data (S) set by the corrected camera work setting means 12 is a moving image connected to the corrected camera work setting means 12. It is sent to the image data creation means 13. The moving image data creation means 13 is connected to the image processing control unit 8 and receives a moving image creation signal from the image processing control unit 8. Furthermore, the moving image data creation means 13 is connected to the three-dimensional CG data file 3 of the content database 2. The moving image data creation unit 13 reads the 3D CG data from the 3D CG data file 3 when receiving the moving image creation signal from the image processing control unit 8. The moving image data creating unit 13 creates moving image data using the 3D CG data and the modified camera work data. Specifically, the moving image data creation means 13 applies a B-spline curve to n control points included in the modified camera work data, generates camera work based on continuous visual field information, and further A moving image is sequentially created (rendering process) from the three-dimensional CG data based on the continuous visual field information (see FIG. 2). For example, visual field information is calculated at a time interval of 1/30 seconds, and an image that can be seen from the camera is generated as a still image (moving image data) for each time by rendering processing, and such still images are sequentially displayed. A moving image is generated. The transmission of the moving image creation signal from the image processing control unit 8 to the moving image data creation unit 13 is performed in response to the input of the reproduction signal to the image processing control unit 8 described above.

動画像データ作成手段13において作成された動画像データは、動画像データ作成手段13に接続された動画像データ送出手段14に送出される。動画像データ送出手段14は、表示器15に接続されており、動画像データを表示器15に送出する。表示器15は、当該動画像データを動画像として、表示画面(図示せず)に表示する。カメラワークが変化することによって、動画像の各フレームの二次元画像が変更される故、動画像から得られる印象が変化する。   The moving image data created by the moving image data creating unit 13 is sent to a moving image data sending unit 14 connected to the moving image data creating unit 13. The moving image data sending means 14 is connected to the display 15 and sends moving image data to the display 15. The display 15 displays the moving image data as a moving image on a display screen (not shown). Since the two-dimensional image of each frame of the moving image is changed by changing the camera work, the impression obtained from the moving image changes.

上記の如き構成の画像処理装置1において、予め設定された基準カメラワークデータ(B)及びこれに対応するカメラワーク補正データ(E)と、鑑賞環境及び鑑賞者の好みに応じて任意に設定された調整係数(α)と、に基づいて三次元CGデータから動画像が作成される。すなわち、カメラワーク補正データ(E)を鑑賞環境ごとに設定しなくても、三次元CGデータから動画像を作成することが出来る。その結果、映像製作者のコンテンツを作成する際の負担が軽減され、画像データファイルのデータ容量を低減させることが出来る。また、調整係数(α)を調整することによって、表示画面の大きさなどの鑑賞環境及び嗜好に応じた画像を提供することができる故、従来、映像製作者(映像提供者)によって行われていた画像の調整を、鑑賞者(個人などのエンドユーザ)自身が任意にかつ簡便に設定することが出来る。   In the image processing apparatus 1 having the above-described configuration, the reference camera work data (B) set in advance and the camera work correction data (E) corresponding thereto are arbitrarily set according to the viewing environment and the viewer's preference. A moving image is created from the three-dimensional CG data based on the adjustment coefficient (α). That is, a moving image can be created from three-dimensional CG data without setting camerawork correction data (E) for each viewing environment. As a result, the burden of creating content for the video producer is reduced, and the data capacity of the image data file can be reduced. In addition, by adjusting the adjustment coefficient (α), it is possible to provide an image according to the viewing environment and preferences such as the size of the display screen, so that it has been conventionally performed by a video producer (video provider). The viewer (end user such as an individual) can set the image adjustment arbitrarily and simply.

なお、上記のごとき基準カメラワークデータ(B)及びカメラワーク補正データ(E)は、映像製作者の判断によって設定される。例えば、図2に示す如く、映像製作者は、まず刺激感が少ない極めて控えめなカメラワーク(基準カメラワークCW1)が得られる基準カメラワークデータを設定し、カメラワークによる演出が過剰と思われるまで演出効果を高めたカメラワークと該基準カメラワークCW1との差分に対応する情報をカメラワーク補正データとして設定する。   The reference camera work data (B) and the camera work correction data (E) as described above are set based on the judgment of the video producer. For example, as shown in FIG. 2, the video producer first sets the reference camerawork data for obtaining a very conservative camerawork (reference camerawork CW1) with little irritation, and until the production by the camerawork seems to be excessive. Information corresponding to the difference between the camera work with enhanced performance effect and the reference camera work CW1 is set as camera work correction data.

また、制御点間の移動時間を一定とした場合、制御点を結んで形成されるカメラの経路の長さに応じて、当該カメラ経路を通過するカメラの線速度が設定される。従って、制御点の修正によって、カメラの経路長が変更され、これに伴って、カメラの移動速度が変更される。カメラの移動速度が変化することによって、鑑賞者が動画像から受ける動的刺激が変化し、動画像による演出効果を変化させることができる。   When the movement time between the control points is constant, the linear velocity of the camera passing through the camera path is set according to the length of the camera path formed by connecting the control points. Therefore, the path length of the camera is changed by correcting the control point, and accordingly, the moving speed of the camera is changed. When the moving speed of the camera changes, the dynamic stimulus that the viewer receives from the moving image changes, and the effect of the moving image can be changed.

画像処理装置における画像処理は、画像再生信号入力手段9から画像処理装置の画像処理制御部8に再生信号が入力されることを契機として、開始される。図3に示す如く、画像処理装置1は、画像処理制御部8に再生信号が入力されると、画像処理制御部8が基準カメラワークデータ入力手段6に視野情報読取り信号を送信して、基準カメラワークデータ(B)を入力する(S1)。続いて、画像処理装置1は、画像処理制御部8がカメラワーク補正データ入力手段7に視野情報読取り信号を送信して、カメラワーク補正データ(E)を入力する(S2)。さらに、画像処理装置1は、画像処理制御部8が整係数入力手段10に視野情報読取り信号を送信して、整係数入力手段10を介して、操作部11から該カメラワーク補正データに対する調整係数(α)を入力する(S3)。   Image processing in the image processing apparatus is started when a reproduction signal is input from the image reproduction signal input means 9 to the image processing control unit 8 of the image processing apparatus. As shown in FIG. 3, in the image processing apparatus 1, when a reproduction signal is input to the image processing control unit 8, the image processing control unit 8 transmits a visual field information read signal to the reference camera work data input unit 6. Camera work data (B) is input (S1). Subsequently, in the image processing apparatus 1, the image processing control unit 8 transmits a visual field information read signal to the camera work correction data input means 7, and inputs camera work correction data (E) (S2). Further, in the image processing apparatus 1, the image processing control unit 8 transmits a visual field information read signal to the integer coefficient input unit 10, and the adjustment coefficient for the camera work correction data from the operation unit 11 via the integer coefficient input unit 10. (Α) is input (S3).

続いて、画像処理装置1において、基準カメラワークデータ入力手段6、カメラワーク補正データ入力手段7及び調整係数入力手段10は、各々基準カメラワークデータ(B)、カメラワーク補正データ(E)及び調整係数(α)を修正カメラワークデータ設定手段12に送信し、画像処理制御部8は、修正カメラワークデータ設定手段12にカメラワークデータ修正信号を送信する。該カメラワークデータ修正信号を受信した修正カメラワークデータ設定手段12は、調整係数(α)によって調整されたカメラワーク補正データ(E)を基に基準カメラワークデータ(B)を補正して各制御点における修正カメラワークデータ(S)を設定する(S4)。より詳細には、修正カメラワーク設定手段12は、次式によって修正カメラワークデータ(S)を設定する。   Subsequently, in the image processing apparatus 1, the reference camera work data input means 6, the camera work correction data input means 7 and the adjustment coefficient input means 10 are respectively the reference camera work data (B), the camera work correction data (E) and the adjustment. The coefficient (α) is transmitted to the corrected camera work data setting unit 12, and the image processing control unit 8 transmits a camera work data correction signal to the corrected camera work data setting unit 12. The correction camera work data setting means 12 that has received the camera work data correction signal corrects the reference camera work data (B) based on the camera work correction data (E) adjusted by the adjustment coefficient (α) and performs each control. The corrected camera work data (S) at the point is set (S4). More specifically, the corrected camera work setting unit 12 sets the corrected camera work data (S) by the following equation.

Figure 0004924168
Figure 0004924168

修正カメラワーク設定手段12によって修正カメラワークデータ(S)が設定された後、修正カメラワーク設定手段12は、修正カメラワークデータ(S)を動画像データ作成手段13に送付する。また、動画像データ作成手段13は、画像処理制御部8から動画像作成信号を受信することを契機として、三次元CGデータファイル3から三次元CGデータを読取って入力すると共に、該三次元CGデータと該修正カメラワークデータとを用いて動画像データを作成する(S5)。動画像データの作成は、例えば、修正カメラワークデータに含まれるn点の制御点に対してBスプライン曲線を適用して、連続した視野情報に基づくカメラワークを生成し、さらに当該連続視野情報を基にして三次元CGデータから動画像を順次作成(レンダリング処理)することによって行われる。例えば1/30秒の時間間隔で視野情報を算出し、レンダリング処理によって、時間ごとにカメラから見える画像を1フレームの静止画像(動画像データ)として生成する。   After the corrected camera work data (S) is set by the corrected camera work setting means 12, the corrected camera work setting means 12 sends the corrected camera work data (S) to the moving image data creation means 13. In addition, the moving image data creation means 13 reads and inputs the 3D CG data from the 3D CG data file 3 when receiving the moving image creation signal from the image processing control unit 8, and the 3D CG. Moving image data is created using the data and the modified camera work data (S5). For example, the moving image data is created by applying a B-spline curve to n control points included in the corrected camera work data to generate camera work based on continuous visual field information, and This is done by sequentially creating (rendering) moving images from the three-dimensional CG data. For example, visual field information is calculated at a time interval of 1/30 seconds, and an image that can be seen from the camera is generated as a still image (moving image data) of one frame for each time by rendering processing.

続いて、動画像データ作成手段は作成された動画像データを、動画像データ送出手段に送出し、さらに動画像データ送出手段は該動画像データを動画として表示器に送出する(S6)。   Subsequently, the moving image data creating means sends the created moving image data to the moving image data sending means, and the moving image data sending means sends the moving image data as a moving image to the display (S6).

上記した画像処理方法によれば、調整係数(α)を変更することにより、簡便に動画像データを修正することができる。すなわち、表示画面の大きさなどの表示環境に依存することなく、調整係数(α)を変更することによって、表示環境に対応した動画像データを作成することができる。   According to the above-described image processing method, the moving image data can be easily corrected by changing the adjustment coefficient (α). That is, moving image data corresponding to the display environment can be created by changing the adjustment coefficient (α) without depending on the display environment such as the size of the display screen.

次に、上記のごとき画像処理方法をコンピュータに実施させることができる画像処理プログラムについて説明する。当該プログラムは、インストールされたコンピュータを、コンテンツデータベースの基準カメラワークデータファイルから基準カメラワークデータを入力する基準カメラワークデータ入力手段、コンテンツデータベースのカメラワーク補正データファイルからカメラワーク補正データを入力するカメラワーク補正データ入力手段、及びカメラワーク補正データに対する調整係数を入力する調整係数入力手段、として機能させる。さらに、当該プログラムは、該カメラワーク補正データを該調整係数によって調整し、かかる調整後のデータを基に該基準カメラワークデータを補正して、各制御点における修正カメラワークデータを設定する修正カメラワークデータ設定手段、としてコンピュータを機能させる。さらにまた、当該プログラムは、コンテンツデータベースの三次元CGデータファイルから読出した三次元CGデータと該修正カメラワークデータとを用いて動画像データを作成する動画像データ作成手段、及び該動画像データを表示器に送出する動画像データ送出手段、としてコンピュータを機能させる。コンピュータに対して上記のごとき機能を発揮させる画像処理プログラムによれば、映像製作者及び映像提供者が使用する映像作成用機器によらなくても、パーソナルコンピュータなどの汎用電子計算機若しくは小型の情報処理装置において、鑑賞者の鑑賞環境に応じた動画像を表示器に表示させることができる。   Next, an image processing program capable of causing a computer to perform the image processing method as described above will be described. The program includes an installed computer, a reference camera work data input means for inputting reference camera work data from a reference camera work data file of a content database, and a camera for inputting camera work correction data from a camera work correction data file of a content database. It functions as a work correction data input means and an adjustment coefficient input means for inputting an adjustment coefficient for camera work correction data. Further, the program adjusts the camera work correction data by the adjustment coefficient, corrects the reference camera work data based on the adjusted data, and sets corrected camera work data at each control point. The computer is caused to function as work data setting means. Furthermore, the program includes moving image data creating means for creating moving image data using the 3D CG data read from the 3D CG data file of the content database and the modified camera work data, and the moving image data. The computer is caused to function as moving image data sending means for sending to the display. According to the image processing program that causes the computer to perform the above-described functions, a general-purpose computer such as a personal computer or a small information processing system can be used without using a video creation device used by the video producer and video provider. In the apparatus, a moving image corresponding to the viewing environment of the viewer can be displayed on the display.

なお、画像処理プログラムは、DVD−ROM等の光情報記録媒体及びHDD等の磁気情報記録媒体といった記録媒体に記録することができる。また、当該記録媒体には、当該プログラムに適用できるコンテンツデータも記録されていても良い。   The image processing program can be recorded on a recording medium such as an optical information recording medium such as a DVD-ROM and a magnetic information recording medium such as an HDD. Further, content data applicable to the program may be recorded on the recording medium.

なお、変形例として、上記した実施例において、コンテンツデータベース2と画像処理装置1との接続が、インターネット等のネットワーク回線又は無線若しくは有線による通信放送を用いて行われても良い。また、別の変形例として、画像処理装置と表示器との間の接続が、ネットワーク回線又は無線若しくは有線による通信放送を用いて行われることとしても良い。かかる構成によれば、大容量の記録媒体を必要とする三次元CGデータ等の画像データを、鑑賞者が保有する必要がない故、例えば携帯電話等の小型端末においても利用できて、演出効果の高い動画像を鑑賞することができる。   As a modification, in the above-described embodiment, the connection between the content database 2 and the image processing apparatus 1 may be performed using a network line such as the Internet or wireless or wired communication broadcasting. As another modification, the connection between the image processing apparatus and the display device may be performed using a network line or wireless or wired communication broadcast. According to such a configuration, image data such as three-dimensional CG data that requires a large-capacity recording medium does not need to be held by the viewer, so that it can be used in a small terminal such as a mobile phone, for example. Can watch high-quality moving images.

変形例として、調整係数の入力手段は、表示器の画面大きさに対応する調整係数を、表示器特有の値として表示器から入手する手段としても良い。例えば、図4に示す如く、画像処理装置1の調整係数入力手段10は表示器15と接続しており、その他は上述した画像処理装置とほぼ同様の構成としても良い。かかる調整係数入力手段10は、表示器15から画面大きさに対応する調整係数を入力する。当該係数の入力は、例えば、調整係数入力手段10が画像処理制御部8から視野情報読取り信号を受信することを契機として行われ、当該信号を受信した調整係数入力手段10は表示器15から調整係数を受信するという手順で実行される。   As a modification, the adjustment coefficient input means may be means for obtaining an adjustment coefficient corresponding to the screen size of the display from the display as a value specific to the display. For example, as shown in FIG. 4, the adjustment coefficient input means 10 of the image processing apparatus 1 is connected to the display 15, and the other configuration may be substantially the same as the above-described image processing apparatus. The adjustment coefficient input means 10 inputs an adjustment coefficient corresponding to the screen size from the display 15. The input of the coefficient is performed, for example, when the adjustment coefficient input unit 10 receives a visual field information read signal from the image processing control unit 8, and the adjustment coefficient input unit 10 that has received the signal adjusts from the display 15. It is executed in the procedure of receiving the coefficient.

また別の変形例として、図5に示す如く、調整係数入力手段10は、上記した操作部11及び表示器15と接続されており、さらに調整係数の発信先を操作部11若しくは表示器15の何れかに切り替える切替手段16と接続されている。その他の構成は、上述した実施例と略同様の構成となっている。かかる切替手段16は、画像処理装置1の操作者(鑑賞者)によって操作され、調整係数の送信元に対応する情報を含む切替信号を調整係数入力手段10に対して送信する。すなわち、切替手段16は、調整係数入力モードを自動モード(表示器15からの入力モード)若しくは手動モード(操作部11からの入力)の何れかに切り替える切替スイッチとして機能する。なお、切替手段16は、通常は自動モードとして調整係数の送信元を表示器15とする切替信号を送信し、操作者が自動モードから手動モードに切り替える操作を実行してから解除までの間は調整係数の送信元を操作部11とする切替信号を送信することとしても良い。   As another modified example, as shown in FIG. 5, the adjustment coefficient input means 10 is connected to the operation unit 11 and the display unit 15 described above, and the transmission destination of the adjustment coefficient is the operation unit 11 or the display unit 15. It is connected to switching means 16 for switching to either. Other configurations are substantially the same as those in the above-described embodiment. The switching unit 16 is operated by an operator (viewer) of the image processing apparatus 1 and transmits a switching signal including information corresponding to the transmission source of the adjustment coefficient to the adjustment coefficient input unit 10. That is, the switching unit 16 functions as a switch for switching the adjustment coefficient input mode to either the automatic mode (input mode from the display unit 15) or the manual mode (input from the operation unit 11). Note that the switching unit 16 normally transmits a switching signal in which the transmission source of the adjustment coefficient is the display unit 15 in the automatic mode, and after the operator performs an operation of switching from the automatic mode to the manual mode until the release. It is good also as transmitting the switch signal which makes the transmission part of an adjustment coefficient the operation part 11. FIG.

かかる構成の画層処理装置において、調整係数入力手段10は、画像処理制御部8から視野情報読取り信号を受信した際に入力されている切替信号を基にして、調整係数の発信元を決定する。調整係数の発信元が決定されていれば、調整係数入力手段10は、上述した調整係数の入力手順と略同様の手順に基づいて、操作部11若しくは表示器15から調整係数の入力を実行する。   In the layer processing apparatus having such a configuration, the adjustment coefficient input means 10 determines the source of the adjustment coefficient based on the switching signal input when the visual field information read signal is received from the image processing control unit 8. . If the transmission source of the adjustment coefficient is determined, the adjustment coefficient input means 10 executes the input of the adjustment coefficient from the operation unit 11 or the display unit 15 based on a procedure substantially similar to the adjustment coefficient input procedure described above. .

また、別の変形例としては、調整係数入力手段10は、調整係数を操作部11及び表示器15の双方から受信し、操作部11により入力された調整係数と表示器15から入力された調整係数の平均値を、補正に用いる調整係数としても良い。かかる方法によれば、表示器の大きさに基づく自動調整と操作者の判断による調整の両方を加味した演出効果が得られる。   As another modification, the adjustment coefficient input unit 10 receives the adjustment coefficient from both the operation unit 11 and the display unit 15, and the adjustment coefficient input from the operation unit 11 and the adjustment input from the display unit 15. The average value of the coefficients may be used as an adjustment coefficient used for correction. According to this method, it is possible to obtain an effect that takes into account both automatic adjustment based on the size of the display and adjustment based on the judgment of the operator.

別の変形例として、視野情報は、三次元空間を移動するカメラの速度及び/又は加速度を含むこととしても良い。すなわち制御点ごとにカメラの速度及び/又は加速度を設定し、補正係数によって制御点間のカメラの移動速度を動的に変更することができる。かかる構成によれば、制御点間のカメラの移動速度の変化による演出効果を鑑賞者に提供することができる。   As another variation, the visual field information may include the speed and / or acceleration of a camera moving in a three-dimensional space. That is, the camera speed and / or acceleration can be set for each control point, and the moving speed of the camera between the control points can be dynamically changed by the correction coefficient. According to such a configuration, it is possible to provide the viewer with the effect of changing the moving speed of the camera between the control points.

また、上記した実施例においては、複数の制御点に対して基準カメラワークデータ(B)及びカメラワーク補正データ(E)が設定されている。変形例として、時刻に応じて基準カメラワークデータ(B)及びカメラワーク補正データ(E)を設定しても良い。すなわち、時刻毎に基準カメラワークデータ及びカメラワーク補正データを設定する点を除いて、そのほかの構成を上記した画像処理装置、画像処理方法及び画像処理プログラムと略同一の構成とすることができる。また、制御点に換えて時刻毎に基準カメラワークデータ及びカメラワーク補正データを設定したとしても、上記した実施例とほぼ同様の効果が得られる。   In the above-described embodiment, reference camera work data (B) and camera work correction data (E) are set for a plurality of control points. As a modification, reference camera work data (B) and camera work correction data (E) may be set according to time. That is, except that the reference camera work data and the camera work correction data are set for each time, other configurations can be made substantially the same as the above-described image processing apparatus, image processing method, and image processing program. Further, even if the reference camera work data and the camera work correction data are set for each time instead of the control point, substantially the same effect as the above-described embodiment can be obtained.

上記した実施例では、画像処理装置に接続されている外部装置が表示器である場合について説明しているものの、外部装置は動画像データを記録する記録媒体を含む記録装置(図示せず)であっても良い。すなわち、画像処理装置を動画像の編集装置として使用することができる。   In the above-described embodiments, the case where the external device connected to the image processing device is a display device is described. However, the external device is a recording device (not shown) including a recording medium for recording moving image data. There may be. That is, the image processing apparatus can be used as a moving image editing apparatus.

本発明の画像処理装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the image processing apparatus of this invention. 本発明による画像処理装置によって行われる制御点の修正及びカメラワークの変更を概略的に説明する概略図である。It is the schematic explaining roughly the correction of the control point performed by the image processing apparatus by this invention, and the change of a camera work. 本発明による画像処理方法を説明するフローチャートである。It is a flowchart explaining the image processing method by this invention. 本発明の画像処理装置の概略構成の変形例を示すブロック図である。It is a block diagram which shows the modification of schematic structure of the image processing apparatus of this invention. 本発明の画像処理装置の概略構成の変形例を示すブロック図である。It is a block diagram which shows the modification of schematic structure of the image processing apparatus of this invention.

符号の説明Explanation of symbols

1 画像処理装置
2 コンテンツデータベース
3 三次元CGデータファイル
4 基準カメラワークデータファイル
5 カメラワーク補正データファイル
6 基準カメラワークデータ入力手段
7 カメラワーク補正データ入力手段
8 画像処理制御部
9 画像再生信号入力手段
10 調整係数入力手段
11 操作部
12 修正カメラワーク設定手段
13 動画像データ作成手段
14 動画像データ送出手段
15 表示器
16 切替手段
DESCRIPTION OF SYMBOLS 1 Image processing apparatus 2 Content database 3 Three-dimensional CG data file 4 Reference camera work data file 5 Camera work correction data file 6 Reference camera work data input means 7 Camera work correction data input means 8 Image processing control section 9 Image reproduction signal input means DESCRIPTION OF SYMBOLS 10 Adjustment coefficient input means 11 Operation part 12 Correction camera work setting means 13 Moving image data creation means 14 Moving image data sending means 15 Display 16 Switching means

Claims (11)

三次元CGデータによる三次元空間内に仮想配置されたカメラのカメラワークを設定して、動画像を作成する画像処理装置であって、
前記カメラの時系列 m (m=1〜n)での視野情報を含む基準カメラワークデータを入力する基準カメラワークデータ入力手段と、
前記基準カメラワークデータの視野情報に対する補正パラメータとなるカメラワーク補正データを入力するカメラワーク補正データ入力手段と、
前記カメラワーク補正データに対する調整係数αを入力する調整係数入力手段と、
前記調整係数αによって調整された前記カメラワーク補正データを基に前記基準カメラワークデータを補正して各時刻における修正カメラワークデータを設定する修正カメラワークデータ設定手段と、
前記三次元CGデータと前記修正カメラワークデータとを用いて動画像データを作成する動画像データ作成手段と、
前記動画像データを外部装置へ送出する動画像データ送出手段と、を含み、
前記視野情報は、カメラの位置(x、y、z)と、ヨー角(水平方向)Y、ピッチ角(垂直方向)P及びロール角(前後軸回り)Rで示されるカメラの向き(Y、P、R)と、カメラのズーム操作に対応する視野角Wを含む、カメラの視野及び状態に関する情報であり、
前記基準カメラワークデータ(B m )は、[(x base 、y base 、z base m 、(Y base 、P base 、R base m 、(W base m ]で表され、
前記カメラワーク補正データ(E m )は、[(x eff 、y eff 、z eff m 、(Y eff 、P eff 、R eff m 、(W eff m ]で表され、
前記修正カメラワークデータ(S m )は、(B m )+α*(E m ) で表されることを特徴とする画像処理装置。
An image processing apparatus for creating a moving image by setting camera work of a camera virtually arranged in a three-dimensional space by three-dimensional CG data,
Reference camera work data input means for inputting reference camera work data including field- of- view information in time series T m (m = 1 to n) of the camera;
Camera work correction data input means for inputting camera work correction data to be correction parameters for the visual field information of the reference camera work data;
Adjustment coefficient input means for inputting an adjustment coefficient α for the camera work correction data;
Corrected camera work data setting means for correcting the reference camera work data based on the camera work correction data adjusted by the adjustment coefficient α and setting corrected camera work data at each time;
Moving image data creating means for creating moving image data using the three-dimensional CG data and the modified camera work data;
And moving image data sending means for sending the video data to an external device, only including,
The field of view information includes the camera position (x, y, z), the yaw angle (horizontal direction) Y, the pitch angle (vertical direction) P, and the roll angle (around the longitudinal axis) R (Y, P, R), and information on the field of view and state of the camera, including the viewing angle W corresponding to the zoom operation of the camera,
The reference camera work data (B m ) is represented by [(x base , y base , z base ) m , (Y base , P base , R base ) m , (W base ) m ],
The camera work correction data (E m ) is represented by [(x eff , y eff , z eff ) m , (Y eff , P eff , R eff ) m , (W eff ) m ],
The modified camera work data (S m ) is represented by (B m ) + α * (E m ) .
前記外部装置は、前記動画像データを記録する記録媒体を含む記録装置であることを特徴とする請求項1記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the external apparatus is a recording apparatus including a recording medium that records the moving image data. 前記外部装置は、前記動画像データによる動画像を表示する表示器であることを特徴とする請求項1記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the external device is a display that displays a moving image based on the moving image data. 前記調整係数入力手段は前記表示器の画面大きさに対応する調整係数を前記表示器から入力する手段を含むことを特徴とする請求項記載の画像処理装置。 4. The image processing apparatus according to claim 3, wherein the adjustment coefficient input means includes means for inputting an adjustment coefficient corresponding to a screen size of the display from the display. 前記調整係数入力手段は操作者によって設定された調整係数を入力する手段を含むことを特徴とする請求項1記載の画像処理装置。   2. The image processing apparatus according to claim 1, wherein the adjustment coefficient input means includes means for inputting an adjustment coefficient set by an operator. 三次元CGデータによる三次元空間内に仮想配置されたカメラのカメラワークを設定して、動画像を作成する画像処理方法であって、
前記カメラの時系列 m (m=1〜n)での視野情報を含む基準カメラワークデータを入力する基準カメラワークデータ入力ステップと、
前記基準カメラワークデータの視野情報に対する補正パラメータとなるカメラワーク補正データを入力するカメラワーク補正データ入力ステップと、
前記カメラワーク補正データに対する調整係数αを入力する調整係数入力ステップと、
前記調整係数αによって調整された前記カメラワーク補正データを基に前記基準カメラワークデータを補正して各時刻における修正カメラワークデータを設定する修正カメラワークデータ設定ステップと、
前記三次元CGデータと前記修正カメラワークデータとを用いて動画像データを作成する動画像データ作成ステップと、
前記動画像データを外部装置へ送出する動画像データ送出ステップと、を含み、
前記視野情報は、カメラの位置(x、y、z)と、ヨー角(水平方向)Y、ピッチ角(垂直方向)P及びロール角(前後軸回り)Rで示されるカメラの向き(Y、P、R)と、カメラのズーム操作に対応する視野角Wを含む、カメラの視野及び状態に関する情報であり、
前記基準カメラワークデータ(B m )は、[(x base 、y base 、z base m 、(Y base 、P base 、R base m 、(W base m ]で表され、
前記カメラワーク補正データ(E m )は、[(x eff 、y eff 、z eff m 、(Y eff 、P eff 、R eff m 、(W eff m ]で表され、
前記修正カメラワークデータ(S m )は、(B m )+α*(E m ) で表されることを特徴とする画像処理方法。
An image processing method for creating a moving image by setting camerawork of a camera virtually arranged in a three-dimensional space by three-dimensional CG data,
A reference camera work data input step for inputting reference camera work data including visual field information in the time series T m (m = 1 to n) of the camera;
A camera work correction data input step for inputting camera work correction data to be correction parameters for the visual field information of the reference camera work data;
An adjustment coefficient input step of inputting an adjustment coefficient α for the camera work correction data;
A modified camera work data setting step for setting the modified camera work data at each time by correcting the reference camera work data based on the camera work correction data adjusted by the adjustment coefficient α ;
A moving image data creation step of creating moving image data using the three-dimensional CG data and the modified camera work data;
And moving image data transmission step of transmitting the moving image data to an external device, only including,
The field of view information includes the camera position (x, y, z), the yaw angle (horizontal direction) Y, the pitch angle (vertical direction) P, and the roll angle (around the longitudinal axis) R (Y, P, R), and information on the field of view and state of the camera, including the viewing angle W corresponding to the zoom operation of the camera,
The reference camera work data (B m ) is represented by [(x base , y base , z base ) m , (Y base , P base , R base ) m , (W base ) m ],
The camera work correction data (E m ) is represented by [(x eff , y eff , z eff ) m , (Y eff , P eff , R eff ) m , (W eff ) m ],
The modified camera work data (S m ) is represented by (B m ) + α * (E m ) .
前記外部装置は、前記動画像データを記録する記録媒体を含む記録装置であることを特徴とする請求項記載の画像処理方法。 7. The image processing method according to claim 6 , wherein the external device is a recording device including a recording medium for recording the moving image data. 前記外部装置は、前記動画像データによる動画像を表示する表示器であることを特徴とする請求項記載の画像処理方法。 The image processing method according to claim 6 , wherein the external device is a display that displays a moving image based on the moving image data. 前記調整係数入力ステップは前記表示器の画面大きさに対応する調整係数を前記表示器から入力するステップを含むことを特徴とする請求項記載の画像処理方法。 9. The image processing method according to claim 8, wherein the adjustment coefficient input step includes a step of inputting an adjustment coefficient corresponding to a screen size of the display from the display. 前記調整係数入力ステップは操作者によって設定された調整係数を入力するステップを含むことを特徴とする請求項記載の画像処理方法。 9. The image processing method according to claim 8, wherein the adjustment coefficient input step includes a step of inputting an adjustment coefficient set by an operator. 三次元CGデータによる三次元空間内に仮想配置されたカメラのカメラワークを設定して、動画像を作成する画像処理プログラムであって、
前記カメラの時系列 m (m=1〜n)での視野情報を含む基準カメラワークデータを入力する基準カメラワークデータ入力手段、
前記基準カメラワークデータの視野情報に対する補正パラメータとなるカメラワーク補正データを入力するカメラワーク補正データ入力手段、
前記カメラワーク補正データに対する調整係数αを入力する調整係数入力手段、
前記調整係数αによって調整された前記カメラワーク補正データを基に前記基準カメラワークデータを補正して各時刻における修正カメラワークデータを設定する修正カメラワークデータ設定手段、
前記三次元CGデータと前記修正カメラワークデータとを用いて動画像データを作成する動画像データ作成手段、及び
前記動画像データを外部装置に送出する動画像データ送出手段、としてコンピュータを機能させ
前記視野情報は、カメラの位置(x、y、z)と、ヨー角(水平方向)Y、ピッチ角(垂直方向)P及びロール角(前後軸回り)Rで示されるカメラの向き(Y、P、R)と、カメラのズーム操作に対応する視野角Wを含む、カメラの視野及び状態に関する情報であり、
前記基準カメラワークデータ(B m )は、[(x base 、y base 、z base m 、(Y base 、P base 、R base m 、(W base m ]で表され、
前記カメラワーク補正データ(E m )は、[(x eff 、y eff 、z eff m 、(Y eff 、P eff 、R eff m 、(W eff m ]で表され、
前記修正カメラワークデータ(S m )は、(B m )+α*(E m ) で表されていることを特徴とする画像処理プログラム。
An image processing program for setting a camera work of a camera virtually arranged in a three-dimensional space using three-dimensional CG data and creating a moving image,
Reference camera work data input means for inputting reference camera work data including visual field information in time series T m (m = 1 to n) of the camera;
Camera work correction data input means for inputting camera work correction data that is a correction parameter for the visual field information of the reference camera work data;
Adjustment coefficient input means for inputting an adjustment coefficient α for the camera work correction data;
Corrected camera work data setting means for correcting the reference camera work data based on the camera work correction data adjusted by the adjustment coefficient α and setting corrected camera work data at each time;
Causing the computer to function as moving image data creating means for creating moving image data using the three-dimensional CG data and the modified camera work data, and moving image data sending means for sending the moving image data to an external device ;
The field of view information includes the camera position (x, y, z), the yaw angle (horizontal direction) Y, the pitch angle (vertical direction) P, and the roll angle (around the longitudinal axis) R (Y, P, R), and information on the field of view and state of the camera, including the viewing angle W corresponding to the zoom operation of the camera,
The reference camera work data (B m ) is represented by [(x base , y base , z base ) m , (Y base , P base , R base ) m , (W base ) m ],
The camera work correction data (E m ) is represented by [(x eff , y eff , z eff ) m , (Y eff , P eff , R eff ) m , (W eff ) m ],
The modified camera work data (S m ) is represented by (B m ) + α * (E m ) .
JP2007104697A 2007-04-12 2007-04-12 Image processing apparatus, image processing method, and image processing program Expired - Fee Related JP4924168B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007104697A JP4924168B2 (en) 2007-04-12 2007-04-12 Image processing apparatus, image processing method, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007104697A JP4924168B2 (en) 2007-04-12 2007-04-12 Image processing apparatus, image processing method, and image processing program

Publications (2)

Publication Number Publication Date
JP2008262392A JP2008262392A (en) 2008-10-30
JP4924168B2 true JP4924168B2 (en) 2012-04-25

Family

ID=39984818

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007104697A Expired - Fee Related JP4924168B2 (en) 2007-04-12 2007-04-12 Image processing apparatus, image processing method, and image processing program

Country Status (1)

Country Link
JP (1) JP4924168B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019008346A (en) * 2017-06-20 2019-01-17 凸版印刷株式会社 Image processing apparatus, image processing system, image processing method, and image processing program
JP2021197082A (en) 2020-06-18 2021-12-27 キヤノン株式会社 Information processing apparatus, method for controlling information processing apparatus, and program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3934211B2 (en) * 1996-06-26 2007-06-20 松下電器産業株式会社 Stereoscopic CG video generation device
JP4635702B2 (en) * 2005-04-28 2011-02-23 凸版印刷株式会社 Image display device

Also Published As

Publication number Publication date
JP2008262392A (en) 2008-10-30

Similar Documents

Publication Publication Date Title
JP4102847B2 (en) Image data providing apparatus, image display apparatus, image display system, image data providing apparatus control method, image display apparatus control method, control program, and recording medium
US8159530B2 (en) Method and apparatus for displaying stereoscopic images
JP6753405B2 (en) Information processing device and information processing method
US10417742B2 (en) System and apparatus for editing preview images
US20130038611A1 (en) Image conversion device
TW201218746A (en) Image processing apparatus, image processing method, and computer program
KR20110116525A (en) Image display device and operating method for the same
JP2012029220A (en) Stereoscopic video output device and backlight control method
JP4134163B2 (en) Display device, display control device, display method, display program, and recording medium
JP2014116686A (en) Information processing device, information processing method, output device, output method, program, and information processing system
WO2019187430A1 (en) Information processing device, method and program
JP4924168B2 (en) Image processing apparatus, image processing method, and image processing program
JPWO2019187442A1 (en) Information processing equipment, methods, and programs
KR101058274B1 (en) Virtual Reality Image Management System and Method
JP4326406B2 (en) Content viewing apparatus, television apparatus, content viewing method, program, and recording medium
JP6415442B2 (en) Image processing apparatus, image processing method, and program
US20120281073A1 (en) Customization of 3DTV User Interface Position
JP5221977B2 (en) Video display device and program
JP2005221875A (en) Image processor and image processing method and program
US20120069155A1 (en) Display apparatus and method for processing image thereof
US20240357053A1 (en) Display device and operating method thereof
JP5479264B2 (en) Video display control method and apparatus
KR101923640B1 (en) Method and apparatus for providing virtual reality broadcast
JP2008136057A (en) Motion picture file generating device and control method thereof
JP2006270160A (en) Image data processing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110318

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120123

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4924168

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees