JP4266736B2 - Image processing method and apparatus - Google Patents

Image processing method and apparatus Download PDF

Info

Publication number
JP4266736B2
JP4266736B2 JP2003204670A JP2003204670A JP4266736B2 JP 4266736 B2 JP4266736 B2 JP 4266736B2 JP 2003204670 A JP2003204670 A JP 2003204670A JP 2003204670 A JP2003204670 A JP 2003204670A JP 4266736 B2 JP4266736 B2 JP 4266736B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
image
camera
position
step
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2003204670A
Other languages
Japanese (ja)
Other versions
JP2005050034A (en )
Inventor
国安 山中
誠 廣田
宏 松岡
昭宏 片山
健一 犬飼
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

【0001】 [0001]
【発明の属する技術分野】 BACKGROUND OF THE INVENTION
複数の撮影画像から任意の視点からの画像を再構成するものに関する。 About which reconstructs an image from an arbitrary viewpoint from a plurality of captured images.
【0002】 [0002]
【従来の技術】 BACKGROUND OF THE INVENTION
従来より、撮影した画像から任意視点の画像を生成する試みが行われてきた。 Conventionally, it attempts to generate an image of an arbitrary visual point from the captured image have been made. 例えば、ステレオ計測の技術を用いて2枚以上の画像から対象物の形状を求め、コンピュータグラフィックス(以下、CG)の技術を用いて任意視点位置の画像を生成するという手法である。 For example, determine the shape of the object from two or more images using techniques stereo measurement, computer graphics (hereinafter, CG) is a method of generating an image of an arbitrary visual point position by using the technique of. しかし、この方法は、2枚以上の画像において対応する点を同定する必要があり、条件によってはその作業が非常に困難なため、生成画像の画質が低いという問題があった。 However, this method, it is necessary to identify corresponding points in the two or more images, for the work is very difficult depending on the conditions, the image quality of the generated image is low. これに対して、イメージベースト・レンダリング(IBR)と呼ばれる技術、特に空間中を飛来する光線を獲得し、それを用いて任意視点の画像を生成する手法は、画像(画像はカメラのレンズを通過する光線を記録したものである)を撮影する際のカメラの位置、姿勢を計測しておけば、原理的に正しい任意視点画像を生成できるという利点がある。 Passing the contrary, technology called image-based rendering (IBR), especially acquired light flying through the space, the arbitrary viewpoint method for generating an image of the image (image camera lens using it position of the camera when capturing the is obtained by recording light) which, if measured attitude, there is an advantage that can generate theoretically correct arbitrary viewpoint image. この基本原理は以下のとおりである。 This basic principle is as follows.
【0003】 [0003]
図31(a)はCCDカメラで物体を撮影しているところを模式的に表したものである。 Figure 31 (a) are those schematically represents the place where shooting an object with a CCD camera. 通常の撮像面はCCDであるが、説明の都合上、レンズ中心に対して対称に折り返した仮想面を撮像面と仮定し、さらに説明を単純化するために、撮像面は1次元ラインセンサで構成されていると考える。 Although conventional imaging surface is CCD, for convenience of explanation, the virtual surface folded symmetrically with respect to the lens center assuming the imaging surface, in order to simplify the further description, the imaging surface in a one-dimensional line sensor considered to be configured. 図31(b)に示すように、直線L上の任意の視点での多視点画像を得ることができる場合、視点位置Qで観察できる画像の画素iの色は画素iと視点位置Qを結ぶ直線が直線Lと交差する点Rを視点位置とする画像の画素i'の色と同じである。 As shown in FIG. 31 (b), if it is possible to obtain multi-viewpoint images at an arbitrary viewpoint on the straight line L, the color of the pixel i of an image that can be observed at a viewpoint position Q is connecting the pixel i and the viewpoint position Q straight line is the same as the color of a pixel i 'of the image to the viewpoint position R point which intersects the straight line L. 従って、再構成したい画像の全ての画素に対して、この対応関係を求めることにより、撮影していない全く新規な視点位置での画像を再構成できる。 Therefore, for all pixels of the image to be reconstructed, by obtaining this correspondence can reconstruct an image of in a totally new viewpoint position is not taken. このような手法の代表例である“Light Field Rendering”(M.Levoy andP.Hanrahan著、Proc.SIGGRAPH 96、31−42頁1996年発行)では、図32に示すように格子上の各位置にカメラを配置して画像を撮影し、光線を獲得している。 Such an approach is representative of the "Light Field Rendering" (M.Levoy andP.Hanrahan Author, Proc.SIGGRAPH 96,31-42 pp issued 1996), the in each position on the grid, as shown in FIG. 32 capturing an image by placing the camera has captured light rays.
【0004】 [0004]
【非特許文献1】 Non-Patent Document 1]
“Light Field Rendering”(M.Levoy andP.Hanrahan著、Proc.SIGGRAPH 96、31−42頁1996年発行) "Light Field Rendering" (M.Levoy andP.Hanrahan al., Issued Proc.SIGGRAPH 96,31-42 p. 1996)
【0005】 [0005]
【発明が解決しようとする課題】 [Problems that the Invention is to Solve
イメージベースト・レンダリング技術を用いてデジタルカメラのような撮影装置を構成する場合、多数の視点位置での画像の撮影を必要とするため、撮影途中でどこまで(どの領域を)撮影したかが分からなくなり、同じ場所を何度も撮影するといった無駄が生じる。 When configuring the imaging apparatus such as a digital camera using the image-based rendering technique, which requires capturing of images at multiple viewpoint position (which area) where ever during auto or shot is no longer know , waste occurs, such as the same location also photographed many times. あるいは、いつまでたっても必要な光線を獲得できずに、画像生成に時間がかかるといった問題が生じる。 Alternatively, unable forever acquire light needed even after, a problem takes time image generation occurs.
【0006】 [0006]
また、実際に撮影を行っている時に、不意の侵入物が撮影され、真に必要な光線が獲得できな場合があった。 Further, when performing the actual shooting, the shooting intruder unexpectedly truly necessary rays had case be acquired.
【0007】 [0007]
本発明は、上述の点に鑑みてなされたものであり、本願求項1記載の画像処理方法は、ユーザに未撮影領域あるいは未撮影の光線を提示することを目的とする。 The present invention has been made in view of the above, the image processing method of the present Motomeko 1 wherein aims to present the rays of unexposed areas or unexposed to the user.
【0008】 [0008]
また、本願請求項8記載の発明は、侵入物を検知し、侵入物が存在する状態で獲得された光線をキャンセルし、再撮影できるようにすることを目的とする。 Further, the invention of claim 8 wherein detects the intruder, cancel the acquired light in the state where the intruding object exists, and an object thereof is to allow re-photographing.
【0009】 [0009]
【課題を解決するための手段】 In order to solve the problems]
以上の目的を達成するために本発明は以下の構成を有することを特徴とする。 To accomplish the above object is characterized by having the following arrangement.
【0010】 [0010]
本願請求項1記載の発明は、複数の撮影画像から任意の視点からの画像を再構成する画像処理方法であって、視点位置を設定する設定工程と、複数の撮影画像を入力する入力工程と、前記複数の撮影画像から、前記設定された視点位置からの画像を再構成するために必要な光線データを抽出する抽出工程と、前記抽出結果に基づき、未撮影の領域を算出する未撮影領域算出工程と、前記未撮影の領域とともに、前記撮影画像を撮影する撮影部の位置を表示する未撮影領域表示工程とを有することを特徴とする。 The invention of claim 1 wherein is an image processing method for reconstructing an image from an arbitrary viewpoint from a plurality of captured images, a setting step for setting a viewpoint position, an input step of inputting a plurality of captured images , non-imaging area calculated from the plurality of captured images, an extraction step of extracting light data necessary to reconstruct an image from the set viewpoint position, on the basis of the extraction result, the non-imaging area a calculation step, the with non imaging area, and having a non-imaging region display step of displaying the position of the imaging unit for photographing the photographic image.
【0011】 [0011]
本願請求項5記載の発明は、視点位置を設定する設定工程と、複数の撮影画像を入力する入力工程と、前記撮影画像から、前記設定された視点位置からの画像を再構成する再構成工程と、前記入力した撮影画像に侵入物が含まれたことを検出する検出工程と、前記検出工程による検出結果に応じて、前記撮影画像から得られる光線情報をキャンセルするキャンセル工程とを有することを特徴とする。 The invention of claim 5, wherein includes a setting step of setting a view point, an input step of inputting a plurality of captured images, from the photographed image, reconstruction step for reconstructing an image from the set viewpoint position When a detection step of detecting that contains intruder in the captured image obtained by the input, in accordance with a detection result of the detecting step, to have a cancel step of canceling a light information obtained from the captured image and features.
【0012】 [0012]
【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION
(第1の実施形態) (First Embodiment)
以下、本願発明の第1の実施形態に係る撮影装置の図を参照しながら詳細に説明する。 It will be described in detail with reference to FIG photographing apparatus according to a first embodiment of the present invention.
【0013】 [0013]
図1は第1の実施形態に係る撮影装置のブロック図である。 Figure 1 is a block diagram of the imaging apparatus according to the first embodiment.
【0014】 [0014]
図1において、1は撮影レンズ、2は絞り機能を具備するシャッタ、3はCCD等により光学像を電気信号に変換する撮像素子、4はレンズや絞りや撮像素子を含む撮像部の一部、5はガンマ補正等の公知のカメラ信号処理を行うプロセス回路、6はプロセス回路5のアナログ出力をデジタル信号化するA/D変換器、7はA/D変換器6より出力された画像データを記憶するメモリ、8は再構成画像の情報を設定する再構成画像情報設定手段、9は再構成画像情報設定手段8の情報から再構成に必要となる光線情報を算出して保持し、判定手段13から通知された光線情報を保持している光線情報から削除し、さらに保持している光線情報をメモリ14に出力する再構成用光線情報算出手段、10はカメラの位置・姿勢を計測するためのカ In Figure 1, 1 is a photographing lens, a shutter having a 2 iris function, 3 an imaging element for converting into an electrical signal an optical image by the CCD or the like, 4 is a part of the imaging unit including the lens and the aperture and the image pickup device, the process circuit 5 for performing a known camera signal processing such as gamma correction, 6 denotes an a / D converter for a digital signal the analog output of the process circuit 5, 7 the image data outputted from the a / D converter 6 storage memory, 8 reconstructed image data setting means for setting the information of the reconstructed image, 9 and held by calculating the ray information required for reconfiguration from the information of the reconstructed image information setting portion 8, the determination unit holds light information notified from 13 deletes from light information is further reconstitution ray information calculation means for outputting a light beam information held in the memory 14, 10 for measuring the position and orientation of the camera mosquito ラ位置・姿勢計測手段、11は撮影にしているカメラの情報(撮影エリアの画角、撮像素子の画素数など)を獲得するカメラ情報取得手段、12はカメラ情報取得手段11の情報とカメラ位置・姿勢計測手段からの情報をもとにカメラが獲得している光線情報を算出する実カメラ光線情報算出手段、13は再構成用光線情報算出手段9の出力する光線情報が実カメラ光線情報算出手段12の出力する光線情報に含まれているか否かを判定し、一部でも含まれている場合は含まれている光線の情報を画素抽出手段19および再構成用光線情報算出手段9に通知する判定手段、14は再構成用光線情報算出手段9の情報を記憶するメモリ、22は画素抽出手段19の情報を記録するメモリ、21はメモリ22の情報を表示する表示手段、23は La position and orientation measurement unit, 11 is a camera information acquisition means for acquiring data of the camera in the shooting (angle of shooting area, the number of pixels of the image pickup device, etc.), 12 information and camera position of the camera information acquisition section 11 · real camera ray information calculation means for information from the attitude measurement means on the basis of calculating the ray information the camera is acquired, 13 light information output from the reconstruction beam information calculation means 9 calculates the real camera ray information It determines whether or not included in the light information output means 12, notifying the information of the light beam that is included if it contains any part in the pixel extraction means 19 and reconstruction beam information calculating means 9 determination means for, memory 14 for storing information reconstruction beam information calculating unit 9, memory 22 for recording the information of the pixel extraction means 19, display means 21 for displaying the information in the memory 22, 23 モリ22に記録された情報を外部の記憶装置(ハードディスクやコンパクトフラッシュ(R)、その他の外部メモリ、CD−RやDVD−Rなどの記録メディア)とやりとりするためのインターフェース、24はハードディスクやメモリカード、CDやDVDなどの外部記録装置である。 An external storage device the information recorded in the memory 22 interface with for exchanging (hard disk or a compact flash (R), and other external memory, CD-R and DVD-R such as a recording medium), 24 a hard disk or a memory card, an external recording device such as a CD or DVD. これらの各手段は不図示のコントローラにより制御されている。 Each of these means are controlled by a controller (not shown).
【0015】 [0015]
図2は、本実施形態の処理の流れを示すフローチャートである。 Figure 2 is a flowchart showing the flow of processing of this embodiment. ステップS1にて撮影にかかわる各種初期設定が行われ、ステップS2にて再構成したい位置Gp・姿勢Gdにおける光線情報Grの算出が行われる。 Various initial setting related to photographing at step S1 is performed, the calculation of the light information Gr at the position Gp · orientation Gd to be reconstructed is performed in step S2. ここで光線情報Grは、位置Gpを通過する光線のうち、設定された再構成画像の画角と画素数によって決まる直線の集合として表現される。 Here ray information Gr, of the light rays passing through the position Gp, is expressed as a set of straight lines determined by the angle of view and number of pixels in the reconstructed image set. 3次元空間中の直線(光線)L ijの式は、視点位置G =(x ,y ,z )、撮像面上の各画素の位置E ij =(x ij ,y ij ,z ij )とすると、 Formula of the straight line (beam) L ij in three-dimensional space, the viewpoint position G p = (x p, y p, z p), position E ij = (x ij of each pixel on the imaging surface, y ij, z When ij),
【外1】 [Outside 1]
【0016】 [0016]
で与えられる。 It is given by. ただし、 However,
【外2】 [Outside 2]
【0017】 [0017]
. (式1)中の分母のうち、1つが0ならば、その項に関係する軸を除いた2軸で規定される平面上の直線となり、2つが0ならばそれらに関係する軸を除いた軸に直交する直線となる。 Of the denominator of equation (1), if one 0, becomes a straight line on a plane defined by two axes, except for the axis associated with that term, two of excluding 0, axes related to them a straight line perpendicular to the axis. 例えば、x ij −x =0、ならばYZ平面に平行な直線となり、x ij −x =y ij −y =0ならばZ軸に平行な直線となる。 For example, x ij -x p = 0, if becomes a straight line parallel to the YZ plane, a straight line parallel to if Z axis x ij -x p = y ij -y p = 0. 仮想カメラの撮像面の総画素数がN個であれば、直線もN本存在する。 Total number of pixels of the imaging plane of the virtual camera if the N linearly also exists the N. 仮想カメラの撮像面の各画素の位置は、仮想カメラの姿勢、仮想カメラの画角と撮像面の画素数、1画素のサイズが分かれば、仮想カメラの光学中心(再構成画像の視点位置)に対する相対的な位置として計算できる。 The position of each pixel of the image plane of the virtual camera, the posture of the virtual camera, the number of pixels of the angle of view and the imaging surface of the virtual camera, if the size of one pixel is divided, (viewpoint position of the reconstructed image) optical center of the virtual camera It can be calculated as a relative position with respect to. これら視点及び画素位置の具体的な求め方は後に詳述する。 Specific Determination of viewpoint and the pixel position will be described later in detail. 次にステップS4にて画像を実際に撮影する。 Then actually captured image in step S4. ステップS5ではステップS4で撮影した際のカメラの画角、画素数やカメラの位置Cq・姿勢Cdを取得し、ステップS6にてCqの位置及び撮像面の各画素の位置を算出する。 Camera angle of view when taken in step S5 In step S4, acquires position Cq · orientation Cd number of pixels and the camera, and calculates the position of each pixel position and the imaging surface of the Cq at step S6. ステップS7ではカメラで獲得された光線情報Cr(視点位置と撮像面の各画素の位置とで表現される直線)とGrを比較し、Crの一部でもGrに含まれていたならばステップS8に進み、まったく含まれていなければステップS3に戻る。 Step S7 is acquired by a camera in the ray information Cr (straight line represented by the position of each pixel of the viewpoint position and the imaging surface) is compared with Gr, step S8 if contained in the Gr any part of Cr proceed to, return to the step S3 if it is not contained at all. 光線群Crの一部がGrに含まれているかどうかの判定は、(式1)で与えられるGrの各直線の式に、S6で求めた視点位置と撮像面の各画素位置を代入し、その式を満足するかどうかを見ればよい。 Judgment part whether included in the Gr set of rays Cr is the equation of the straight lines of Gr given by (Equation 1), by substituting each pixel position of the viewpoint position and the imaging surface obtained in S6, or if you look at the whether or not to satisfy the equation. そして、式を満足するならば含まれる(光線が一致する)、満足しなければ含まれないと判定する。 Then, the (light matches) included if satisfying formula, determines not included to be satisfied. ステップS8ではGrに含まれているCrの光線の色(画素値)を獲得し、撮影済みの光線情報の処理を行う。 Won step S8 in light of Cr contained in the Gr in the color (pixel value), the process of already captured ray information. ステップS9では、再構成したい画像を構成するすべての画素について画素値を特定したならば処理を終了し、そうでなければステップS4に戻って、前述の処理を繰り返す。 In step S9, for all the pixels constituting the image to be reconstructed the process ends if identified pixel value, the process returns to step S4 if not, repeats the processing described above. この一連の処理により、再構成画像を獲得することが可能となる。 By this series of processes, it is possible to obtain the reconstructed image. 特に、再構成画像を得るために大容量の記憶手段を必要としていた従来手法に比べて、画像を撮影して必要な画素値のみを抽出し別のメモリに記録することにより、撮影用のメモリ7の容量が画像1枚分ですむというメリットが生まれる。 In particular, as compared with the conventional method has required a large-capacity storage unit to obtain a reconstructed image, by recording the image of the extracted different memory only necessary pixel values ​​by photographing a memory for shooting 7 capacity of a born advantage that requires only one sheet of image.
【0018】 [0018]
図3は各種設定処理を説明するためのフローチャートである。 Figure 3 is a flow chart for explaining various setting processing. ステップS31では、撮影に関するさまざまな情報を初期設定値として与える。 In step S31, providing a variety of information about photography as an initial setting value. たとえば、画素値の出力ビット数、アイリス、シャッタースピードなど、通常のデジタルカメラで行われている初期化処理と同様のことを行う。 For example, performing the number of output bits of the pixel values, iris, shutter speed, etc., that the same initialization process is carried out in conventional digital cameras. 本実施形態では、画像獲得の際に画角や画素数などのカメラ情報を毎回取得するようにしているので必要ないが、画角や画素数が固定のカメラの場合は、この時点で画角や画素数を設定することも可能である。 In the present embodiment, it is not necessary because so as to obtain each time the camera information such as the angle of view and number of pixels in the image acquisition, if the angle of view and number of pixels of a fixed camera, the view angle at this point it is also possible to configure and number of pixels.
【0019】 [0019]
図4は画像獲得処理S4の処理の流れを示すフローチャートである。 Figure 4 is a flowchart showing the flow of processing of the image acquisition process S4. ステップS40にて、撮影に使用しているカメラの画角や撮像部の画素数などの情報が取得される。 At step S40, information such as the number of pixels of the angle of view and the imaging unit of a camera using the imaging is obtained. もし、画角や画素数が撮影中に変化しないということであれば、初期設定で与えられた画角と画素数をそのまま使用すればよい。 If it means that angle of view and number of pixels do not change during the shooting, it may be used to angle and the number of pixels given by default. その場合はこのステップを削除することが可能である。 In that case it is possible to remove the step. 次に、ステップS41にて1枚分の画像が撮影され、ステップS42にてγ補正処理、ステップS43にてA/D変換、ステップS44にて色補正、歪補正などが行われ、ステップS45にて補正処理されたディジタルデータをカメラ内部のバッファメモリに格納する。 Then, the captured image for one sheet at step S41, gamma correction processing at step S42, A / D conversion at step S43, the color correction in step S44, such as distortion correction is performed, in step S45 digital data correction processing Te storing the camera internal buffer memory.
【0020】 [0020]
図5は画素値獲得処理S8の流れを示すフローチャートである。 Figure 5 is a flow chart showing a flow of a pixel value acquisition processing S8. まず、ステップS51にて光線情報Crのうち、Grに含まれている光線(Gr中の光線と一致する光線)情報をリスト化する。 First, of the light ray data Cr at step S51, the list of information (beam coincides with the light beam in the Gr) light contained in the Gr. 次にステップS52においてリストの先頭の光線情報に対応する撮影画像中の画素を特定し、ステップS53にてその画素値を抽出する。 Then identifies the pixels in the captured image corresponding to the first ray information in the list at step S52, extracts the pixel value in step S53. ステップS54にてメモリ22中の対応する位置に(たとえば、注目した光線が再構成画像中の(i、j)画素に相当する場合は、メモリ22中の再構成画像の(i、j)画素に対応する部分に)その画素値を記録する。 Step S54 located (e.g. where in memory 22 corresponding with, if light rays focused corresponds to (i, j) pixels in the reconstructed image, the reconstructed image in the memory 22 (i, j) pixel corresponding portion) records the pixel values. ステップS55では、後に、再構成に必要な光線群のうち、獲得済みの光線情報が識別できるように今獲得した画素にマークをつける。 At step S55, after, group of light beams necessary for reconstruction, acquisition already light information mark the pixels now acquired so as to identify. これは1画素を例えば4バイトで記録することにしておき、画素値(RGB)に3バイト、識別情報に残り1バイト中の1ビットを割り当て、そこにマークすることで実現できる。 This leave to record one pixel for example, 4 bytes, assigns a bit in the remaining 1 byte 3 bytes, identification information to a pixel value (RGB), can be achieved by marking therein. この処理を終えると、リストの先頭の光線情報を削除し、次の光線情報に着目する。 Upon completion of this process, to remove the top beam information of the list, attention is paid to the next of the light beam information. もし、次に光線情報が存在しなければ(ステップS57)、画素値獲得処理を終了し、メインルーチンのステップS9に戻る。 If no next ray information is present (step S57), and terminates the pixel value acquisition processing, the flow returns to step S9 of the main routine. そうでない場合は、ステップS52に戻る。 If not, the flow returns to step S52.
【0021】 [0021]
S51においてGrに含まれる光線情報をリスト化する際は、メモリ22を参照しながら、既に獲得済みの光線(メモリ中の対応する位置にマークがついたもの)に関しては除外する。 When listing the light information included in the Gr step S51, while referring to the memory 22, with respect to already acquired previously rays (those marked at the corresponding position in the memory) excluded. または、再構成に必要な光線情報Grのうち、既に獲得済みのものを除外した光線情報Hrを生成しておき、Crとの比較にはHrを用いることで、光線を重複して求めることがなくなり、効率化が図れる。 Or, of the ray information Gr necessary for reconstruction, advance generates light information Hr which already exclude the acquisition already, the comparison of the Cr by using Hr, be obtained by overlapping the light no, efficiency can be achieved.
【0022】 [0022]
これらの一連処理により、ある時点で撮影された画像に含まれる、再構成に必要な光線(画素)情報を抽出することができる。 These series processes are included in the image captured at some point, it is possible to extract the light beam (pixel) information necessary for reconstruction.
【0023】 [0023]
図6は、ステップS33で設定される情報を説明するための図である。 Figure 6 is a diagram for explaining the information set in step S33. ステップS33で設定される情報としては、基準座標系、再構成画像の姿勢、視点位置、画素数、画角の5つである。 The information set in step S33, the reference coordinate system, the attitude of the reconstructed image, the viewpoint position, the number of pixels is five angle. これらの情報の設定に関して図7を用いて説明する。 It will be described with reference to FIG. 7 with respect to setting of these information. カメラには位置・姿勢センサが内蔵あるいは外付けにされており、時々刻々とその時点での位置・姿勢に対する相対的な位置姿勢を出力する。 The camera has been built in or external position and orientation sensors, and outputs the relative position and orientation with respect to the position and posture at that time from moment to moment. まず、ステップS71にて基準座標系の設定を行う。 First, the setting of the reference coordinate system at step S71. これは基準座標系設定ボタンを用意しておき、設定ボタンが押されると、その時点でのカメラの光学中心の位置を原点とした、カメラの光軸をZ軸、カメラの撮像面(CCD)の横方向をX軸、縦方向をY軸とする基準座標系が設定される。 When this is prepared a reference coordinate system setting button, setting button is pressed, the camera position of the optical center of at that time with the origin, Z-axis optical axis of the camera, the camera imaging surface of (CCD) X-axis lateral, the reference coordinate system for the longitudinal and Y-axis is set. この様子を図8に示す。 This is shown in Figure 8. 実際のカメラでは光学中心(原点)Oの後方に撮像面が存在するが、ここでは原点Oに対して折り返した位置に仮想撮像面100を考える。 The actual camera imaging plane behind the optical center (origin) O is present, but considered a virtual imaging surface 100 at a position folded against the origin O here. これはコンピュータ・グラフィックスやコンピュータ・ビジョンの分野でよく用いられる表現方法であり、このように考えても、一般性は保たれる。 This is a representation method that is often used in the field of computer graphics and computer vision, be considered in this way, generality is maintained. 基準座標系の設定が終わると、図6のように基準座標系の欄に、設定が終わったことが分かるように「設定済」という文字あるいはマークなどが表示される。 When setting of the reference coordinate system is completed, the column of the reference coordinate system as shown in FIG. 6, characters or marks of "already-set" so it can be seen that the end of the set is displayed. 基準座標系が設定されると、カメラに内蔵されたセンサからは、基準座標系に対する相対的な位置・姿勢が出力される。 When the reference coordinate system is set, from the sensor built into the camera, the relative position and posture with respect to the reference coordinate system is outputted. 次にステップS72において、再構成画像の姿勢を設定する。 Next, in step S72, the setting attitude of the reconstructed image. カメラに内蔵されたセンサからは、基準座標系に対する位置・姿勢情報が出力されているので、再構成画像の姿勢決定モードにおいて、カメラの姿勢を所望の姿勢に変更して設定ボタンを押すことにより、基準座標系上での姿勢が決定され、その値が、「姿勢」の欄に表示される。 From the sensor built into the camera, the position and posture information with respect to the reference coordinate system is outputted, the attitude determination mode of the reconstructed image by pressing the setting button to change the orientation of the camera in the desired position attitude on the reference coordinate system is determined, the value is displayed in the column of "attitude". 再構成画像の姿勢は、z=‐fに基準の撮像面があると考え、基準座標系の各軸(X、Y、Z)に対する回転量で表記する。 Orientation of the reconstructed image, thought to be the imaging surface of the reference to the z = -f, each axis of the reference coordinate system (X, Y, Z) is expressed by the rotation amount against. 例えば、図8では基準座標系の各軸をそれぞれ(θ,φ,ρ)回転させると再構成画像の姿勢になることを示している。 For example, each of the axes of the reference coordinate system in FIG. 8 (θ, φ, ρ) is shown to be the posture of the rotating reconstructed image. 次に、ステップS73において再構成画像の視点位置を設定する。 Then, set the viewpoint position of the reconstructed image at step S73. これは、基準座標系の原点からの距離を直接入力することにより行う。 This is done by inputting the distance from the origin of the reference coordinate system directly. ここでは、基準座標系でのX、Y、Zの値がそれぞれ(u,v,w)と入力されたものとする。 Here, it is assumed that X in the reference coordinate system, Y, Z values ​​are respectively input (u, v, w) and. このように与えた位置と姿勢は、再構成画像座標系(再構成画像の視点位置、すなわち仮想カメラの光学中心を原点とする基準座標系と同様な座標系)を考え、基準座標系を再構成画像座標系に一致させる時の平行移動量と回転量に相当する。 Thus given position and posture (the viewpoint position of the reconstructed image, i.e. the reference coordinate system and the same coordinate system with its origin at the optical center of the virtual camera) reconstructed image coordinate system thinking, the reference coordinate system again corresponding to the amount of parallel movement and the rotation amount when to match the configuration image coordinate system. ステップS74にて画素数(解像度)の設定を行う。 To set the number of pixels (resolution) in step S74. 画素数は、例えば、「VGA」「XGA」「SXGA」・・・「その他」の中から選択する。 The number of pixels, for example, be selected from among "VGA", "XGA", "SXGA" ... "Other". 「その他」が選ばれた場合は、任意の画素数を直接入力する。 If "Other" is selected, to enter any number of pixels directly. その後、ステップS85において画角の設定を行う。 Thereafter, the setting of the angle of view at step S85. 画角に関しても、画素数の時と同様にあらかじめ代表的な値を選択できるようにし、その他を選んだときのみ任意の値を入力できるようにする。 Also with respect to the angle of view, to be able to select the same in advance a typical value in the case of the number of pixels, to be able to enter only any value when you select the other. 画角には水平、垂直の2種類の画角が設定可能であるが、CCDの1画素のアスペクト比および縦横の画素数が既知であれば、水平または垂直方向の画角のどちらか一方を決めれば、自ずから他の画角も決定される。 Horizontal angle of view, although two kinds of view angle in the vertical can be set, if the aspect ratio and the number of vertical and horizontal pixels of one pixel of CCD is known, either the horizontal or vertical angle of view be determined, it is also determined naturally other angle of view. それ故、ここでは、水平画角のみを設定する。 Therefore, here, it sets only horizontal angle.
【0024】 [0024]
図8は、カメラが基準座標系に対して、X、Y、Z軸の周りに(θ,φ,ρ)だけ回転し、(u,v,w)だけ平行移動したときのカメラの各画素位置の求め方を説明するための図である。 8, the camera reference coordinate system, X, Y, about the Z-axis (θ, φ, ρ) rotated by, (u, v, w) each pixel of the camera when the translated by it is a diagram for explaining a method for obtaining the position. 基準座標系を設定したときのカメラの撮像面100はZ=‐f(fは焦点距離)の位置に存在する。 The camera imaging plane 100 of the time of setting the reference coordinate system Z = -f (f is the focal length) present in the position of. また、一画素の縦横の大きさをそれぞれp、q、縦画角、横画角をそれぞれω ,ω 、縦横の画素数をそれぞれm、nとすると、基準座標系における撮像面の(i、j)画素110の位置(ただし、(0、0)は左上隅とする)は、 Also, p a pixel of vertical and horizontal size, respectively, q, Tatega angle, horizontal angle, respectively omega x, omega y, the number of pixels in the vertical and horizontal directions, respectively m, when the n, the imaging plane in the reference coordinate system ( i, the position of j) pixels 110 (provided that (0,0) is the upper left corner) is
【外3】 [Outside 3]
【0025】 [0025]
となる。 To become. また、以下の関係が成り立つ。 In addition, the following relationship is established.
【外4】 [Outside 4]
【0026】 [0026]
従って、(式2)は(式4)のように書くことができる。 Therefore, (Equation 2) can be written as shown in Equation (4).
【外5】 [Outside 5]
【0027】 [0027]
任意の位置・姿勢にあるカメラの各画素の位置(x',y',z')は、(式4)で与えられる各画素の位置に回転と平行移動を施すことにより求めることができる。 Any position of each pixel of the camera in the position and orientation (x ', y', z ') can be determined by performing a rotation and translation to the position of each pixel is given by Equation (4).
【0028】 [0028]
図9に示すように座標系を仮定すると、Z軸中心の回転R 、X軸中心の回転、R 、Y軸中心の回転R はそれぞれ次式のように表せる。 Assuming the coordinate system as shown in FIG. 9, rotation R z of the Z axis center, the rotation of the X-axis center, represented respectively R x, rotation R y of the Y-axis center as follows.
【外6】 [Outside 6]
【0029】 [0029]
Z軸回転→X軸回転→Y軸回転という3つの回転変換を掛け合わせると最終的な回転変換Rが次式のように表現できる。 Multiplying the Z-axis rotation → X axis rotation → Y-axis rotation of three rotation transformation that final rotational transformation R can be expressed by the following equation.
【外7】 [Outside 7]
【0030】 [0030]
従って、任意の位置・姿勢にあるカメラの各画素の位置(x',y',z')は、基準座標系上では、 Therefore, the position of each pixel of the camera in the desired position and orientation (x ', y', z ') is on the reference coordinate system,
【外8】 [Outside 8]
【0031】 [0031]
となる。 To become. また、そのときのカメラの視点位置は(u,v,w)となる。 In addition, the viewpoint position of the camera at this time is the (u, v, w).
【0032】 [0032]
以上述べたように、最初に所望の視点位置を入力し、その視点位置で画像を再構成するために必要な光線情報を計算し、その光線を収集していくというプロセスを経ることにより、従来よりも少ないメモリ量で画像の再構成が行えるという効果が生じる。 As described above, first enter the desired viewpoint position, and calculates a light ray information necessary to reconstruct the image at the viewpoint position, by going through the process of going to collect the light beam, conventional effect that image reconstruction is performed with a smaller amount of memory than is produced.
【0033】 [0033]
また、基準座標系に対する回転と平行移動により移動後の画素位置を演算することにより、単純な演算で求めることができ、演算の高速化が図れる。 Further, by calculating the pixel position after the movement by translation rotation and with respect to the reference coordinate system can be determined by simple calculation, faster operation can be achieved.
【0034】 [0034]
(第2の実施形態) (Second Embodiment)
図10は撮像部3をCCDタイプからCMOSセンサ27に変更した場合のブロック構成図である。 Figure 10 is a block diagram of changing the imaging unit 3 from the CCD type CMOS sensor 27. これ以降のその他の実施形態を含め、図中の同じ番号を有するブロックは特に断らない限り同一の機能を有するものとし、説明を省略する。 Include other embodiments of the subsequent, shall have the same functions as long block indicated otherwise having the same numbers in the figure, the description thereof is omitted.
【0035】 [0035]
CMOSセンサは画素単位に値を出力することができるため、画素抽出手段19よりCMOSセンサに直接画素を特定するアドレスを出力して対応する画素値を受け取り、プロセス5、A/D変換6を経てメモリ22に格納することが可能である。 Since the CMOS sensor is capable of outputting a value to the pixel unit, receives the pixel value corresponding to output an address for specifying a direct pixel CMOS sensor than the pixel extraction means 19, through a process 5, A / D converter 6 It can be stored in the memory 22.
【0036】 [0036]
このように撮像部にCMOSセンサを利用することにより、撮影画像を一時記憶しておくメモリが不要となるためハードウェアを小型化、低コスト化できるというメリットがある。 By using the CMOS sensor in the imaging unit as, compact hardware for memory for storing captured images one o'clock is not required, there is a merit of cost reduction. ただし、CMOSセンサはあくまでも一例であり、画素単位でデータを出力できる他のセンサを用いることが可能であることは言うまでもない。 However, a CMOS sensor is merely an example, it goes without saying that can be used other sensor that can output data in units of pixels.
【0037】 [0037]
また、撮像素子として画素数が1画素のみのCCDを利用するの場合も、CMOSセンサの場合と同じように撮影画像を一時記憶しておくメモリが不要になるため、この方法によってもハードウェアを小型化、低コスト化できる。 Further, even if the number of pixels to use the CCD of only 1 pixel as an imaging device, the memory to be temporarily stored just as photographed image in the case of the CMOS sensor is not required, the hardware by this method miniaturization, can be low-cost.
【0038】 [0038]
(第3の実施形態) (Third Embodiment)
第1の実施形態、第2の実施形態では、再構成画像を表示するための表示手段を設けていないため、再構成をスタートすると現在どのような状況にあるか、どこまで再構成が済んでいるかといったことが把握できない。 First embodiment, in the second embodiment, since not provided a display means for displaying the reconstructed image, when starting the re-configuration or in what circumstances now how far reconstruction has been finished I can not understand things like. そこで、この実施形態では、図11に示すように、モニタ手段28を設け、撮影中の画像と再構成されている画像とをユーザが切り替えて表示することができるようにしたものである。 Therefore, in this embodiment, as shown in FIG. 11, the monitoring unit 28 is provided, in which an image being reconstructed image being captured and allow the user to display by switching. もちろん、第2の実施形態に対して同様のモニタ手段を設けることが可能であることは言うまでもない。 Of course, it is needless to say it is possible to provide a similar monitor means to the second embodiment.
【0039】 [0039]
図12はモニタ手段28のブロック構成図である。 Figure 12 is a block diagram of a monitoring unit 28. 図中、20はメモリ7とメモリ22とに格納されている情報を切り替える切替表示手段、21は切替表示手段20からの情報を可視化する表示手段である。 In the figure, 20 is switched display means for switching the information stored in the memory 7 and the memory 22, 21 is a display means for visualizing the information from the switching display unit 20.
【0040】 [0040]
ここでは、撮影中の生の画像と再構成途中の画像とを切り替えるようにしているが、再構成画像のみを表示するようにしてもよい。 Here, so that switching between raw image and reconstruction of a process image being photographed, may be displayed only reconstructed images. また、撮影中もユーザの指示により、あるいはタイマーを設けて一定時間毎に再構成途中の画像と撮影画像とを切り替えて表示することも可能である。 It is also possible to switch and view the indication of some users in photographing, or the timer is provided with reconstructed image during the predetermined time intervals and the captured image. 画像再構成中は、頻繁に再構成途中の画像を確認することが多いと思われるので、切り替え用のスイッチを撮影装置につけておくと便利である。 During image reconstruction, because often can see the image in the middle of reconstruction seems to many, it is convenient with a switch for switching to the imaging apparatus. 特に、1回の操作により切替のできる押しボタン、スライダー、ダイヤル式のスイッチが望ましい。 In particular, the push button that can switch by one operation, slider, dial type switch is preferable.
【0041】 [0041]
また、再構成画像を直接観察できなくても、生成状況を示すインジケータを付加しておけば、どの程度再構成されたかが分かるので、ユーザのストレスを軽減できる。 Further, even impossible observe the reconstructed image directly, if added an indicator of production conditions, since either been how reconstruction is known, can reduce the user's stress. インジケータは、全体の何パーセントが再構成されたかを数値(テキスト)で示してもよいし、棒グラフのようなもので視覚的に示してもよい。 Indicator may indicate what percentage of the total reconstituted with numeric (text), or may be visually indicated by like bar charts.
【0042】 [0042]
また、再構成が終了した時にブザーなどでユーザに通知するとユーザは出来上がりのタイミングを気にせずに撮影に専念できるというメリットが生じる。 In addition, it benefits from the to notify the user in such a buzzer when the reconstruction is completed the user can concentrate on shooting without worrying about the timing of the finished results.
【0043】 [0043]
(第4の実施形態) (Fourth Embodiment)
第3の実施形態では再構成途中の画像を表示できるようにしたが、光線が獲得できていない画素は値が未定となり、表示できないので、例えば、図13(a)のように表示される。 Although the third embodiment is to display the image in the middle of reconstruction, pixel ray is not able to acquire the value becomes undetermined, can not be displayed, for example, is displayed as shown in FIG. 13 (a). ただし、ここではタイル状のブロックを1画素(1本の光線)と見なして便宜的に表している。 However, here it is conveniently expressed considers tiled block 1 pixel (the one light beam). 光線の取得が進むと最終的には図13(b)のように表示されるが、途中の段階では、(a)のように部分的に再構成された画像となる。 Although the acquisition of the ray proceeds eventually appear as in FIG. 13 (b), in the intermediate stage, the image that is partially re-constructed as (a). そこで、図13(a)の画像を補間して表示することにより、途中結果の画像をより高画質に表現する。 Therefore, by displaying interpolated images of FIG. 13 (a), more representation quality images of intermediate results. 通常は、再構成に必要な光線を全て取得するまで処理が続けられるが、この補間処理によって十分に高画質な再構成画像が得られれば、それ以上処理を続ける必要は無い。 Typically, the processing until it gets all rays needed for reconstruction is continued, as long enough to obtain high-quality reconstructed image by the interpolation process, it is not necessary to continue further processing. この場合、光線を取得する時間が短縮されるため、より高速な画像再構成が可能となる。 In this case, since the time to get the light is reduced, thereby enabling higher speed image reconstruction.
【0044】 [0044]
図14は、第3の実施形態のモニタ手段28を一部変更したときのブロック構成図である。 Figure 14 is a block diagram of changing a part of a third embodiment of the monitoring means 28. 1011はメモリ22の情報を使って未定画素値を推定する補間手段であり、補間結果の画像を切替制御手段20に出力する。 1011 is an interpolation means for estimating an undetermined pixel values ​​using information in the memory 22, and outputs the image of the interpolation result to the switching control means 20. 切替制御手段20では、ユーザの指示、あるいはタイマーなどにより一定時間毎に撮影画像情報(メモリ7)と再構成画像情報(メモリ22)と補間画像情報とを切り替えて表示手段21に出力し、表示手段21では切替制御手段20からの情報を可視化する。 The switching control means 20 outputs to the display unit 21 switches the user's instruction, or the shot image information at regular intervals by a timer (the memory 7) with the reconstructed image information (memory 22) and the interpolated image information, display the information from the unit 21 in the switching control means 20 to visualize. もし、補間画像の品質が十分であると判断できれば、この時点で再構成処理を終了する。 If we can determine the quality of the interpolated image it is sufficient, and ends the reconstruction process at this point. この判断はユーザ自身が補間画像を見ながら行ってもよいし、取得できた光線の数を基準にしてもよい。 This determination to the user himself may be carried out while watching the interpolation image may be based on the number of possible acquired rays. 光線の数を基準にする場合は、例えば再構成に必要な光線全体の2/3の光線が獲得できれば、あとは補間処理で補うなどの方法が考えられる。 If you want to reference a number of rays, for example, if acquisition 2/3 ray of the entire light beam necessary for reconstruction, after the method is conceivable, such as compensated by the interpolation process.
【0045】 [0045]
補間処理に関しては、一般的なキュービック補間やバイリニア補間などを用いることができる。 Respect interpolation process, including general cubic interpolation or bilinear interpolation can be used. また、再構成に必要な光線とは若干異なるが、近接した位置で獲得される光線を近似値として利用してもよい。 Further, although the light necessary for reconstruction slightly different, the light rays are acquired at close positions may be used as an approximation. 例えば、正確には、カメラを数cm移動させて撮影した時の光線が必要である場合、カメラを移動させずに、今撮影した画像の中からその光線に近いものを選んで代用する。 For example, to be precise, when light rays when taken by moving a few cm the camera is needed, without moving the camera, substituting choose close to the light from the now captured image.
【0046】 [0046]
また、補間処理などを使って再構成が終了したときにブザーなどで通知するとユーザは出来上がりのタイミングを気にせずに撮影に専念できる。 Also, you can concentrate on shooting without worrying about the timing of when to notify such as at the buzzer user is finished when the re-configuration using, for example, interpolation processing has been completed.
【0047】 [0047]
このように補間処理を導入することで、画像再構成に要する時間を短縮でき、効率的な撮影が可能になるというメリットがある。 By introducing such interpolation processing, it is possible to shorten the time required for image reconstruction, there is an advantage that efficient shooting becomes possible.
【0048】 [0048]
(第5の実施形態) (Fifth Embodiment)
図13(a)のように再構成が進行している時、ユーザは再構成後の画像を予測することが可能である。 When the reconstruction is in progress as shown in FIG. 13 (a), the user is able to predict the image after reconstruction. 通常、画像再構成は1画面分行われるが、被写体によっては1画面全てを再構成する必要は無いかもしれない。 Usually, image reconstruction is performed one screen, you may not need to reconfigure all one screen depending on the subject. 例えば、写っている「パソコン」の部分が十分に再構成できていれば、すなわち、ユーザの望む部分だけ高速に画像を再構成したほうがユーザのニーズに合致しているかもしれない。 For example, if the can part is sufficiently re-configuration of the "PC" that is reflected, that is, it may be better to reconstruct the image only in the high-speed part desired by the user meets the needs of the user. そこで、本実施形態では、ユーザに画面中の再構成して欲しい領域を指定することが可能な手段について述べる。 Therefore, in this embodiment, we describe means capable of designating an area you want to reconfigure in the screen to the user.
【0049】 [0049]
図33は、第4の実施形態に対して領域設定手段3301と解像度指定手段3302を追加した場合のブロック構成図である。 Figure 33 is a block diagram of adding the area setting unit 3301 and the resolution designation unit 3302 for the fourth embodiment. 領域設定手段3301は再構成画像中の部分領域を設定し、解像度指定手段3302は必要に応じてそれぞれの部分領域に対して再構成する画像の解像度を指定する。 Area setting means 3301 sets the partial area in the reconstructed images, resolution designating unit 3302 specifies the resolution of the image to be reconstructed for each partial region as required. 再構成用光線情報算出手段3310は、再構成画像情報設定手段8、メモリ14、領域設定手段3301、解像度指定手段3302からの情報をもとに必要な光線情報を算出する。 Reconstruction beam information calculation unit 3310, reconstructed image information setting portion 8, a memory 14, and calculates a light ray information required region setting unit 3301, the information from the resolution specifying means 3302 based.
【0050】 [0050]
図15(a)は、領域設定手段3301と解像度指定手段3302を説明するために示したカメラの概観(背面部分の一例)である。 Figure 15 (a) is an overview of the camera shown in order to explain the area setting unit 3301 and resolution designating means 3302 (an example of the rear portion). 1501はスタートボタン、1502は電源ボタン、1503はモードセレクトボタン、1504は選択されたモードにおいて次のデータに移るためのボタン、1505は選択されたモードにおいて前のデータに戻るボタン、1506は設定ボタンである。 1501 start button, 1502 is the power button, the mode select button 1503, button to move to the next data in the selected mode is 1504, button 1505 to return to the previous data in the selected mode, the setting button 1506 it is. モードセレクトボタン1503に関しては実施形態6にて説明するため、ここでは割愛する。 To illustrate in Embodiment 6 with respect to the mode select button 1503, it will be omitted here. 1507はファインダー、1508は撮影データあるいは再構成中の画像あるいは補間された画像などを表示するためのディスプレイ、1509は再構成領域を指定するための形状を指示するボタンで、例えば、モードが領域設定にセットされた状態で矢印を押すと順に「丸」⇒「四角」⇒多角形⇒・・・と変化し、その形状がディスプレイ1508に表示される。 1507 viewfinder display for displaying an image or an interpolated image in the captured data or reconstructed 1508, 1509 in button for instructing the shape for specifying the reconstruction area, for example, mode region setting the set state sequentially pressing the arrow in the "circle" ⇒ "square" ⇒ change polygonal ⇒ · · · to, the shape is displayed on the display 1508. 図15(b)にその様子を示す。 Figure 15 shows the state in (b). ここでは、「円」が指定された状態である。 Here is a state in which "circle" is specified. 1510と1511はそれぞれ表示された図形(ここでは円)を縮小または拡大するためのボタンであり、このボタンを操作することにより、領域の大きさを設定する。 1510 and 1511 is a button for reducing or enlarging the (circle here) graphic displayed respectively, by operating the button, to set the size of the area. 1512は表示された図形を上下左右に移動させるためのボタンである。 1512 is a button for moving the displayed graphic vertically and horizontally. このボタン1512を操作して希望する位置に図形(円)をあわせ、設定ボタン1506を押すと領域が確定される。 Combined shapes (circles) to the desired position the button 1512 by operating, region is determined by pressing a setting button 1506. こうして領域が指定されるとこれ以降は指定された領域内のみが再構成される。 Thus the region is specified hereafter is reconstructed only in the specified region. ここでは、指定可能な領域の形状として、円や多角形に関して述べたが、任意の形状を指定できるようにしてよい。 Here, as the shape of possible regions has been described with respect to a circle or a polygon may be designated an arbitrary shape. 任意形状を指定する場合は、画面中に「点」を配置し、それを直線あるいは曲線でつなぐというユーザインタフェースにすればよい。 When specifying an arbitrary shape, place the "point" on the screen, may be a user interface that connects it with a straight line or a curve.
【0051】 [0051]
また、場合によっては、目的の被写体のみ高解像度であればその周囲の解像度はあまり高くなくてもよいが、無ければ困るといった状況も存在する。 In some cases, it may not be its very high around the resolution if only high-resolution object of interest, there are also situations such trouble if not. 解像度指定手段3302は、このような状況に対処するための設定領域内の解像度を指定する手段である。 Resolution designating means 3302 is a means for designating a resolution of the set area to deal with this situation. 解像度の設定に関しては、図16(a)に示すように、再構成している画像を、高解像度に再現したい部分のみ再帰的に分割して解像度を上げる。 For the resolution setting, as shown in FIG. 16 (a), the image being reconstructed, it increases the resolution by recursively dividing only part to be reproduced in high resolution. ここでは周囲に比べて指定された領域1601の方が縦横それぞれ2倍ずつ解像度が高くなっている。 Here are higher resolution direction of region 1601 that is specified in comparison with the surrounding by a factor of two vertical and horizontal directions. 具体的な操作として、設定領域の解像度の指定は、モードセレクトボタン1503で解像度の設定を選び、ボタン1512を操作することでプリセットされていた解像度を呼び出してセットすることにより行う。 As specific operation, the specified resolution of the set area, select the resolution setting of the mode select button 1503 is performed by setting by calling resolution is preset by operating the button 1512. この例では指定領域の解像度を周囲に比べて縦横2倍の解像度に設定したが、この例に限らず任意の倍率に設定してもよい。 In this example was set to twice vertically and horizontally than the resolution of the specified area around the resolution may be set to an arbitrary magnification it is not limited to this example. ただし、設定する際に解像度を2のべき乗倍(クワッド・ツリー構造)になるように選ぶと処理が簡単になる。 However, choosing so that the resolution to exponentiation of 2 (quad tree) and the processing is simplified when setting.
【0052】 [0052]
本実施形態では、再構成画像中の指定できる領域は1箇所として説明したが、もちろんこれに限らず、複数箇所でもよい。 In the present embodiment, a region that can be specified in the reconstructed image is described as one place, of course not limited thereto, and may be at a plurality of locations. その場合は、前記の指定処理を必要な領域の数だけ行えばよい。 In that case, it is sufficient for the number of required area the specified process.
【0053】 [0053]
また、複数の領域を指定した場合の解像度の指定も、それぞれ異ならせて行っても、指定領域内すべてを同一の解像度にしてもよい。 Also specify a resolution of specifying a plurality of regions, be performed at different respectively, it may be all the designated region in the same resolution. また、複数の領域を指定する際に、指定した領域Aの内部に新たに領域Bを指定することも可能である。 Also, when specifying a plurality of regions, it is also possible to specify a new region B inside the specified area A. この場合、領域Bの解像度を高く、領域Aの解像度は中程度に、その他の領域は低解像度に設定すれば、ユーザの注目している領域に近いほど高解像度に画像生成できる。 In this case, a high-resolution area B, and moderate-resolution area A, by setting the other area in the low resolution image can be generated in the higher resolution near the area of ​​interest of the user.
【0054】 [0054]
以上述べたように、ユーザに再構成する領域を指定するためのユーザインタフェースを撮影装置に付加することにより、希望の領域のみを再構成することができ、全体の処理速度が向上させることができる。 As described above, by adding the user interface to specify the area to be reconstructed to the user to the imaging apparatus, it is possible to reconstruct only the desired region, it is possible to improve the overall processing speed .
【0055】 [0055]
(第6の実施形態) (Sixth Embodiment)
図17は、第3の実施形態にモード設定手段15と未撮影エリア情報算出手段16と表示手段17を追加した場合の実施形態を表している。 Figure 17 represents an embodiment of adding the display means 17 and mode setting means 15 to the third embodiment and the unexposed area information calculating unit 16.
【0056】 [0056]
モード設定手段15は、図19のモードセレクトボタン1503と連動する。 Mode setting means 15, in conjunction with the mode select button 1503 in FIG. 19. 例えば、モードセレクトボタン1503を押すと、ディスプレイ1508にモード情報が表示され、もう一度押すと消える。 For example, if you press the mode select button 1503, mode information on the display 1508 appears, disappears and press it again. モードとしては、ディスプレイ1508に撮影中の画像を表示するか再構成中の画像を表示するかあるいは表示をオフにするかを示すモード、未撮影領域をディスプレイ1512に表示/非表示するモード、領域設定や解像度を指定するモードなどがある。 The mode, mode indicating whether to turn off the or display to display an image in either reconstructed to display the image being photographed on the display 1508, mode for displaying / hiding the non-imaging area on the display 1512, the region there is such mode to specify the settings and resolution. 各モードが表示されているときに、ボタン1504を押すと順にモードの種類が変更され、ボタン1506を押すと表示されたモードに固定され、この状態で1504、1505を操作するとそのモードの設定情報を変更できる。 As each mode is displayed, pressing the button 1504 are sequentially modes are changed, is fixed to the mode that is displayed by pressing the button 1506, setting information by operating the 1504 and 1505 in this state that mode It can change. たとえば、数値入力の際にはあらかじめ決められたステップでそれぞれ値を加算、減算し、数値以外のデータの場合は、あらかじめ決められた順番のデータをそれぞれ順方向、逆方向に変更する。 For example, the numerical sum of each value in predetermined steps on input, subtracting, in the case of non-numerical data, change a predetermined order of data in the forward direction and the reverse direction. 設定されたモードが撮影画像の表示であれば、ディスプレイ1508に撮影画像を表示し、再構成中の画像を表示する設定であれば再構成中の画像を表示し、そうでなければ、1508の表示はオフにする。 If the set mode is displayed photographed image, displays the captured image on the display 1508, if the setting for displaying an image in the reconstructed display images in reconstruction, otherwise, 1508 display is turned off. また、未撮影エリア情報表示がエリア表示モードの場合は、ディスプレイ1512に未撮影エリアを表示し、表示モードが未取得光線情報の表示であれば未取得光線情報を表示し、そうでなければ表示をオフにする。 Also, if non-photographic area information display area display mode, to display the unexposed area on the display 1512, display mode displays the unacquired ray information to any display not acquired ray information, otherwise displaying to turn off. ここではディスプレイ1508のほかに別途ディスプレイ1512を設けたが、ディスプレイ1508に両者の画像やモード情報を切り替えて表示することにより、ディスプレイ1512を削減することができる。 Here it is provided in addition to a separate display 1512 of the display 1508, by displaying by switching both the images and the mode information on a display 1508, it is possible to reduce the display 1512. ここで図17の表示手段17とディスプレイ1512とは同じものである。 Here is the same as the display unit 17 and display 1512 in Figure 17.
【0057】 [0057]
次に未撮影エリア情報の表示方法について説明する。 Next, the display method of the unexposed area information will be described. 未撮影エリア情報の表示方法としては、 The display method of the unexposed area information,
(a) 3次元空間(をレンダリングしたもの)の中に、撮影が必要な地点に色をつけて表示するとともにカメラの位置をその中で示す。 Some (a) 3-dimensional space (obtained by rendering a) shows the position of the camera therein and displays with a color point requiring imaging.
(b) 3次元空間(をレンダリングしたもの)の中に、未取得の光線を表示するとともに実際に撮影しているカメラの位置をその中で示す。 (B) in a three-dimensional space (obtained by rendering) indicates the position of that actually photographing camera displays an ray of unacquired therein.
(c) 撮影しているカメラに対して相対的にどの方向にどの程度移動し、カメラの姿勢をどのように保ったらよいかというナビゲーション情報を表示する。 (C) what was much moved relative which direction relative to the shooting to have cameras, of how can you keep the posture of the camera to display navigation information.
(d) (a)〜(c)に関して音声で情報を知らせる。 Notifying information by voice with respect to (d) (a) ~ (c).
等がある。 And the like.
【0058】 [0058]
図18は上記(a)の場合を説明するための図である。 Figure 18 is a diagram for explaining the case of the above (a). 1512は未撮影エリア情報を表示するためのディスプレイ、図中の142、144はそれぞれ3次元空間を平面図(Y=0)と立面図(Z=z1)で表したもの、141、145の★印は3次元空間におけるカメラの位置を平面図および立面図中に記したもの、142をはじめとする色のついた部分(網がかかった部分)は未撮影エリアを表している。 1512 a representation unexposed area information display for displaying a plan view of the three-dimensional space 142, 144 respectively in FIG. (Y = 0) and elevation (Z = z1), of 141 and 145 mark ★ those noted in plan view and elevation view of the position of the camera in three-dimensional space, with parts of the color, including 142 (net has took part) represents the non-imaging area. ただし、カメラの3次元空間中の位置を(x1、y1、z1)とする。 However, the position in 3-dimensional space of the camera and (x1, y1, z1). 立面図はZ=z1の平面であるので、カメラの移動にともなって表示される未撮影エリア情報が変化する。 Since elevation is a plane of Z = z1, unexposed area information displayed with the movement of the camera is changed. 撮影者はこれらの情報を参照しながら、カメラを未撮影エリアに移動させ、必要な光線を獲得する。 While the photographer refers to the information, the camera is moved to the non-imaging area, acquiring light required. 図18では、カメラの姿勢情報は表現されていないため、光線の獲得は全ての方向にカメラを向けて撮影する必要がある。 In Figure 18, since the posture information of the camera is not represented, the acquisition of light needs to be taken towards the camera in all directions. これを改善するために、別途、カメラの姿勢に関する表示を設けることも可能である。 To improve this, separately, it is also possible to provide an indication as to the attitude of the camera. このときの表示方法としては、視点位置を先端とする角錐で、その地点で獲得が必要な光線を囲むように表示すれば、カメラをどの方向に向ければよいかが把握できるので、効率的な光線の獲得が可能となる。 The display method of this time, the pyramid and the distal end of the viewpoint position, be displayed so as to surround the light required acquired at that point, because if it Mukere the camera in any direction can be grasped, efficient light it is possible acquisition. 別の例を図20にしめす。 Another example shown in the Figure 20. 図中の151は3次元シーンに未撮影エリアを重畳表示したもの、152は重畳された未撮影エリア、153は平面図(Y=0)上で示した未撮影エリア、154と156はカメラの位置、155は平面図(Y=0)、157は立面図(Z=z1)である。 151 in the figure obtained by superimpose unexposed areas in a three-dimensional scene, 152 unexposed areas superimposed, 153 unexposed area shown on plan view (Y = 0), 154 and 156 of the camera position, 155 is a plan view (Y = 0), 157 is an elevational view (Z = z1). この例では、図18の平面図、立面図に加えて、3次元シーン中に未撮影エリアを重畳したものを表示する。 In this example, the plan view of FIG. 18, in addition to the elevation, and displays those obtained by superimposing unexposed areas in the three-dimensional scene. この3次元シーンは現時点でのカメラの映像を利用し、これに未撮影エリアを重畳して生成する。 The three-dimensional scene using the camera images at the present time, is generated by superimposing the unexposed areas thereto. このように表示することで、見ているシーンに対してどのようにカメラを移動させればよいかが直感的に分かるので、さらに効率的なカメラの移動が可能となり、光線の獲得が容易となる。 By thus displaying, so how it is sufficient to move the camera relative looking scenes intuitive, it is possible to further move efficient camera, which facilitates acquisition of light .
【0059】 [0059]
図21は上記(b)の場合を説明するための図である。 Figure 21 is a diagram for explaining the case of the above (b). 説明を簡単にするために、9本の光線を獲得すると画像再構成が終了すると仮定する。 For simplicity of explanation, it is assumed that the image reconstruction and get at nine rays is finished. そして、ここでは1本のみ光線が獲得されている状況を示している。 And here shows a state in which light beams only one has been acquired. 図中の211は未撮影光線情報、212はY=0平面に投影した未撮影光線情報、213(図中の8個の黒丸)はZ=z1で切った断面における未撮影光線情報を表している。 211 Not shooting ray information in the figure, 212 is unexposed light information projected on the Y = 0 plane, 213 (eight black circles in the figure) represents the unexposed light information in a cross section taken along a Z = z1 there. このように表示することで、カメラをどの位置に持っていけば光線が取得できるかが一目でわかるため、効率的な光線情報の取得が可能となる。 By thus displaying, either because the camera can be obtained if we have in any position rays to be seen at a glance, it is possible to obtain efficient light information. また、直接獲得すべき光線を示すことで、カメラをどの方向に向ければよいかも直感的に把握できる。 Also, by indicating the light to be directly acquired, be it Mukere the camera in any direction can be intuitively grasped.
【0060】 [0060]
図22は矢印によるナビゲーションの様子を示している。 Figure 22 shows the state of the navigation by arrows. 220はカメラを移動すべき方向を示す矢印、221はカメラの光軸を含む水平面において、カメラをどの方向に向ければよいかを示す水平角度メータ、222は光軸を含む垂直面においてカメラをどの方向に向ければよいかを示す垂直角度メータである。 Which 220 arrow indicating the direction to be moving the camera, 221 in the horizontal plane including the optical axis of the camera, the horizontal angle meter indicating how it Mukere the camera in any direction, 222 a camera in a vertical plane including the optical axis a vertical angle meter indicating how it Mukere direction. 220の矢印に沿ってカメラを移動しながら、221中の矢印が光軸(円の中心を通る線分223)と一致するように、かつ、222中の矢印が光軸(線分224)と一致するようにカメラの方向を制御することにより、効率的に光線を獲得することができる。 While moving the camera along the 220 arrow, as arrows in the 221 coincides with the optical axis (line 223 passing through the center of the circle), and arrows optical axis in 222 and (line 224) by controlling the direction of the camera as matching, it can be obtained efficiently rays.
【0061】 [0061]
また、上記(d)の音声によるナビゲーションは、例えば、 The navigation voice (d) above is, for example,
・「前方3m直進」という音声に従って移動すると目的の地点で「止まれ」という合図・「右に回転」という音声に従って回転すると目的の角度で「止まれ」という合図・「上方向に回転」という音声に従って回転すると目的の角度で「止まれ」という合図というように音声に従って移動・回転すると目的の光線が獲得できるというものである。 • The destination point of when you move in accordance with the voice saying "forward 3m straight ahead," according to the voice of "Stop" sign that, when rotated according to the voice of "rotation to the right" at an angle of purpose Eyes "rotation in the upward direction" of "Stop" moving and rotation when rotating at the desired angle in accordance with the speech and so signaled as "STOP" is that the purpose of the beam can be acquired. この例はあくまでも一例であり、この他の指示を行ってもよい。 This example is only an example, it may perform this other instruction.
【0062】 [0062]
以上述べたように、未撮影光線情報を提示する手段を設け、ユーザを誘導することにより、効率的にかつ短時間に目的の光線群を取得することが可能となる。 As described above, the means for presenting the unexposed light information provided by inducing a user, it is possible to obtain a light ray group of objects efficiently and in a short time.
【0063】 [0063]
(第7の実施形態) (Seventh Embodiment)
実際に撮影を行っている場合に、不意の侵入物が撮影されることも考えられる。 If you are actually performing photographing, it is conceivable to intruder unexpected is taken. 侵入物が存在すると本来の光線が獲得できていないということであるから、このような場合には撮影を無効にしてやり直すことが必要である。 Since the original light beam when the intruder is present it is that it does not earn, in such a case it is necessary to start over to disable photography. 本実施形態では、侵入物に対する対処の方法について述べる。 In the present embodiment describes a method of measures against invaders.
【0064】 [0064]
侵入物が存在する場合の対処法として、 As what to do if the intruding object exists,
1. 1. ユーザが侵入物を認識して、一時的に撮影を無効にし、侵入物が写る前の状態までカメラを移動してやり直す。 User recognizes the invaders, temporarily disable photography, again to move the camera to the state before the intruder objects appear.
2. 2. 侵入物の自動判定手段を設けて、フィードバック制御する。 It provided automatic judging means of the intruder, a feedback control.
が考えられる。 It can be considered. ただし、侵入物が検知されても、獲得すべき光線に影響を与えなければ、獲得した光線や現在の撮影をキャンセルする必要はない。 However, even if the intruder is detected, unless affect the ray to be acquired, there is no need to cancel the acquired rays and the current shooting.
【0065】 [0065]
まず、1に関しては、ユーザが侵入物を発見した時点から、例えば数秒前の状態まで獲得した光線情報をキャンセルし、そこから撮影しなおすという方法である。 First, with respect to 1, from the time the user has found the invaders, to cancel the light information acquired for example, up to a few seconds before the condition is a method that re-photographing therefrom. 獲得した光線情報と一緒にタイムコードなどを同時に記録しておけば、侵入物発見時のタイムコードと比較して、それよりもたとえば5秒前に戻すというように、以前の状態に復帰することができる。 If you record such a simultaneous time code with acquired ray information, compared to the time code at the time of intruder discovery, it more so that also for example back to 5 seconds before, to return to a previous state can. ただし、発見が遅れる場合もあり得るので、何秒前に戻すかは任意に設定できるようにするのが好ましい。 However, since the case may be that discovery is delayed several seconds back before is preferably to be set arbitrarily.
【0066】 [0066]
図23は、第6の実施形態に侵入物警告手段231を設けた場合の例である。 Figure 23 is an example of a case in which the intruder alarm means 231 to the sixth embodiment. モード設定手段15により、ユーザが侵入物警告手段(ボタン)を押したときに何秒前に戻すかという情報が設定され、ボタンが押されると判定手段13を介してその秒数分だけ獲得した光線をキャンセルする。 The mode setting means 15, the user sets the information as to return to many seconds before when pressing intruder warning means (button), acquired by the number of seconds through the determining means 13 button is pressed to cancel the beam. 光線がキャンセルされるとキャンセルされた光線に対応する未撮影エリア表示に関わるデータもリセットされる。 Data relating to unexposed area display corresponding to light rays is canceled if canceled also reset. 光線を獲得する処理の再開であるが、侵入物警告手段を再度押すと光線獲得が再開されるようにしてもよいし、ある秒数だけ経過した後に再開されるようにしてもよい。 It is a resumption of the process of acquiring the light, to again press the rays acquire intruder warning device may also be configured to be restarted, may be is resumed after a lapse only seconds.
【0067】 [0067]
図24は、侵入物の検知をユーザが行うのではなく、自動処理にて行う場合の実施形態である。 Figure 24 is not the detection of the intruder by the user to perform an embodiment of a case where in an automatic process. 25は侵入物検知手段、26は切り替え制御手段、27は表示手段、28は音声再生手段である。 25 intruder detection means, the switching control means 26, the display unit 27, 28 is a sound reproducing means. 侵入物検知手段25が侵入物を検知すると、判定手段13に対して獲得した光線をある時間分だけキャンセルするように指示を出す。 If the intruder detection means 25 detects the intruder, issues an instruction to cancel only time period that the light rays obtained for judging means 13. この時間はモード設定手段によりあらかじめ設定された時間である。 The time is pre-set time by the mode setting means. 侵入物が検知されて処理が一時中断されるとその状況、例えば「侵入物あり」などというように表示手段27に視覚的に表示されるか、または音声再生手段28にて同様の警告がなされる。 When intruder processed is detected is suspended the situation, for example, "intruder there" or is visually displayed on the display unit 27 and so like, or similar warning by sound reproducing means 28 is made that. ここで切替制御手段26は、侵入物が存在する場合に、ディスプレイに表示するか、音声で警告するか、あるいは両者を同時に利用するかを制御する。 Here the switching control means 26, when the intruding object exists, controls whether or not to display on the display, or warning sound, or to use both of them simultaneously.
【0068】 [0068]
侵入物検知手段25の動作について説明する。 The operation of the intruder detection means 25 will be described. 例えば、現在撮影している画像の1フレーム前の画像を保持しておき、現在の画像との間で動きベクトルを求める。 For example, it holds the previous frame image of the image being currently captured, obtains a motion vector between the current image. 対象物が静止している場合、カメラの移動による対象物の動きベクトルはおおよそ求めることができるので、その動きと明らかに異なる動きをしている物体が存在すれがそれが侵入物であると判定することができる。 If the object is stationary, the determination because motion vector of the object due to movement of the camera can be determined roughly, and exists an object which is distinctly different movement and its movement is a it intruder can do. また、これ以外にも画面中の色(カラー)が大きく変化した場合も侵入物の存在を疑うことができる。 Further, even if the addition to this of the screen color (color) largely changes can doubt the existence of the intruder.
【0069】 [0069]
以上述べたように、不意の侵入物を検知する手段を持つことにより、再構成したあとで邪魔なものが写りこんでいたというような不具合を解消でき、再構成に必要な光線を効率的に獲得することが可能となる。 Above As I mentioned, by having means for detecting the intruder unexpectedly can solve the problem as referred to those nuisance after reconstitution was crowded-through, a light necessary for reconstruction efficiently it is possible to win.
【0070】 [0070]
(第8の実施形態) (Eighth Embodiment)
実際の撮影時には何らかの事情により、撮影(再構成)を一時中断しなければならない場合もある。 At the time of actual photographing any reason, it may be necessary to suspend photographing (reconstruction). そのような場合への対処法としてリジューム機能を付加した実施形態を図25に示す。 An embodiment obtained by adding a resume function as a countermeasure against such a case shown in FIG. 25.
【0071】 [0071]
18は撮影状態記憶手段であり、再構成途中の画像および獲得された光線情報、再構成に必要な各種パラメータを外部I/F23に出力し、外部記憶装置24に格納する。 18 is a photographing state storage means, and the output image and the acquired ray information in the middle of reconstruction, various parameters necessary for reconstruction in the external I / F 23, and stores in the external storage device 24.
【0072】 [0072]
また、途中から処理を再開する場合には、外部I/F23を介して外部記憶装置24から再構成に必要な各種パラメータ、再構成画像、獲得済み光線情報などの情報を読み出し、メモリ14とメモリ22にセットする。 Further, in the case of restarting the process from the middle, the various parameters necessary for reconstruction from the external storage device 24 via the external I / F 23, the reconstructed image, reads out information such as the acquisition already ray information, the memory 14 and the memory It is set to 22.
【0073】 [0073]
このような構成にすることにより、不意の中断にも対処でき、目的の画像再構成を効率よく行うことができる。 By such a configuration, even to address the interruption of the sudden, it is possible to efficiently perform image reconstruction purposes.
【0074】 [0074]
(第9の実施形態) (Ninth Embodiment)
第1の実施形態では再構成画像の視点位置を3次元空間中の位置として直接入力する方法をとったが、本実施形態ではより簡便な視点位置設定方法を提供する。 In the first embodiment, it is taken a method of directly inputting the viewpoint position of the reconstructed image as a position in 3-dimensional space, in this embodiment provides a more convenient viewpoint position setting method.
【0075】 [0075]
図26は、再構成画像用視点位置設定手段261を第8の実施形態に付加した場合の実施形態である。 Figure 26 is an embodiment in which a reconstructed image for the viewpoint position setting means 261 was added to the eighth embodiment. ここでは視点位置の設定方法として、 Method of setting where the viewpoint position,
1.3次元位置を直接入力する2. 2 to enter the 1.3-dimensional position directly. 単眼カメラを2度利用してステレオ撮影し、位置・姿勢を求める3. 3 using a monocular camera twice and stereo photography, determining the position and orientation. エビポーララインを利用して、位置・姿勢を指示する4. Using the shrimp Paula line, to indicate the position and orientation 4. ステレオカメラで計測し、位置・姿勢を支持するなどがある。 Measured by the stereo camera, there is such as to support the position and orientation. 1に関しては第1の実施形態にて述べたので、本実施形態では2〜4について説明する。 Since the terms 1 described in the first embodiment, this embodiment will be described 2-4.
【0076】 [0076]
図27は単眼カメラを利用して再構成画像の視点位置・姿勢を指示する処理のフローチャートである。 Figure 27 is a flowchart of a process for instructing the viewpoint position and orientation of the reconstructed image using monocular camera. まず、再構成画像の視点位置に何らかの目標物(目印)となるようなものが存在する場合は、ステップS271で目標物(目印)を特定する。 First, if any target to the viewpoint position of the reconstructed image (mark) and a stuff exists, identifies the target product (marker) at step S271. 次にステップS272にて光軸が目標物を貫通するように撮影する。 Then the optical axis in step S272 is photographed so as to penetrate the target. このときのカメラの位置と姿勢を利用してローカル座標系を設定する。 Using the position and orientation of the camera at this time to set a local coordinate system. 設定の方法は第1の実施形態で説明した方法と同様の方法を用いればよいため、ここでは省略する。 Since the method of setting the method may be used the same method as described in the first embodiment is omitted here. 次にステップS273にてカメラを移動させて撮影する。 Then move the camera at step S273 to shoot. このときも同様に光軸が目標物を貫通するように撮影する。 This is also captured as an optical axis in the same manner penetrates the target time. ここで、1回目に撮影した位置と2回目に撮影した位置との間の距離はステレオ計測を行う際のベースラインとなるため、ある程度大きくとるほうが位置精度が向上する。 Here, the distance between the position taken at the position and second time taken for the first time since the base line at the time of performing stereo measurement, is better to take some extent to improve the positional accuracy. ステップS274において1回目と2回目の撮影の位置・姿勢からステレオ計測により、ローカル座標系での目標物の位置を算出する。 The first and stereo measurement from the position and orientation of the second shooting in step S274, calculates the position of the target in the local coordinate system. そして算出された位置を再構成画像の視点位置にする。 And the viewpoint position of the reconstructed image and the calculated position. 姿勢に関しては、第1の実施形態と同様の方法、すなわち、カメラを所望の姿勢に保ち、その時のカメラの姿勢センサが出力する姿勢を再構成画像の姿勢とすればよい。 Regarding the attitude, the same method as in the first embodiment, i.e., maintaining the camera in the desired position may be the position of the reconstructed image attitude orientation sensor at that time of the camera outputs. ステップS275にて決定された再構成画像の視点位置と姿勢を再構成画像視点位置・姿勢設定手段に出力する。 And it outputs the viewpoint position and orientation of the reconstructed image determined in step S275 in the reconstructed image viewpoint position-posture setting means.
【0077】 [0077]
次に、生成したい再構成画像の視点位置に目標物(特徴点、目印など)がない場合の方法について述べる。 Next, described viewpoint position of the reconstructed image to generate the target (feature points, landmarks, etc.) how in the absence of. 例えば、空中の一点を視点位置にしたい場合、第一の地点で空中の一点を決定すればその空中の一点をカメラの光軸が通過するように設定することは可能であるが、場所をかえると何も目印がないため第二の地点からその一点を特定することは難しい。 For example, if you want a single point of the air to the viewpoint position, the light axis of the camera a point that the air be determined a point air at the first point is possible to set so as to pass through, changing the location nothing it is difficult to identify the one point from the second point because there is no mark with. 従って、この「空中の一点」をターゲットにして、異なる2地点間でのステレオ計測により位置を求めることは難しい。 Accordingly, the "single point of air" in the target, it is difficult to determine the position by stereo measurement between two different points. そこで、第一の地点で「空中の一点」を決定し、その点を光軸が貫通するようにカメラをセットして、その時の位置と姿勢を記憶する。 Therefore, to determine the "single point of air" at the first point, the point by setting the camera so that the optical axis passes, and stores the position and orientation at that time. そして、第二の地点にカメラを移動させたときには、第一地点のカメラの光軸(直線)を第二の地点でのカメラ映像に重畳して表示する。 Then, when moving the camera to the second point is displayed superimposed optical axis of the first point of camera (straight line) to the camera image at the second point. この様子を図28を利用して説明する。 This state will be described with use of FIG. 28. 図28(a)は第二地点でのカメラの映像に第一地点でのカメラの光軸を重畳した画像を表している。 Figure 28 (a) represents the camera image obtained by superimposing the optical axis at the first point to the image of a camera at the second location. 図中の2810は第一地点でのカメラの光軸、2820は現在のカメラの光軸(ここでは撮像面の中心を貫通する法線を仮定している)である。 2810 optical axis of the camera at the first point in the figure, 2820 denotes an optical axis of the current camera (assuming normal passing through the center of the imaging surface in this case). 第一地点で決定された一点はこの直線2810上に存在する。 One point that has been determined by the first point exists on the straight line 2810. 図28(b)は図28(a)とは異なる地点でのカメラで撮影された画像であり、光軸2820が直線2810上に存在するようにカメラを移動させたものである。 FIG. 28 (b) is an image taken by the camera at different points in the FIG. 28 (a), the one in which the optical axis 2820 moves the camera so that lies on the straight line 2810. このように直線上の一点を光軸2820と一致させることにより「空中の一点」を特定することができ、その時のカメラの位置・姿勢と第一地点でのカメラの位置・姿勢とからステレオ計測により位置を算出することができる。 Thus it is possible to identify a "single point of air" by causing a point on the line is coincident with the optical axis 2820, the stereo measurement from the position and orientation of the position and orientation at that time of the camera the camera at the first point it is possible to calculate the position by. 姿勢は第1の実施形態と同様の方法で指定できる。 Orientation can be specified in the same way as the first embodiment.
【0078】 [0078]
以上述べたように、第二地点では、第一地点におけるカメラの光軸2810上の点を特定すればよいため、何も目印がないときに比べて「空中の一点」を特定しやすくなり、再構成画像の視点位置・姿勢を設定する作業が楽になる。 As has stated, in the second location, since it is sufficient to identify the points on the camera's optical axis 2810 of the first point, nothing will help identify "single point of air" as compared to the absence of marks, work to set the viewpoint position and orientation of the reconstructed image becomes easy.
【0079】 [0079]
また、3次元空間中の一点を指定する作業は、カメラをステレオカメラに変更すれば、よりダイレクトに行うことが可能となる。 Moreover, the task of specifying a point in three-dimensional space, by changing the camera to the stereo camera, it is possible to perform more direct. ステレオカメラの場合は、例えばファインダ内で立体視が可能な状態にしておき、空間中に何らかのマークやポインタなどを表示する。 For stereo camera, for example leave ready for stereoscopic viewing in the viewfinder, displays a some mark or pointer in space. このマークやポインタを移動させて3次元空間中の一点を指定することにより、簡便に空間中の一点を指定することが可能となる。 By specifying a point in three-dimensional space by moving the mark or pointer, easily it makes it possible to specify a point in space. 指定された一点の位置はステレオカメラを使っているので容易に算出することができる。 Position of the designated one point can be easily calculated because it uses a stereo camera. 姿勢の指定は、第1の実施形態と同様の方法により可能である。 Specifying attitude can be by the same method as in the first embodiment. マークの移動に関しては、前後上下左右の6方向に移動させるボタンなどをカメラに備えてもよいし、カメラの光軸上の点を指定すると仮定すれば前後のみの2つのボタンを装備するだけでよい。 For the movement of the mark, only equipped with two buttons only before and after assuming may comprise a button that moves in the 6 directions of up, down, front, rear, left and right on the camera, to specify a point on the optical axis of the camera good. ここでは、ファインダ内で立体視できるようにしたが、レンチキュラ・シートをディスプレイ1508あるいは1512に採用することにより立体視できるようにしてもよい。 Here, although to allow stereoscopic vision in the viewfinder, it may allow stereoscopic vision by employing a lenticular sheet to display 1508 or 1512.
【0080】 [0080]
以上述べたように、カメラをステレオカメラに変更することにより、よりダイレクトに3次元空間中の一点を指定することが可能となり、作業効率が格段に向上する。 As described above, by changing the camera to the stereo camera, it is possible to specify more a point directly in three-dimensional space, work efficiency is remarkably improved. また、2眼存在することにより、本来の目的である光線の獲得も1眼に比べてより効率的に短時間に行うことが可能となる。 Moreover, the presence binocular, it is possible to perform in a short time more efficiently as compared with the well 1 eye acquisition of rays which is the original purpose. 光線の獲得処理としては、一度に2地点分の光線が獲得できると考えれば、第1の実施形態で説明した処理を2回行うことにより対処できる。 The acquisition processing of the light, given that it can acquire the rays of the two points at a time, can be addressed by performing the processing described in the first embodiment twice.
【0081】 [0081]
(第10の実施形態) (Tenth Embodiment)
再構成画像の視点位置・姿勢と再構成画像の画角、画素数とを決定すると、必要な光線群が特定される。 Angle of the viewpoint position and orientation and the reconstructed image of the reconstructed image, when determining the number of pixels is identified ray group necessary. しかし、再構成画像の視点位置と実際にカメラで撮影可能な場所とが大きく離れていると、必要な光線を獲得するためには、広い範囲を動き回って撮影しなければならない。 However, if the viewpoint position of the reconstructed image and can actually be captured by the camera location is far away, in order to obtain a light beam required, must shoot moving around a wide range. 図29にこの様子を示す。 Figure 29 shows this state. 図中の2910は再構成画像の視点位置、2920は視点位置2910から少し離れたときに必要な光線を獲得するためにカメラを移動させなければならない領域、2930は2920よりも視点位置2910から離れた地点での光線を獲得するために必要なカメラの移動範囲を表している。 2910 of the reconstructed image viewpoint position in the figure, 2920 is a region must move the camera in order to obtain a light beam required when a distance from the viewpoint position 2910, 2930 apart from the viewpoint position 2910 than 2920 it represents the camera movement range required to obtain a light beam at a point. この様に、視点位置から離れるに従い、カメラを移動させる領域が広くなるため、再構成画像の視点位置を設定するさいに、例えば、自分のいる位置において光線をすべて獲得するとすればどの程度移動しなければならないかをユーザにフィードバックできれば、獲得不可能な光線を含む視点位置を設定することがなく、効率的である。 Thus, with the distance from the viewpoint position, since the region to move the camera becomes wider, the When setting the point of view of the reconstructed image, for example, to what extent the movement if acquiring all the light rays at a position where it was if feedback or must the user, without having to set the point of view including acquiring non rays, is efficient. すなわち、再構成途中で獲得不可能な光線が含まれていることに気が付き、再度視点位置を変更して同様のことを繰り返すなどの失敗がなくなる。 In other words, notice that contains acquisition impossible light on the way reconstruction, there is no failure, such as repeating the same change again viewpoint position.
【0082】 [0082]
そこで、図29の錐体を視点位置設定に連携して撮影画像中に表示するように、第1の実施形態の再構成画像の画角、解像度(画素数)、視点位置、姿勢を設定する処理に変更を加える(図30参照)。 Therefore, to display in a cone in cooperation to the viewpoint position setting photographic image of FIG. 29, the angle of view of the reconstructed image of the first embodiment, the resolution (number of pixels), the viewpoint position, sets the posture processing make changes (see Figure 30). ここで、ステップS76は設定された位置・姿勢・画角を元に撮影範囲を錐体として表示するステップ、ステップS77はここまでに設定された再構成画像の位置・姿勢・画角が適切であるかを(撮影可能かどうか)を判定し、不適切であればステップS72に戻り、適切ならばメインルーチンに戻る。 Here, Step S76 is a step of displaying a cone the imaging range based on the position and attitude-angle that is set, step S77 is the appropriate position and orientation, the angle of view of the reconstructed image set so far whether or not there is determined (whether or not capable of shooting), if it is inappropriate to return to the step S72, the flow returns to the main routine if appropriate.
【0083】 [0083]
錐体の表示に関しては、錐体を半透明の薄い色で表示すれば、全体の中でどの程度の領域を移動しなければならないかが直感的に把握できる。 For the display of the cone, by displaying a cone with a thin colored translucent, or must move how much area in the overall it can be intuitively grasped. また、カメラに内蔵の位置・姿勢センサの出力を用いれば、錐体の大きさ(カメラを移動させなければならない範囲)を数値データとして求めることも可能であり、この数値データを錐体の表示と同時に表示(重畳表示あるいは別の場所あるいは別モニタに表示)すればより具体的にユーザは移動範囲を認識できる。 Further, by using the output of the position and orientation sensor built into the camera, it is also possible to determine the size of the cone (the range in which it is necessary to move the camera) as numerical data, display the numerical data of the cone simultaneously the user more specifically be displayed (superimposed display or display in a different location or a different monitor) can recognize the movement range.
【0084】 [0084]
以上述べたように、本構成を用いて視点設定の際に必要な光線群を示す錐体や移動範囲の数値データなどを表示することにより、直感的にカメラを移動させる範囲を把握できるため、無理な視点位置の設定などがなくなり、効率的な再構成画像の獲得が実現できるという利点がある。 Above As I mentioned, by such as displaying numerical data of the cone and the moving range shown a light ray group necessary when the viewpoint set by using the present configuration, it is possible to grasp the range to intuitively move the camera, there is no such set unreasonable viewpoint position, acquisition of efficient reconstructed image can be advantageously realized.
【0085】 [0085]
(第11の実施形態) (Eleventh Embodiment)
第10の実施形態では、実際にカメラの移動範囲を錐体として表示することにより、無理な視点位置の設定を避けるように誘導したが、それ以外にも、撮影時にこの錐体の外側にカメラが移動したら警告することにより、無駄なカメラの移動を抑制することができる。 In the tenth embodiment, by actually displaying the movement range of the camera as a cone, was induced to avoid the setting of unreasonable viewpoint position. Alternatively, the camera outside the cone during shooting but by to warn you when I moved, it is possible to suppress the movement of the useless camera. すなわち、再構成に必要な光線はすべてこの錐体の内部に存在するため、カメラの移動をこの錐体の内部に限定すればより効率的に光線の獲得が可能になる。 That is, since existing inside all rays needed for reconstruction this cone, more efficient acquisition of light if limiting the movement of the camera inside the cone can be achieved. 警告の方法としては、撮影中の画像を表示している画面または未撮影領域を表示している画面上に例えば「範囲外」「ERROR!」などのメッセージを出す、あるいは、音声で錐体の外部に移動したことを警告する、あるいは両者を同時に行うようにすればよい。 As the method of warning, the image display to example on a screen that displays the screen or not shooting area is "out of range" and in shooting "ERROR!" Issues a message such as, or cone voice It warns that it has moved to the outside, or may be performed both at the same time. また、警告の際に、錐体の内部に誘導するように表示すると警告がより効果的になる。 At the time of warning, alert and display to direct in the interior of the cone is more effective. 例えば、錐体の内部に向けて矢印を出したり、その方向を音声で再生したりすればよい。 For example, out of the arrow toward the interior of the cone may be or play that direction by voice. また、錐体自体は、表示してもしなくてもよいが、表示すれば、未撮影領域を表示する際の補助的な情報として利用できる。 Moreover, cone itself may or may not be displayed, if displayed, can be used as auxiliary information when displaying non-imaging area. あるいは、光線の獲得に従い、この錐体の該当部分の色を変更することにより、未撮影領域表示にも利用可能である。 Alternatively, in accordance with acquisition of the light beam, by changing the color of that portion of this cone, which is also available in the non-shooting region display.
【0086】 [0086]
以上述べたように、再構成画像の視点位置・姿勢・画角で規定される錐体の外部にカメラが移動したら警告することにより、無駄なカメラの動きを抑制でき、効率的な光線の獲得が可能になる。 As described above, by the camera to an external cone defined by the viewpoint position and orientation, the angle of view of the reconstructed image to alert After moving, it is possible to suppress the movement of useless camera, acquisition of efficient light It becomes possible.
【0087】 [0087]
(第12の実施形態) (Twelfth Embodiment)
上述の実施形態では、再構成する視点位置は一度に1箇所であると仮定して話を進めてきたが、一度の複数箇所を指定し、同時に画像を再構成することも可能である。 In the above embodiment, the viewpoint position to reconstruct have advanced talking assumed to be one place at a time, to specify a time at a plurality of locations, it is also possible to reconstruct an image at the same time. ただし、この場合も、第1の実施形態であれば、画像を撮影し記憶するメモリは1枚分だけでよく、再構成画像を格納するメモリをN枚分(再構成する視点位置をN視点としたとき)備えていればよい。 However, even in this case, if the first embodiment, a memory for capturing an image storage needs only one sheet, a memory for storing the reconstructed image N sheets (a viewpoint position to reconstruct N viewpoints and the time) or as long as it has.
【0088】 [0088]
具体的には、再構成画像情報設定手段8でN枚分の情報を設定し、この情報を元に再構成用光線情報算出手段9においてN枚分の光線情報を求め、それぞれの再構成画像に対して、第1の実施形態で述べた処理を施すことにより、N枚の再構成画像を獲得する。 Specifically, to set the information of the N sheets in the reconstruction image information setting portion 8 determines a ray information of N sheets in the reconstruction light beam for information calculation unit 9 based on this information, each of the reconstructed image respect, by the process described in the first embodiment applied to obtain the N sheets of the reconstructed image. 本発明は、ある程度近い視点位置の画像を複数枚再構成する場合には、獲得すべき光線が共通(複数の再構成画像中で使用する)であったり、一度の撮影で複数の再構成画像用の光線が獲得することができるため、特に1枚あたりの画像再構成時間を短縮するという点で有効である。 The present invention, when a plurality of sheets reconstruct an image of somewhat near the viewpoint position is or a common light to be acquisition (used in multiple reconstructed image), a plurality of reconstructed images in a single shooting since the rays of use can be obtained, which is effective at particularly reduced image reconstruction time per. また、メモリ容量に関しても、再構成画像の枚数分のメモリ容量の増加で済むため、大幅なコストの増加にはならない。 Further, with regard memory capacity, because it requires an increase in the memory capacity of the number of sheets of the reconstructed image, not an increase in significant cost.
【0089】 [0089]
また、第2の実施形態の場合は、再構成画像を格納するメモリをN枚(再構成する視点位置をN視点としたとき)に増やせば、同様のことが可能となる。 In the case of the second embodiment, by increasing the N sheets of memory for storing the reconstructed image (when the point of view of reconstructing is N viewpoint), it is possible to the same thing.
【0090】 [0090]
以上述べたように、N枚の再構成画像を同時に生成できるようにすることで、1枚あたりの再構成時間を短縮することができ、メモリ容量も再構成画像の枚数分だけの増加ですむため、ハードウェア的な負荷も少なくてすむ。 As described above, by such a N sheets of the reconstructed image can be generated at the same time, it is possible to shorten the reconstitution time per, requires a memory capacity by an increase in number of sheets fraction of the reconstructed image Therefore, fewer also hardware load.
【0091】 [0091]
(変形例) (Modification)
本発明は、複数の機器(例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置など)に適用してもよい。 The present invention is applied to a plurality of devices (eg, host computer, interface, reader, printer) or to an apparatus comprising a single device (e.g., copying machine, facsimile machine, etc.) it may be.
【0092】 [0092]
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。 Another object of the present invention, a storage medium storing software program codes for realizing the functions of the above (or recording medium) is supplied to a system or an apparatus, Ya computer of the system or apparatus (or CPU may read and execute the program codes MPU) is stored in the storage medium, it is needless to say that is achieved.
【0093】 [0093]
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。 In this case, the program code itself read from the storage medium realizes the functions of the embodiments and the storage medium storing the program code constitutes the present invention. また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, by executing the read program by computer, as well as functions of the above embodiments are realized on the basis of the instructions of the program code, such as an operating system (OS) running on the computer It performs a part or entire process but also to a case where the functions of the above-described embodiments are realized by those processes.
【0094】 [0094]
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Furthermore, the program code read from the storage medium are written in a memory of a function expansion unit connected to the function expansion card inserted into the computer or on the basis of the instructions of the program code, the function expansion a card or function expansion unit CPU performs part or all of the actual processing so that the program codes and the functions of the above embodiments are realized by those processes.
【0095】 [0095]
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。 When applying the present invention to the storage medium, the storage medium, the program code corresponding to the flowcharts described above is stored.
【0096】 [0096]
【発明の効果】 【Effect of the invention】
本願求項1記載の発明によれば、ユーザに未撮影領域あるいは未撮影の光線を提示することができる。 According to the invention of the present application Motomeko 1, it can present a beam of non-imaging region or unexposed to the user.
【0097】 [0097]
また、本願請求項8記載の発明によれば、侵入物を検知し、侵入物が存在する状態で獲得された光線をキャンセルし、再撮影できるようにすることができる。 Further, according to the invention of claim 8, wherein, it is possible to detect the intruder, cancel the acquired light in the state where the intruding object exists, to be re-shot.
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
【図1】第1の実施形態の構成を表すブロック図。 1 is a block diagram showing a configuration of the first embodiment.
【図2】第1の実施形態の処理の流れを示すフローチャート。 2 is a flowchart showing a flow of processing in the first embodiment.
【図3】第1の実施形態の各種設定の処理内容を示すフローチャート。 3 is a flowchart showing the processing contents of the various settings of the first embodiment.
【図4】第1の実施形態の画像獲得処理を表すフローチャート。 FIG. 4 is a flowchart representing the image acquisition processing of the first embodiment.
【図5】第1の実施形態の画像値獲得処理を表すフローチャート。 FIG. 5 is a flowchart representing the image value acquisition processing of the first embodiment.
【図6】ステップS33で設定される情報を説明するための図。 6 is a diagram for explaining information to be set in step S33.
【図7】基準座標系、再構成画像の姿勢、視点位置、画素数、画角の設定の処理の流れを示すフローチャート。 [7] the reference coordinate system, the attitude of the reconstructed image, the viewpoint position, the number of pixels, the flow chart showing the flow of processing for setting the angle of view.
【図8】座標系の回転と平行移動を説明するための図。 [8] Figure rotation and for explaining the parallel movement of the coordinate system.
【図9】座標軸の回転方向を示す図。 9 is a diagram showing the direction of rotation of the coordinate axes.
【図10】撮像部3をCCDタイプからCMOSセンサ27に変更した場合のブロック構成図。 Figure 10 is a block diagram of changing the imaging unit 3 from the CCD type CMOS sensor 27.
【図11】第1の実施形態にモニタ手段28を付加した場合の図。 [11] Figure in the case of adding a monitor unit 28 in the first embodiment.
【図12】モニタ手段28のブロック構成図。 Block diagram of FIG. 12 monitor means 28.
【図13】再構成画像の様子を示す図。 13 is a diagram showing a state of a reconstructed image.
【図14】補間手段を説明するための図。 Figure 14 is a diagram illustrating the interpolation means.
【図15】カメラの概観(背面部分の一例)を表したもの。 [Figure 15] that represents the general view of the camera (an example of the rear portion).
【図16】再構成画像を部分的に解像度を上げる事に関して説明するための図。 [16] diagram for describing that the reconstructed image increases the partial resolution.
【図17】第3の実施形態にモード設定手段15と未撮影エリア情報算出手段16と表示手段17を追加した場合の実施形態。 [17] Embodiments of adding the display means 17 and mode setting means 15 to the third embodiment and the unexposed area information calculating unit 16.
【図18】3次元空間中での未撮影領域とカメラ位置を示す図。 FIG. 18 shows a non-imaging area and the camera position in the 3D space.
【図19】本実施形態のカメラの概観(背面部分の一例)を表したもの。 [Figure 19] that represents the camera overview of the present embodiment (an example of the rear portion).
【図20】未撮影領域情報の表示の一例。 [Figure 20] An example of the display of the non-imaging area information.
【図21】未撮影領域情報の表示の一例。 [Figure 21] An example of the display of the non-imaging area information.
【図22】未撮影領域情報の表示の一例。 [Figure 22] An example of the display of the non-imaging area information.
【図23】侵入物検知手段を追加した場合のブロック構成図。 Figure 23 is a block diagram of adding the intruder detection means.
【図24】自動侵入物検知手段を追加した場合のブロック構成図。 Figure 24 is a block diagram of adding automatic intruder detection means.
【図25】リジューム機能を備えた実施形態のブロック構成図。 Figure 25 is a block diagram of an embodiment provided with a resume function.
【図26】視点位置設定手段を備えた本発明のブロック構成図。 Figure 26 is a block diagram of the present invention with a viewpoint position setting means.
【図27】単眼カメラを利用して再構成画像の視点位置・姿勢を指示する処理のフローチャート。 Figure 27 is a flowchart of a process for instructing the viewpoint position and orientation of the reconstructed image using monocular camera.
【図28】光軸の重畳表示を説明するための図。 Figure 28 is a diagram illustrating the superimposed display of the optical axis.
【図29】視点位置と撮影範囲を説明するための図。 Figure 29 is a diagram for explaining a photographing range and the viewpoint position.
【図30】視点位置設定の際に錐体を表示するための処理に関するフローチャート。 Flowchart of processing for displaying the cone during Figure 30 viewpoint position setting.
【図31】任意視点画像を生成する手法の原理を説明する図。 Figure 31 is a diagram illustrating the principle of a technique for generating an arbitrary viewpoint image.
【図32】画像の獲得するためのカメラ配置を示す図。 Figure 32 illustrates a camera arrangement for capturing images.
【図33】領域設定手段と解像度指定手段を備えた実施形態のブロック図。 Figure 33 is a block diagram of an embodiment provided with a region setting means and the resolution designation unit.

Claims (9)

  1. 複数の撮影画像から任意の視点からの画像を再構成する画像処理方法であって、 An image processing method for reconstructing an image from an arbitrary viewpoint from a plurality of captured images,
    視点位置を設定する設定工程と、 A setting step of setting a view point position,
    複数の撮影画像を入力する入力工程と、 An input step of inputting a plurality of captured images,
    前記複数の撮影画像から、前記設定された視点位置からの画像を再構成するために必要な光線データを抽出する抽出工程と、 From the plurality of captured images, an extraction step of extracting light data necessary to reconstruct an image from the set viewpoint position,
    前記抽出結果に基づき、未撮影の領域を算出する未撮影領域算出工程と Based on the extraction results, the non-imaging area calculating step of calculating a non-imaging area,
    前記未撮影の領域とともに、前記撮影画像を撮影する撮影部の位置を表示する未撮影領域表示工程とを有することを特徴とする画像処理方法。 Wherein with non imaging area, an image processing method characterized by having a non-imaging region display step of displaying the position of the imaging unit for photographing the photographic image.
  2. 未取得の光線を表示する未取得光線表示工程を更に有することを特徴とする請求項記載の画像処理方法。 The image processing method according to claim 1, further comprising a non-obtained light display step of displaying the light rays not acquired.
  3. 前記撮影画像を撮影する撮影部の移動方向に関するナビゲーションを行うナビゲーション工程を更に有することを特徴とする請求項記載の画像処理方法。 The image processing method according to claim 1, further comprising a navigation step for navigation on the movement direction of the imaging unit for photographing the photographic image.
  4. 前記撮影画像を撮影する撮影部が撮影対象外のエリアに移動した場合に警告する警告工程を有することを特徴とする請求項1に記載の画像処理方法。 The image processing method according to claim 1, characterized in that it comprises a warning step of warning if the photographing unit for photographing the photographed image has moved to the area outside the imaging target.
  5. 視点位置を設定する設定工程と、 A setting step of setting a view point position,
    複数の撮影画像を入力する入力工程と、 An input step of inputting a plurality of captured images,
    前記撮影画像から、前記設定された視点位置からの画像を再構成する再構成工程と、 From the captured image, a reconstruction step for reconstructing an image from the set viewpoint position,
    前記入力した撮影画像に侵入物が含まれたことを検出する検出工程と A detection step of detecting that contains intruder in the captured image obtained by the input,
    前記検出工程による検出結果に応じて、前記撮影画像から得られる光線情報をキャンセルするキャンセル工程とを有することを特徴とする画像処理方法。 The detection according to the detection result of the step, image processing method characterized by having a cancel step of canceling a light information obtained from the captured image.
  6. 前記キャンセル工程では、光線情報をキャンセルするに、どの程度の時間までさかのぼってキャンセルするかを任意に設定できることを特徴とする請求項に記載の画像処理方法。 In the cancel process, the image processing method according to claim 5, characterized in that in canceling ray information can be arbitrarily set or cancel back to how much time.
  7. 請求項1乃至のいずれかに記載の画像処理方法をコンピュータ実現させることを特徴とするプログラム。 Program characterized Rukoto to realize an image processing method according to the computer in any one of claims 1 to 6.
  8. 複数の撮影画像から任意の視点からの画像を再構成する画像処理装置であって、 An image processing apparatus for reconstructing an image from an arbitrary viewpoint from a plurality of captured images,
    視点位置を設定する設定手段と、 Setting means for setting a viewpoint position,
    複数の撮影画像を入力する入力手段と、 Input means for inputting a plurality of captured images,
    前記複数の撮影画像から、前記設定された視点位置からの画像を再構成するために必要な光線データを抽出する抽出手段と、 From the plurality of captured images, and extracting means for extracting light data necessary to reconstruct an image from the set viewpoint position,
    前記抽出結果に基づき、未撮影の領域を算出する未撮影領域算出手段と Based on the extraction results, the non-imaging area calculating means for calculating the non-imaging area,
    前記未撮影の領域とともに、前記撮影画像を撮影する撮影部の位置を表示する未撮影領域表示手段とを有することを特徴とする画像処理装置。 Wherein with non imaging area, an image processing apparatus characterized by having a non-imaging region display means for displaying the position of the imaging unit for photographing the photographic image.
  9. 視点位置を設定する設定手段と、 Setting means for setting a viewpoint position,
    複数の撮影画像を入力する入力手段と、 Input means for inputting a plurality of captured images,
    前記撮影画像から、前記設定された視点位置からの画像を再構成する再構成手段と、 From the captured image, a reconstruction means for reconstructing an image from the set viewpoint position,
    前記入力した撮影画像に侵入物が含まれたことを検出する検出手段と Detecting means for detecting that contains intruder in the captured image obtained by the input,
    前記検出手段による検出結果に応じて、前記撮影画像から得られる光線情報をキャンセルするキャンセル手段とを有することを特徴とする画像処理装置。 Wherein in accordance with a detection result by the detection unit, an image processing apparatus characterized by having a canceling means for canceling the light information obtained from the captured image.
JP2003204670A 2003-07-31 2003-07-31 Image processing method and apparatus Active JP4266736B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003204670A JP4266736B2 (en) 2003-07-31 2003-07-31 Image processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003204670A JP4266736B2 (en) 2003-07-31 2003-07-31 Image processing method and apparatus

Publications (2)

Publication Number Publication Date
JP2005050034A true JP2005050034A (en) 2005-02-24
JP4266736B2 true JP4266736B2 (en) 2009-05-20

Family

ID=34263616

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003204670A Active JP4266736B2 (en) 2003-07-31 2003-07-31 Image processing method and apparatus

Country Status (1)

Country Link
JP (1) JP4266736B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4960659B2 (en) * 2006-06-20 2012-06-27 クボテック株式会社 3-dimensional virtual space by using the video camera imaging control unit and the video camera shooting control method
JP2009290268A (en) * 2008-05-27 2009-12-10 Sony Corp Imaging apparatus
US8204299B2 (en) * 2008-06-12 2012-06-19 Microsoft Corporation 3D content aggregation built into devices
US20140369577A1 (en) * 2011-12-15 2014-12-18 Koninklijke Philips N.V. Medical imaging reconstruction optimized for recipient
US9838670B2 (en) 2013-03-11 2017-12-05 Carestream Health, Inc. Method and system for three-dimensional imaging
WO2017072975A1 (en) * 2015-10-30 2017-05-04 オリンパス株式会社 Image capture system

Also Published As

Publication number Publication date Type
JP2005050034A (en) 2005-02-24 application

Similar Documents

Publication Publication Date Title
US20070171220A1 (en) Three-dimensional scan recovery
US20110141227A1 (en) Stereoscopic (3d) panorama creation on handheld device
US20120019614A1 (en) Variable Stereo Base for (3D) Panorama Creation on Handheld Device
US20120019613A1 (en) Dynamically Variable Stereo Base for (3D) Panorama Creation on Handheld Device
US20110193941A1 (en) Image processing apparatus, imaging apparatus, image processing method, and program
US20100148066A1 (en) Thermal imaging camera for taking thermographic images
US20020113865A1 (en) Image processing method and apparatus
JP2002019556A (en) Monitoring system
JP2005049996A (en) Image display method and device
JP2001346226A (en) Image processor, stereoscopic photograph print system, image processing method, stereoscopic photograph print method, and medium recorded with processing program
JP2008172342A (en) Three-dimensional image recorder and three-dimensional image recording method
US20090041338A1 (en) Photographing field angle calculation apparatus
JP2005216061A (en) Image processor, image processing method, recording medium, computer program and semiconductor device
US20120133746A1 (en) Portrait Image Synthesis from Multiple Images Captured on a Handheld Device
JP2005349127A (en) Three-dimensional image generating system and its control method
US20110157305A1 (en) Image processing apparatus, image capturing apparatus, image processing method, and program
JP2003187261A (en) Device and method for generating three-dimensional image, three-dimensional image processing apparatus, three-dimensional image photographing display system, three-dimensional image processing method and storage medium
JP2004062756A (en) Information-presenting device and information-processing method
JP2003209769A (en) Image generating apparatus and method
US20080152214A1 (en) Method and apparatus for generating files and method and apparatus for controlling stereographic image display
CN101930162A (en) Imaging apparatus and control method therefor
JP2003141569A (en) Method of processing information and image synthesis device
JPH1188912A (en) Compound eye camera and display control method for the compound eye camera
JP2005049999A (en) Image input system, image input method, program described to execute method on information processing device, and storage medium with program stored
JP2006119843A (en) Image forming method, and apparatus thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081111

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090210

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090217

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120227

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130227

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140227

Year of fee payment: 5