JP6552256B2 - Image processing apparatus and image processing apparatus control method - Google Patents

Image processing apparatus and image processing apparatus control method Download PDF

Info

Publication number
JP6552256B2
JP6552256B2 JP2015093568A JP2015093568A JP6552256B2 JP 6552256 B2 JP6552256 B2 JP 6552256B2 JP 2015093568 A JP2015093568 A JP 2015093568A JP 2015093568 A JP2015093568 A JP 2015093568A JP 6552256 B2 JP6552256 B2 JP 6552256B2
Authority
JP
Japan
Prior art keywords
image
distance
background
subject
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015093568A
Other languages
Japanese (ja)
Other versions
JP2016213574A (en
Inventor
裕紀子 久保
裕紀子 久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015093568A priority Critical patent/JP6552256B2/en
Publication of JP2016213574A publication Critical patent/JP2016213574A/en
Application granted granted Critical
Publication of JP6552256B2 publication Critical patent/JP6552256B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Circuits (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像後の画像に対して後から焦点距離と視点を変更した画像を生成する画像処理装置及び画像処理装置の制御方法に関するものである。   The present invention relates to an image processing apparatus that generates an image in which a focal distance and a viewpoint are changed later on an image after imaging, and a control method of the image processing apparatus.

撮像装置を前後に移動させながらズーム操作し、被写体の大きさは変化させずに背景を大きくすることで遠近感を操作する撮影技法が広く知られている。しかしながら、物理的に遠ざかれない撮影場所や、使用するレンズの倍率以上の焦点距離が必要となるといった物理的制約が原因で、撮影ができないことがある。   2. Description of the Related Art There is widely known a photographing technique for operating a sense of perspective by zoom operation while moving an imaging device back and forth and enlarging a background without changing the size of an object. However, imaging may not be possible due to physical limitations such as an imaging location that is not physically moved away and a focal length that is greater than the magnification of the lens used.

そこで、従来から撮影後の画像に対して、仮想視点で撮影した画像を後処理で生成することが行なわれている。   Therefore, conventionally, an image photographed from a virtual viewpoint is generated by post-processing with respect to an image after photographing.

特許文献1は、撮影画像を被写体領域ごとに分割した後に、距離情報を用いて被写体領域を拡大または縮小した背景画像を合成することで、仮想視点で撮影した画像を生成している。   In Patent Document 1, an image captured with a virtual viewpoint is generated by dividing a captured image into object regions and combining background images obtained by enlarging or reducing the object regions using distance information.

特開2006−332743号公報JP 2006-332743 A

しかし、特許文献1のように撮影後の画像から仮想撮影条件で撮影した画像を生成する場合、変形前に被写体に隠れていた領域が欠落領域となってしまう。   However, when an image captured under virtual shooting conditions is generated from an image after shooting as in Patent Document 1, an area hidden by a subject before deformation becomes a missing area.

上述した課題を解決する為に、本発明の画像処理装置は、撮影により得られた入力画像を取得する取得手段と、前記取得手段により取得された入力画像を主被写体領域と背景領域とに分類する分類手段と、前記入力画像を撮影した際の主被写体と背景被写体の撮影環境における位置関係に基づいて、生成する出力画像に対応する仮想的な撮影条件を決定する決定手段と、前記入力画像のうちの前記背景領域に分類された画像を変形し、前記決定手段により決定された前記仮想的な撮影条件に対応する前記出力画像の背景画像を生成する生成手段と、前記入力画像のうちの前記主被写体領域に分類された画像と前記生成手段により生成された前記背景画像とを合成して前記出力画像を生成する合成手段と、を有し、前記分類手段は、前記背景画像を奥行き方向の被写体距離に応じて複数の領域に分類し、前記生成手段は、前記分類手段で分類された領域ごとに画像の変形処理を設定し、当該被写体距離が所定の距離より遠い被写体は同じ変形処理が施されることを特徴とする。   In order to solve the above-described problems, an image processing apparatus according to the present invention classifies an input image obtained by photographing and an input image obtained by the obtaining unit into a main subject region and a background region. Determining means for determining a virtual shooting condition corresponding to an output image to be generated based on a positional relationship between a main subject and a background subject when shooting the input image, and the input image Generating means for generating a background image of the output image corresponding to the virtual shooting condition determined by the determining means, and deforming the image classified into the background region of the input image, Synthesizing means for synthesizing the image classified into the main subject area and the background image generated by the generating means to generate the output image, and the classifying means includes the background image Are classified into a plurality of areas according to the subject distance in the depth direction, and the generation means sets an image deformation process for each of the areas classified by the classification means, and the subject distance is greater than a predetermined distance The same deformation process is performed.

撮像後の画像に対して後から仮想的な撮影条件の画像を生成する際、仮想撮影条件での撮影の再現性は保ちつつ、欠落領域(オクルージョン領域)の発生も抑制することができる。   When an image with a virtual shooting condition is generated later on an image after shooting, the occurrence of a missing area (occlusion area) can be suppressed while maintaining the reproducibility of shooting under the virtual shooting condition.

第1の実施形態のシステム図である。It is a system diagram of a 1st embodiment. 第1の実施形態の画像変形部のシステム図である。It is a system diagram of the image transformation part of a 1st embodiment. 第1の実施形態のフローチャートである。It is a flowchart of a 1st embodiment. 第1の実施形態の処理で用いる画像を説明する図である。It is a figure explaining the image used by the process of 1st Embodiment. 仮想視点でのカメラ位置と焦点距離の関係を説明する図である。It is a figure explaining the relationship between the camera position in a virtual viewpoint, and a focal distance. 撮影時のカメラから背景の距離ならび背景の変倍率の関係を示す図である。It is a figure which shows the relationship of the distance of the background from the camera at the time of imaging | photography, and the magnification ratio of a background. 第1の実施形態の画像の領域分割を説明する図である。It is a figure explaining area division of a picture of a 1st embodiment. 第2の実施形態のシステム図である。It is a system diagram of a 2nd embodiment. 第2の実施形態のフローチャートである。It is a flowchart of a 2nd embodiment. 第2の実施形態の処理で用いる画像を説明する図である。It is a figure explaining the image used by the process of 2nd Embodiment.

以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。以下に説明する一実施形態は、画像処理装置の一例としての、撮影により得られた画像から異なる撮影条件の画像を生成可能なPCに、本発明を適用した例を説明する。しかし、本発明は、撮影により得られた画像から異なる撮影条件の画像を生成することが可能な任意の機器に適用可能である。   Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. An embodiment described below describes an example in which the present invention is applied to a PC capable of generating an image of different imaging conditions from an image obtained by imaging as an example of an image processing apparatus. However, the present invention can be applied to any device capable of generating images with different shooting conditions from images obtained by shooting.

〔第1の実施形態〕
第1の実施形態について図1から図7を用いて説明する。第1の実施形態は、仮想視点の画像を生成するために、撮影画像を奥行き方向の被写体距離に応じて分割し、所定の距離以上にある距離を一律に画像変形することを特徴とする。
First Embodiment
A first embodiment will be described with reference to FIGS. The first embodiment is characterized in that, in order to generate a virtual viewpoint image, a captured image is divided according to the subject distance in the depth direction, and a distance that is equal to or greater than a predetermined distance is uniformly deformed.

《生成する出力画像》
ここで、本実施形態のPCにおいて、撮影により得られた画像(入力画像)から生成される画像(出力画像)の構成について説明する。本実施形態では、入力画像を撮影した際の撮影環境における主被写体及び背景被写体の位置関係を維持しつつ、撮影時とは異なる仮想的な撮影条件に対応させた出力画像の一例として、入力画像から所謂ドリーズームした関係にある画像を生成する。
<Output image to generate>
Here, in the PC of the present embodiment, the configuration of an image (output image) generated from an image (input image) obtained by shooting will be described. In this embodiment, as an example of an output image corresponding to a virtual shooting condition different from that at the time of shooting while maintaining the positional relationship between the main subject and the background subject in the shooting environment at the time of shooting the input image, To generate a so-called dolly zoomed image.

「ドリーズーム」とは、被写体に対して撮像装置を近づけたり(ドリーイン)遠ざかったり(ドリーアウト)させながら焦点距離を変更することで、画像における主被写体の位置及び大きさを維持したまま、背景のみ伸縮したような効果をもたらす撮影方法である。具体的にはドリーインしながら撮影する場合には、主被写体の位置及び大きさが維持されるように焦点距離を短くして広角側に移行させることでドリーズームが実現できる。またドリーアウトしながら撮影する場合には、主被写体の位置及び大きさが維持されるように焦点距離を長くして望遠側に移行させることでドリーズームが実現できる。   “Dolly zoom” refers to the background while maintaining the position and size of the main subject in the image by changing the focal length while moving the imaging device closer (dolly in) or farther away (dolly out) to the subject. This is a shooting method that produces an effect that only expands and contracts. Specifically, when shooting while dolly-in, dolly zoom can be realized by shifting the focal length to the wide angle side so that the position and size of the main subject are maintained. Also, when shooting while dollying out, dolly zoom can be realized by shifting to the telephoto side by increasing the focal length so that the position and size of the main subject are maintained.

しかしながら、このようなドリーズーム撮影には、撮像装置を光軸方向に移動可能な物理的なスペースと、移動量に対応した焦点距離を設定可能な撮像光学系が必要となる。つまり、撮影場所において撮像装置をもって移動を行うことが困難な場合や、対応する焦点距離に撮像光学系が対応していない場合にはドリーズーム撮影を行うことができない。従って、本実施形態ではこのようなドリーズーム撮影を擬似的に可能ならしめるため、入力画像に対して変形を伴う画像処理を適用することで、ドリーズームした関係にある出力画像を生成する。以下では、入力画像とドリーズームした関係にある出力画像を「ドリーズーム画像」と称して説明を行う。   However, such a dolly zoom imaging requires a physical space capable of moving the imaging device in the optical axis direction and an imaging optical system capable of setting a focal length corresponding to the amount of movement. That is, dolly zoom photography can not be performed when it is difficult to move with the imaging device at the imaging location or when the imaging optical system does not correspond to the corresponding focal length. Therefore, in this embodiment, in order to enable such dolly zoom shooting in a pseudo manner, an output image having a dolly zoom relationship is generated by applying image processing with deformation to the input image. Hereinafter, an output image having a dolly zoom relationship with the input image will be referred to as a “dolly zoom image”.

《画像処理に係る構成》
図1、図2は、本発明の実施形態に係るPC100の機能構成のうち、ドリーズーム画像の生成を行う画像処理に係る機能構成を示したブロック図である。以下に説明する各ブロックは、例えばPC100が有する不図示の制御部が、HDD等の記録装置に記録された対応するアプリケーションプログラムをRAM等に展開して実行することで実現される、画像処理に係る各モジュールであるものとして説明する。しかしながら、本発明の実施において画像処理はプログラムにより実現されるものに限らず、1以上のモジュールに対応する機能を有する情報処理回路等のハードウェアによって動作が実現されるものであってもよい。
<Configuration related to image processing>
FIG. 1 and FIG. 2 are block diagrams showing a functional configuration related to image processing for generating a dolly zoom image in the functional configuration of the PC 100 according to the embodiment of the present invention. Each block described below is an image processing that is realized by, for example, a control unit (not illustrated) included in the PC 100 developing and executing a corresponding application program recorded in a recording device such as an HDD in a RAM or the like. It demonstrates as what is each module concerned. However, in the implementation of the present invention, the image processing is not limited to being realized by a program, and the operation may be realized by hardware such as an information processing circuit having a function corresponding to one or more modules.

画像入力部101は、撮像装置において撮影された画像を入力画像として取得する。以下の説明において、入力画像01は、図)に示されるような撮影画像であるものとして説明する。本実施形態では画像処理によってドリーズーム画像を生成するが、主被写体は図)に示す通り画角中心に位置する主被写体画像411であるとする。 The image input unit 101 acquires an image captured by the imaging device as an input image. In the following description, the input image 4 01 will be described as a captured image as shown in FIG. 4 (A). In the present embodiment generates a dolly zoom image by image processing, but the main object is assumed to be the main subject image 411 located at the street angle center shown in FIG. 4 (B).

距離情報入力部103、カメラパラメータ入力部104は、入力画像01が撮影された際の撮影条件の情報を取得する。本実施形態では撮影条件の情報には、少なくとも撮影時に撮像装置に設定されていた撮像光学系の焦点距離の情報、及び撮影画角内に捉えられていた被写体各々の撮像装置との距離の情報(距離情報)を含むものとする。各被写体と入力画像01を撮影した撮像装置との距離は、撮像装置が瞳分割画像を記録する撮像素子を用いている場合、2つの分割瞳領域に対応する画像の相関演算により求められるデフォーカス量に基づいて算出されるものであってもよい。また、焦点位置を変化させながら撮影された複数の画像のコントラスト評価値を用いるものであってもよいし、複数の位置で同時に撮影された画像の相関演算により求められるデフォーカス量を用いるものであってもよい。距離情報入力部103は取得した撮影時の撮影条件の情報のうちの距離情報を領域分割部201に出力する。またカメラパラメータ入力部10は、撮影時の撮影条件の情報のうちの距離情報及び焦点距離の情報を後述の変形パラメータ算出部105に出力する。 Distance information input unit 103, the camera parameter input unit 104, an input image 4 01 obtains the information of the shooting conditions at the time of the shooting. In this embodiment, the shooting condition information includes at least information on the focal length of the imaging optical system set in the imaging device at the time of shooting, and information on the distance from the imaging device of each subject captured within the shooting angle of view. (Distance information) is included. De distance between the imaging device taken the input image 4 01 and each subject, obtained by the correlation calculation of the case, the image corresponding to the two divided pupil areas where the imaging apparatus uses the image sensor to record the pupil-divided image It may be calculated based on the focus amount. In addition, the contrast evaluation values of a plurality of images taken while changing the focal position may be used, or the defocus amount obtained by the correlation calculation of images taken at a plurality of positions at the same time may be used. There may be. The distance information input unit 103 outputs, to the area division unit 201 , the distance information among the acquired information of the photographing conditions at the time of photographing. The camera parameter input unit 104 outputs the information of the distance information and the focal length of the information of the imaging conditions of the imaging the deformation parameter calculation unit 105 will be described later.

領域分割部201は、情報入力部105から入力された距離情報に基づいて、入力画像01を主被写体領域とそれ以外の背景領域とに分割した画像を生成する。特に本実施形態のように背景領域に複数の異なる距離に背景被写体が存在する場合、領域分割部102は背景領域に含まれる各々深度の範囲が異なる背景被写体を、深度の範囲ごとに分離した画像を生成する。 Area dividing unit 201, based on the distance information inputted from the information input unit 105, generates a divided image input picture 4 01 to the main subject area and the other background area. In particular, when there are background objects at a plurality of different distances in the background area as in the present embodiment, the area dividing unit 102 is an image obtained by separating background objects having different depth ranges included in the background area for each depth range. Is generated.

なお、本実施形態では説明を簡単にするため、入力画像01を「分割」するものとして説明するが、本発明の実施において入力画像01は必ずしも分割される必要はない。本実施形態の画像処理では、入力画像01は主被写体領域と背景領域、あるいは背景領域内の個々の背景被写体の領域に分離されて処理できればよい。故に、領域分割部102は入力画像01の各画素に、あるいは所定の大きさの領域ごとに、主被写体領域と背景領域のいずれかに「分類」したことを示す情報を付す構成であってもよい。また画像の分割は、距離情報だけでなく例えば特定の背景被写体に係る特徴量等を用いて行ってもよい。また本実施形態のように背景領域の画像を撮像装置からの距離に応じて複数の背景画像に分割するものとして説明したが、背景領域の画像は撮像装置からの距離の範囲ごとに分離せずとも本発明の実施は可能である。なお、距離に応じて複数の背景画像に分割する場合は、例えば像の拡大によって背景被写体間にオクルージョンが生じる場合であっても容易に対応することができる。 In order to simplify the explanation in this embodiment will be described the input image 4 01 as being "split", the input image 4 01 in the practice of the present invention need not necessarily be divided. In the image processing of this embodiment, the input image 4 01 main object area and the background area or it is sufficient be separated and processed in the region of each of the background object in the background region. Therefore, the area dividing unit 102 in each pixel of the input image 4 01, or for each predetermined size of the area, a configuration subjecting the information indicating that the main object area and the "classification" to any of the background area and the Also good. Further, the image may be divided using not only distance information but also, for example, a feature amount related to a specific background subject. Further, as described in the present embodiment, the background area image is divided into a plurality of background images according to the distance from the imaging apparatus. However, the background area image is not separated for each distance range from the imaging apparatus. In either case, the present invention can be implemented. In the case of dividing into a plurality of background images according to the distance, for example, even when occlusion occurs between the background subjects due to the enlargement of the image, this can be easily dealt with.

カメラパラメータ入力部104は、生成するドリーズーム画像に係る条件を示す条件情報を取得し、変形パラメータ算出部107に出力する。本実施形態では条件設定部106は、入力画像01の背景領域のうちの最奥に位置する背景被写体の像の大きさを、ドリーズーム画像においてどれだけ変化させるかを示す情報を例えばユーザ入力等により取得する。具体的にはカメラパラメータ入力部104は、最奥に位置する背景被写体である樹木24の像について、入力画像01における大きさとドリーズーム画像における大きさとの比率(変倍率)を示す変倍率情報を取得する。本実施形態では変倍率情報はユーザ入力により設定されるものとして説明するが、本発明の実施はこれに限られるものでなく、例えば予め定められた変倍率のリストから順次取得するもの等であってもよい。また変倍率を指定する背景被写体は最奥に位置する被写体に限られるものでなく、背景領域のうちの所定の方法により選択される背景被写体がその指定対象であってよい。また変倍率を指定する方法は、例えばGUI画面に従ったスライドバーへの操作入力により行われてもよい。あるいは、例えばタッチ入力を検出するセンサを有する表示装置に入力画像01が表示される場合、2つのタッチ入力点の間隔を変更する、所謂ピンチイン/アウト操作によって行われてもよい。 The camera parameter input unit 104 acquires condition information indicating a condition related to the generated dolly zoom image and outputs the condition information to the deformation parameter calculation unit 107. Condition setting unit 106 in the present embodiment, the size of the image of the background object located deepest of the background region of the input image 4 01, information, for example user input indicating whether to how changes in the dolly zoom image Etc. Camera parameter input unit 104 Specifically, for the image of trees 4 24 a background object located in the deepest, varying indicates the ratio (magnification) between the size in the size and Dolly zoom image in the input image 4 01 magnification Get information. In the present embodiment, the scaling information is described as being set by user input. However, the implementation of the present invention is not limited to this. For example, the scaling information is sequentially obtained from a list of predetermined scaling factors. May be. The background subject for designating the variable magnification is not limited to the subject located at the innermost position, and the background subject selected by a predetermined method in the background region may be the designated subject. The method for designating the scaling factor may be performed by, for example, an operation input to the slide bar according to the GUI screen. Alternatively, for example, if the input image 4 01 to the display device having a sensor for detecting a touch input is displayed, to change the distance between the two touch input point, it may be performed by a so-called pinch-in / out operation.

変形パラメータ算出部10は、入力された焦点距離の情報、距離情報、変倍率情報とに基づいて、背景画像421の各々をドリーズーム画像用に変形するための変形パラメータを算出する。変形パラメータの算出方法については、ドリーズーム画像の生成原理とともに後述する。変形パラメータ算出部10は、算出した変形パラメータを画像変形部102に順次出力する。 Deformation parameter calculation unit 105, the information of the input focal length, the distance information, based on the magnification information, and calculates the deformation parameters for deforming each of the background image 421 for dolly zoom image. The method for calculating the deformation parameter will be described later together with the principle of generating the dolly zoom image. Deformation parameter calculation unit 105 sequentially outputs the calculated deformation parameter to the image deformation unit 102.

画像変形部102は、入力された変形パラメータに従って背景画像421の各々を変形させ、図(D)に示されるようなドリーズーム画像用の変形後背景画像431を生成する。変形後背景画像431を生成するための変形は、入力画像01の撮影時における主被写体及び背景被写体の撮影環境における位置関係を保持するように行われるため、撮像装置との距離に応じて、各背景被写体の変倍率が変更されて生成される。 Image transforming unit 102 deforms the respective background image 421 in accordance with the input transformation parameters, to generate a deformed background image 431 for dolly zoom image as shown in FIG. 4 (D). Deformation for generating a deformed background image 431 is to be done so as to hold the positional relationship in the shooting environment of the main object and the background object at the time of shooting of the input image 4 01, depending on the distance between the imaging device, It is generated by changing the scaling factor of each background subject.

画像合成部203は、入力された主被写体画像411と変形後背景画像431とを合成し、図)に示されるようなドリーズーム画像を生成して出力する。具体的には画像合成部203は、画像における主被写体画像411の位置及び大きさが入力画像401と同一となるように変形後背景画像431上に主被写体画像411を重畳して所謂オーバーレイ合成を行う。後述するように、ドリーズーム画像の生成処理では、入力画像01の撮影時とは異なる焦点距離を仮想的に設定することになる。画像合成部203は、焦点距離の変更に伴う焦点状態の変化を表現するために、即ち、焦点距離が長くなった場合に被写界深度が浅くなる状態を表現するために、変形後背景画像431に対して低域通過フィルタを適用してもよい。この場合、フィルタの強度は主被写体と背景被写体との距離比に基づいて設定され、主被写体から離れている背景被写体の像がよりボケるようにすればよい。また画像合成部203は、ドリーズーム画像における主被写体領域と背景領域の境界部での段差を目立ちにくくするために、主被写体領域の境界の周辺領域ではオーバーレイ合成ではなく、主被写体画像411と変形後背景画像431とを加重加算合成してもよい。あるいは、主被写体画像411に対する画素のフィルタ係数をゼロにしてフィルタ処理を行って合成してもよい。 The image combining unit 203 combines the input main subject image 411 and the post-deformation background image 431, and generates and outputs a dolly-zoom image as shown in FIG. 4 ( E ). Specifically, the image composition unit 203 performs so-called overlay composition by superimposing the main subject image 411 on the deformed background image 431 so that the position and size of the main subject image 411 in the image are the same as the input image 401. Do. As described later, in the generation process of the dolly zoom image it will set a different focal length virtually the time of shooting of the input image 4 01. In order to express the change of the focal state accompanying the change of the focal length, that is, the image composition unit 203, that is, to express the state where the depth of field becomes shallow when the focal length becomes long, the transformed background image A low-pass filter may be applied to 431 . In this case, the filter strength is set based on the distance ratio between the main subject and the background subject, and the background subject image far from the main subject may be more blurred. In addition, the image composition unit 203 deforms the main subject image 411 instead of overlay composition in the peripheral region of the main subject region boundary in order to make the step at the boundary between the main subject region and the background region less noticeable in the dolly zoom image. The back background image 431 may be weighted and combined. Alternatively, the pixel filter coefficient for the main subject image 411 may be set to zero and may be combined by performing filter processing.

《ドリーズーム画像の生成原理》
以下、変形パラメータ算出部105における変形パラメータの算出に係る、ドリーズーム画像の生成原理について図を参照して詳細を説明する。
《Dolly zoom image generation principle》
Hereinafter, the generation principle of the dolly zoom image related to the calculation of the deformation parameter in the deformation parameter calculation unit 105 will be described in detail with reference to the drawings.

まず、撮像装置がピンホールカメラである場合の撮像装置中心の3次元座標系、正規化画像座標系、及び画像座標系の座標変換の関係を用いると、   First, using the relationship of coordinate transformation of the three-dimensional coordinate system centered on the imaging device, the normalized image coordinate system, and the image coordinate system when the imaging device is a pinhole camera,

が成り立つ。 Holds.

ここで、(x,y)は任意の被写体を正規化画像座標面上に投影した際の座標、(x’,y’)は撮影により得られる画像座標面上に投影した際の座標である。またf及びfは、画像座標系に変換する際に設定される焦点距離をx’軸及びy’軸各々のピクセル単位で表したものであり、設定される焦点距離を撮像素子の水平方向及び垂直方向の画素ピッチで各々除した値である。またc及びcは、画像の左上を原点(0,0)としたときの画像中心の座標に相当する。また、rlmは撮像装置の回転を示す回転行列の各成分であり、tは撮像装置の並進移動を示す撮像装置中心の3次元座標系における移動量の各成分を示す。本実施形態では入力画像401とドリーズーム画像とは、撮像装置を回転させずに光軸方向のみ並進移動して撮影した関係となる。つまり、入力画像401の撮影時の撮像装置の姿勢及び位置を基準とすると、撮影時に対応する式1の中央の行列は Here, (x, y) are coordinates when an arbitrary subject is projected onto the normalized image coordinate plane, and (x ', y') are coordinates when projected onto an image coordinate plane obtained by photographing. . Further, f x and f y represent the focal length set upon conversion to the image coordinate system in pixel units of each of the x ′ axis and the y ′ axis, and the set focal length corresponds to the horizontal direction of the imaging device It is a value divided by the pixel pitch in the direction and the vertical direction. C x and c y correspond to the coordinates of the image center when the upper left of the image is the origin (0, 0). Further, r lm is each component of a rotation matrix indicating rotation of the imaging device, and t n is each component of movement amount in a three-dimensional coordinate system centered on the imaging device showing translational movement of the imaging device. In the present embodiment, the input image 401 and the dolly zoom image have a relationship in which they are translated and photographed only in the optical axis direction without rotating the imaging device. That is, when the orientation and position of the imaging device at the time of shooting the input image 401 are used as a reference, the central matrix of Equation 1 corresponding to the time of shooting is

となり、ドリーズーム画像を仮想的に撮影する場合の式1の中央の行列は、 And the matrix in the center of Equation 1 when shooting a dolly zoom image virtually is

となる。従って、wは撮影時はZ、ドリーズーム画像生成時はZ+tとなる。なお、(X,Y,Z)は撮影画像を3次元座標に投影しものであり、 It becomes. Therefore, w is Z at the time of shooting, and Z + t 3 at the time of dolly zoom image generation. Note that (X, Y, Z) is a projection of a photographed image on three-dimensional coordinates,

により算出される。ここで、(u,v)は撮影した画像における被写体の座標であり、dは距離情報である。またfx0及びfy0は撮影時に設定されていた焦点距離、cx0及びcy0は撮影した画像の左上を原点(0,0)としたときの画像中心の座標とする。なお、fx0及びfy0は、撮影時の焦点距離を撮像素子の水平方向及び垂直方向の画素ピッチで各々除した値、dは対角の画素ピッチで除した値である。 Is calculated by Here, (u, v) are the coordinates of the subject in the captured image, and d is distance information. Further, f x0 and f y0 are focal distances set at the time of shooting, and c x0 and c y0 are coordinates of the image center when the upper left of the captured image is the origin (0, 0). Note that f x0 and f y0 are values obtained by dividing the focal length at the time of shooting by the pixel pitch in the horizontal and vertical directions of the imaging device, and d is a value obtained by dividing by the diagonal pixel pitch.

また、ドリーズーム画像では主被写体の像の位置及び大きさは、入力画像401と同一とするため、次のような関係が成り立つ。以下、簡単のため、主被写体と背景の被写体(背景被写体)がそれぞれ1体ずつ、図4のような位置関係で撮影時に存在していた場合を例に説明する。   Further, in the dolly-zoomed image, the position and size of the image of the main subject are the same as those of the input image 401, and the following relationship is established. Hereinafter, for the sake of simplicity, an example will be described in which one main subject and one background subject (background subject) exist at the time of shooting in a positional relationship as shown in FIG.

図4の例では、焦点距離fで、撮像装置から距離sW1離れた位置に存在する高さyの主被写体及び撮像装置から距離sW2離れた位置に存在する高さyの背景被写体を撮影した状況を示している。該撮影により入力画像401が得られたとする。また、入力画像401に対応する結像面である、撮像光学系から焦点距離fの位置にある画像座標面上に、主被写体の像が高さyW1、背景被写体の像が高さyW2で投影されたとする。 In the example of FIG. 4, the main subject with height y 1 present at a distance s W1 from the imaging device at the focal distance f W and background with a height y 2 present at a distance s W2 from the imaging device It shows the situation where the subject was photographed. Assume that an input image 401 is obtained by the shooting. In addition, on the image coordinate plane that is the focal plane f W from the imaging optical system, which is the imaging plane corresponding to the input image 401, the image of the main subject has a height y W1 and the image of the background subject has a height y. Assume that the image is projected at W2 .

このとき撮影された画像からドリーズーム画像を生成(仮想的に撮影)するに際して、撮像装置が後方にtだけドリーアウトした位置を仮想撮影位置とした場合を考える。ドリーズーム画像に対応する仮想画像座標面上において、主被写体の像の高さyT1は、入力画像401に対応する画像座標面上における像の高さyW1と一致している。このときの仮想撮影の撮影条件を、仮想焦点距離f、撮像装置から主被写体までの距離をsT1、背景被写体までの距離をsT2とする。また仮想画像座標面上における背景被写体の像の高さをyT2とする。 In this case generate a dolly zoom image from the photographed image (virtually shooting), consider a case where the imaging device is a virtual shooting position position dolly out only t 3 rearward. On the virtual image coordinate plane corresponding to the dolly zoom image, the height y T1 of the image of the main subject matches the image height y W1 on the image coordinate plane corresponding to the input image 401. The shooting conditions for virtual shooting at this time are a virtual focal length f T , a distance from the imaging device to the main subject to s T1 , and a distance to the background subject to s T2 . Further, the height of the image of the background subject on the virtual image coordinate plane is yT2 .

まず、背景被写体について撮影時と仮想撮影時各々の画像座標面あるいは仮想画像座標面への投影の関係において   First, in relation to the projection of the background subject on the image coordinate plane or the virtual image coordinate plane at the time of shooting and at the time of virtual shooting

が成立するため、上記2式からyを消去することで Therefore, by deleting y 2 from the above two formulas,

が得られる。 Is obtained.

また、主被写体についても、   Also for the main subject,

が成立するため、上述の主被写体の像に係る入力画像401とドリーズーム画像における拘束条件を考慮してyを消去することで Therefore, by eliminating y 1 in consideration of the constraint condition in the input image 401 related to the image of the main subject described above and the dolly zoom image.

が得られる。 Is obtained.

従って、式3及び式4からsT1を消去することで Therefore, by eliminating s T1 from Equation 3 and Equation 4,

を得ることができる。 Can be obtained.

ここで、背景被写体の変倍率Nがユーザ入力に決定されると、式5は   Here, when the scaling factor N of the background subject is determined to be user input, Equation 5 is

となる。ここで、Dは被写体距離比を指す。また式6は式4の関係を用いることで、 It becomes. Here, D indicates a subject distance ratio. Moreover, Formula 6 uses the relationship of Formula 4,

となり、仮想撮像装置の移動量tも得ることができる。即ち、背景被写体の変倍率が指定されれば、式1の必要なパラメータである仮想焦点距離f及び入力画像401の撮影位置から仮想撮影位置への移動量tを算出することができる。つまり、変形パラメータ算出部10は、これらの情報に従って式1から変形パラメータを算出できる。図5(a)は、背景被写体の変倍率Nに応じた仮想撮影位置への移動量及び焦点距離の関係を示している。図5(a)において、横軸が背景被写体の変倍率Nを示しており、左側の縦軸が入力画像01の撮影位置から仮想撮影位置への移動量を示し、右側の縦軸が仮想焦点距離を示している。 Thus, the movement amount t 3 of the virtual imaging device can also be obtained. That is, if the designated magnification of the background object, it is possible to calculate the movement amount t 3 to a virtual shooting position from the photographing position of the virtual: focal length f T and the input image 401 is a parameter necessary for Formula 1. In other words, the deformation parameter calculation unit 105 can calculate the deformation parameters from Equation 1 in accordance with these information. FIG. 5A shows the relationship between the movement amount to the virtual shooting position and the focal length according to the scaling factor N of the background subject. In FIG. 5 (a), the horizontal axis represents the scaling factor N of the background object, the left vertical axis represents the movement amount to virtual photographing position from the photographing position of the input image 4 01, the right vertical axis is a virtual The focal length is shown.

従って、背景被写体が図)のように複数存在する場合も、最奥の樹木24の像の変倍率が指定されれば、変形パラメータ算出部107はドリーズーム画像に対応する焦点距離及び仮想撮像装置の撮影位置を特定できる。そして画像変形部102は、該特定したパラメータと、背景領域のその他の被写体についての撮像装置中心の3次元座標とに基づいて、変形後背景画像431における位置が特定可能である。画像変形部102は、このように特定した変形後背景画像431における位置の情報に基づいて入力された背景画像を各々変形させることで、変形後背景画像431を生成することができる。 Therefore, the focal length background object even if there are a plurality as shown in FIG. 4 (C), the if it is specified magnification of the image of trees 4 24 deepest, the deformation parameter calculation unit 107 corresponding to the dolly zoom image In addition, the shooting position of the virtual imaging device can be specified. Then, the image transformation unit 102 can specify the position in the post-transformation background image 431 based on the identified parameter and the three-dimensional coordinates of the center of the imaging device with respect to the other objects in the background area. The image deformation unit 102 can generate the post-deformation background image 431 by deforming each of the input background images based on the position information in the post-deformation background image 431 specified in this way.

ここで、横軸を背景の奥行き方向の被写体距離、縦軸を背景の変倍率として式(1)をグラフ化すると、図01となり、一定以上距離が離れると背景の変倍率は値が収束する特性があると言える。そのため、所定の距離より遠くにある背景を同一の変倍率で変倍して処理することが可能である。なお、ここでの一定以上距離が離れている背景を同一の変倍率とする所定の距離を、上限距離Sと定義して以下を説明する。 The horizontal axis in the depth direction of the subject distance of the background, when graphed equation (1) and the vertical axis is the magnification of the background, 6 01 next to FIG. 6, the magnification ratio is the value of the background a certain distance or more away Can be said to have a characteristic of convergence. Therefore, it is possible to scale and process the background located farther than the predetermined distance with the same scaling factor. Incidentally, the predetermined distance to the same magnification above a certain distance apart background will now be described below by defining the upper limit distance S m.

本実施形態の特徴である上限距離Sの算出方法を説明する。背景の変倍率は式(1)に示したように、撮影時の焦点距離、仮想焦点距離、被写体距離に応じて変化するため、上限距離を一意に決定することができない。そのため、変倍率の変化量を用いて上限距離を決定する。図11に対して、Sw2の一定距離ΔSw2に対する変倍率Nの変化量を算出し、変化量が所定の値よりも小さくなる距離を探して上限距離として用いる。変化量12は所定の値よりも大きいのに対し、変化量613は所定の値よりも小さいため、変化量13の距離を上限距離として判定する。ここでの所定の値は、変倍率の変化量の差が視覚的に目立つ値を予め設定している。 The method of calculating the upper limit distance S m, which is a feature of this embodiment will be described. As shown in the equation (1), the background scaling factor changes according to the focal length, the virtual focal length, and the subject distance at the time of shooting, so the upper limit distance cannot be uniquely determined. Therefore, the upper limit distance is determined using the change amount of the scaling factor. Against 6 11 6 calculates the change amount of the magnification N for a fixed distance [Delta] S w2 of S w2, is used as the upper limit distance variation is looking for a distance which is smaller than a predetermined value. Variation 6 12 whereas greater than a predetermined value, since the change amount 613 is smaller than a predetermined value, determining the distance variation 6 13 as an upper limit distance. Here, the predetermined value is set in advance to a value in which the difference in the change amount of the scaling factor is visually noticeable.

《ドリーズーム画像生成処理》
上述のような原理に基づく本実施形態のPC100で行われるドリーズーム画像生成処理について、図のフローチャートを用いて具体的な処理を説明する。本ドリーズーム画像生成処理は、例えばドリーズーム画像を生成する基準となる撮影画像(入力画像)が選択された際に開始されるものとして説明する。
《Dolly zoom image generation processing》
For Dolly zoom image generation process performed by the PC100 of the present embodiment based on the principle described above, it will be described in detail with reference to the flowchart of FIG. This dolly zoom image generation process will be described as being started when, for example, a captured image (input image) serving as a reference for generating a dolly zoom image is selected.

301で、画像入力部101は、選択された入力画像を、例えば不図示の記録媒体から取得する。画像入力部101は取得した入力画像を領域分割部102に供給する。 In step S301 , the image input unit 101 acquires the selected input image from a recording medium (not illustrated), for example. The image input unit 101 supplies the acquired input image to the region dividing unit 102.

302で、距離情報入力部103、カメラパラメータ入力部104は、入力画像に対応する、撮影時の距離情報及び設定されていた焦点距離の情報を取得する。図に、撮像装置622から各被写体623〜627までの距離を示す。それぞれ撮像装置から、被写体623までの距離がS、被写体624までの距離がSB1、被写体625までの距離がSB2、被写体626までの距離がSB3、被写体627までの距離がSB4とする。また、カメラパラメータ入力部104から、撮影時の焦点距離fと仮想焦点距離fを入力する。 In S302 , the distance information input unit 103 and the camera parameter input unit 104 acquire distance information at the time of shooting and information of the focal length that has been set, corresponding to the input image. FIG. 6 shows the distances from the imaging device 622 to the respective objects 623 to 627. The distance from the imaging device to the subject 623 is S f , the distance to the subject 624 is S B1 , the distance to the subject 625 is S B2 , the distance to the subject 626 is S B3 , and the distance to the subject 627 is S B4 . To do. Also, the camera parameter input unit 104 inputs the focal length f w and the virtual focal distance f t at the time of shooting.

また距離情報入力部10は、得られた距離情報を領域分割部102に供給し、また距離情報及び焦点距離の情報を変形パラメータ算出部10に供給する。 The distance information input unit 103 supplies the distance information obtained in the area dividing unit 102, also supplies information of the distance information and the focal length to the deformation parameter calculating unit 105.

S303では、距離情報入力部103から得られた被写体距離情報を用いて、合焦被写体領域411と背景領域421に分割する。また、背景領域421を1つ以上の背景領域に分割する。画像の領域分割は、図7に示すような被写体距離情報のヒストグラムを用いて判定を行う。まず、ヒストグラムの極大値を検出し、各極大値の間にある極小値の検出を行う。次に、合焦距離付近にある領域を合焦被写体領域とするために、撮影時のフォーカス情報を用いて合焦領域までの距離を算出する。最後に、合焦距離が含まれるヒストグラムの山702の両端にある極小値を選択し、その範囲内の距離にある領域を合焦被写体領域と判定する。また、合焦被写体領域以外の範囲も同様に、各山の両端にある極小値を選択し、範囲内にある被写体距離情報を用いて背景を分割する。701では、合焦被写体と背景A〜Dに分割することができる。   In S <b> 303, using the subject distance information obtained from the distance information input unit 103, the image is divided into a focused subject area 411 and a background area 421. Also, the background area 421 is divided into one or more background areas. The image area division is determined using a histogram of subject distance information as shown in FIG. First, the local maximum value of the histogram is detected, and the local minimum value between the local maximum values is detected. Next, in order to set an area in the vicinity of the in-focus distance as the in-focus object area, the distance to the in-focus area is calculated using focus information at the time of shooting. Finally, local minima at both ends of the peak 702 of the histogram including the in-focus distance are selected, and an area at a distance within that range is determined as the in-focus object area. Similarly, for the range other than the in-focus object area, the local minimum value at each end of each mountain is selected, and the background is divided using the object distance information within the range. In 701, it is possible to divide into an in-focus object and backgrounds A to D.

また、領域分割に使用する情報は被写体距離情報だけでなく、画像の特徴量を併用しても良い。   The information used for area division may be not only subject distance information but also an image feature amount.

S304で、カメラパラメータ入力部104は、例えばユーザにより指定された、入力画像の背景領域に含まれる最奥の背景被写体の像のドリーズーム画像における変倍率を示す変倍率情報を取得する(変倍率指定ステップ)。あるいはユーザにより指定された、ドリーズーム画像における焦点距離(仮想焦点距離)の情報を取得する。カメラパラメータ入力部104は、取得した変倍率情報あるいは仮想焦点距離情報を変形パラメータ算出部10に伝送する。 In step S304, the camera parameter input unit 104 acquires magnification information indicating the magnification in the dolly zoom image of the image of the innermost background subject included in the background area of the input image specified by the user (magnification ratio). Specified step). Or the information of the focal distance (virtual focal distance) in the dolly zoom image designated by the user is acquired. Camera parameter input unit 104 transmits the acquired magnification information or virtual focal length information to the deformation parameter calculation unit 105.

S305では、上限距離Sを算出する。背景の変倍率は式(1)に示したように、撮影時の焦点距離、仮想焦点距離、被写体距離に応じて変化するため、上限距離を一意に決定することができない。そのため、変倍率の変化量を用いて上限距離を決定する。図6の611に対して、Sw2の一定距離ΔSw2に対する変倍率Nの変化量を算出し、変化量が所定の値よりも小さくなる距離を探して上限距離として用いる。変化量612は所定の値よりも大きいのに対し、変化量613は所定の値よりも小さいため、変化量613の距離を上限距離として判定する。ここでの所定の値は、変倍率の変化量の差が視覚的に目立つ値を予め設定している。 In S305, it calculates the upper limit distance S m. As shown in the equation (1), the background scaling factor changes according to the focal length, the virtual focal length, and the subject distance at the time of shooting, so the upper limit distance cannot be uniquely determined. Therefore, the upper limit distance is determined using the change amount of the scaling factor. The amount of change of the scaling factor N with respect to the constant distance ΔS w2 of S w2 is calculated with respect to 611 of FIG. The change amount 612 is larger than the predetermined value, whereas the change amount 613 is smaller than the predetermined value. Therefore, the distance of the change amount 613 is determined as the upper limit distance. Here, the predetermined value is set in advance to a value in which the difference in the change amount of the scaling factor is visually noticeable.

306では、S305で求めた上限距離も含めて、距離情報入力部103とカメラパラメータ入力部104から取得した情報に基づき、仮想視点で撮影した画像を生成するために必要な変形パラメータを算出する。すなわち、各被写体を算出された変倍率に基づいて変形するが上限距離(所定の距離)よりも遠くにある各被写体の変倍率は同一とする。上限距離が被写体415と被写体416の間にあるとすると、被写体416と被写体417は上限距離よりも遠い距離にあると判定され、同一の変倍率として変更する。 In S 306, also including upper distance obtained in S305, based on the information obtained from the distance information input unit 103 and the camera parameter input unit 104, calculates the deformation parameter required to generate the image taken by the virtual viewpoint . That is, each subject is deformed based on the calculated scaling factor, but the scaling factor of each subject farther than the upper limit distance (predetermined distance) is the same. If the upper limit distance is between the subject 415 and the subject 416, it is determined that the subject 416 and the subject 417 are farther than the upper limit distance, and are changed as the same scaling factor.

307で、画像変形部10は、変形パラメータと各背景被写体の撮像装置中心の3次元座標とに基づいて、各背景被写体の変形後の背景画像431における座標を特定する。そして画像変形部102は、特定した座標の情報に従って各背景画像を変形させ、変形させた各背景画像を背景被写体の位置関係に応じて合成することで変形後背景画像431を生成する。ここで、本来ドリーズーム撮影では行わないが、主被写体の変倍率を設定し、変更してもよい。画像変形部102は、生成した変形後背景画像431を画像合成部203に供給する。 In S 307, image deformation unit 10 2, based on the three-dimensional coordinates of the imaging device the center of deformation parameters and the background object, identifies the coordinates in the background image 431 after deformation of the background object. Then, the image deformation unit 102 deforms each background image according to the specified coordinate information, and generates the deformed background image 431 by combining the deformed background images according to the positional relationship of the background subject. Here, although not originally performed in dolly zoom shooting, the magnification ratio of the main subject may be set and changed. The image deformation unit 102 supplies the generated post-deformation background image 431 to the image composition unit 203 .

308で、画像合成部203は、主被写体画像411と変形後背景画像431を合成してドリーズーム画像を生成し、出力する。 In step S308 , the image combining unit 203 combines the main subject image 411 and the post-deformation background image 431 to generate and output a dolly zoom image.

308では、主被写体画像41と変形後の背景画像431を合成することで仮想視点で撮影した画像441を生成する。なお、変形後の背景画像431と主被写体画像411を合成する際、境界部分の段差を目立ちにくくするために、合焦被写体と変形後の背景の加重加算を用いて境界処理を行ってもよい。 In S 308, and generates an image 441 captured by a virtual viewpoint by synthesizing the main subject image 4 1 1 as the background image 431 after deformation. Note that when combining the deformed background image 431 and the main subject image 411 , boundary processing may be performed using weighted addition of the focused subject and the deformed background in order to make the step at the boundary portion inconspicuous. .

また、仮想焦点距離が長い場合は、被写界深度の浅い画像となるため、合成後の画像に対して合焦被写体と背景の距離比を用いて、背景領域に対してローパスフィルタ処理を行ない、背景領域をぼかすことを行なっても良い。   In addition, when the virtual focal length is long, the image has a shallow depth of field, and thus the low-pass filter processing is performed on the background region using the distance ratio between the focused subject and the background for the combined image. The background area may be blurred.

生成された合成画像441は、出力され、不図示の表示媒体に表示されたり記録媒体に記憶されたりする。 The generated composite image 441 is output and displayed on a display medium (not shown) or stored on a recording medium.

以上のように、本実施形態では、主被写体領域と背景領域とに分類した撮影画像を、主被写体領域と背景領域の撮影環境における位置関係に基づいて、仮想的な撮影条件での画像を生成する。その際に所定以上被写体距離がある背景はまとめて変形を行うことで、仮想撮影条件での撮影の再現性は保ちつつ、欠落領域(オクルージョン領域)の発生も抑制することができる。   As described above, in the present embodiment, an image under virtual shooting conditions is generated based on the positional relationship between the main subject area and the background area in the shooting environment, in which the photographed image classified into the main subject area and the background area is To do. At that time, the background having a predetermined object distance or more is collectively deformed, so that it is possible to suppress the generation of the missing area (occlusion area) while maintaining the reproducibility of the imaging under the virtual imaging condition.

また、本実施形態では、S305において説明したように、上限距離を決定する際に変倍率の変化量に応じて決定する例を示したが、距離情報の測距範囲を用いて上限距離を決定するようにしても良い。すなわち、距離情報の測距範囲の最大値を上限距離として設定することもできる。   Further, in the present embodiment, as described in S305, an example is shown in which the upper limit distance is determined according to the variation of the scaling factor, but the upper limit distance is determined using the distance measurement range of the distance information. You may make it do. That is, the maximum value of the distance measurement range of the distance information can also be set as the upper limit distance.

また、本実施形態では、S306において説明したように、上限距離を決定する際に変倍率の変化量に応じて決定する例を示したが、撮影時の焦点距離から一意に上限距離を決定するようにしても良い。すなわち、焦点距離に応じて予め上限距離を用意することもできる。   Further, in the present embodiment, as described in S306, an example in which the upper limit distance is determined according to the change amount of the scaling factor has been described. However, the upper limit distance is uniquely determined from the focal distance at the time of shooting. You may do it. That is, the upper limit distance can be prepared in advance according to the focal length.

〔第2の実施形態〕
本実施形態では、第1の実施形態に加え、所定の距離より近い距離で目立つ(被写体検出処理により検出される)被写体を検出し、当該被写体以外の被写体に対しては、距離範囲ごとに被写体をまとめて同一の変形パラメータで変形することを特徴とする。
Second Embodiment
In the present embodiment, in addition to the first embodiment, a subject that stands out at a distance closer to a predetermined distance (detected by subject detection processing) is detected, and for subjects other than the subject, the subject is separated for each distance range. Are collectively deformed with the same deformation parameter.

本実施形態における画像処理装置のシステム構成は図1と同様である。本実施形態では、領域分割部102において、視覚的に目立つ被写体を検出し、当該被写体の存在する顕著領域を検出する被写体検出処理も行う。本実施形態では視覚的に顕著な被写体として人物を例にして説明する。領域分割部102は被写体が人物であるかを人物/顔検出処理で判定し、その結果を変形パラメータ算出部に送る。顕著領域とは、位置関係が崩れると目立ちやすい被写体領域のことを示す。たとえば、背景として人物が写っている場合、背景を拡大したときに主被写体よりも像面上での領域が大きくなると、主被写体よりも手前にいると感じてしまい、位置関係が崩れてしまう。そのため、人物の存在する領域は顕著領域であるといえる。   The system configuration of the image processing apparatus according to this embodiment is the same as that shown in FIG. In the present embodiment, the region dividing unit 102 also performs subject detection processing for detecting a visually conspicuous subject and detecting a remarkable region where the subject exists. In this embodiment, a person will be described as an example of a visually noticeable subject. The area division unit 102 determines whether the subject is a person by person / face detection processing, and sends the result to the deformation parameter calculation unit. The saliency area indicates an object area that is easily noticeable when the positional relationship is broken. For example, when a person is shown as a background, if the area on the image plane becomes larger than the main subject when the background is enlarged, the person feels that he is in front of the main subject and the positional relationship is lost. Therefore, it can be said that the area where the person exists is a remarkable area.

また、本実施形態における画像処理のフローチャートについて図を用いて説明する。第1の実施形態と同様の処理を行う各ステップの説明は省略して、S904とS907について説明する。 Further, the flowchart of the image processing of this embodiment will be described with reference to FIG. Descriptions of the respective steps for performing the same processing as in the first embodiment will be omitted, and steps S 904 and S 907 will be described.

904では、第1の実施形態と同様に撮影画像01に対して、顕著領域があるかどうかを判定する。視覚的に目立つ被写体として人物を検出するために人物/顔検出を行い、検出した結果を顕著領域として用いる。背景画像21において主被写体領域を除いて顕著領域と判定された領域は被写体1002(1014)と被写体1003(014)である。 In S 904, it determines whether the first embodiment similarly to the captured image 4 01, there is a salient region. In order to detect a person as a visually noticeable subject, person / face detection is performed, and the detection result is used as a salient region. Area determined as a salient region except the main object area in the background image 4 21 is subject 1002 (1014) and the subject 1003 (014).

907では、S906で求めた上限距離を用いて、変形パラメータを変更する。変更点としては、上限距離よりも遠くにある距離すべてを同一の変倍率に置き換える第1の実施形態に示した処理に加えて、上限距離よりも近い距離にある被写体についてもS904で求めた顕著領域情報を用いて変形パラメータの変更を行う。 In S 907, using the upper limit distance obtained in S906, to change the deformation parameters. As a change point, in addition to the processing shown in the first embodiment in which all distances farther than the upper limit distance are replaced with the same scaling factor, the subject closer to the distance than the upper limit distance is also obtained in S904 . The deformation parameter is changed using the saliency area information.

上限距離よりも近い距離において、変倍率の変化量が所定の値よりも小さく、被写体が人物の場合は、位置関係が崩れると目立つため、距離に応じた変倍率とする。また、人物ではない場合は、上限距離よりも遠くにある距離と同一の変倍率に置き換える。被写体1003(1016)は顕著領域と判定されたが、上限距離よりも遠くにあるため、被写体1017と同一の変倍率とする。また、被写体1015は顕著領域ではないため、被写体1013と被写体1015と同一の変倍率として図10(C)1021のように変倍率が算出される。 At a distance closer than the upper limit distance, the variation of the scaling factor is smaller than a predetermined value, and when the subject is a person, if the positional relationship collapses, it becomes noticeable, so the scaling factor according to the distance is set. If the user is not a person, it is replaced by the same scaling factor as the distance farther than the upper limit distance. Although the subject 1003 (1016) is determined to be a salient area, it is located farther than the upper limit distance, and therefore, the scaling factor is the same as that of the subject 1017 . Further, since the object 1015 is not a salient region, the magnification ratio is calculated as in FIG. 10 (C) 1021 as the same magnification and the object 1013 and the object 1015.

また、変倍率の変化量が所定の値よりも大きい場合は、被写体に関係なく距離に応じた変倍率を指定する。   When the change amount of the variable magnification is larger than a predetermined value, the variable magnification corresponding to the distance is designated regardless of the subject.

ここでの所定の値は、S06で用いた値よりも大きい値を予め設定している。 As the predetermined value here, a value larger than the value used in S 3 06 is set in advance.

また、本実施形態では、顕著領域として人物の例を示したが、動物や特徴のある建物などをあらかじめ記憶された特定パターンとの比較処理などによって顕著領域として検出しても良い。   Further, in the present embodiment, an example of a person is shown as the saliency area, but an animal or a building having a feature may be detected as the saliency area by comparison processing with a specific pattern stored in advance.

以上のように、本実施形態では、主被写体領域と背景領域とに分類した撮影画像を、主被写体領域と背景領域の撮影環境における位置関係に基づいて、仮想的な撮影条件での画像を生成する。その際に所定以上被写体距離がある背景は一律に画像変形を行うことで、仮想撮影条件での撮影の再現性は保ちつつ、オクルージョン領域の発生も抑制することができる。さらに背景領域に存在する顕著な被写体についての変倍処理を抑制することで、違和感の少ない完成画像を得ることができる。   As described above, in the present embodiment, an image under virtual shooting conditions is generated based on the positional relationship between the main subject area and the background area in the shooting environment, in which the photographed image classified into the main subject area and the background area is To do. In this case, by uniformly deforming the background having a subject distance of a predetermined distance or more, it is possible to suppress the occurrence of an occlusion area while maintaining the reproducibility of shooting under the virtual shooting conditions. Further, by suppressing the scaling process for the remarkable subject existing in the background area, a completed image with little discomfort can be obtained.

上述した各実施形態では、距離情報に基づき所定の距離より遠い被写体を判定し、変形処理を一律とした。しかしこれに限らず、同様の処理が行われるように、距離情報を、上限距離(所定の距離)より遠い距離を例えばクリップして同一の距離情報に変更するなどしてもよい。同様に第2の実施形態においては、顕著な被写体でない被写体としてグルーピングされた被写体(群)については代表の距離情報に各被写体の距離情報を置き換えて後の処理ブロックに出力するようにすればよい。これらの距離情報の変更は例えば図1の情報入力部105が距離情報を取得あるいは生成した後に同ブロックで行われればよい。   In each of the embodiments described above, a subject far from a predetermined distance is determined based on the distance information, and the deformation process is uniform. However, the present invention is not limited to this, and the distance information may be changed to the same distance information by clipping, for example, a distance farther than the upper limit distance (predetermined distance) so that the same processing is performed. Similarly, in the second embodiment, for a subject (group) grouped as a subject that is not a prominent subject, the distance information of each subject may be replaced with the representative distance information and output to a subsequent processing block. . The change of the distance information may be performed in the same block after the information input unit 105 in FIG. 1 acquires or generates the distance information, for example.

また、本実施形態では、図のフローチャートで説明したように、画像を被写体距離に応じて分割した領域に対して、被写体距離を用いて算出した変倍率で変倍した例を示したが、透視投影変換を用いて画像を変形するようにしても良い。 In the present embodiment, as described with reference to the flowchart of FIG. 9 , an example in which an image is divided at a scaling factor calculated using the subject distance with respect to an area obtained by dividing the image according to the subject distance is shown. You may make it deform | transform an image using perspective projection transformation.

透視投影変換では、下記式(8)を用いて撮影画像を実空間の世界座標系へ投影する。   In perspective projection conversion, the captured image is projected onto the world coordinate system in real space using the following equation (8).

Qは実空間での座標、Mは撮影時のカメラパラメータ、qは撮影画像上の座標を示しており、qは下記式(9)で表される。   Q indicates the coordinates in the real space, M indicates the camera parameter at the time of shooting, q indicates the coordinates on the captured image, and q is expressed by the following equation (9).

式(8)のdは距離情報を示しており、dの値はS1204において説明した、上限距離よりも遠くにある距離すべてを同一の距離に変更した被写体距離情報を使用する。そして、下記式(9)を用いて実空間に投影した座標を仮想視点の画像上へ投影する。   In Expression (8), d indicates distance information, and the value of d uses subject distance information described in S1204 in which all distances farther than the upper limit distance are changed to the same distance. Then, the coordinates projected in the real space are projected onto the image of the virtual viewpoint using the following formula (9).

q’は仮想視点における画像上に投影された点の座標、M’は仮想視点でのカメラパラメータ、Rとtは仮想視点への移動量(Rは回転成分、tは並進成分)を示している。式(8)〜式(10)を用いることで、撮影画像から仮想視点で撮影した画像を生成することができる。   q 'indicates the coordinates of the point projected on the image in the virtual viewpoint, M' indicates the camera parameter at the virtual viewpoint, R and t indicate the amount of movement to the virtual viewpoint (R is a rotation component, t is a translation component) Yes. By using Expression (8) to Expression (10), it is possible to generate an image photographed from a virtual viewpoint from the photographed image.

[その他の実施形態]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Other Embodiments
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.

101 画像入力部
102 画像変形部
103 距離情報入力部
104 カメラパラメータ入力部
105 変形パラメータ算出部
106 画像出力部
DESCRIPTION OF SYMBOLS 101 Image input part 102 Image deformation | transformation part 103 Distance information input part 104 Camera parameter input part 105 Deformation parameter calculation part 106 Image output part

Claims (14)

撮影により得られた入力画像を取得する取得手段と、
前記取得手段により取得された入力画像を主被写体領域と背景領域とに分類する分類手段と、
前記入力画像を撮影した際の主被写体と背景被写体の撮影環境における位置関係に基づいて、生成する出力画像に対応する焦点距離を含む仮想的な撮影条件を決定する決定手段と、
入力画像の焦点距離を含む撮影条件と前記仮想的な撮影条件に基づいて前記入力画像のうちの前記背景領域に分類された画像を変形し、前記決定手段により決定された前記仮想的な撮影条件に対応する前記出力画像の背景画像を生成する生成手段と、
前記入力画像のうちの前記主被写体領域に分類された画像と前記生成手段により生成された前記背景画像とを合成して前記出力画像を生成する合成手段と、を有し、
前記分類手段は、前記背景画像を奥行き方向の被写体距離に応じて複数の領域に分類し、
前記生成手段は、前記分類手段で分類された領域ごとに画像の変形処理を設定し、当該被写体距離が所定の距離より遠い被写体は同じ変形処理が施されることを特徴とする画像処理装置。
Acquisition means for acquiring an input image obtained by photographing;
Classification means for classifying the input image acquired by the acquisition means into a main subject area and a background area;
Determining means for determining a virtual shooting condition including a focal length corresponding to an output image to be generated based on a positional relationship between a main subject and a background subject in a shooting environment when the input image is shot;
The virtual photographing condition determined by the determining means by transforming the image classified into the background region of the input image based on the photographing condition including the focal length of the input image and the virtual photographing condition Generating means for generating a background image of the output image corresponding to
Synthesizing means for synthesizing the image classified into the main subject area of the input image and the background image generated by the generating means, and generating the output image,
The classification unit classifies the background image into a plurality of areas in accordance with the subject distance in the depth direction.
The image processing apparatus according to claim 1, wherein the generation unit sets an image deformation process for each region classified by the classification unit, and a subject whose subject distance is longer than a predetermined distance is subjected to the same deformation process.
前記決定手段は、前記出力画像に対応する撮影位置、焦点距離、及び所定の背景被写体の変倍率の少なくともいずれかの情報をユーザにより指定される指定手段を有し、
前記決定手段は、前記指定手段により指定された情報と前記撮影環境における位置関係とに基づいて、前記出力画像に対応する撮影位置及び焦点距離を前記仮想的な撮影条件として決定することを特徴とする請求項1に記載の画像処理装置。
The determination means includes designation means for designating, by a user, information on at least one of a photographing position, a focal length, and a predetermined background subject scaling factor corresponding to the output image.
The determining unit determines a shooting position and a focal length corresponding to the output image as the virtual shooting condition based on the information specified by the specifying unit and the positional relationship in the shooting environment. The image processing apparatus according to claim 1.
前記生成手段は、前記出力画像に対応する撮影位置の前記入力画像に対応する撮影位置からの移動量と前記焦点距離とに基づく座標変換により、前記背景画像を生成することを特徴とする請求項2に記載の画像処理装置。   The said generation means produces | generates the said background image by the coordinate transformation based on the moving amount | distance from the imaging position corresponding to the said input image of the imaging position corresponding to the said output image, and the said focal distance. 2. The image processing apparatus according to 2. 前記生成手段は、撮影時の焦点距離と被写体距離、仮想焦点距離に基づいて、変倍率の変化が所定の値より小さい距離を算出し、当該距離より遠い距離を同じ距離とみなすことを特徴とする請求項3に記載の画像処理装置。   The generation means calculates a distance smaller than a predetermined value based on a focal length at the time of shooting, a subject distance, and a virtual focal length, and regards distances farther than the predetermined distance as the same distance. The image processing apparatus according to claim 3. 前記生成手段は、
前記背景領域を被写体距離に応じて分割し、分割された各領域に対して仮想的な撮影条件に従って、被写体距離に応じた倍率で変倍した後に合成することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
The generation means is
5. The background area is divided according to the subject distance, and the divided areas are combined after being scaled at a magnification according to the subject distance according to a virtual shooting condition. The image processing apparatus according to any one of the above.
前記背景領域の被写体距離の距離情報を取得する取得手段を有し、
前記分類手段は、前記距離情報のうち、所定の距離より遠い距離の情報をクリップして同一の距離情報に変更することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
Obtaining means for obtaining distance information of the subject distance of the background region;
6. The image processing according to claim 1, wherein the classification unit clips information of a distance farther than a predetermined distance from the distance information and changes the information to the same distance information. 6. apparatus.
前記生成手段は、
前記背景領域と前記背景領域の焦点距離を用いて、世界座標系における座標を算出した後、
仮想焦点距離と前記入力画像に対応する撮影位置からの移動量に基づき前記背景領域を透視投影変換することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
The generation means is
After calculating the coordinates in the world coordinate system using the background area and the focal length of the background area,
The image processing apparatus according to any one of claims 1 to 6, wherein the background area is perspectively projected and converted based on a virtual focal length and an amount of movement from a shooting position corresponding to the input image.
前記入力画像から特定の被写体を検出する検出手段を有し、
前記生成手段は、
被写体距離が前記所定の距離より近い距離にある背景領域で、変倍率の変化が所定の値より小さい背景領域において、前記検出手段によって特定の被写体が検出された領域には被写体距離に応じた変形処理が施され、それ以外の領域は被写体距離が前記所定の距離より遠い被写体と同じ変形処理が施されることを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
Detecting means for detecting a specific subject from the input image;
The generation means is
In a background area where the subject distance is closer than the predetermined distance, and in the background area where the change in magnification is smaller than a predetermined value, the area where the specific object is detected by the detecting means is deformed according to the subject distance. 8. The image processing apparatus according to claim 1, wherein the image processing apparatus is subjected to the processing, and the other area is subjected to the same deformation processing as the subject whose subject distance is longer than the predetermined distance.
前記合成手段は、前記主被写体領域に分類された画像を、前記出力画像における該画像の位置及び大きさが、前記入力画像における該画像の位置及び大きさと同一となるように合成し、
前記決定手段は、前記出力画像における前記主被写体領域に分類された画像の位置及び大きさ条件に基づいて前記仮想的な撮影条件を決定する
ことを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
The synthesizing unit synthesizes the images classified into the main subject region so that the position and size of the image in the output image are the same as the position and size of the image in the input image,
9. The virtual image capturing condition according to claim 1, wherein the determining unit determines the virtual photographing condition based on a position and size condition of an image classified into the main subject region in the output image. The image processing apparatus according to item.
前記合成手段は、前記主被写体領域に分類された画像の変倍率を指定する変倍率指定手段を有し、
前記決定手段は、前記変倍率指定手段により指定された前記主被写体領域に分類された画像の変倍率に基づいて前記仮想的な撮影条件を決定し、
前記合成手段は、前記主被写体領域に分類された画像を前記変倍率指定手段により指定された大きさに変形し、前記背景画像と合成することを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
The synthesizing unit includes a scaling factor specifying unit that specifies a scaling factor of the image classified into the main subject area,
The determination means determines the virtual photographing condition based on a scaling factor of the image classified into the main subject area designated by the scaling factor designation means;
10. The composition unit according to claim 1, wherein the composition unit transforms the image classified into the main subject area into a size designated by the scaling factor designation unit and composes the image with the background image. The image processing apparatus according to item.
前記合成手段は、前記撮影環境における位置関係に基づいて前記背景画像に低域通過フィルタを適用して合成することを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the synthesizing unit synthesizes the background image by applying a low-pass filter based on a positional relationship in the photographing environment. 前記合成手段は、前記主被写体領域の境界の周辺領域において、前記主被写体領域に分類された画像と前記背景画像とを加重加算合成することを特徴とする請求項1乃至11のいずれか1項に記載の画像処理装置。   12. The image forming apparatus according to claim 1, wherein the combining means performs weighted addition combining of the image classified into the main subject area and the background image in a peripheral area of the boundary of the main subject area. An image processing apparatus according to 1. 撮影により得られた入力画像を取得する取得ステップと、
前記取得ステップにて取得された入力画像を主被写体領域と背景領域とに分類する分類ステップと、
前記入力画像を撮影した際の主被写体と背景被写体の撮影環境における位置関係に基づいて、生成する出力画像に対応する焦点距離を含む仮想的な撮影条件を決定する決定ステップと、
前記入力画像のうちの前記背景領域に分類された画像を変形し、前記決定ステップにより決定された前記仮想的な撮影条件に対応する前記出力画像の背景画像を生成する生成ステップと、
入力画像の焦点距離を含む撮影条件と前記仮想的な撮影条件に基づいて前記入力画像のうちの前記主被写体領域に分類された画像と前記生成ステップにて生成された前記背景画像とを合成して前記出力画像を生成する合成ステップと、を有し、
前記分類ステップでは、前記背景画像を奥行き方向の被写体距離に応じて複数の領域に分類し、
前記生成ステップでは、前記分類ステップにて分類された領域ごとに画像の変形処理を設定し、当該被写体距離が所定の距離より遠い被写体は同じ変形処理が施されることを特徴とする画像処理装置の制御方法。
An acquisition step of acquiring an input image obtained by shooting;
A classification step of classifying the input image acquired in the acquisition step into a main subject region and a background region;
A determination step of determining a virtual shooting condition including a focal length corresponding to an output image to be generated based on a positional relationship in a shooting environment of a main subject and a background subject when the input image is shot;
Generating the background image of the output image corresponding to the virtual shooting condition determined in the determination step, deforming the image classified into the background area of the input image;
Based on the shooting condition including the focal length of the input image and the virtual shooting condition, the image classified into the main subject area in the input image and the background image generated in the generation step are combined. And generating the output image.
In the classification step, the background image is classified into a plurality of regions according to the subject distance in the depth direction,
In the generation step, an image deformation process is set for each of the regions classified in the classification step, and an object whose subject distance is longer than a predetermined distance is subjected to the same deformation process. Control method.
コンピュータを、請求項1乃至12のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。   The program for functioning a computer as each means of the image processing apparatus of any one of Claims 1 thru | or 12.
JP2015093568A 2015-04-30 2015-04-30 Image processing apparatus and image processing apparatus control method Active JP6552256B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015093568A JP6552256B2 (en) 2015-04-30 2015-04-30 Image processing apparatus and image processing apparatus control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015093568A JP6552256B2 (en) 2015-04-30 2015-04-30 Image processing apparatus and image processing apparatus control method

Publications (2)

Publication Number Publication Date
JP2016213574A JP2016213574A (en) 2016-12-15
JP6552256B2 true JP6552256B2 (en) 2019-07-31

Family

ID=57551742

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015093568A Active JP6552256B2 (en) 2015-04-30 2015-04-30 Image processing apparatus and image processing apparatus control method

Country Status (1)

Country Link
JP (1) JP6552256B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220358619A1 (en) * 2021-05-10 2022-11-10 Mediatek Inc. Automatic dolly zoom image processing device

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107943389A (en) * 2017-11-14 2018-04-20 维沃移动通信有限公司 A kind of image processing method and mobile terminal
JP6878736B2 (en) * 2018-07-13 2021-06-02 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd Controls, mobiles, control methods, and programs
CN111083380B (en) * 2019-12-31 2021-06-11 维沃移动通信有限公司 Video processing method, electronic equipment and storage medium
CN112839173B (en) * 2020-12-31 2022-05-20 深圳瞬玩科技有限公司 Shooting subject type identification method and system
CN114710619A (en) * 2022-03-24 2022-07-05 维沃移动通信有限公司 Photographing method, photographing apparatus, electronic device, and readable storage medium

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3328478B2 (en) * 1995-10-18 2002-09-24 日本電信電話株式会社 Camera system
JP4021685B2 (en) * 2002-03-04 2007-12-12 松下電器産業株式会社 Image composition converter
JP4532856B2 (en) * 2003-07-08 2010-08-25 キヤノン株式会社 Position and orientation measurement method and apparatus
JP4934992B2 (en) * 2005-05-23 2012-05-23 株式会社ニコン Image processing apparatus, electronic camera, and image processing program
JP2008294785A (en) * 2007-05-25 2008-12-04 Sanyo Electric Co Ltd Image processor, imaging apparatus, image file, and image processing method
JP2011147109A (en) * 2009-12-16 2011-07-28 Canon Inc Image capturing apparatus and image processing apparatus
JP5517746B2 (en) * 2010-05-26 2014-06-11 キヤノン株式会社 Image processing apparatus and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220358619A1 (en) * 2021-05-10 2022-11-10 Mediatek Inc. Automatic dolly zoom image processing device

Also Published As

Publication number Publication date
JP2016213574A (en) 2016-12-15

Similar Documents

Publication Publication Date Title
KR101803712B1 (en) Image processing apparatus, control method, program, and recording medium
JP6552256B2 (en) Image processing apparatus and image processing apparatus control method
JP6112824B2 (en) Image processing method and apparatus, and program.
US9412151B2 (en) Image processing apparatus and image processing method
US9992478B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for synthesizing images
JP2015035658A (en) Image processing apparatus, image processing method, and imaging apparatus
JP2012248001A (en) Image processing apparatus, image processing method, and program
JP6594170B2 (en) Image processing apparatus, image processing method, image projection system, and program
CN115334233B (en) Method and system for generating sliding zoom effect
JP5911292B2 (en) Image processing apparatus, imaging apparatus, image processing method, and image processing program
JP2015036841A (en) Image processing apparatus, distance measuring apparatus, imaging apparatus, and image processing method
JP6604908B2 (en) Image processing apparatus, control method thereof, and control program
JP6494402B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP4871315B2 (en) Compound eye photographing apparatus, control method therefor, and program
JP6320165B2 (en) Image processing apparatus, control method therefor, and program
JP5925109B2 (en) Image processing apparatus, control method thereof, and control program
JP5086120B2 (en) Depth information acquisition method, depth information acquisition device, program, and recording medium
JP2018129825A (en) Information processing apparatus and method, information processing system, and program
JP2002077941A (en) Apparatus and method for generating depth image as well as computer readable recording medium recording program to execute the method in computer
JP7504614B2 (en) Image processing device, image processing method, and program
JP2009258862A (en) Video display device and image display method
JP2009237652A (en) Image processing apparatus and method, and program
JP2019125058A (en) Image processing apparatus, imaging apparatus, image processing method and program
JP6089549B2 (en) Information processing apparatus, information processing system, and program
JP7161865B2 (en) Video analysis device and its program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190702

R151 Written notification of patent or utility model registration

Ref document number: 6552256

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151