JP6439214B2 - 画像処理装置、画像処理方法、画像処理用コンピュータプログラムおよび画像処理用コンピュータプログラムを格納した情報記録媒体 - Google Patents
画像処理装置、画像処理方法、画像処理用コンピュータプログラムおよび画像処理用コンピュータプログラムを格納した情報記録媒体 Download PDFInfo
- Publication number
- JP6439214B2 JP6439214B2 JP2015500155A JP2015500155A JP6439214B2 JP 6439214 B2 JP6439214 B2 JP 6439214B2 JP 2015500155 A JP2015500155 A JP 2015500155A JP 2015500155 A JP2015500155 A JP 2015500155A JP 6439214 B2 JP6439214 B2 JP 6439214B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- boundary line
- depth value
- image frame
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
- H04N13/264—Image signal generators with monoscopic-to-stereoscopic image conversion using the relative movement of objects in two video frames or fields
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20096—Interactive definition of curve of interest
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20101—Interactive definition of point of interest, landmark or seed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Description
15 画像フレーム読み込み部(画像フレーム読み込み手段)
16 領域境界ライン情報受付部(領域境界ライン情報受付手段)
17 領域分割部(領域分割手段)
18 開口処理部(開口処理手段)
19 分離部(分離手段)
20 第1深さ値付与部(第1深さ値付与手段)
21 起点生成部(起点生成手段)
22 背景境界ライン情報受付部(背景境界ライン情報受付手段)
23 第2深さ値付与部(第2深さ値付与手段)
25 オブジェクト・背景合成部(オブジェクト・背景合成手段)
26 ロケーション・ポイント有無判別部(ロケーション・ポイント有無判別手段)
27 オブジェクト所定部位の位置特定部(オブジェクト所定部位の位置特定手段)
28 深さ値決定部(深さ値決定手段)
40 画像(画像フレームまたはフレーム)
41 背景
42 歌手(オブジェクト)
43〜45 人物(オブジェクト)
51〜59 領域境界ライン
60 起点
70 第1分割ライン(分割ラインの1つ)
75 第2分割ライン(分割ラインの1つ)
80 画像(画像フレームまたはフレーム)
81 背景
82〜86 オブジェクト
82a〜86a 所定部位
87 ロケーション・ポイント
A 頭部(領域)
B 腕(領域)
C 胸部(領域)
D〜F 領域
100,200 画像処理装置(コンピュータ)
150 選択データ受付部(画像フレーム数指定受付手段を含む)
151 第1特徴点受付部(第1特徴点受付手段)
152 第2特徴点探索部(第2特徴点探索手段)
153 第2特徴点特定部(第2特徴点特定手段)
156 領域境界ライン自動生成部(領域境界ライン自動生成手段)
157 第1フレーム数判別部(フレーム数判別手段)
182 鼻(第1特徴点の一例)
182a 鼻(第2特徴点の一例)
183,184 領域境界ライン
183,184 領域境界ライン
183a,184a (新たな)領域境界ライン
183b,184b (新たな)領域境界ライン
192 ピクセル深さ値割り当て部(ピクセル深さ値割り当て手段)
193 ピクセル移動位置追跡部(ピクセル移動位置追跡手段)
194 深さ値自動生成部(深さ値自動生成手段)
1.画像処理装置および画像処理方法
画像処理装置1は、画像フレーム読み込み部15の機能により、動画を構成する1または2以上の画像フレームを記憶部11から読み込む。画像フレームは、例えば、図2に示すような画像40である。画像40には、主に、背景41、歌手42、その他の人物43,44,45が存在する。背景41には、画像40の看者側に最も近い位置から順に、歌手42、人物43,44,45(人物43,44,45間の遠近関係は不明であっても良い)が存在する。
この例では、画像処理装置1の操作者は、歌手42、人物43,44,45を背景41に対して遠近感を持たせ、かつ歌手42というオブジェクト内においてさらに複数の部位に対して遠近感を持たせる処理を行うものとする。この趣旨から、操作者は、歌手42を頭部A、腕B、胸部Cの3つの領域に分け、人物43,44,45に対しては、それぞれ1つの領域D,E,Fとするべく、領域境界ライン51,52,53,54,55,56,57,58,59を描く(図3を参照)。操作者が画像40上にこれら領域境界ライン51〜59を描くと、画像処理装置1の領域境界ライン情報受付部16は、これら領域境界ライン51〜59を構成するドットの座標データを受け付ける。領域境界ライン51は、歌手42および人物44の輪郭50の外側をなぞったラインである。領域境界ライン51は、同時に、胸部Cの輪郭の外側の一部もなぞったラインとなっている。領域境界ライン52は、歌手42の頭部から肩にいたる頭部Aの輪郭の内側をなぞったラインである。領域境界ライン52は、同時に、腕Bの輪郭の外側の一部および人物44の輪郭の外側の一部もなぞったラインとなっている。領域境界ライン53は、腕Bの輪郭の内側をなぞったラインである。領域境界ライン54は、胸部Cの輪郭の内側をなぞったラインである。領域境界ライン55は、人物44の輪郭の内側をなぞったラインである。領域境界ライン56は、人物43の輪郭50の外側をなぞったラインである。領域境界ライン57は、人物43の輪郭50の内側をなぞったラインである。領域境界ライン58は、人物45の輪郭50の外側をなぞったラインである。領域境界ライン59は、人物45の輪郭50の内側をなぞったラインである。
画像処理装置1の起点生成部21は、領域境界ライン51〜59上に、所定間隔で、領域分割の処理を開始する起点60を生成する。ここで、所定間隔とは、一定の距離を隔てる意味のみならず、異なる距離を隔てる意味も含むように広義に解釈される。図3では、理解しやすいように、起点60を領域境界ライン51,52の各一部分のみに表示しているが、起点60は、全ての領域境界ライン51〜59の全長に亘って生成される。起点60の生成は、起点生成部21により各領域境界ライン51等上の任意の点を選出し、当該任意の点を基準に、他の起点60を次々と生成していくようにしても良い。また、操作者が各領域境界ライン51等の上の任意の点を選び、起点生成部21が、当該任意の点を基準に、他の起点60を次々と生成していくようにしても良い。このように、起点60の生成方法は、1種類に限られず、種々の方法を採用できる。
画像処理装置1の領域分割部17は、起点60から各領域境界ライン51等の内側および外側に向かって分割領域を拡張していくように、明度の近似点をつなぐ分割ラインにより領域境界ラインの内外を分割する。図4は、画像40に、多くの閉鎖状の分割ライン(白色の細線)70,75が形成された状態を示している。領域境界ライン51等は、分割ライン70,75と混同しないように、図4では、背景色と略同一の黒色で示されている。分割ライン70,75は、分水嶺アルゴリズムによって好適に形成できる。分割ライン70,75は、地形で例えると、等高線に相当し、明度の同一なピクセルを繋いだラインである。図4から明らかなように、分割ライン70,75は、非常に高精度に形成されているため、画面の凹凸を細かく表現している。しかし、このような分割は、3D映像を作製するという観点では、過分割である。このため、次の処理以降、操作者の描いた領域境界ライン51〜59に基づく処理を行い、過分割を補正する。
画像処理装置1の開口処理部18は、2本の領域境界ライン51,52等に挟まれた領域を除くその他の領域にある閉鎖状の分割ライン75(第2分割ライン75ともいう)を開口する処理を行う。この結果、2本の領域境界ライン51,52等に挟まれた領域、すなわち、歌手42の頭部A、腕Bおよび胸部Cの各輪郭50、さらには人物43,44,45の輪郭50の存在する領域にある分割ライン70(第1分割ラインともいう)のみが閉鎖状態で残る。この開口処理は、閉鎖状の分割ライン70によって囲まれた領域のみを3D映像用に用い、その他の領域(分割ライン75で囲まれた領域)については3D映像用の処理対象から除外するための処理である。
画像処理装置1の分離部19は、第1分割ライン70で囲まれた領域ごとにオブジェクトを分離する。この結果、歌手42は、頭部A(領域Aともいう)、腕B(領域Bともいう)および胸部C(領域Cともいう)の3つの領域に分離される。人物43,44,45は、それぞれ、領域D、領域Eおよび領域Fとなり、背景41から分離される。図5は、分離された領域A〜Fの内、領域A,Bのみを白塗りで示す。
画像処理装置1の第1深さ値付与部20は、第1分割ライン70で囲まれた領域A〜Fに、各領域の遠近度合いを表す深さ値を付与する。深さ値は、画像40の画面の奥行き方向に対する遠近度合いを定量化する数値であれば、特に制限されない。例えば、深さ値(デプス・バリュー)は、グレースケール情報(好適には、明度)を基準として、0〜255の数値で表すことができる。領域A〜Fのそれぞれに対して、画像40の奥から手前に向かって深さ値が大きくなるように深さ値を付与するのが好ましい。図5は、領域A〜Fに深さ値を付与した状態を示す。領域Bの深さ値が最も大きいことから、画像40では、腕Bが最も手前にある。一方、領域E,Fの深さ値が最も小さいことから、人物44,45が最も奥にある。この実施の形態では、これら深さ値は、操作者が画像40を見て、マニュアルにて入力し、その入力を受けた画像処理装置1の第1深さ値付与部20が付与する。ただし、深さ値は、操作者によるマニュアル入力によらず、後述するように自動付与するようにしても良い。その詳細は、後述する。
画像処理装置1は、上記ステップ101〜108と併行して、画像フレーム読み込み部15の機能により、ステップ101にて読み込んだ画像フレームと同じ画像フレームを記憶部11から読み込む。
次に、画像処理装置1中の背景境界ライン情報受付部22は、読み込まれた画像フレーム内において、操作者から背景を対象として指示された背景境界ラインの情報を受け付ける。背景境界ラインは、操作者が背景およびその背景と同一視できる領域(背景内領域)の周囲をなぞったラインである。例えば、背景中に、雲が存在し、その背景に飛行機が存在する例で説明すると、飛行機をオブジェクトとすると、雲は、背景と同一視することができる背景内領域に相当する。操作者は、雲の周囲に、背景境界ラインを描くと、背景境界ライン情報受付部22は、その背景境界ラインの情報を受け付ける。
分離部19は、閉鎖状の背景境界ラインによって分けられた複数の領域を認識し、分離する。背景は、この後の処理によって複数の深度の異なる領域になる。
第2深さ値付与部23は、背景境界ラインで囲まれた領域に、その領域の遠近度合いを表す深さ値を付与する。深さ値は、画面の奥行き方向に対する遠近度合いを定量化する数値であれば、特に制限されない。例えば、深さ値(デプス・バリュー)は、グレースケール情報(好適には、明度)を基準として、0〜255の数値で表すことができる。例えば、画面の奥から手前に向かって深さ値が大きくなるように深さ値を付与するのが好ましい。この実施の形態では、深さ値は、操作者が背景の状況を見て、マニュアルにて入力し、その入力を受けた画像処理装置1の第2深さ値付与部23が付与する。ただし、深さ値は、操作者によるマニュアル入力によらず、自動付与するようにしても良い。
ステップ204の処理が完了すると、画像処理装置1中のオブジェクト・背景分離部24は、ステップ204までの処理を行った背景と、その背景以外のオブジェクトとを分離し、オブジェクトを除去する。
最後に、オブジェクト・背景合成部25は、ステップ108後のオブジェクトと、ステップ205後の背景とを合成して、1つの画像フレームを再形成する。
ロケーション・ポイント有無判別部26は、例えば、背景内に明度が急激に変化している部分があるか否かという基準から、ロケーション・ポイントの有無を判別する。また、変形例として、操作者がロケーション・ポイントを指定後、ロケーション・ポイント有無判別部26が指定されたロケーション・ポイントの有無を判別することもできる。図8に示す画像80において、背景81とオブジェクト(この例では、人間)82〜86とが存在する例で説明する。背景81は、床と壁から構成されている。この例では、床と壁との境界に明度の段差が存在する。ロケーション・ポイント有無判別部26は、この段差をロケーション・ポイント87として認定し、ロケーション・ポイント87が存在すると判別する。この変形例として、操作者が画像80を見て、床と壁との境界をロケーション・ポイント87として指定し、この指定に基づき、ロケーション・ポイント有無判別部26は、ロケーション・ポイント87が存在すると判別することもできる。
ステップ301において、ロケーション・ポイント87が存在する場合、続いて、オブジェクト所定部位の位置特定部27は、オブジェクト82〜86の足先(=所定部位)82a〜86aとロケーション・ポイント87との間の距離L1〜L5を算出し、所定部位の位置を特定する。
続いて、深さ値決定部28は、ステップ302によって特定された位置に基づいて深さ値を決定する。図8に示す例では、ロケーション・ポイント87から各オブジェクト82〜86の足先82a〜86aまでの距離が短いほど、画面から奥方向に位置するものとして、深さ値を決定する。
続いて、第1深さ値付与部20は、ステップ303によって決定された各深さ値を各オブジェクト82〜86に付与する。オブジェクト82〜86に代えて、複数の背景内領域に対して深さ値を付与する必要のある場合には、第2深さ値付与部23が各背景内領域に対して深さ値を付与する。
ステップ301の判別の結果、ロケーション・ポイントが存在しない場合には、第1深さ値付与部20および/または第2深さ値付与部23は、操作者のマニュアルにより深さ値を受け付けたか否かを判別する。その結果、受け付けた場合には、引き続き、第1深さ値付与部20および/または第2深さ値付与部23は、ステップ304に進み、深さ値を各オブジェクトおよび/または各背景内領域に対して付与する。一方、受け付けていない場合には、ステップ301に戻る。
本発明は、上述の実施の形態に係る画像処理装置、画像処理方法、画像処理用コンピュータプログラムおよびそのコンピュータプログラムを格納した情報記録媒体に限定されず、種々変更して実施可能である。
次に、本発明に係る第2の実施の形態について、図面を参照しながら説明する。
このステップは、この実施の形態では、ターゲット・トラッキング・フレームの選択データを受け付けるステップである。より具体的には、このステップは、これ以降に詳述する領域境界ライン自動生成ステップによる処理を実行する画像フレームの数の指定を受け付ける画像フレーム数指定受付ステップを含み、図12中の領域171に入力した数値を受け付けるステップに相当する。
第1特徴点受付ステップは、第1画像フレームの領域境界ライン内に存在する第1特徴点(「関心領域」とも称する)の座標値を受け付けるステップである。図13中の13Aでは、キーフレームとなるフレーム1に、オブジェクト(人)181が存在する。ここで、第1特徴点として鼻182を例示する。フレーム1は、ユーザがロトブラシをマニュアルで行ったフレームであり、すでに、オブジェクト181の輪郭の外側および内側に、ロトブラシ183,184(すなわち、領域境界ライン183および領域境界ライン184)が描かれている。図13中の13Bでは、フレーム1の時系列的に直後に表示されるフレーム2が表示されている。フレーム2では、フレーム1内のオブジェクト181(13B中のフレーム2において点線で示す)が右にわずかに動いたオブジェクト181a(13B中のフレーム2において細い実線で示す)が存在する。
第2特徴点探索ステップは、後述の第2特徴点特定ステップの処理に先立ち、ピクセルの色および明度の少なくともいずれか1つの近似度合いに基づき、第1特徴点(図13では、鼻182)の座標値に対応する第2特徴点を探索するステップである。
第2特徴点探索ステップは、第2画像フレーム(図13の13Bでは、フレーム2に相当)において、第1特徴点の座標値に対応する第2特徴点の座標値を特定するステップである。第1特徴点としての鼻182は、フレーム2では、矢印Aの方向に移動している。このため、第2特徴点特定部153は、フレーム2中の鼻182aを第2特徴点として特定することになる。
移動位置抽出ステップは、移動位置抽出部154によって、第2特徴点(鼻182a)を構成する1または2以上のピクセルの座標を抽出するステップである。
新たな領域境界ライン座標値算出ステップは、第1画像フレーム(キーフレームとしてのフレーム1)内の領域境界ライン183,184を構成する複数のピクセルの座標に、上記移動位置抽出ステップによって抽出された位置情報を加算して、第2画像フレーム(次のフレームとなるフレーム2)内の新たな領域境界ライン183a,184aを構成する複数のピクセルの座標値を算出するステップである。このステップでは、領域境界ライン183,184を構成する各ピクセルの座標に対して、鼻182が鼻182aに移動する方向と距離を加算し、新たな領域境界ライン183a,184aを構成する各ピクセルの座標値を算出する。
領域境界ライン自動生成ステップは、第1特徴点(鼻182)から第2特徴点(鼻182a)への移動情報に基づいて、第2画像フレーム(フレーム2)内に、第1画像フレーム(フレーム1)の領域境界ライン183,184に対応する新たな領域境界ライン183a,184aを自動生成するステップであり、新たな領域境界ライン座標値算出ステップによって算出して求めた新しい座標を持つ各ピクセルを結ぶ処理を行うステップである。
フレーム数判別ステップは、新たな領域境界ライン183,184を自動生成する処理を実行した画像フレームの数が、指定された画像フレーム数に到達したか否かを判別するステップである。指定したフレーム数に達していなければ、ステップ1021(S1021)に移行し、キーフレームをフレーム2に切り替え、ステップ1021(S1021)以降の同様の処理を行う。この場合、ステップ1021(S1021)における第1特徴点の指定は、すでに第2特徴点としての鼻182aの座標が特定されているため、第1特徴点受付部151は、ユーザからの新たな指定を待つことなく、鼻182aを第1特徴点として受け付ける。ステップ1022(S1022)〜ステップ1027(S1027)の処理は、次のフレーム(図13の13Cにおいて、フレーム3)に対して実行される。
本発明は、上述の実施の形態に係る画像処理装置、画像処理方法、画像処理用コンピュータプログラムおよびそのコンピュータプログラムを格納した情報記録媒体に限定されず、種々変更して実施可能である。
次に、本発明に係る第3の実施の形態について、図面を参照しながら説明する。
このステップは、この実施の形態では、キーフレームとなるフレーム1中の各領域(オブジェクトの分割領域)に深さ値を付与するステップである。このステップでは、第1の実施の形態で説明した要領で、人の目で判断して深さ値が付与される。
このステップは、条件受付部191によって実行される前述の処理である。
このステップは、ピクセル深さ値割り当て部192によって実行され、第1画像フレーム内の第1分割ラインで囲まれた領域に存在する1以上の第1ピクセルに、第1分割ラインで囲まれた領域に付与された深さ値を割り当てるステップである。
このステップは、ピクセル移動位置追跡部193によって実行され、第1ピクセルが第2画像フレーム内のどのピクセルに移動したかを追跡するステップである。
このステップは、第2画像フレーム内において探索できた新たなピクセルに、これに対応する第1画像フレーム内のピクセルの深さ値を付与するステップである。このステップは、深さ値自動生成部194によって実行可能であるが、深さ値自動生成部194とは別の構成部(移動後ピクセル深さ値付与部)を設け、移動後ピクセル深さ値付与部によって実行されても良い。
このステップは、深さ値自動生成部194によって実行され、第2画像フレーム内の領域であって、第1ピクセルの移動後の第2ピクセルで構成される領域に、前述のピクセル深さ値割り当てステップによって割り当てられた深さ値を自動生成するステップである。また、このステップにおいて、前述の移動後ピクセル深さ値付与ステップを経て付与された第2ピクセルの深さ値に基づき、第2ピクセルで構成される領域に同じ深さ値を付与することもできる。すなわち、深さ値自動生成部194およびそれによって実行される深さ値自動生成ステップは、第1ピクセルに割り当てられた深さ値に基づいて行われるか、それとも第2ピクセルに付与された深さ値に基づいて行われるかは、問わない。
第2フレーム数判別ステップは、深さ値を自動生成する処理を実行した画像フレームの数が、指定された画像フレーム数に到達したか否かを判別するステップである。指定したフレーム数に達していなければ、ステップ1071(S1071)に移行し、キーフレームを先の画像フレームから時系列的に次の画像フレームに切り替え、ステップ1071(S1071)以降の同様の処理を行う。この場合、ステップ1071(S1071)におけるピクセル深さ値の割り当ては、すでに前の処理で行われているため、ピクセル深さ値割り当て部192は、前の処理で特定された深さ値をそのまま受け付ける。その後、ステップ1072(S1072)〜ステップ1075(S1075)の処理は、当該次の画像フレームに対して実行される。
本発明は、上述の実施の形態に係る画像処理装置、画像処理方法、画像処理用コンピュータプログラムおよびそのコンピュータプログラムを格納した情報記録媒体に限定されず、種々変更して実施可能である。
Claims (20)
- 動画を構成する複数の画像フレームの内の1若しくは2以上の画像フレームを読み込む画像フレーム読み込み手段と、
読み込まれた上記画像フレーム内において、領域境界ラインの情報を受け付ける領域境界ライン情報受付手段と、
上記領域境界ライン上の所定の点を起点として分割領域を拡張し、明度の近似点をつなぐ分割ラインにより上記領域境界ラインの内外を分割する領域分割手段と、
上記分割ラインの内、2本の上記領域境界ラインの間に存在する第1分割ラインを残し、上記分割ラインの内の上記第1分割ライン以外の第2分割ラインを開口させる開口処理手段と、
上記第1分割ラインで囲まれた領域の単位に分離する分離手段と、
上記第1分割ラインで囲まれた領域に、その領域の遠近度合いを表す深さ値を付与する第1深さ値付与手段と、
を、少なくとも備える画像処理装置。 - 前記起点を前記領域境界ライン上に複数生成する起点生成手段を、さらに備えることを特徴とする請求項1に記載の画像処理装置。
- 前記領域境界ライン情報受付手段は、背景以外のオブジェクトを対象として指示された領域境界ラインの情報を受け付ける手段であり、
上記画像フレーム内において、上記背景を対象として指示された背景境界ラインの情報を受け付ける背景境界ライン情報受付手段と、
上記背景境界ラインで囲まれた領域に、その領域の遠近度合いを表す深さ値を付与する第2深さ値付与手段と、
前記第1深さ値付与手段によって深さ値を付与した上記オブジェクトと、上記第2深さ値付与手段によって深さ値を付与した上記背景とを合成するオブジェクト・背景合成手段と、
を、少なくとも備えることを特徴とする請求項1または請求項2に記載の画像処理装置。 - 前記画像フレーム内に複数のオブジェクトおよび/または背景を構成する背景内領域があり、かつ背景において上記オブジェクトの位置および/または上記背景内領域の位置を示すロケーション・ポイントが存在することを判別するロケーション・ポイント有無判別手段と、
上記ロケーション・ポイントが存在する場合に、上記複数のオブジェクトおよび/または上記背景を構成する背景内領域の所定部位の位置を特定するオブジェクト所定部位の位置特定手段と、
上記オブジェクト所定部位の位置特定手段によって特定された位置に基づき、上記オブジェクトおよび/または上記背景内領域の遠近度合いを表す深さ値を決定する深さ値決定手段と、
をさらに備え、
前記第1深さ値付与手段および/または前記第2深さ値付与手段は、上記オブジェクトおよび/または上記背景内領域に対して前記深さ値を付与することを特徴とする請求項3に記載の画像処理装置。 - 動画を構成する複数の画像フレームの内、前記領域境界ラインを生成済みの第1画像フレームが存在し、かつ前記第1画像フレームよりも時系列的に後に存在する第2画像フレーム内に自動的に前記領域境界ラインを生成することを可能とする画像処理装置であって、
前記第1画像フレームの前記領域境界ライン内に存在する第1特徴点の座標値を受け付ける第1特徴点受付手段と、
前記第2画像フレームにおいて、前記第1特徴点の座標値に対応する第2特徴点の座標値を特定する第2特徴点特定手段と、
前記第1特徴点から前記第2特徴点への移動情報に基づいて、前記第2画像フレーム内に、前記第1画像フレームの前記領域境界ラインに対応する新たな領域境界ラインを自動生成する領域境界ライン自動生成手段と、
を、さらに備えることを特徴とする請求項1から請求項4のいずれか1項に記載の画像処理装置。 - 前記第2特徴点特定手段の処理に先立ち、ピクセルの色および明度の少なくともいずれか1つの近似度合いに基づき、前記第1特徴点の座標値に対応する前記第2特徴点を探索する第2特徴点探索手段を、さらに備えることを特徴とする請求項5に記載の画像処理装置。
- 前記領域境界ライン自動生成手段による処理を実行する前記画像フレームの数の指定を受け付ける画像フレーム数指定受付手段と、
前記新たな領域境界ラインを自動生成する処理を実行した前記画像フレームの数が、指定された前記画像フレーム数に到達したか否かを判別するフレーム数判別手段と、
を、さらに備え、
前記フレーム数判別手段によって、指定された前記画像フレーム数に到達したと判別されるまで、前記第1特徴点受付手段、前記第2特徴点特定手段および前記領域境界ライン自動生成手段は各処理を実行することを特徴とする請求項5または請求項6に記載の画像処理装置。 - 動画を構成する複数の画像フレームの内、前記第1分割ラインで囲まれた領域に前記深さ値を付与済みの第1画像フレームが存在し、かつ前記第1画像フレームよりも時系列的に後に存在する第2画像フレーム内の前記第1分割ラインで囲まれた領域に対応する領域に自動的に前記深さ値を生成することを可能とする画像処理装置であって、
前記第1画像フレーム内の前記第1分割ラインで囲まれた領域に存在する1以上の第1ピクセルに、前記第1分割ラインで囲まれた領域に付与された前記深さ値を割り当てるピクセル深さ値割り当て手段と、
前記第1ピクセルが前記第2画像フレーム内のどのピクセルに移動したかを追跡するピクセル移動位置追跡手段と、
前記第2画像フレーム内の領域であって、前記第1ピクセルの移動後の第2ピクセルで構成される領域に、前記ピクセル深さ値割り当て手段によって割り当てられた前記深さ値を自動生成する深さ値自動生成手段と、
を、さらに備えることを特徴とする請求項1から請求項7のいずれか1項に記載の画像処理装置。 - 請求項1に記載の画像処理装置を用いて実行する画像処理方法であって、
動画を構成する複数の画像フレームの内の1若しくは2以上の画像フレームを読み込む画像フレーム読み込みステップと、
読み込まれた上記画像フレーム内において、領域境界ラインの情報を受け付ける領域境界ライン情報受付ステップと、
上記領域境界ライン上の所定の点を起点として分割領域を拡張し、明度の近似点をつなぐ分割ラインにより上記領域境界ラインの内外を分割する領域分割ステップと、
上記分割ラインの内、2本の上記領域境界ラインの間に存在する第1分割ラインを残し、上記分割ラインの内の上記第1分割ライン以外の第2分割ラインを開口させる開口処理ステップと、
上記第1分割ラインで囲まれた領域の単位に分離する分離ステップと、
上記第1分割ラインで囲まれた領域に、その領域の遠近度合いを表す深さ値を付与する第1深さ値付与ステップと、
を、少なくとも実行する画像処理方法。 - コンピュータに読み込まれて実行されるコンピュータプログラムであって、
コンピュータに、
動画を構成する複数の画像フレームの内の1若しくは2以上の画像フレームを読み込む画像フレーム読み込み手段、
読み込まれた上記画像フレーム内において、領域境界ラインの情報を受け付ける領域境界ライン情報受付手段、
上記領域境界ライン上の所定の点を起点として分割領域を拡張し、明度の近似点をつなぐ分割ラインにより上記領域境界ラインの内外を分割する領域分割手段、
上記分割ラインの内、2本の上記領域境界ラインの間に存在する第1分割ラインを残し、上記分割ラインの内の上記第1分割ライン以外の第2分割ラインを開口させる開口処理手段、
上記第1分割ラインで囲まれた領域の単位に分離する分離手段、
上記第1分割ラインで囲まれた領域に、その領域の遠近度合いを表す深さ値を付与する第1深さ値付与手段、
の各手段の機能を実行させる画像処理用コンピュータプログラム。 - 前記コンピュータに、前記起点を前記領域境界ライン上に複数生成する起点生成手段の機能を、さらに実行させることを特徴とする請求項10に記載の画像処理用コンピュータプログラム。
- 前記領域境界ライン情報受付手段は、背景以外のオブジェクトを対象として指示された領域境界ラインの情報を受け付ける手段であり、
前記コンピュータに、
上記画像フレーム内において、上記背景を対象として指示された背景境界ラインの情報を受け付ける背景境界ライン情報受付手段、
上記背景境界ラインで囲まれた領域に、その領域の遠近度合いを表す深さ値を付与する第2深さ値付与手段、
前記第1深さ値付与手段によって深さ値を付与した上記オブジェクトと、上記第2深さ値付与手段によって深さ値を付与した上記背景とを合成するオブジェクト・背景合成手段、
の各機能を実行させることを特徴とする請求項10または請求項11に記載の画像処理用コンピュータプログラム。 - 前記コンピュータに、
前記画像フレーム内に複数のオブジェクトおよび/または背景を構成する背景内領域があり、かつ背景において上記オブジェクトの位置および/または上記背景内領域の位置を示すロケーション・ポイントが存在することを判別するロケーション・ポイント有無判別手段、
上記ロケーション・ポイントが存在する場合に、上記複数のオブジェクトおよび/または上記背景を構成する背景内領域の所定部位の位置を特定するオブジェクト所定部位の位置特定手段、
上記オブジェクト所定部位の位置特定手段によって特定された位置に基づき、上記オブジェクトおよび/または上記背景内領域の遠近度合いを表す深さ値を決定する深さ値決定手段、
の各機能を実行させ、
前記第1深さ値付与手段および/または前記第2深さ値付与手段は、上記オブジェクトおよび/または上記背景内領域に対して前記深さ値を付与することを特徴とする請求項12に記載の画像処理用コンピュータプログラム。 - 動画を構成する複数の画像フレームの内、前記領域境界ラインを生成済みの第1画像フレームが存在し、かつ前記第1画像フレームよりも時系列的に後に存在する第2画像フレーム内に自動的に前記領域境界ラインを生成することを可能とする画像処理用コンピュータプログラムであって、
前記コンピュータに、
前記第1画像フレームの前記領域境界ライン内に存在する第1特徴点の座標値を受け付ける第1特徴点受付手段、
前記第2画像フレームにおいて、前記第1特徴点の座標値に対応する第2特徴点の座標値を特定する第2特徴点特定手段、
前記第1特徴点から前記第2特徴点への移動情報に基づいて、前記第2画像フレーム内に、前記第1画像フレームの前記領域境界ラインに対応する新たな領域境界ラインを自動生成する領域境界ライン自動生成手段、
の各機能を実行させることを特徴とする請求項10から請求項13のいずれか1項に記載の画像処理用コンピュータプログラム。 - 前記コンピュータに、
前記第2特徴点特定手段の処理に先立ち、ピクセルの色および明度の少なくともいずれか1つの近似度合いに基づき、前記第1特徴点の座標値に対応する前記第2特徴点を探索する第2特徴点探索手段の機能を、さらに実行させることを特徴とする請求項14に記載の画像処理用コンピュータプログラム。 - 前記コンピュータに、
前記領域境界ライン自動生成手段による処理を実行する前記画像フレームの数の指定を受け付ける画像フレーム数指定受付手段、
前記新たな領域境界ラインを自動生成する処理を実行した前記画像フレームの数が、指定された前記画像フレーム数に到達したか否かを判別するフレーム数判別手段、
の各機能を、さらに実行させ、
前記フレーム数判別手段によって、指定された前記画像フレーム数に到達したと判別されるまで、前記第1特徴点受付手段、前記第2特徴点特定手段および前記領域境界ライン自動生成手段に各処理を実行させることを特徴とする請求項14または請求項15に記載の画像処理用コンピュータプログラム。 - 動画を構成する複数の画像フレームの内、前記第1分割ラインで囲まれた領域に前記深さ値を付与済みの第1画像フレームが存在し、かつ前記第1画像フレームよりも時系列的に後に存在する第2画像フレーム内の前記第1分割ラインで囲まれた領域に対応する領域に自動的に前記深さ値を生成することを可能とする画像処理用コンピュータプログラムであって、
前記コンピュータに、
前記第1画像フレーム内の前記第1分割ラインで囲まれた領域に存在する1以上の第1ピクセルに、前記第1分割ラインで囲まれた領域に付与された前記深さ値を割り当てるピクセル深さ値割り当て手段、
前記第1ピクセルが前記第2画像フレーム内のどのピクセルに移動したかを追跡するピクセル移動位置追跡手段、
前記第2画像フレーム内の領域であって、前記第1ピクセルの移動後の第2ピクセルで構成される領域に、前記ピクセル深さ値割り当て手段によって割り当てられた前記深さ値を自動生成する深さ値自動生成手段、
の各機能を実行させることを特徴とする請求項10から請求項16のいずれか1項に記載の画像処理用コンピュータプログラム。 - コンピュータに読み込まれて実行されるコンピュータプログラムを格納した情報記録媒体であって、
コンピュータに、
動画を構成する複数の画像フレームの内の1若しくは2以上の画像フレームを読み込む画像フレーム読み込み手段、
読み込まれた上記画像フレーム内において、領域境界ラインの情報を受け付ける領域境界ライン情報受付手段、
上記領域境界ライン上の所定の点を起点として分割領域を拡張し、明度の近似点をつなぐ分割ラインにより上記領域境界ラインの内外を分割する領域分割手段、
上記分割ラインの内、2本の上記領域境界ラインの間に存在する第1分割ラインを残し、上記分割ラインの内の上記第1分割ライン以外の第2分割ラインを開口させる開口処理手段、
上記第1分割ラインで囲まれた領域の単位に分離する分離手段、
上記第1分割ラインで囲まれた領域に、その領域の遠近度合いを表す深さ値を付与する第1深さ値付与手段、
の各手段の機能を実行させる画像処理用コンピュータプログラムを格納した情報記録媒体。 - 動画を構成する複数の画像フレームの内、前記領域境界ラインを生成済みの第1画像フレームが存在し、かつ前記第1画像フレームよりも時系列的に後に存在する第2画像フレーム内に自動的に前記領域境界ラインを生成することを可能とする画像処理用コンピュータプログラムを格納した情報記録媒体であって、
前記コンピュータに、
前記第1画像フレームの前記領域境界ライン内に存在する第1特徴点の座標値を受け付ける第1特徴点受付手段、
前記第2画像フレームにおいて、前記第1特徴点の座標値に対応する第2特徴点の座標値を特定する第2特徴点特定手段、
前記第1特徴点から前記第2特徴点への移動情報に基づいて、前記第2画像フレーム内に、前記第1画像フレームの前記領域境界ラインに対応する新たな領域境界ラインを自動生成する領域境界ライン自動生成手段、
の各機能を実行させることを特徴とする請求項18に記載の画像処理用コンピュータプログラムを格納した情報記録媒体。 - 動画を構成する複数の画像フレームの内、前記第1分割ラインで囲まれた領域に前記深さ値を付与済みの第1画像フレームが存在し、かつ前記第1画像フレームよりも時系列的に後に存在する第2画像フレーム内の前記第1分割ラインで囲まれた領域に対応する領域に自動的に前記深さ値を生成することを可能とする画像処理用コンピュータプログラムを格納した情報記録媒体であって、
前記コンピュータに、
前記第1画像フレーム内の前記第1分割ラインで囲まれた領域に存在する1以上の第1ピクセルに、前記第1分割ラインで囲まれた領域に付与された前記深さ値を割り当てるピクセル深さ値割り当て手段、
前記第1ピクセルが前記第2画像フレーム内のどのピクセルに移動したかを追跡するピクセル移動位置追跡手段、
前記第2画像フレーム内の領域であって、前記第1ピクセルの移動後の第2ピクセルで構成される領域に、前記ピクセル深さ値割り当て手段によって割り当てられた前記深さ値を自動生成する深さ値自動生成手段、
の各機能を実行させることを特徴とする請求項18または請求項19に記載の画像処理用コンピュータプログラムを格納した情報記録媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013028615 | 2013-02-18 | ||
JP2013028615 | 2013-02-18 | ||
PCT/JP2014/000827 WO2014125842A1 (ja) | 2013-02-18 | 2014-02-18 | 画像処理装置、画像処理方法、画像処理用コンピュータプログラムおよび画像処理用コンピュータプログラムを格納した情報記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2014125842A1 JPWO2014125842A1 (ja) | 2017-02-02 |
JP6439214B2 true JP6439214B2 (ja) | 2018-12-19 |
Family
ID=51353853
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015500155A Active JP6439214B2 (ja) | 2013-02-18 | 2014-02-18 | 画像処理装置、画像処理方法、画像処理用コンピュータプログラムおよび画像処理用コンピュータプログラムを格納した情報記録媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9723295B2 (ja) |
JP (1) | JP6439214B2 (ja) |
CN (1) | CN105359518B (ja) |
WO (1) | WO2014125842A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11386512B2 (en) * | 2015-02-06 | 2022-07-12 | Sunrun, Inc. | Systems and methods for generating permit sets |
US10578758B2 (en) * | 2015-03-19 | 2020-03-03 | Exxonmobil Upstream Research Company | Sequence pattern characterization |
GB2537142A (en) * | 2015-04-09 | 2016-10-12 | Nokia Technologies Oy | An arrangement for image segmentation |
CN107209556B (zh) * | 2015-04-29 | 2020-10-16 | 惠普发展公司有限责任合伙企业 | 用于对捕获对象相对于交互平面的交互的深度图像进行处理的系统及方法 |
US10552966B2 (en) * | 2016-03-07 | 2020-02-04 | Intel Corporation | Quantification of parallax motion |
CN107545595B (zh) * | 2017-08-16 | 2021-05-28 | 歌尔光学科技有限公司 | 一种vr场景处理方法及vr设备 |
EP3683764A4 (en) * | 2017-09-12 | 2020-11-18 | Panasonic Intellectual Property Management Co., Ltd. | IMAGE GENERATION DEVICE AND METHOD |
CN109672873B (zh) | 2017-10-13 | 2021-06-29 | 中强光电股份有限公司 | 光场显示设备及其光场影像的显示方法 |
JP2019168479A (ja) * | 2018-03-22 | 2019-10-03 | キヤノン株式会社 | 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 |
KR20200095873A (ko) * | 2019-02-01 | 2020-08-11 | 한국전자통신연구원 | 인물 영역 추출 방법, 이를 이용하는 영상 처리 장치 및 인물 영역 추출 시스템 |
CN110675425B (zh) * | 2019-08-22 | 2020-12-15 | 腾讯科技(深圳)有限公司 | 一种视频边框识别方法、装置、设备及介质 |
CN112487424A (zh) * | 2020-11-18 | 2021-03-12 | 重庆第二师范学院 | 一种计算机处理系统及计算机处理方法 |
CN113223019B (zh) * | 2021-05-21 | 2024-03-26 | 深圳乐居智能电子有限公司 | 一种清扫区域的分区方法、装置及清扫设备 |
CN113989717A (zh) * | 2021-10-29 | 2022-01-28 | 北京字节跳动网络技术有限公司 | 视频图像处理方法、装置、电子设备及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4504417B2 (ja) | 2005-01-31 | 2010-07-14 | オリンパス株式会社 | 画像処理装置、顕微鏡システム、及び領域特定プログラム |
JP2008277932A (ja) * | 2007-04-26 | 2008-11-13 | Hitachi Ltd | 画像符号化方法及びその装置 |
EP2199981A1 (en) * | 2008-12-09 | 2010-06-23 | Koninklijke Philips Electronics N.V. | Image segmentation |
EP2520096A4 (en) * | 2009-12-29 | 2013-10-09 | Shenzhen Tcl New Technology | PERSONALIZING A 3D TV VIEW |
KR101690297B1 (ko) * | 2010-04-12 | 2016-12-28 | 삼성디스플레이 주식회사 | 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치 |
EP2595116A1 (en) * | 2010-05-07 | 2013-05-22 | Telefónica, S.A. | Method for generating depth maps for converting moving 2d images to 3d |
CN102404594B (zh) * | 2011-10-31 | 2014-02-12 | 庞志勇 | 基于图像边缘信息的2d转3d的方法 |
CN102883174B (zh) * | 2012-10-10 | 2015-03-11 | 彩虹集团公司 | 一种2d转3d的方法 |
-
2014
- 2014-02-18 WO PCT/JP2014/000827 patent/WO2014125842A1/ja active Application Filing
- 2014-02-18 CN CN201480021836.8A patent/CN105359518B/zh not_active Expired - Fee Related
- 2014-02-18 JP JP2015500155A patent/JP6439214B2/ja active Active
-
2015
- 2015-08-17 US US14/827,714 patent/US9723295B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
WO2014125842A1 (ja) | 2014-08-21 |
US9723295B2 (en) | 2017-08-01 |
US20160100152A1 (en) | 2016-04-07 |
JPWO2014125842A1 (ja) | 2017-02-02 |
CN105359518A (zh) | 2016-02-24 |
CN105359518B (zh) | 2017-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6439214B2 (ja) | 画像処理装置、画像処理方法、画像処理用コンピュータプログラムおよび画像処理用コンピュータプログラムを格納した情報記録媒体 | |
EP2087466B1 (en) | Generation of depth map for an image | |
Ward et al. | Depth director: A system for adding depth to movies | |
US9710912B2 (en) | Method and apparatus for obtaining 3D face model using portable camera | |
CN105590309B (zh) | 前景图像分割方法和装置 | |
WO2011033673A1 (ja) | 画像処理装置 | |
KR101556992B1 (ko) | 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템 | |
US20200258309A1 (en) | Live in-camera overlays | |
US9584723B2 (en) | Apparatus and method for creating panorama | |
CN111480183B (zh) | 用于产生透视效果的光场图像渲染方法和系统 | |
WO2013054462A1 (ja) | ユーザーインタフェース制御装置、ユーザーインタフェース制御方法、コンピュータプログラム、及び集積回路 | |
CN106598235B (zh) | 用于虚拟现实设备的手势识别方法、装置及虚拟现实设备 | |
US9208606B2 (en) | System, method, and computer program product for extruding a model through a two-dimensional scene | |
JP2023172882A (ja) | 三次元表現方法及び表現装置 | |
KR101165017B1 (ko) | 3차원 아바타 생성 시스템 및 방법 | |
KR102110459B1 (ko) | 3차원 이미지 생성 방법 및 장치 | |
US9171357B2 (en) | Method, apparatus and computer-readable recording medium for refocusing photographed image | |
KR101071911B1 (ko) | 3차원 입체 영상 생성 방법 | |
KR20160046399A (ko) | 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법 | |
KR20160081841A (ko) | 2차원 디지털 이미지 기반의 3차원 디지털 이미지 오브젝트 자동 추출 시스템 및 추출 방법 | |
JP7078564B2 (ja) | 画像処理装置及びプログラム | |
KR101121979B1 (ko) | 입체 영상 변환 방법 및 입체 영상 변환 장치 | |
EP2887261B1 (en) | Information processing device, information processing method, and program | |
KR20130003992A (ko) | 3차원 영상 데이터 생성 방법 및 이를 위한 장치 | |
KR101671739B1 (ko) | 가상 프레임을 이용한 2차원 영상의 입체 효과 생성 장치 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180501 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180509 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181016 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6439214 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |