JP7441917B2 - 顔に対する射影歪み補正 - Google Patents
顔に対する射影歪み補正 Download PDFInfo
- Publication number
- JP7441917B2 JP7441917B2 JP2022163357A JP2022163357A JP7441917B2 JP 7441917 B2 JP7441917 B2 JP 7441917B2 JP 2022163357 A JP2022163357 A JP 2022163357A JP 2022163357 A JP2022163357 A JP 2022163357A JP 7441917 B2 JP7441917 B2 JP 7441917B2
- Authority
- JP
- Japan
- Prior art keywords
- computing device
- image
- face
- region
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title description 11
- 238000000034 method Methods 0.000 claims description 172
- 230000009466 transformation Effects 0.000 claims description 82
- 238000000844 transformation Methods 0.000 claims description 39
- 238000005457 optimization Methods 0.000 claims description 22
- 238000013519 translation Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 description 48
- 210000000887 face Anatomy 0.000 description 42
- 230000006870 function Effects 0.000 description 39
- 238000004891 communication Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 10
- 239000013598 vector Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000013500 data storage Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 7
- 238000005452 bending Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 238000012952 Resampling Methods 0.000 description 4
- 238000003702 image correction Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013478 data encryption standard Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
携帯電話、パーソナルコンピュータおよびタブレットを含む多くの現代のコンピューティングデバイスは、スチルカメラおよび/またはビデオカメラといった撮像デバイスを含む。撮像デバイスは、人々、動物、風景および/または対象物を含む画像のような画像を撮像し得る。
1つの局面では、コンピュータによって実現される方法が提供される。画像を表す画像データが受け取られる。画像における第1の対象領域に対応する第1の画像エリアが決定される。画像についてのワーピングメッシュが決定される。第1の画像エリアに関連付けられるワーピングメッシュの第1の部分が決定される。ワーピングメッシュについてのコスト関数が決定される。ワーピングメッシュについてのコスト関数を決定することは、ワーピングメッシュの第1の部分に関連付けられる第1のコストであって、画像において表されるような第1の対象領域の1つ以上の幾何学的歪みを補正するよう、少なくとも第1の画像エリアの1つ以上の顔関連変換に関連付けられるコストを含む第1のコストを決定することと、ワーピングメッシュに関連付けられる第2のコストであって、少なくとも1つ以上の顔関連変換によって修正される画像のエッジの直線性を保存するための1つ以上のエッジ関連変換のコストを含む第2のコストを決定することとによって行われる。ワーピングメッシュについてのコスト関数の最適化に基づいて最適化メッシュが決定される。最適化メッシュに基づいて画像の第1の画像エリアが修正される。
対象物を撮影すると、3次元環境が2次元画像として再現される。これにより、空間における3次元点が2次元座標系に投影される。このような投影の結果として、さまざまな歪みが生じ得る。たとえば、射影歪み(perspective distortion)は、画像が撮像された画角が画像を見る画角と異なる場合に発生し得、撮像デバイスからさまざまな距離にある対象物の相対的な外観に歪みをもたらし得る。射影歪みのアーチファクトは、広視野(WFOV: Wide Field of View)撮像システムの使用において特に顕著であり得る。広視野撮像システムは、WFOVレンズおよび/またはWFOVセンサを含み得る。したがって、たとえば、スマートフォン、折り畳み式電話(flip phone)、タブレットといったモバイルコンピューティングデバイスまたは他のデバイス上にしばしば存在するWFOV撮像システムの利点は、画像忠実度における欠点にしばしば関連付けられる。このような影響は、画像の周辺部にある対象物についてしばしば特に顕著になる。
装置は、1つ以上の投影を使用してこれらのアーチファクトを補正することを補助し得る。より詳細には、1つ以上の入力画像の顔領域、すなわち、顔を表す入力画像の領域は、第1の投影を用いて局所的に補正され得、顔領域の外側の入力画像の領域は、第2の投影を用いて補正され得る。たとえば、第1の投影はステレオ投影(stereographic projection)であり得、第2の投影は透視投影(perspective projection)であり得る。第1の投影および/または第2の投影はメッシュで具現化され得る。さらに、メッシュ、第1の投影および/または第2の投影を使用して1つ以上の入力画像に対して行われた補正を反映する1つ以上の補正画像が、生成、表示、送信、および/または他の態様で作り出され得、いくつかの場合では、補正画像は、対応する入力画像のピクセルのすべてではないにしてもほとんどにメッシュ、第1の投影および/または第2の投影を使用して行われた補正を反映し得る。例として、本明細書において記載されるこれらの技術は、モバイルコンピューティングデバイスのソフトウェアアプリケーションにおいて具現化され得る。
メッシュ最適化問題は、画像の顔領域に対する正角図法と画像の残りに対する透視投影を組み合わせるよう、ワーピングメッシュ(warping mesh)上で解決され得る。次いで、メッシュ最適化問題を解決する最適化メッシュを使用して、射影歪みを有する関連する入力画像をワーピングすることによって、出力画像がレンダリングされ得る。
ングメッシュvにおいて表されるエネルギー項を最小化する最小化問題であり得る。他のメッシュ最適化問題も同様に可能である。
8.出力画像Oは、逆メッシュzを用いて生成される座標に基づいて入力画像Iのピクセルをサンプリングすることにより生成され得る。出力画像Oは、入力画像Iにおいて射影歪みに関連するアーチファクトを低減または除去することによって、入力画像Iを補正し得る。
対応する入力画像Iにおける射影歪みのいくつかまたはすべてを補正する補正出力画像Oを生成する際に使用する他の手順が可能である。
800のようなコンピューティングデバイスによって実行され得る。
mark)および/または他のマーク、ならびに、顔を保持する首を含み得るが、これらに
限定されない。ブロック120に関連する詳細な手順は、図8の文脈において以下に記載される。
像Iがレンズ歪みを含むか否かを決定し得る。画像Iがレンズ歪みを含む場合、画像マスクMをワーピングすることにより、レンズ歪みが補正され得る。
に記載される。
て表される人の顔の数(顔の数はこれに限定されない)などの顔の数であるNを決定し得る。たとえば、図2の入力画像200は、N=1人の人間の顔を表す。コンピューティングデバイスは、顔についての最小正角性コストCCminを決定し得る。顔についての正角性コストは、少なくともブロック774および776の文脈において以下により詳細に論じられる。コンピューティングデバイスは、値N1をNに等しくし得る。
FBNのいくつかもしくはすべてを決定するために、コンピューティングデバイスは、顔検出ソフトウェアを利用し得る。顔検出ソフトウェアは、画像Iにおいて顔を特定および/もしくはカウントし、ならびに/または、画像Iにおいて検出される顔についての顔ボックスを計算する。コンピューティングデバイスは、値kを1に等しくし得る。
CkがCCmin未満であるとコンピューティングデバイスが決定した場合、コンピューティングデバイスは、ブロック782に進み得る。そうでなければ、コンピューティングデバイスは、CCkがCCmin以上であると決定し得、コンピューティングデバイスは、ブロック780に進み得る。
xkおよびtykは、顔kのそれぞれのx座標の平行移動およびy座標の平行移動を表す。行列Skおよびベクトルtkによって表される顔kのスケーリング、回転および/または平行移動は、アフィン変換(affine transformation)のような、画像Iによって表さ
れるような顔kの1つ以上の幾何学的歪みを補正し得る変換であり得る。
EB(E)に関連付け得る。エッジ曲げ項EB(E)は、エッジEが変換された後にエッジEを曲げることに関連付けられるコストを表す。EB(E)は、エッジEの水平方向の向きまたは垂直方向の向きに依存して、2つの値のうちの1つに等しくなり得る。より具体的には、EB(E)は、以下のうちのいずれかのように決定され得る。
エッジEが垂直である場合、EB(E)=Wb×|Vi,x+Vj,x|2
式中、Wbは曲げ加重項であり得る。
を固定し得る。次いで、コンピューティングデバイスは、NBDRYに基づいてメッシュvの行数NRおよび列数NCをアップデートし得る。たとえば、NR=NR+NBDRYおよびNC=NC+NBDRYとする。
(すなわち、ブロック1060において追加されたメッシュvの頂点)について、コンピューティングデバイスは、Vjをメッシュ外インジケータ関数OMI(Vj)=1に関連付け得る。
頂点v′i間においてdhmin=min(v′i,x)として決定され得る。dvmax値は、メッシュV′の上部境目上の頂点v′i間においてdvmax=max(v′i,x)として決定され得る。dvmin値は、メッシュV′の底部境目上の頂点v′i間においてdvmin=min(v′i,x)として決定され得る。
大きいか否かを決定し得る。NRVの値は、最適化メッシュv′における行の数である。RNum値がNRVより大きいとコンピューティングデバイスが決定した場合、コンピューティングデバイスは、ブロック1250に進み得る。そうでなければ、コンピューティングデバイスは、RNum値がNRV以下であると決定し得、ブロック1210に進み得る。
を示す。
ティングデバイス1610のユーザが制御部1620を選択することによって進む。制御部1620が選択された後、コンピューティングデバイス1610は、少なくとも図1および図15の文脈においてより詳細に上で論じたように、出力画像1550を生成するよう方法100を使用する。出力画像1550を生成した後、シナリオ1600は、図16の下部に示されるように、コンピューティングデバイス1610が出力画像1550を表示するように継続する。出力画像1550において、入力画像1510の顔のすべてでなくいくつかは、入力画像1510における顔領域の直線および角度の外側の直線を変更することなく補正されている。
図17は、例示的な実施形態に従った分散コンピューティングアーキテクチャ1700を示す。分散コンピューティングアーキテクチャ1700は、ネットワーク1706を介して、プログラマブルデバイス1704a,1704b,1704c,1704d,1704eと通信するように構成されるサーバデバイス1708,1710を含み得る。ネットワーク1706は、LAN、ワイドエリアネットワーク(WAN: wide area network
)、企業イントラネット、公衆インターネット、または、ネットワーク接続されたコンピューティングデバイス同士間の通信経路を提供するように構成される任意の他のタイプのネットワークに対応し得る。ネットワーク1706はさらに、1つ以上のLAN、WAN、企業イントラネットおよび/または公衆インターネットの組み合わせに対応し得る。
スト、スクリプト、コンパイルされたソフトウェアのようなバイナリデータ、画像、オーディオ、および/または、ビデオを含み得るが、これらに限定されない。コンテンツは、圧縮コンテンツおよび/または非圧縮コンテンツを含み得る。コンテンツは暗号化され得、および/または、非暗号化され得る。他のタイプのコンテンツも同様に可能である。
図18は、例示的な実施形態に従った、例示的なコンピューティングデバイス1800の機能ブロック図である。特に、図18に示されるコンピューティングデバイス1800は、入力画像200、画像マスク300、ワーピングメッシュ400、最適化メッシュ500、出力画像600、コンピューティングデバイス1610、分散コンピューティングアーキテクチャ1700、プログラマブルデバイス1704a,1704b,1704c,1704d,1704e、ネットワーク1706、および/もしくは、サーバデバイス1708,1710の少なくとも1つの機能を実行するように構成され得、ならびに/または、方法100、シナリオ1400、シナリオ1500、シナリオ1600および/もしくは方法1900に関連する少なくとも1つの機能を実行するように構成され得る。
するように構成可能な1つ以上のワイヤレスインターフェイス1807および/または1つ以上の有線インターフェイス1808を含み得る。ワイヤレスインターフェイス1807は、ブルートゥース(登録商標)トランシーバ、Zigbee(登録商標)トランシーバ、Wi-Fi(登録商標)トランシーバ、WiMAX(登録商標)トランシーバ、および/または、ワイヤレスネットワークを介して通信するように構成可能な他の同様のタイプのワイヤレストランシーバといった1つ以上のワイヤレス送信機、受信機および/またはトランシーバを含み得る。有線インターフェイス1808は、イーサネット(登録商標)トランシーバ、ユニバーサルシリアルバス(USB: Universal Serial Bus)トランシーバ、または、ツイストペアワイヤ、同軸ケーブル、光ファイバリンクもしくは有線ネットワークへの同様の物理的接続を介して通信するように構成可能な同様のトランシーバといった1つ以上の有線送信機、受信機および/またはトランシーバを含み得る。
たはアルゴリズムを使用してセキュアにされ(たとえば、エンコードもしくは暗号化され)、および/または、復号化/デコードされ得る。当該暗号プロトコルおよび/またはアルゴリズムの例としては、データ暗号化標準(DES: Data Encryption Standard)、高度暗号化標準(AES: Advanced Encryption Standard)、リベスト・シャミア・エーデルマン(RSA: Rivest-Shamir-Adelman)アルゴリズム、ディフィー・ヘルマン(Diffie-Hellman)アルゴリズム、セキュアソケットレイヤー(SSL: Secure Sockets Layer
)もしくはトランスポートレイヤーセキュリティ(TLS: Transport Layer Security)といったセキュアソケットプロトコル、および/または、デジタルシグネチャーアルゴリズム(DSA: Digital Signature Algorithm)が挙げられるが、これらに限定されない
。通信をセキュアに(次いで、復号化/デコード)するために、他の暗号プロトコルおよび/またはアルゴリズムが、同様に、または、本明細書に列挙したものに加えて使用され得る。
、クイックレスポンス(QR: Quick Response)コード)リーダ、および、レーザトラ
ッカが挙げられるがこれらに限定されない。識別センサは、RFIDタグ、バーコード、QRコード(登録商標)、ならびに/または、読み取られるとともに少なくとも識別情報を提供するように構成される他のデバイスおよび/もしくはオブジェクトといったような識別子を読み取るように構成され得る。コンピューティングデバイス1800の位置および/または動きを測定するセンサの例としては、チルトセンサ、ジャイロスコープ、加速度計、ドップラーセンサ、グローバルポジショニングシステム(GPS: Global Positioning System)デバイス、ソナーセンサ、レーダデバイス、レーザ変位センサおよびコンパスが挙げられるがこれらに限定されない。環境センサの例としては、赤外線センサ、光学センサ、光センサ、カメラ、バイオセンサ、容量センサ、タッチセンサ、温度センサ、ワイヤレスセンサ、無線センサ、動きセンサ、マイクロフォン、サウンドセンサ、超音波センサおよび/または煙センサが挙げられるが、これらに限定されない。力センサの例としては、1つ以上の次元における力、トルク、重力(ground force)、摩擦を測定する1つ以上のセンサ、ならびに/または、ZMPおよび/もしくはZMPの位置を識別するゼロモーメントポイント(ZMP: zero moment point)センサが挙げられるが、これらに限定されない。センサ1820の多くの他の例も同様に可能である。
図19は、例示的な実施形態に従った方法1900のフローチャートである。方法1900は、コンピュータによって実現される方法であり得る。たとえば、方法1900は、コンピューティングデバイス1800のようなコンピューティングデバイスによって実行され得る。
変換のコストを含む第2のコストを決定することとによって行われる。
シュの右の境目の頂点のコストのうちの最小のものの右部最小コストを決定することと、最適化メッシュの上部境目の頂点のコストのうちの最大のものとして上部最大コストを決定することと、最適化メッシュの底部境目の頂点のコストのうちの最小のものの底部最小コストを決定することと、左部最大コスト、右部最小コスト、上部最大コストおよび底部最小コストに基づいて、最適化メッシュを修正することとを含む。
ィングデバイスに、方法1900を含む機能を実行させる。これらの例のいくつかでは、1つ以上のコンピュータ読取可能媒体は、1つ以上の一時的でないコンピュータ読取可能媒体を含み得る。
たは永続的長期ストレージといった、より長期間、プログラムコードおよび/またはデータを格納する一時的でないコンピュータ読取可能媒体を含み得る。コンピュータ読取可能媒体は、任意の他の揮発性または不揮発性ストレージシステムであってもよい。コンピュータ読取可能媒体は、たとえば、コンピュータ読取可能記憶媒体または有形のストレージデバイスと考えられ得る。
Claims (17)
- コンピュータによって実現される方法であって、
コンピューティングデバイスが、第1の対象領域を含む画像を受信することを含み、前記第1の対象領域は、前記画像の全体よりも小さく、
前記コンピュータによって実現される方法はさらに、
前記画像における射影歪みを補正することを含み、
前記画像における射影歪みを補正することは、
前記コンピューティングデバイスが、前記第1の対象領域の1つ以上の幾何学的歪みを補正するよう、少なくとも2つの顔関連変換を前記第1の対象領域に適用することと、
前記コンピューティングデバイスが、前記少なくとも2つの顔関連変換によって少なくとも修正された前記画像の前記全体の残りの部分における1つ以上のエッジの直線性を保存するよう、エッジ関連変換を適用することとによって行われ、
前記コンピュータによって実現される方法はさらに、
前記コンピューティングデバイスが、補正された前記画像を提供することを含む、コンピュータによって実現される方法。 - 前記第1の対象領域は、第1の人間の顔を表す、請求項1に記載のコンピュータによって実現される方法。
- 前記少なくとも2つの顔関連変換に基づいて前記第1の対象領域についてのアスペクト比を決定することによって、前記少なくとも2つの顔関連変換に関連付けられる第1のコストを決定することと、
前記エッジ関連変換に関連付けられる第2のコストを決定することとをさらに含み、
前記射影歪みを補正することは、前記第1のコストおよび前記第2のコストを含むコスト関数の最適化に基づく、請求項1または2に記載のコンピュータによって実現される方法。 - 前記アスペクト比を決定することは、
前記少なくとも2つの顔関連変換の第1の変換を使用して、前記第1の対象領域を第1の空間にマッピングすることと、
前記少なくとも2つの顔関連変換の第2の変換を使用して、前記第1の対象領域を第2の空間にマッピングすることとを含み、
前記アスペクト比は、前記第2の空間の面積に対する前記第1の空間の面積の比に基づく、請求項3に記載のコンピュータによって実現される方法。 - 前記第1の変換は透視変換を含み、前記第2の変換はステレオ変換を含む、請求項4に記載のコンピュータによって実現される方法。
- 前記少なくとも2つの顔関連変換は、前記第1の対象領域の回転、前記第1の対象領域の平行移動、および/または、前記第1の対象領域のスケーリングを含む、請求項1~5のいずれかに記載のコンピュータによって実現される方法。
- 前記コンピューティングデバイスが、前記画像を表示することと、
前記コンピューティングデバイスが、前記画像における前記射影歪みを補正するユーザ指示を受信することとをさらに含み、
前記射影歪みを補正することは、前記ユーザ指示に応答して実行される、請求項1~6のいずれかに記載のコンピュータによって実現される方法。 - 前記第1の対象領域は、第1の顔を表し、前記画像は、第2の顔を含む第2の対象領域を含み、
前記コンピュータによって実現される方法はさらに、
前記エッジ関連変換を適用する前に前記コンピューティングデバイスが、前記第2の対象領域の1つ以上の幾何学的歪みを補正するよう、前記少なくとも2つの顔関連変換を前記第2の対象領域に適用することをさらに含み、
前記エッジ関連変換は、前記第1の対象領域および前記第2の対象領域の外側の前記画像の部分に適用される、請求項1~7のいずれかに記載のコンピュータによって実現される方法。 - コンピューティングデバイスであって、
1つ以上のプロセッサと、
コンピュータ読取可能命令が格納されている1つ以上のコンピュータ読取可能媒体とを含み、前記コンピュータ読取可能命令は、前記1つ以上のプロセッサによって実行されると、前記コンピューティングデバイスに機能を実行させ、
前記機能は、
第1の対象領域を含む画像を受信することを含み、前記第1の対象領域は、前記画像の全体よりも小さく、
前記機能はさらに、
前記画像における射影歪みを補正することを含み、
前記画像における射影歪みを補正することは、
前記第1の対象領域の1つ以上の幾何学的歪みを補正するよう、少なくとも2つの顔関連変換を前記第1の対象領域に適用することと、
前記少なくとも2つの顔関連変換によって少なくとも修正された前記画像の前記全体の残りの部分における1つ以上のエッジの直線性を保存するよう、エッジ関連変換を適用することとによって行われ、
前記機能はさらに、
補正された前記画像を提供することを含む、コンピューティングデバイス。 - 前記第1の対象領域は、第1の人間の顔を表す、請求項9に記載のコンピューティングデバイス。
- 前記機能はさらに、
前記少なくとも2つの顔関連変換に基づいて前記第1の対象領域についてのアスペクト比を決定することによって、前記少なくとも2つの顔関連変換に関連付けられる第1のコストを決定することと、
前記エッジ関連変換に関連付けられる第2のコストを決定することとをさらに含み、
前記射影歪みを補正することは、前記第1のコストおよび前記第2のコストを含むコスト関数の最適化に基づく、請求項9または請求項10に記載のコンピューティングデバイス。 - 前記アスペクト比を決定することを含む前記機能は、
前記少なくとも2つの顔関連変換の第1の変換を使用して、前記第1の対象領域を第1の空間にマッピングすることと、
前記少なくとも2つの顔関連変換の第2の変換を使用して、前記第1の対象領域を第2の空間にマッピングすることとを含み、
前記アスペクト比は、前記第2の空間の面積に対する前記第1の空間の面積の比に基づく、請求項11に記載のコンピューティングデバイス。 - 前記第1の変換は透視変換を含み、前記第2の変換はステレオ変換を含む、請求項12に記載のコンピューティングデバイス。
- 前記少なくとも2つの顔関連変換は、前記第1の対象領域の回転、前記第1の対象領域の平行移動、および/または、前記第1の対象領域のスケーリングを含む、請求項9~13のいずれかに記載のコンピューティングデバイス。
- 前記機能はさらに、
前記コンピューティングデバイスが、前記画像を表示することと、
前記コンピューティングデバイスが、前記画像における前記射影歪みを補正するユーザ指示を受信することとをさらに含み、
前記射影歪みを補正することは、前記ユーザ指示に応答して実行される、請求項9~14のいずれかに記載のコンピューティングデバイス。 - 前記第1の対象領域は、第1の顔を表し、前記画像は、第2の顔を含む第2の対象領域を含み、
前記機能はさらに、
前記エッジ関連変換を適用する前に前記コンピューティングデバイスが、前記第2の対象領域の1つ以上の幾何学的歪みを補正するよう、前記少なくとも2つの顔関連変換を前記第2の対象領域に適用することをさらに含み、
前記エッジ関連変換は、前記第1の対象領域および前記第2の対象領域の外側の前記画像の部分に適用される、請求項9~15のいずれかに記載のコンピューティングデバイス。 - 請求項1~8のいずれかに記載の方法をコンピュータに実行させる、プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022163357A JP7441917B2 (ja) | 2018-05-07 | 2022-10-11 | 顔に対する射影歪み補正 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2018/031463 WO2019216879A1 (en) | 2018-05-07 | 2018-05-07 | Perspective distortion correction on faces |
JP2020562661A JP7158499B2 (ja) | 2018-05-07 | 2018-05-07 | 顔に対する射影歪み補正 |
JP2022163357A JP7441917B2 (ja) | 2018-05-07 | 2022-10-11 | 顔に対する射影歪み補正 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020562661A Division JP7158499B2 (ja) | 2018-05-07 | 2018-05-07 | 顔に対する射影歪み補正 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023011634A JP2023011634A (ja) | 2023-01-24 |
JP7441917B2 true JP7441917B2 (ja) | 2024-03-01 |
Family
ID=62245443
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020562661A Active JP7158499B2 (ja) | 2018-05-07 | 2018-05-07 | 顔に対する射影歪み補正 |
JP2022163357A Active JP7441917B2 (ja) | 2018-05-07 | 2022-10-11 | 顔に対する射影歪み補正 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020562661A Active JP7158499B2 (ja) | 2018-05-07 | 2018-05-07 | 顔に対する射影歪み補正 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11922720B2 (ja) |
EP (1) | EP3791356B1 (ja) |
JP (2) | JP7158499B2 (ja) |
KR (2) | KR20230065365A (ja) |
CN (1) | CN112055869A (ja) |
WO (1) | WO2019216879A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11132800B2 (en) * | 2019-07-31 | 2021-09-28 | Google Llc | Real time perspective correction on faces |
CN111028169B (zh) * | 2019-12-09 | 2024-02-06 | Oppo广东移动通信有限公司 | 图像校正方法、装置、终端设备和存储介质 |
CN111899159B (zh) * | 2020-07-31 | 2023-12-22 | 北京百度网讯科技有限公司 | 用于变换发型的方法、装置、设备以及存储介质 |
US11334961B2 (en) | 2020-08-06 | 2022-05-17 | Apple Inc. | Multi-scale warping circuit for image fusion architecture |
TWI824321B (zh) * | 2021-07-02 | 2023-12-01 | 創惟科技股份有限公司 | 影像控制器、影像處理系統及影像修正方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004038973A (ja) | 2002-06-28 | 2004-02-05 | Microsoft Corp | コンピュータイメージビューイングのためのリアルタイム広角イメージ補正のシステムおよび方法 |
CN105046657A (zh) | 2015-06-23 | 2015-11-11 | 浙江大学 | 一种图像拉伸畸变自适应校正方法 |
US20170069056A1 (en) | 2015-09-04 | 2017-03-09 | Adobe Systems Incorporated | Focal Length Warping |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150179218A1 (en) * | 2010-09-10 | 2015-06-25 | 3DOO, Inc. | Novel transcoder and 3d video editor |
US8922553B1 (en) * | 2011-04-19 | 2014-12-30 | Disney Enterprises, Inc. | Interactive region-based linear 3D face models |
US9972128B2 (en) * | 2012-07-20 | 2018-05-15 | The University Of British Columbia | Methods and systems for generating polycubes and all-hexahedral meshes of an object |
US9922458B2 (en) * | 2013-11-04 | 2018-03-20 | The University Of British Columbia | Methods and systems for generating polycube segmentations from input meshes of objects |
US20150131924A1 (en) * | 2013-11-13 | 2015-05-14 | Microsoft Corporation | Creation of Rectangular Images from Input Images |
US10257494B2 (en) * | 2014-09-22 | 2019-04-09 | Samsung Electronics Co., Ltd. | Reconstruction of three-dimensional video |
EP3213126A1 (en) * | 2014-10-31 | 2017-09-06 | Exxonmobil Upstream Research Company | Handling domain discontinuity in a subsurface grid model with the help of grid optimization techniques |
US9824494B2 (en) * | 2015-06-17 | 2017-11-21 | Adobe Systems Incorporated | Hybrid surfaces for mesh repair |
US10198872B2 (en) * | 2015-08-10 | 2019-02-05 | The Board Of Trustees Of The Leland Stanford Junior University | 3D reconstruction and registration of endoscopic data |
EP3335195A2 (en) * | 2015-08-14 | 2018-06-20 | Metail Limited | Methods of generating personalized 3d head models or 3d body models |
US9978120B2 (en) * | 2016-09-16 | 2018-05-22 | Adobe Systems Incorporated | Warping panoramic images to fit a boundary |
-
2018
- 2018-05-07 EP EP18727518.5A patent/EP3791356B1/en active Active
- 2018-05-07 KR KR1020237014506A patent/KR20230065365A/ko not_active Application Discontinuation
- 2018-05-07 CN CN201880093040.1A patent/CN112055869A/zh active Pending
- 2018-05-07 JP JP2020562661A patent/JP7158499B2/ja active Active
- 2018-05-07 KR KR1020207032050A patent/KR102528516B1/ko active IP Right Grant
- 2018-05-07 WO PCT/US2018/031463 patent/WO2019216879A1/en unknown
- 2018-05-07 US US17/050,262 patent/US11922720B2/en active Active
-
2022
- 2022-10-11 JP JP2022163357A patent/JP7441917B2/ja active Active
-
2024
- 2024-01-23 US US18/420,243 patent/US20240161538A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004038973A (ja) | 2002-06-28 | 2004-02-05 | Microsoft Corp | コンピュータイメージビューイングのためのリアルタイム広角イメージ補正のシステムおよび方法 |
CN105046657A (zh) | 2015-06-23 | 2015-11-11 | 浙江大学 | 一种图像拉伸畸变自适应校正方法 |
US20170069056A1 (en) | 2015-09-04 | 2017-03-09 | Adobe Systems Incorporated | Focal Length Warping |
Non-Patent Citations (2)
Title |
---|
Frederic DEVERNAY et al.,Straight lines have to be straight,Machine Vision and Applications,2001年08月,Vol. 13,No. 1,pp. 14-24,DOI: 10.1007/PL00013269 |
Ohad FRIED et al.,"Perspective-aware manipulation of portrait photos",ACM Transactions on Graphics,2016年07月11日,Vol. 35,No. 4,pp. 1-10,DOI: 10.1145/2897824.2925933 |
Also Published As
Publication number | Publication date |
---|---|
JP2023011634A (ja) | 2023-01-24 |
US20240161538A1 (en) | 2024-05-16 |
JP7158499B2 (ja) | 2022-10-21 |
KR102528516B1 (ko) | 2023-05-04 |
US20210110142A1 (en) | 2021-04-15 |
EP3791356A1 (en) | 2021-03-17 |
EP3791356B1 (en) | 2023-12-20 |
US11922720B2 (en) | 2024-03-05 |
KR20230065365A (ko) | 2023-05-11 |
JP2021523455A (ja) | 2021-09-02 |
WO2019216879A1 (en) | 2019-11-14 |
CN112055869A (zh) | 2020-12-08 |
KR20210006900A (ko) | 2021-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7441917B2 (ja) | 顔に対する射影歪み補正 | |
US11132800B2 (en) | Real time perspective correction on faces | |
US9729787B2 (en) | Camera calibration and automatic adjustment of images | |
US10467793B2 (en) | Computer implemented method and device | |
JP2019117577A (ja) | プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置 | |
JP7064257B2 (ja) | 画像深度確定方法及び生き物認識方法、回路、装置、記憶媒体 | |
US11961266B2 (en) | Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture | |
US11557086B2 (en) | Three-dimensional (3D) shape modeling based on two-dimensional (2D) warping | |
WO2022121842A1 (zh) | 文本图像的矫正方法及装置、设备和介质 | |
US11893681B2 (en) | Method for processing two-dimensional image and device for executing method | |
JP7110899B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
WO2022121843A1 (zh) | 文本图像的矫正方法及装置、设备和介质 | |
US20230093827A1 (en) | Image processing framework for performing object depth estimation | |
KR102376948B1 (ko) | 고속, 고성능 얼굴 추적 | |
US12002132B1 (en) | Rendering using analytic signed distance fields | |
US20240104686A1 (en) | Low-Latency Video Matting | |
JP2022137198A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP2022077221A (ja) | 画像処理装置、画像処理システム、画像処理方法、およびプログラム | |
JP2006259984A (ja) | 画像補正装置、画像補正プログラム及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221101 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7441917 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |