JP2024020074A - 情報処理方法及び情報処理装置 - Google Patents
情報処理方法及び情報処理装置 Download PDFInfo
- Publication number
- JP2024020074A JP2024020074A JP2022122964A JP2022122964A JP2024020074A JP 2024020074 A JP2024020074 A JP 2024020074A JP 2022122964 A JP2022122964 A JP 2022122964A JP 2022122964 A JP2022122964 A JP 2022122964A JP 2024020074 A JP2024020074 A JP 2024020074A
- Authority
- JP
- Japan
- Prior art keywords
- image
- user
- information processing
- control unit
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 51
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000009966 trimming Methods 0.000 claims abstract description 12
- 239000002131 composite material Substances 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 12
- 238000004891 communication Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 210000004709 eyebrow Anatomy 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005401 electroluminescence Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 210000004209 hair Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2622—Signal amplitude transition in the zone between image portions, e.g. soft edges
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computing Systems (AREA)
- Image Processing (AREA)
- Geometry (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
本開示は、情報処理方法及び情報処理装置に関する。
撮影により得られた2枚の画像の重複領域を検出した結果に基づいて2枚の画像を合成する装置が知られている(例えば、特許文献1参照)。
2枚の画像を結合する場合、画像の結合部分において、各画像の撮影位置又は撮影方向の違いに起因して被写体が歪むことがある。
かかる事情に鑑みてなされた本開示の目的は、画像の結合部分における被写体の歪みを低減することにある。
本開示の一実施形態に係る情報処理方法は、撮影範囲が互いに一部において重複する複数の撮影部のそれぞれで被写体を撮影して得られた、重複領域を有する複数の画像のそれぞれについて、前記重複領域における被写体の特徴点の位置を検出することと、前記各画像における前記特徴点の位置を基準とした仮想線が前記重複領域に含まれる画像に対して、前記仮想線の位置でトリミングを行うことと、前記複数の画像を結合して1つの合成画像を生成することとを含む。
本開示の一実施形態に係る情報処理装置は、複数の撮影部と、制御部とを備える。前記複数の撮影部のそれぞれは、互いに重複領域を有する画像を撮影する。前記制御部は、前記各撮影部が撮影した画像について、前記重複領域における被写体の特徴点の位置を検出する。前記制御部は、前記各画像における前記特徴点の位置を基準とした仮想線が前記重複領域に含まれる画像に対して、前記仮想線の位置でトリミングを行い、前記複数の画像を結合して1つの合成画像を生成する。
本開示の一実施形態に係る情報処理方法及び情報処理装置によれば、画像の結合部分における被写体の歪みが低減され得る。
(情報処理装置10の構成例)
図1に示されるように、一実施形態に係る情報処理装置10は、制御部11と、記憶部12と、インタフェース13と、撮影部14とを備える。情報処理装置10は、必須ではないが表示装置20に接続される。情報処理装置10は、表示装置20を備えてもよい。
図1に示されるように、一実施形態に係る情報処理装置10は、制御部11と、記憶部12と、インタフェース13と、撮影部14とを備える。情報処理装置10は、必須ではないが表示装置20に接続される。情報処理装置10は、表示装置20を備えてもよい。
情報処理装置10は、ノートPC(Personal Computer)、デスクトップPC、又はタブレットPC等のPCを含んで構成されてよい。情報処理装置10は、ユーザが所持するスマートフォン又はタブレット等の携帯端末を含んで構成されてもよい。情報処理装置10は、これらの例に限られず、種々の機器を含んで構成されてよい。以下、情報処理装置10の各構成部が説明される。
<制御部11>
制御部11は、情報処理装置10の少なくとも1つの構成部を制御する。制御部11及び21は、同一又は類似に構成されてよい。制御部11は、1つ以上のプロセッサを含んで構成されてよい。本実施形態において「プロセッサ」は、汎用のプロセッサ、特定の処理に特化した専用のプロセッサ等であるが、これらに限られない。制御部11は、1つ以上の専用回路を含んで構成されてもよい。専用回路は、例えば、FPGA(Field-Programmable Gate Array)又はASIC(Application Specific Integrated Circuit)を含んでよい。制御部11は、プロセッサの代わりに専用回路を含んで構成されてもよいし、プロセッサとともに専用回路を含んで構成されてもよい。
制御部11は、情報処理装置10の少なくとも1つの構成部を制御する。制御部11及び21は、同一又は類似に構成されてよい。制御部11は、1つ以上のプロセッサを含んで構成されてよい。本実施形態において「プロセッサ」は、汎用のプロセッサ、特定の処理に特化した専用のプロセッサ等であるが、これらに限られない。制御部11は、1つ以上の専用回路を含んで構成されてもよい。専用回路は、例えば、FPGA(Field-Programmable Gate Array)又はASIC(Application Specific Integrated Circuit)を含んでよい。制御部11は、プロセッサの代わりに専用回路を含んで構成されてもよいし、プロセッサとともに専用回路を含んで構成されてもよい。
<記憶部12>
記憶部12は、情報処理装置10の動作に用いられる任意の情報を格納する。記憶部12又は22は、同一又は類似に構成されてよい。記憶部12は、システムプログラム、又はアプリケーションプログラム等を格納してもよい。記憶部12は、例えば半導体メモリ、磁気メモリ、又は光メモリ等を含んで構成されてよいが、これらに限られず他の種々のメモリを含んで構成されてもよい。記憶部12は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部12は、磁気ディスク等の電磁記憶媒体を含んで構成されてもよい。記憶部12は、非一時的なコンピュータ読み取り可能な媒体を含んで構成されてもよい。記憶部12は、制御部11に含まれてもよい。
記憶部12は、情報処理装置10の動作に用いられる任意の情報を格納する。記憶部12又は22は、同一又は類似に構成されてよい。記憶部12は、システムプログラム、又はアプリケーションプログラム等を格納してもよい。記憶部12は、例えば半導体メモリ、磁気メモリ、又は光メモリ等を含んで構成されてよいが、これらに限られず他の種々のメモリを含んで構成されてもよい。記憶部12は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部12は、磁気ディスク等の電磁記憶媒体を含んで構成されてもよい。記憶部12は、非一時的なコンピュータ読み取り可能な媒体を含んで構成されてもよい。記憶部12は、制御部11に含まれてもよい。
<インタフェース13>
インタフェース13は、情報処理装置10において、制御部11から情報又はデータ等を出力したり、制御部11に情報又はデータ等を入力したりする。インタフェース13は、ネットワークを介して、又は、ネットワークを介さずに、他の情報処理装置10等の他の機器と通信可能に構成される通信モジュールを含んでよい。通信モジュールは、例えば4G(4th Generation)又は5G(5th Generation)等の移動体通信規格に対応してよい。通信モジュールは、LAN(Local Area Network)等の通信規格に対応してもよい。通信モジュールは、有線又は無線の通信規格に対応してもよい。通信モジュールは、これらに限られず、種々の通信規格に対応してよい。インタフェース13は、外部の通信モジュールに接続可能に構成されてもよい。
インタフェース13は、情報処理装置10において、制御部11から情報又はデータ等を出力したり、制御部11に情報又はデータ等を入力したりする。インタフェース13は、ネットワークを介して、又は、ネットワークを介さずに、他の情報処理装置10等の他の機器と通信可能に構成される通信モジュールを含んでよい。通信モジュールは、例えば4G(4th Generation)又は5G(5th Generation)等の移動体通信規格に対応してよい。通信モジュールは、LAN(Local Area Network)等の通信規格に対応してもよい。通信モジュールは、有線又は無線の通信規格に対応してもよい。通信モジュールは、これらに限られず、種々の通信規格に対応してよい。インタフェース13は、外部の通信モジュールに接続可能に構成されてもよい。
ネットワークは、インターネット、少なくとも1つのWAN(Wide Area Network)、少なくとも1つのMAN(Metropolitan Area Network)、又はこれらの任意の組合せを含んで構成されてよい。ネットワークは、少なくとも1つの無線ネットワーク、少なくとも1つの光ネットワーク、又はこれらの任意の組合せを含んで構成されてもよい。無線ネットワークは、例えば、アドホックネットワーク、セルラーネットワーク、無線LAN(Local Area Network)、衛星通信ネットワーク、又は地上マイクロ波ネットワークを含んで構成されてよい。
インタフェース13は、USB(Universal Serial Bus)又はBluetooth(登録商標)等の規格に対応するように構成されてもよい。
インタフェース13は、ユーザから情報又はデータ等の入力を受け付ける入力デバイスを含んで構成されてよい。入力デバイスは、例えば、タッチパネル若しくはタッチセンサ、又はマウス等のポインティングデバイスを含んで構成されてよい。入力デバイスは、物理キーを含んで構成されてもよい。入力デバイスは、マイク等の音声入力デバイスを含んで構成されてもよい。インタフェース13は、外部の入力デバイスに接続可能に構成されてもよい。
インタフェース13は、ユーザに対して情報又はデータ等を出力する出力デバイスを含んで構成されてよい。出力デバイスは、後述する表示装置20に表示させる情報又はデータを表示装置20に対して出力するように構成されてよい。出力デバイスは、例えば、音声等の聴覚情報を出力するスピーカ等の音声出力デバイスを含んでよい。出力デバイスは、例えば振動等の触覚情報を出力するバイブレータ等の振動デバイスを含んでよい。出力デバイスは、これらの例に限られず、他の種々のデバイスを含んでよい。インタフェース13は、外部の出力デバイスに接続可能に構成されてもよい。
<撮影部14>
撮影部14は、RGB画像を撮影するカメラ等の撮影デバイスを含んでよい。撮影部14は、デプス画像を取得するデプスセンサ又はステレオカメラ等の測距デバイスを含んでよい。情報処理装置10は、外部の撮影デバイス又は測距デバイスから、インタフェース13を介して、画像又は測距データ(デプスデータ)を取得してもよい。撮影部14の撮影デバイス又は測距デバイスの機能は、インタフェース13の機能に含まれてもよい。
撮影部14は、RGB画像を撮影するカメラ等の撮影デバイスを含んでよい。撮影部14は、デプス画像を取得するデプスセンサ又はステレオカメラ等の測距デバイスを含んでよい。情報処理装置10は、外部の撮影デバイス又は測距デバイスから、インタフェース13を介して、画像又は測距データ(デプスデータ)を取得してもよい。撮影部14の撮影デバイス又は測距デバイスの機能は、インタフェース13の機能に含まれてもよい。
図2に示されるように、撮影部14は、第1撮影部14Aと第2撮影部14Bとを含む。第1撮影部14A及び第2撮影部14Bは、表示装置20の額縁の上下に設置されているがこれに限られず種々の態様で設置されてよい。例えば第1撮影部14A及び第2撮影部14Bは、表示装置20の左右に設置されてよいし、表示装置20から分離して設置されてもよい。撮影部14の数は、2台に限られず、3台以上であってもよい。
<表示装置20>
表示装置20は、画像又は文字若しくは図形等の視覚情報を表示するように構成される。表示装置20は、例えば、LCD(Liquid Crystal Display)、有機EL(Electro-Luminescence)ディスプレイ若しくは無機ELディスプレイ、又は、PDP(Plasma Display Panel)等を含んで構成されてよい。表示装置20は、これらのディスプレイに限られず、他の種々の方式のディスプレイを含んで構成されてよい。表示装置20は、LED(Light Emitting Diode)又はLD(Laser Diode)等の発光デバイスを含んで構成されてよい。表示装置20は、他の種々のデバイスを含んで構成されてよい。
表示装置20は、画像又は文字若しくは図形等の視覚情報を表示するように構成される。表示装置20は、例えば、LCD(Liquid Crystal Display)、有機EL(Electro-Luminescence)ディスプレイ若しくは無機ELディスプレイ、又は、PDP(Plasma Display Panel)等を含んで構成されてよい。表示装置20は、これらのディスプレイに限られず、他の種々の方式のディスプレイを含んで構成されてよい。表示装置20は、LED(Light Emitting Diode)又はLD(Laser Diode)等の発光デバイスを含んで構成されてよい。表示装置20は、他の種々のデバイスを含んで構成されてよい。
(情報処理装置10の動作例)
情報処理装置10は、ユーザの複数の部位を別々に被写体とした複数の画像を撮影し、複数の画像を合成することによって、ユーザの広い範囲を撮影した画像を生成する。このようにすることで、被写体として写そうとするユーザの全体が撮影部14の撮影範囲から見切れないようにするためのユーザの位置の自由度が増大する。情報処理装置10は、ユーザの顔の全体を被写体として写すように動作してよいし、ユーザの上半身又は全身を被写体として写すように動作してもよい。以下、情報処理装置10の具体的な動作例が説明される。
情報処理装置10は、ユーザの複数の部位を別々に被写体とした複数の画像を撮影し、複数の画像を合成することによって、ユーザの広い範囲を撮影した画像を生成する。このようにすることで、被写体として写そうとするユーザの全体が撮影部14の撮影範囲から見切れないようにするためのユーザの位置の自由度が増大する。情報処理装置10は、ユーザの顔の全体を被写体として写すように動作してよいし、ユーザの上半身又は全身を被写体として写すように動作してもよい。以下、情報処理装置10の具体的な動作例が説明される。
<撮影部14による撮影>
情報処理装置10は、複数の撮影部14を備える。図2に示されるように、撮影部14は、第1撮影部14Aと第2撮影部14Bとを含むとする。本動作例において、撮影部14の数が2台であるとする。
情報処理装置10は、複数の撮影部14を備える。図2に示されるように、撮影部14は、第1撮影部14Aと第2撮影部14Bとを含むとする。本動作例において、撮影部14の数が2台であるとする。
第1撮影部14Aは、ユーザを被写体として写そうとする全体の範囲のうちの一部の範囲を撮影して、図3Aに例示される第1ユーザ画像30Aを生成する。第2撮影部14Bは、ユーザを被写体として写そうとする全体の範囲のうちの他の一部の範囲を撮影して、図3Bに例示される第2ユーザ画像30Bを生成する。図3Aの例において、第1ユーザ画像30Aにユーザの顔の上部が写っている。図3Bの例において、第2ユーザ画像30Bにユーザの顔の下部が写っている。本動作例において、情報処理装置10は、ユーザの顔の全体を被写体として写すように動作する。
第1撮影部14A及び第2撮影部14Bのそれぞれの撮影範囲は、被写体とするユーザの一部の部位が撮影範囲の一部に重複して含まれるように設定される。撮影範囲に重複して含まれる部分は、重複部分とも称される。第1ユーザ画像30A及び第2ユーザ画像30Bにおいて、ユーザの重複部分を撮影した領域が破線の枠で囲まれた重複領域32として示されている。重複部分以外のユーザの部分は、非重複部分とも称される。ユーザの非重複部分を撮影した領域は、第1ユーザ画像30A及び第2ユーザ画像30Bにおいて、重複領域32以外の領域に対応する。
第1撮影部14A及び第2撮影部14Bのそれぞれの撮影範囲は、撮影範囲に非重複部分のそれぞれ異なる部分が含まれるように設定される。例えば、第1撮影部14Aの撮影範囲がユーザの重複部分と第1の非重複部分とを含むように設定される場合、第2撮影部14Bの撮影範囲は、ユーザの重複部分と、第1の非重複部分と重複しない第2の非重複部分とを含むように設定される。図3Aの第1ユーザ画像30A及び図3Bの第2ユーザ画像30Bにおいて、ユーザの重複部分を写した領域は重複領域32に対応する。図3Aの第1ユーザ画像30Aにおいて、ユーザの第1非重複部分を写した領域は、重複領域32に含まれない、眉よりも上の領域に対応する。図3Bの第2ユーザ画像30Bにおいて、ユーザの第2非重複部分を写した領域は、重複領域32に含まれない、顎よりも下の領域に対応する。
<画像の合成>
情報処理装置10の制御部11は、第1ユーザ画像30A及び第2ユーザ画像30Bのそれぞれを解析する。制御部11は、例えば、各画像に写っているユーザの顔から、目、鼻、口、耳、眉、又は頭髪等の特徴的な部位を抽出してよい。制御部11は、例えば、各画像に写っているユーザの身体から、手、足、頭又は胴体等の特徴的な部位を抽出してよい。制御部11は、抽出した各部位の位置又は向きを検出してよい。制御部11は、ユーザの顔又は身体の各部位を、ボーン又はジョイントを含む骨格情報として検出してもよい。
情報処理装置10の制御部11は、第1ユーザ画像30A及び第2ユーザ画像30Bのそれぞれを解析する。制御部11は、例えば、各画像に写っているユーザの顔から、目、鼻、口、耳、眉、又は頭髪等の特徴的な部位を抽出してよい。制御部11は、例えば、各画像に写っているユーザの身体から、手、足、頭又は胴体等の特徴的な部位を抽出してよい。制御部11は、抽出した各部位の位置又は向きを検出してよい。制御部11は、ユーザの顔又は身体の各部位を、ボーン又はジョイントを含む骨格情報として検出してもよい。
制御部11は、第1ユーザ画像30Aと第2ユーザ画像30Bとに重複して写っている領域として、重複領域32を検出する。制御部11は、ユーザの特徴的な部位の抽出結果に基づいて第1ユーザ画像30Aと第2ユーザ画像30Bとの重複領域32を検出してよい。制御部11は、第1ユーザ画像30Aと第2ユーザ画像30Bとを部分的に比較することによって重複領域32を検出してもよい。
制御部11は、第1ユーザ画像30Aと第2ユーザ画像30Bとで重複領域32同士を重ねるように合成することによって、ユーザを被写体として写そうとする全体の範囲を含む画像を生成する。具体的に、制御部11は、第1ユーザ画像30A又は第2ユーザ画像30Bの一方又は両方を重複領域32の中に位置する線に沿ってトリミングする。制御部11は、トリミングによって、重複領域32のうち第1ユーザ画像30Aに残る部分を第2ユーザ画像30Bから除去し、重複領域32のうち第2ユーザ画像30Bに残る部分を第1ユーザ画像30Aから除去する。制御部11は、トリミングした第1ユーザ画像30Aと第2ユーザ画像30Bとを結合することによって、第1ユーザ画像30Aと第2ユーザ画像30Bとを合成した1枚の画像を生成する。
<画像をトリミングする線の決定>
制御部11は、画像の解析結果に基づいて、画像をトリミングする線を決定する。制御部11が画像をトリミングする線として決定される仮想的な線は、二点鎖線の仮想線34として図3A及び図3Bに例示される。
制御部11は、画像の解析結果に基づいて、画像をトリミングする線を決定する。制御部11が画像をトリミングする線として決定される仮想的な線は、二点鎖線の仮想線34として図3A及び図3Bに例示される。
制御部11は、第1ユーザ画像30Aと第2ユーザ画像30Bとの結合部分の歪みが小さくなるように、仮想線34を決定する。例えば、仮想線34がユーザの鼻を上下に分けるように位置する場合、第1ユーザ画像30Aと第2ユーザ画像30Bとを合成した画像において鼻の歪みが大きく見え得る。そこで、制御部11は、ひとまとまりの部位を分けないように仮想線34を決定してよい。
制御部11は、ユーザの画像から抽出したユーザの各部位の位置又は形状等の種々の特徴に基づいて、仮想線34を決定してよい。言い換えれば、制御部11は、重複領域32における被写体としてのユーザの特徴点の位置を検出し、特徴点の位置を基準として仮想線34を決定してよい。
制御部11は、例えば、ユーザの顎、又は、顎よりも下の部分を通る線を仮想線34として決定してよい。制御部11は、例えば、ユーザの鼻の下と口との間の領域を通る線、又は、ユーザの鼻の下から所定距離だけ下の位置を通る線を仮想線34として決定してよい。制御部11は、例えば、ユーザの眉と頭髪との間の領域、すなわち額を通る線、又は、ユーザの眉から所定距離だけ上の位置を通る線を仮想線34として決定してよい。制御部11は、例えば、ユーザがマスクを装着している場合に、マスクの上端又は下端の少なくとも一部を通る線を仮想線34として決定してよい。制御部11は、ユーザの画像の全体において仮想線34を決定してよいし、重複領域32の中だけで仮想線34を決定してもよい。
図3A及び図3Bにおいて、仮想線34は、直線として例示されているが、曲線を含んで構成されてもよいし、複数の線分を含んだ折れ線として構成されてもよい。
制御部11は、決定した仮想線34の全体が重複領域32の中に位置する場合、仮想線34で第1ユーザ画像30A又は第2ユーザ画像30Bをトリミングする。制御部11は、仮想線34でトリミングした第1ユーザ画像30A及び第2ユーザ画像30Bをトリミングした線で結合し、図3Cに示されるように合成画像40を生成する。図3Cに例示される合成画像40において、重複領域32と仮想線34とが示される。図3A、図3B及び図3Cに例示される仮想線34は、ユーザの鼻の下と口との間の領域を通る線として決定されている。仮想線34が鼻又は口のようなひとまとまりの部位を分けないように決定されることによって、合成画像40におけるユーザの顔の歪みが小さくなり得る。
制御部11は、決定した仮想線34の一部だけが重複領域32の中に位置する場合、重複領域32の中に位置する仮想線34と、重複領域32の輪郭の線とをつないだ線に沿って画像をトリミングしてよい。制御部11は、決定した仮想線34の全体が重複領域32の中に位置しない場合、重複領域32の輪郭の線に沿って画像をトリミングしてよい。つまり、制御部11は、決定した仮想線34の少なくとも一部が重複領域32の中に位置しない場合、重複領域32の輪郭の線を含む線に沿って画像をトリミングしてよい。
制御部11は、仮想線34が重複領域32の中に存在せず重複領域32の外だけに存在する場合、仮想線34が重複領域32の中に入るように、ユーザに対して移動を提案してよい。この場合に必要な移動量は、ユーザを被写体として写そうとする範囲の全体を1台の撮影部14の撮影範囲の中だけに収める場合よりも低減され得る。つまり、ユーザを被写体として写そうとする範囲の全体を撮影した画像を生成するときのユーザの位置の自由度が増大し得る。
制御部11は、ユーザが動くたびに仮想線34を決定し直してよい。例えば、制御部11は、ユーザを写した動画の1枚又は複数枚のフレーム毎に仮想線34を決定し直してよい。つまり、制御部11は、仮想線34を動的に変更してよい。このようにすることで、被写体が動いたときでも被写体の歪みが低減され得る。
制御部11は、3枚以上の画像を合成する場合であっても、各画像が重複している領域を検出し、重複している領域毎に仮想線34を決定し、仮想線34の位置で画像をトリミングして1枚の画像に合成してよい。
<情報処理方法の手順例>
以上述べてきたように、本実施形態に係る情報処理装置10は、ユーザを被写体として撮影した複数の画像を合成して表示する。情報処理装置10の制御部11は、例えば図4に例示されるフローチャートの手順を含む情報処理方法を実行してよい。情報処理方法は、制御部11に実行させる情報処理プログラムとして実現されてもよい。情報処理プログラムは、非一時的なコンピュータ読み取り可能媒体に格納されてよい。
以上述べてきたように、本実施形態に係る情報処理装置10は、ユーザを被写体として撮影した複数の画像を合成して表示する。情報処理装置10の制御部11は、例えば図4に例示されるフローチャートの手順を含む情報処理方法を実行してよい。情報処理方法は、制御部11に実行させる情報処理プログラムとして実現されてもよい。情報処理プログラムは、非一時的なコンピュータ読み取り可能媒体に格納されてよい。
制御部11は、第1ユーザ画像30A及び第2ユーザ画像30Bを取得する(ステップS1)。制御部11は、第1ユーザ画像30A及び第2ユーザ画像30Bにおいて重複領域32及び仮想線34を解析する(ステップS2)。
制御部11は、仮想線34が重複領域32の中に含まれるか判定する(ステップS3)。制御部11は、仮想線34が重複領域32の中に含まれる場合(ステップS3:YES)、仮想線34の位置で、第1ユーザ画像30A及び第2ユーザ画像30Bをトリミングする(ステップS4)。制御部11は、仮想線34が重複領域32の中に含まれない場合(ステップS3:NO)、重複領域32内で適宜設定した所定位置で、第1ユーザ画像30A及び第2ユーザ画像30Bをトリミングする(ステップS5)。
制御部11は、ステップS4又はS5のトリミングの手順の実行後、トリミングした第1ユーザ画像30A及び第2ユーザ画像30Bを合成して合成画像40を生成する(ステップS6)。制御部11は、ステップS6の手順の実行後、図4のフローチャートの手順の実行を終了する。
<小括>
以上述べてきたように本実施形態に係る情報処理装置10は、重複領域32の中で決定した仮想線34で複数の画像を結合し、1枚の合成画像40を生成する。このようにすることで、合成画像40における被写体の顔又は身体等の歪みが小さくされ得る。つまり、合成画像40の結合部分における被写体の歪みが低減され得る。また、情報処理装置10は、仮想線34を被写体の特徴点に基づいて決定できる。つまり、情報処理装置10は、トリミングのために用いる仮想線34を動的に変更できる。このようにすることで、被写体が動いたときでも被写体の歪みが低減され得る。
以上述べてきたように本実施形態に係る情報処理装置10は、重複領域32の中で決定した仮想線34で複数の画像を結合し、1枚の合成画像40を生成する。このようにすることで、合成画像40における被写体の顔又は身体等の歪みが小さくされ得る。つまり、合成画像40の結合部分における被写体の歪みが低減され得る。また、情報処理装置10は、仮想線34を被写体の特徴点に基づいて決定できる。つまり、情報処理装置10は、トリミングのために用いる仮想線34を動的に変更できる。このようにすることで、被写体が動いたときでも被写体の歪みが低減され得る。
(他の実施形態)
以下、他の実施形態に係る情報処理装置10の構成例が説明される。
以下、他の実施形態に係る情報処理装置10の構成例が説明される。
<3次元画像の表示>
情報処理装置10は、撮影部14でユーザのRGB画像とデプス画像とを撮影し、ユーザの立体的な画像、すなわち3次元画像を表示してよい。以下、立体的な画像を表示するための具体的な動作が説明される。
情報処理装置10は、撮影部14でユーザのRGB画像とデプス画像とを撮影し、ユーザの立体的な画像、すなわち3次元画像を表示してよい。以下、立体的な画像を表示するための具体的な動作が説明される。
情報処理装置10の撮影部14は、ユーザの身体の少なくとも一部のRGB画像を撮影するとともに、ユーザの身体の少なくとも一部の部位までの距離を測定してデプス画像を生成する。デプス画像は、複数のピクセルを有する距離マップとして表されてよい。距離マップにおいて、各ピクセルに対応する部位までの距離の測定結果が各ピクセルに対応づけられる。デプス画像のピクセルの数及び配置は、RGB画像のピクセルの数及び配置と一致してもよいし異なってもよい。
情報処理装置10の制御部11は、デプス画像に基づいてユーザの立体的な画像を生成する。制御部11は、デプス画像に基づいてユーザの3次元ポリゴンデータを生成し、3次元ポリゴンデータを構成する各ポリゴンにRGB画像をレンダリングすることによって立体的な画像を生成してよい。制御部11は、デプス画像に基づいてユーザのボクセルデータを生成し、各ボクセルにRGB画像の各ピクセルを割り当てることによって立体的な画像を生成してもよい。つまり、制御部11は、ユーザの3次元データにRGB画像をマッピングすることによってユーザの立体的な画像を生成してよい。制御部11は、これに限られず種々の態様でユーザの立体的な画像を生成してよい。
制御部11は、ユーザの3次元ポリゴンデータにレンダリングするRGB画像として、第1ユーザ画像30Aと第2ユーザ画像30Bとを用いてよい。この場合、制御部11は、第1ユーザ画像30A及び第2ユーザ画像30Bを3次元ポリゴンデータの一部のポリゴンのつなぎ目に合わせてトリミングしてよい。具体的に、制御部11は、第1ユーザ画像30A及び第2ユーザ画像30Bをトリミングするときの仮想線34を、画像をレンダリングするポリゴンの輪郭に沿った線として決定してよい。
制御部11は、ユーザのボクセルデータに割り当てるRGB画像として、第1ユーザ画像30Aと第2ユーザ画像30Bとを用いてよい。この場合、制御部11は、第1ユーザ画像30A及び第2ユーザ画像30Bを、ユーザのボクセルデータの表面の曲率半径が小さい部分(急激に曲がる部分)を境界としてつなぐようにトリミングしてよい。具体的に、制御部11は、ユーザのボクセルデータの表面のボクセル単位の凹凸を平均化した面の各部の曲率半径を算出し、曲率半径が所定値未満になる位置で複数の画像を結合するように画像をトリミングしてよい。つまり、制御部11は、第1ユーザ画像30A及び第2ユーザ画像30Bをトリミングするときの仮想線34を、曲率半径が所定値未満になる位置を含む線として決定してよい。
以上述べてきたように、制御部11は、被写体としてのユーザの3次元データに合成画像40をマッピングすることによって、ユーザの立体的な画像を生成してよい。
本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び改変を行うことが可能であることに注意されたい。したがって、これらの変形及び改変は本開示の範囲に含まれることに留意されたい。例えば、各手段又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段又はステップ等を1つに組み合わせたり、或いは分割したりすることが可能である。
10 情報処理装置(11:制御部、12:記憶部、13:インタフェース、14:撮影部、14A:第1撮影部、14B:第2撮影部)
20 表示装置
30A、30B 第1ユーザ画像、第2ユーザ画像
32 重複領域
34 仮想線
40 合成画像
20 表示装置
30A、30B 第1ユーザ画像、第2ユーザ画像
32 重複領域
34 仮想線
40 合成画像
Claims (3)
- 撮影範囲が互いに一部において重複する複数の撮影部のそれぞれで被写体を撮影して得られた、重複領域を有する複数の画像のそれぞれについて、前記重複領域における被写体の特徴点の位置を検出することと、
前記各画像における前記特徴点の位置を基準とした仮想線が前記重複領域に含まれる画像に対して、前記仮想線の位置でトリミングを行うことと、
前記複数の画像を結合して1つの合成画像を生成することと
を含む、情報処理方法。 - 前記被写体のデプス画像を取得することと、
前記デプス画像に基づいて前記被写体の3次元データを生成することと、
前記被写体の3次元データに前記合成画像をマッピングすることと
を更に含む、請求項1に記載の情報処理方法。 - 複数の撮影部と、制御部とを備え、
前記複数の撮影部のそれぞれは、互いに重複領域を有する画像を撮影し、
前記制御部は、
前記各撮影部が撮影した画像について、前記重複領域における被写体の特徴点の位置を検出し、
前記各画像における前記特徴点の位置を基準とした仮想線が前記重複領域に含まれる画像に対して、前記仮想線の位置でトリミングを行い、
前記複数の画像を結合して1つの合成画像を生成する、
情報処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022122964A JP2024020074A (ja) | 2022-08-01 | 2022-08-01 | 情報処理方法及び情報処理装置 |
US18/355,555 US20240037711A1 (en) | 2022-08-01 | 2023-07-20 | Information processing method and information processing apparatus |
CN202310943340.7A CN117499795A (zh) | 2022-08-01 | 2023-07-28 | 信息处理方法以及信息处理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022122964A JP2024020074A (ja) | 2022-08-01 | 2022-08-01 | 情報処理方法及び情報処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024020074A true JP2024020074A (ja) | 2024-02-14 |
Family
ID=89664511
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022122964A Pending JP2024020074A (ja) | 2022-08-01 | 2022-08-01 | 情報処理方法及び情報処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240037711A1 (ja) |
JP (1) | JP2024020074A (ja) |
CN (1) | CN117499795A (ja) |
-
2022
- 2022-08-01 JP JP2022122964A patent/JP2024020074A/ja active Pending
-
2023
- 2023-07-20 US US18/355,555 patent/US20240037711A1/en active Pending
- 2023-07-28 CN CN202310943340.7A patent/CN117499795A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN117499795A (zh) | 2024-02-02 |
US20240037711A1 (en) | 2024-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7054406B2 (ja) | 拡張現実(ar)システムを動作させる方法 | |
US11450075B2 (en) | Virtually trying cloths on realistic body model of user | |
JP6195893B2 (ja) | 形状認識装置、形状認識プログラム、および形状認識方法 | |
KR102098277B1 (ko) | 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치 | |
WO2019163218A1 (ja) | 仮想試着システム、仮想試着方法、仮想試着プログラム、情報処理装置、および学習データ | |
JP6177872B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
CN115917474A (zh) | 在三维环境中呈现化身 | |
JP6250024B2 (ja) | キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法 | |
CN110998666B (zh) | 信息处理装置、信息处理方法以及程序 | |
WO2014128751A1 (ja) | ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法 | |
JPWO2014128752A1 (ja) | 表示制御装置、表示制御プログラム、および表示制御方法 | |
CN112771856A (zh) | 可分离失真视差确定 | |
JP6250025B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
EP3571670B1 (en) | Mixed reality object rendering | |
US10296098B2 (en) | Input/output device, input/output program, and input/output method | |
JP6858007B2 (ja) | 画像処理システム、画像処理方法 | |
CN115482359A (zh) | 目标的尺寸测量方法、电子设备及其介质 | |
JP2024020074A (ja) | 情報処理方法及び情報処理装置 | |
JP2010205030A (ja) | 関連情報表示位置特定方法、関連情報表示位置特定システムおよび関連情報表示位置特定用プログラム | |
US20230237839A1 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
JP2018028572A (ja) | 画像処理装置、画像処理方法 | |
US20240220176A1 (en) | Terminal apparatus | |
US20230260076A1 (en) | System, information processing apparatus, and method | |
US20240119674A1 (en) | Terminal apparatus | |
US20240127769A1 (en) | Terminal apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240305 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20241105 |