JP7216874B1 - 合成処理装置 - Google Patents
合成処理装置 Download PDFInfo
- Publication number
- JP7216874B1 JP7216874B1 JP2021206206A JP2021206206A JP7216874B1 JP 7216874 B1 JP7216874 B1 JP 7216874B1 JP 2021206206 A JP2021206206 A JP 2021206206A JP 2021206206 A JP2021206206 A JP 2021206206A JP 7216874 B1 JP7216874 B1 JP 7216874B1
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- binarized
- image
- black
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 25
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims description 34
- 239000000203 mixture Substances 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 abstract description 6
- 239000000284 extract Substances 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 238000000605 extraction Methods 0.000 description 7
- 230000009191 jumping Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
Description
これにより、入力動画(例えば、電車の中から車窓を通して撮影した動画など)の中に前景物(例えば、山やビルなど)が写っている場合に、背景と前景物との境界にあたる座標がオブジェクト配置座標として検出される。そして、オブジェクト配置座標を基準として入力動画の中にオブジェクトを配置する合成処理が行われれることにより、あたかも前景物の上にオブジェクトが存在している(例えば、前景物の上をオブジェクトが走っている、あるいは、前景物の上でオブジェクトが寝ている)かのような出力動画を得ることができる。
二つのフレーム間の二値化画像から算出されたコントラスト差の大きさは、画像全体の移動速度(例えば、電車の中から車窓を通して動画を撮影している場合における電車の走行速度)と相関する。そのため、上記のようにしてオブジェクトに適用するアニメーションを決定することにより、画像全体の移動速度に応じた適切なアニメーションをオブジェクトに適用することができる。また、この場合、オブジェクト配置座標を決定するために二値化画像を用いているため、その二値化画像(二値化画像から算出されたコントラスト差)を用いることにより、新たに別の手法で算出する場合に比べて、画像全体の移動速度を効率的に(大きな処理負荷をかけずに)求めることができる。
二つのフレーム間のオブジェクト配置座標の差が大きい場合には、入力動画(例えば、電車の中から車窓を通して撮影した動画など)の中に写っていた前景物A(例えば、山やビルなど)が写らなくなり、別の前景物B(例えば、山やビルなど)が写るようになったことと相関する。そのため、上記のようにしてオブジェクトに適用するアニメーションを決定することにより、入力動画に写っている前景物の切り替わりに応じた適切なアニメーション(前景物Aから前景物Bへジャンプするようなアニメーション)をオブジェクトに適用することができる。
例えば、夜間やトンネル内を電車が走行する場合などには、二値化画像において、黒画素値のピクセル数が白画素値のピクセル数より多くなり、背景に対応するピクセルが黒画素値を有し、前景物に対応するピクセルが白画素値を有する傾向にある。そのため、上記のように二値化画像の白黒を反転させることにより、夜間やトンネル内を電車が走行する場合などにおいても、入力動画(例えば、電車の中から車窓を通して撮影した動画など)の中に前景物が写っている場合に、背景と前景物との境界にあたる座標をオブジェクト配置座標として適切に検出することができる。
C=|B1-A1|+|B2-A2|+・・・+|B16-A16|
なお、計算式は、グレースケール画像Aとグレースケール画像Bのコントラスト差を算出することができるものであればよく、これに限定されるものではない。
2 入力部
3 出力部
4 記憶部
5 制御部
10 フレーム画像取得部
11 二値化画像取得部
12 白黒判定部
13 中央ピクセル列抽出部
14 中央二値化画像取得部
15 黒ピクセル列抽出部
16 隣接二値化画素値取得部
17 配置座標決定部
18 コントラスト差算出部
19 アニメーション決定部
20 合成処理部
Claims (6)
- 入力動画の中に所定のオブジェクトを配置する合成処理装置であって、
前記合成処理装置は、
画像処理の対象となる入力動画から、所定のフレームごとの複数のフレーム画像を取得するフレーム画像取得部と、
前記フレーム画像の各ピクセルの画素値を白画素値と黒画素値のいずれかの二値化画素値に変換して、前記フレーム画像から二値化画像を取得する二値化画像取得部と、
前記二値化画像から、横軸上で中央に位置しかつ縦軸方向に沿って連続する複数のピクセルで構成される中央ピクセル列を抽出する中央ピクセル列抽出部と、
前記中央ピクセル列を構成する各ピクセルの二値化画素値を取得する中央二値化画素値取得部と、
前記中央ピクセル列の各ピクセルの二値化画素値に基づいて、前記中央ピクセル列から、縦軸方向に沿って黒画素値が連続する複数のピクセルで構成される黒ピクセル列を抽出する黒ピクセル列抽出部と、
前記黒ピクセル列の上端のピクセルを基準ピクセルとし、前記基準ピクセルに対して横軸方向で隣接する2つの隣接ピクセルの二値化画素値を取得する隣接二値化画素値取得部と、
前記2つの隣接ピクセルの二値化画素値が黒画素値である場合に、前記基準ピクセルの座標を、オブジェクト配置座標として決定する配置座標決定部と、
前記オブジェクト配置座標を基準として、前記入力動画の中に前記オブジェクトを配置する合成処理を行う合成処理部と、
前記オブジェクトが配置された前記入力動画を出力動画として出力する動画出力部と、
を備える、合成処理装置。 - 時間的に連続する二つのフレーム間の前記二値化画像のコントラスト値を比較することによって、コントラスト差を算出するコントラスト差算出部と、
前記コントラスト差が、所定の閾値以上である場合と、前記閾値未満である場合とで、前記オブジェクトのアニメーションを異ならせるアニメーション決定部と、
を備える、請求項1に記載の合成処理装置。 - 前記アニメーション決定部は、時間的に連続する二つのフレーム間の前記オブジェクト配置座標の差が、所定の基準値以上である場合と、前記基準値未満である場合とで、前記オブジェクトのアニメーションを異ならせる、請求項2に記載の合成処理装置。
- 前記二値化画像において黒画素値のピクセル数が白画素値のピクセル数より多い場合に、当該二値化画像を構成する全ピクセルの黒画素値と白画素値を入れ替える白黒反転部を備える、請求項1~請求項3のいずれか一項に記載の合成処理装置。
- 入力動画の中に所定のオブジェクトを配置する合成処理装置で実行される方法であって、
前記方法は、
画像処理の対象となる入力動画から、所定のフレームごとの複数のフレーム画像を取得するステップと、
前記フレーム画像の各ピクセルの画素値を白画素値と黒画素値のいずれかの二値化画素値に変換して、前記フレーム画像から二値化画像を取得するステップと、
前記二値化画像から、横軸上で中央に位置しかつ縦軸方向に沿って連続する複数のピクセルで構成される中央ピクセル列を抽出するステップと、
前記中央ピクセル列を構成する各ピクセルの二値化画素値を取得するステップと、
前記中央ピクセル列の各ピクセルの二値化画素値に基づいて、前記中央ピクセル列から、縦軸方向に沿って黒画素値が連続する複数のピクセルで構成される黒ピクセル列を抽出するステップと、
前記黒ピクセル列の上端のピクセルを基準ピクセルとし、前記基準ピクセルに対して横軸方向で隣接する2つの隣接ピクセルの二値化画素値を取得するステップと、
前記2つの隣接ピクセルの二値化画素値が黒画素値である場合に、前記基準ピクセルの座標を、オブジェクト配置座標として決定するステップと、
前記オブジェクト配置座標を基準として、前記入力動画の中に前記オブジェクトを配置する合成処理を行うステップと、
前記オブジェクトが配置された前記入力動画を出力動画として出力するステップと、
を含む、方法。 - 入力動画の中に所定のオブジェクトを配置する合成処理装置のコンピュータで実行されるプログラムであって、
前記プログラムは、前記コンピュータに、
画像処理の対象となる入力動画から、所定のフレームごとの複数のフレーム画像を取得する処理と、
前記フレーム画像の各ピクセルの画素値を白画素値と黒画素値のいずれかの二値化画素値に変換して、前記フレーム画像から二値化画像を取得する処理と、
前記二値化画像から、横軸上で中央に位置しかつ縦軸方向に沿って連続する複数のピクセルで構成される中央ピクセル列を抽出する処理と、
前記中央ピクセル列を構成する各ピクセルの二値化画素値を取得する処理と、
前記中央ピクセル列の各ピクセルの二値化画素値に基づいて、前記中央ピクセル列から、縦軸方向に沿って黒画素値が連続する複数のピクセルで構成される黒ピクセル列を抽出する処理と、
前記黒ピクセル列の上端のピクセルを基準ピクセルとし、前記基準ピクセルに対して横軸方向で隣接する2つの隣接ピクセルの二値化画素値を取得する処理と、
前記2つの隣接ピクセルの二値化画素値が黒画素値である場合に、前記基準ピクセルの座標を、オブジェクト配置座標として決定する処理と、
前記オブジェクト配置座標を基準として、前記入力動画の中に前記オブジェクトを配置する合成処理を行う処理と、
前記オブジェクトが配置された前記入力動画を出力動画として出力する処理と、
を実行させる、プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021206206A JP7216874B1 (ja) | 2021-12-20 | 2021-12-20 | 合成処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021206206A JP7216874B1 (ja) | 2021-12-20 | 2021-12-20 | 合成処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7216874B1 true JP7216874B1 (ja) | 2023-02-02 |
JP2023091454A JP2023091454A (ja) | 2023-06-30 |
Family
ID=85129902
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021206206A Active JP7216874B1 (ja) | 2021-12-20 | 2021-12-20 | 合成処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7216874B1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003141569A (ja) | 2001-10-31 | 2003-05-16 | Canon Inc | 情報処理方法および映像合成装置 |
JP2006246435A (ja) | 2005-02-01 | 2006-09-14 | Canon Inc | 画像処理装置及びその制御方法、プログラム |
JP2011217207A (ja) | 2010-03-31 | 2011-10-27 | Zenrin Datacom Co Ltd | 高度情報取得システム、高度情報取得装置及びプログラム |
JP2022096058A (ja) | 2020-12-17 | 2022-06-29 | トヨタ自動車株式会社 | 移動体 |
-
2021
- 2021-12-20 JP JP2021206206A patent/JP7216874B1/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003141569A (ja) | 2001-10-31 | 2003-05-16 | Canon Inc | 情報処理方法および映像合成装置 |
JP2006246435A (ja) | 2005-02-01 | 2006-09-14 | Canon Inc | 画像処理装置及びその制御方法、プログラム |
JP2011217207A (ja) | 2010-03-31 | 2011-10-27 | Zenrin Datacom Co Ltd | 高度情報取得システム、高度情報取得装置及びプログラム |
JP2022096058A (ja) | 2020-12-17 | 2022-06-29 | トヨタ自動車株式会社 | 移動体 |
Also Published As
Publication number | Publication date |
---|---|
JP2023091454A (ja) | 2023-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106254933B (zh) | 字幕提取方法及装置 | |
EP3540637A1 (en) | Neural network model training method, device and storage medium for image processing | |
US7561621B2 (en) | Method of searching for motion vector, method of generating frame interpolation image and display system | |
US20200258196A1 (en) | Image processing apparatus, image processing method, and storage medium | |
US10818018B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
WO2012096768A2 (en) | Method of detecting logos, titles, or sub-titles in video frames | |
JP2018045693A (ja) | 動画像背景除去方法及び動画像背景除去システム | |
CN107871321B (zh) | 图像分割方法及装置 | |
JP4272771B2 (ja) | 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体 | |
CN104754211A (zh) | 图像处理装置以及图像处理方法 | |
CN114331820A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN105227873B (zh) | 一种在屏显示数据的测试方法和装置 | |
US20160110876A1 (en) | Matting method for extracting foreground object and apparatus for performing the matting method | |
JP2006195525A (ja) | 映像オブジェクト軌跡付加装置及び映像オブジェクト軌跡付加プログラム | |
CN113538271A (zh) | 图像显示方法、装置、电子设备和计算机可读存储介质 | |
US9842260B2 (en) | Image processing apparatus and image processing method of performing image segmentation | |
JP4659793B2 (ja) | 画像処理装置及び画像処理方法 | |
CN113205011B (zh) | 图像掩膜确定方法及装置、存储介质和电子设备 | |
JP7216874B1 (ja) | 合成処理装置 | |
US9323981B2 (en) | Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored | |
US20160203617A1 (en) | Image generation device and display device | |
CN114449362A (zh) | 视频封面的选取方法、装置、设备及存储介质 | |
CN110807728B (zh) | 对象的显示方法、装置、电子设备及计算机可读存储介质 | |
CN109977740B (zh) | 一种基于深度图的手部跟踪方法 | |
JP2016129281A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7216874 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |