JP6738906B2 - 画像処理装置、画像表示装置及びプログラム - Google Patents
画像処理装置、画像表示装置及びプログラム Download PDFInfo
- Publication number
- JP6738906B2 JP6738906B2 JP2018547092A JP2018547092A JP6738906B2 JP 6738906 B2 JP6738906 B2 JP 6738906B2 JP 2018547092 A JP2018547092 A JP 2018547092A JP 2018547092 A JP2018547092 A JP 2018547092A JP 6738906 B2 JP6738906 B2 JP 6738906B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion
- area
- amount
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 56
- 238000006243 chemical reaction Methods 0.000 claims description 31
- 239000013598 vector Substances 0.000 claims description 4
- 238000001514 detection method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000001629 suppression Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/66—Transforming electric information into light information
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Transforming Electric Information Into Light Information (AREA)
Description
好ましくは、前記動き推定部は、前記第1推定モードにおいて、前記第1画像に含まれるオブジェクトと前記第2画像に含まれる所定範囲との輝度の差分に基づいて算出される値を推定誤差とし、前記所定の条件は、前記推定誤差が予め定められた値を上回る場合、又は、前記推定誤差が平均値の所定倍を上回る場合、のいずれか一方又は双方を満たす場合である。
好ましくは、前記第2推定モードは、前記第1及び第2画像の全体から前記オブジェクトの動き量を推定するグローバル動き推定モードである。
好ましくは、前記第2推定モードは、前記第1推定モードにおける前記探索領域の大きさを拡大した新たな探索領域内において前記オブジェクトの動き量を推定する。
好ましくは、前記動き推定部は、パターンマッチング又は特徴ベクトルにより前記オブジェクトの動き量を推定する。
好ましくは、前記第1推定モードにおいて、前記オブジェクトに対応する領域を設定する領域設定部を有する。
好ましくは、前記動き補償部は、前記領域設定部により設定された領域が、前記画像が表示される表示面の略中央に位置するように、前記第2画像に対して前記変換処理を施す。
好ましくは、前記第1推定モードと前記第2推定モードを切り替えるモード切替部を備える。
好ましくは、前記モード切替部は、前記所定の条件が充足されないときに、前記第2推定モードから前記第1推定モードに切り替える。
好ましくは、上記のいずれかに記載の画像処理装置を備える画像表示装置を提供する。
好ましくは、コンピュータを、第1画像とこれより後の第2画像間でのオブジェクトの動き量を推定する動き推定部、前記オブジェクトの動き量に基づいて、第1及び第2画像間での前記オブジェクトの振動を抑制するように第2画像に対して変換処理を施す動き補償部、として機能させ、前記動き推定部は、予め定められた探索領域内において前記オブジェクトの動き量を推定する第1推定モードと、第1推定モードにおける前記探索領域より大きな領域に基づいて前記オブジェクトの動き量を推定する第2推定モードとを備える、画像処理プログラムを提供する。
以下、図1〜図10を用いて、本発明の第1実施形態に係る画像処理装置1について説明する。
図1に示されるように、撮像者の手ブレ等により、撮像された画像が振動する場合がある。その結果、画像内の物体が上下左右への位置ずれが生じてしまう。ここで、画像とは、時系列順に並んだ複数の画像のことであり、特に動画である。
図2〜図10を用いて、画像処理装置1の構成及び処理について説明する。図2に示されるように、第1実施形態に係る画像処理装置1は、第1画像とこれより後の第2画像間でのオブジェクトの動き量を推定する動き推定部2と、オブジェクトの動き量に基づいて、第1及び第2画像間でのオブジェクトの振動を抑制するように第2画像に対して変換処理を施す動き補償部8とを備える。動き推定部2は、予め定められた探索領域SA内においてオブジェクトの動き量を推定する第1推定モードと、第1推定モードにおける探索領域SAより大きな領域に基づいてオブジェクトの動き量を推定する第2推定モードとを備える。動き補償部8は、所定の条件が充足されたときに第1推定モードで推定された動き量に基づいて変換処理を行い、所定の条件が充足されないときに第2推定モードで推定された動き量に基づいて変換処理を行う。
次に、図3を用いて、画像処理装置1の処理フローについて説明する。
まず、S1において、領域設定部3により局所領域LAが設定される。このとき、画像処理装置1は局所動き推定モードに設定されている。
次に、S2において、局所領域追跡部4により、探索領域SA内において局所領域LAが追跡される。
次に、S3において、追跡外れ検出部5により外れフラッグが検出されるか否かを判定する。ここで、外れフラッグの検出は所定の条件に基づいてなされる。
次に、S4において、図2に示されるように、局所領域追跡部4は、後続のS5における動き補償を実行するための動き量(追跡動き量)を動き補償部8に出力する。
そして、S5において、動き補償部8により補償処理が実行される。
図6は、局所動き推定モードにおける各種データの処理について説明するための図である。あわせて、領域設定部3、局所領域追跡部4及び動き補償部8に入出力される画像データを時系列順に並べたものである。
グローバル動き推定モードは、第1及び第2画像の全体からオブジェクトの動き量を推定するものである。また、グローバル動き推定モードは、局所動き推定モードと異なり、局所領域LAの座標が設定されない。
動き補償部8による補償処理が終了した後、S7において、現在の画像が最終フレームの画像であるかが判定される。S7における判定結果が「No」、つまり、現在の画像が最終フレームの画像でない場合、S2に戻り、再びS5までの処理を繰り返し実行する。ここで、S6においてグローバル動き推定モードに切り替えられた場合でもS2に戻るのは、上述したとおり、局所領域LAの追跡が再び可能になったか否かを判定するためである。この場合、局所動き推定モードがグローバル動き推定モードに切り替えられているといえども、バックグラウンドで局所動き推定モードの処理を実行しているといえる。これにより、所定の条件が充足されないときに、第2推定モードから第1推定モードに切り替えることが可能になる。
次に、図11及び図12を用いて、本発明の第2実施形態に係る画像処理装置1について説明する。第2実施形態と第1実施形態の主な違いは、第2実施形態ではグローバル動き推定モードを利用しない点である。
次に、図13を用いて、本発明の第3実施形態に係る画像処理装置1について説明する。第3実施形態に係る画像処理装置1は、第1実施形態及び第2実施形態の処理を組み合わせた処理を実行するものである。ここで、図13におけるS1〜S7は、第2実施形態と同様であるので、その説明を省略する。
以上、種々の実施形態について説明したが、本発明に係る画像処理装置1はこれらに限定されない。例えば、第1推定モードと第2推定モードを切り替える条件として、「推定誤差が予め定められた値を上回る場合」のみを用いてもよい。あるいは、かかる条件として、「推定誤差が平均値の所定倍を上回る場合」のみを用いてもよい。さらに、画像の動き量の変動に応じて、図5に示される閾値を動的に変更するようにしてもよい。例えば、画像の動き量が所定値以上となる回数が複数回連続した場合には、かかる閾値を大きくしてもよい。この場合、所定の条件として平均値を用いなくとも、局所領域LAの追跡精度が向上する。
2:動き推定部
3:領域設定部
4:局所領域追跡部
41:第1動き推定部
42:画像切り出し部
5:追跡外れ検出部
6:グローバル動き推定部
61:第2動き推定部
62:動き補正部
7:モード切替部
8:動き補償部
9:画像表示装置
LA:局所領域
SA:探索領域
FA:フィッティング領域
Claims (9)
- 第1画像とこれより後の第2画像間でのオブジェクトの動き量を推定する動き推定部と、
前記オブジェクトの動き量に基づいて、前記第1及び第2画像間での前記オブジェクトの振動を抑制するように前記第2画像に対して変換処理を施す動き補償部と、
を備え、
前記動き推定部は、予め定められた探索領域内において前記オブジェクトの動き量を推定する第1推定モードと、前記第1推定モードにおける前記探索領域より大きな領域に基づいて前記オブジェクトの動き量を推定する第2推定モードとを備え、
前記第2推定モードは、前記探索領域より大きな領域を前記第1及び第2画像の全体に対応させているグローバル動き推定モードであり、
前記第2推定モードでは、前記探索領域より大きな領域が複数の分割領域に分割され、各前記分割領域に対して移動方向が推定され、推定された前記移動方向に基づいて前記オブジェクトの動き量が推定され、
前記動き補償部は、所定の条件が充足されたときに前記第2推定モードで推定された動き量に基づいて前記変換処理を行い、前記所定の条件が充足されないときに前記第1推定モードで推定された動き量に基づいて前記変換処理を行う、
画像処理装置。 - 前記動き推定部は、前記第1推定モードにおいて、前記第1画像に含まれるオブジェクトと前記第2画像に含まれる所定範囲との輝度の差分に基づいて算出される値を推定誤差とし、
前記所定の条件は、前記推定誤差が予め定められた値を上回る場合、又は、前記推定誤差が平均値の所定倍を上回る場合、のいずれか一方又は双方を満たす場合である、請求項1に記載の画像処理装置。 - 前記動き推定部は、パターンマッチング又は特徴ベクトルにより前記オブジェクトの動き量を推定する、請求項1又は請求項2のいずれか1項に記載の画像処理装置。
- 前記第1推定モードにおいて、前記オブジェクトに対応する領域を設定する領域設定部を有する、請求項1〜請求項3のいずれか1項に記載の画像処理装置。
- 前記動き補償部は、前記領域設定部により設定された領域が、前記第2画像が表示される表示面の略中央に位置するように、前記第2画像に対して前記変換処理を施す、請求項4に記載の画像処理装置。
- 前記第1推定モードと前記第2推定モードを切り替えるモード切替部を備える、請求項1〜請求項5のいずれか1項に記載の画像処理装置。
- 前記モード切替部は、前記所定の条件が充足されないときに、前記第2推定モードから前記第1推定モードに切り替える、請求項6に記載の画像処理装置。
- 請求項1〜請求項7のいずれか1項に記載の画像処理装置を備える画像表示装置。
- コンピュータを、
第1画像とこれより後の第2画像間でのオブジェクトの動き量を推定する動き推定部、
前記オブジェクトの動き量に基づいて、前記第1及び第2画像間での前記オブジェクトの振動を抑制するように前記第2画像に対して変換処理を施す動き補償部、
として機能させ、
前記動き推定部は、予め定められた探索領域内において前記オブジェクトの動き量を推定する第1推定モードと、前記第1推定モードにおける前記探索領域より大きな領域に基づいて前記オブジェクトの動き量を推定する第2推定モードとを備え、
前記第2推定モードは、前記探索領域より大きな領域を前記第1及び第2画像の全体に対応させているグローバル動き推定モードであり、
前記第2推定モードでは、前記探索領域より大きな領域が複数の分割領域に分割され、各前記分割領域に対して移動方向が推定され、推定された前記移動方向に基づいて前記オブジェクトの動き量が推定され、
前記動き補償部は、所定の条件が充足されたときに前記第2推定モードで推定された動き量に基づいて前記変換処理を行い、前記所定の条件が充足されないときに前記第1推定モードで推定された動き量に基づいて前記変換処理を行う、
画像処理プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/082317 WO2018078872A1 (ja) | 2016-10-31 | 2016-10-31 | 画像処理装置、画像表示装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018078872A1 JPWO2018078872A1 (ja) | 2019-09-05 |
JP6738906B2 true JP6738906B2 (ja) | 2020-08-12 |
Family
ID=62024591
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018547092A Active JP6738906B2 (ja) | 2016-10-31 | 2016-10-31 | 画像処理装置、画像表示装置及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11240407B2 (ja) |
EP (1) | EP3534605B1 (ja) |
JP (1) | JP6738906B2 (ja) |
CN (1) | CN109891877B (ja) |
WO (1) | WO2018078872A1 (ja) |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH082090B2 (ja) | 1986-12-27 | 1996-01-10 | 株式会社東芝 | 画像動き補正装置 |
JP3395186B2 (ja) * | 1991-02-06 | 2003-04-07 | ソニー株式会社 | ビデオカメラおよびビデオカメラの画像の振動表示方法 |
JPH07162864A (ja) * | 1993-12-08 | 1995-06-23 | Ricoh Co Ltd | 動きベクトル検出方法 |
JPH11187303A (ja) | 1997-12-22 | 1999-07-09 | Canon Inc | 画像処理装置および方法並びに記憶媒体 |
US7742077B2 (en) * | 2004-02-19 | 2010-06-22 | Robert Bosch Gmbh | Image stabilization system and method for a video camera |
JP4873523B2 (ja) * | 2005-05-16 | 2012-02-08 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP4528212B2 (ja) * | 2005-06-23 | 2010-08-18 | 日本放送協会 | トリミング制御装置及びトリミング制御プログラム |
US20070009034A1 (en) * | 2005-07-05 | 2007-01-11 | Jarno Tulkki | Apparatuses, computer program product, and method for digital image processing |
JP4178480B2 (ja) * | 2006-06-14 | 2008-11-12 | ソニー株式会社 | 画像処理装置、画像処理方法、撮像装置および撮像方法 |
US20090238268A1 (en) * | 2008-03-20 | 2009-09-24 | Mediatek Inc. | Method for video coding |
US20120076207A1 (en) * | 2008-12-31 | 2012-03-29 | Advanced Micro Devices, Inc. | Multiple-candidate motion estimation with advanced spatial filtering of differential motion vectors |
JP2012049603A (ja) * | 2010-08-24 | 2012-03-08 | Olympus Corp | 画像処理装置および画像処理プログラム |
CN102148934B (zh) * | 2011-04-02 | 2013-02-06 | 北京理工大学 | 一种多模式实时电子稳像系统 |
KR101930235B1 (ko) * | 2012-05-15 | 2018-12-18 | 삼성전자 주식회사 | 디지털 이미지 안정화 방법, 장치 및 시스템 |
KR20140061266A (ko) * | 2012-11-11 | 2014-05-21 | 삼성전자주식회사 | 다중 경로 궤적 분석을 이용한 영상 객체 추적 방법 및 장치 |
US9836852B2 (en) * | 2013-12-21 | 2017-12-05 | Qualcomm Incorporated | System and method to stabilize display of an object tracking box |
JP6373121B2 (ja) | 2014-08-20 | 2018-08-15 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
JP6467865B2 (ja) * | 2014-10-28 | 2019-02-13 | ソニー株式会社 | 画像処理装置、カメラシステム、画像処理方法及びプログラム |
-
2016
- 2016-10-31 CN CN201680089997.XA patent/CN109891877B/zh active Active
- 2016-10-31 EP EP16919991.6A patent/EP3534605B1/en active Active
- 2016-10-31 US US16/342,393 patent/US11240407B2/en active Active
- 2016-10-31 WO PCT/JP2016/082317 patent/WO2018078872A1/ja unknown
- 2016-10-31 JP JP2018547092A patent/JP6738906B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2018078872A1 (ja) | 2019-09-05 |
US20200059574A1 (en) | 2020-02-20 |
EP3534605A1 (en) | 2019-09-04 |
CN109891877A (zh) | 2019-06-14 |
WO2018078872A1 (ja) | 2018-05-03 |
CN109891877B (zh) | 2021-03-09 |
US11240407B2 (en) | 2022-02-01 |
EP3534605A4 (en) | 2019-11-06 |
EP3534605B1 (en) | 2021-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102141290B1 (ko) | 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체 | |
JP6395506B2 (ja) | 画像処理装置および方法、プログラム、並びに撮像装置 | |
US10769798B2 (en) | Moving object detection apparatus, moving object detection method and program | |
EP3362983B1 (en) | Stabilizing video | |
JP5680524B2 (ja) | 画像処理装置 | |
US20150256755A1 (en) | One-pass video stabilization | |
US9055217B2 (en) | Image compositing apparatus, image compositing method and program recording device | |
JP4322904B2 (ja) | 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム | |
JP6736362B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP7067023B2 (ja) | 情報処理装置、背景更新方法および背景更新プログラム | |
JP2010288110A (ja) | 画像処理装置および画像処理方法 | |
KR20140138947A (ko) | 화상 처리 장치, 화상 처리 방법, 및 기록 매체 | |
JP5751254B2 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
JP2008217526A (ja) | 画像処理装置、画像処理プログラム及び画像処理方法 | |
JP6245968B2 (ja) | 画像処理装置、撮像装置および制御方法 | |
JP6738906B2 (ja) | 画像処理装置、画像表示装置及びプログラム | |
JP2010250611A (ja) | 画像処理装置、画像処理方法及び記録媒体 | |
JP6532328B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP6417204B2 (ja) | 画像処理装置および画像処理方法 | |
JP5279453B2 (ja) | 画像振れ補正装置、撮像装置及び画像振れ補正方法 | |
WO2018105006A1 (ja) | 画像処理装置、画像表示装置及びプログラム | |
JP2021118523A (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190409 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190424 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190424 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200428 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200527 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200714 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200720 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6738906 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |