JP5213627B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP5213627B2 JP5213627B2 JP2008260897A JP2008260897A JP5213627B2 JP 5213627 B2 JP5213627 B2 JP 5213627B2 JP 2008260897 A JP2008260897 A JP 2008260897A JP 2008260897 A JP2008260897 A JP 2008260897A JP 5213627 B2 JP5213627 B2 JP 5213627B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- background
- input
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
図1は、第一の実施形態のテレビ会議システムのシステム構成の一例を示す図である。本実施形態のテレビ会議システムは、撮像部101と、画像処理装置100(送信部111を含む画像処理装置100)と、表示側と、がネットワーク等を介して接続されている。なお、図1では、送信部111は、画像処理装置100の外側に描かれているが、画像処理装置100の内部に送信部111が存在してもよい。本実施形態では、説明の簡略化のため、送信部111は、画像処理装置100の内部構成であるものとして説明を行う。
撮像部101は、不図示のホワイトボード方向に向け設置されており、フレーム内にホワイトボード全景、ホワイトボード領域内が映るように撮影範囲が調整されているものとする。
差分算出部107は、入力画像の領域の空間周波数成分と、対応する背景画像の領域の空間周波数成分との差分をとる。領域判定部108は、前記差分に基づき、前記差分をとった領域が動体(動体領域)か背景(背景領域)かを判定する。背景画像更新部109は、領域判定部108において背景領域と判断された領域を背景画像記憶部104に保存されている背景画像の対応する領域とを予め定められた又は設定された比率(合成比率)で合成する。更に合成部110は、更新された背景画像と入力画像とを予め定められた又は設定された比率(合成比率)で合成する。
背景設定部103は、説明者の操作を受け付け、前記操作に応じて、初期背景画像設定モードになったことを検知する(S101)。初期背景設定モードでは、背景設定部103は、撮像部101で撮影されたホワイトボードのみの画像を、撮像部101より受け取り、背景画像記憶部104に人物等の動体が存在しない初期背景画像として記憶する(S102)。図3は、初期背景画像の一例を示す図である。初期背景画像は、図3に示されるように、ホワイトボードのみフレームに納めた画像である。背景設定部103は、初期背景設定モードのときに、画像入力部102より入力された画像を初期背景画像として背景画像記憶部104に記憶するようにしてもよい。また、背景設定部103は、初期背景設定モードのときに、画像入力部102より入力された連続する数フレーム分の平均画像又は画素ごとの中央値を格納したメディアン画像を初期背景画像として背景画像記憶部104に記憶するようにしてもよい。
ここで、画像処理装置100は、動作モードがホワイトボード説明モードか否かを判定する(S103)。画像処理装置100は、動作モードがホワイトボード説明モードの場合、S104に進み、動作モードがホワイトボード説明モードではない場合、ステップS102の処理に戻る。
領域分割部105は、画像入力部102から入力された動体が映りこんだ画像と、背景画像記憶部104に格納されている背景画像と、をブロック単位の領域ごとに分割する(S104)。領域分割部105は、領域をN×N画素のブロック単位で分割(典型的には8×8画素のブロック単位で分割)する。
次に差分算出部107は、DCT変換が行われた入力画像の領域と背景画像の領域との差分を計算(算出)する(S106)。領域に対してDCT変換を行うことで画素情報は各周波数の係数として得られ、係数ごとに差分をとることで各周波数成分の差分をとることと等価となる。
a・x−b (式1)
S108において、領域判定部108は、判定の結果、判定対象の領域が背景の場合、S109に進み、判定対象の領域が動体の場合、S110に進む。
以上により、線画領域も背景画像として判定することができ、動体領域と線画領域とを区別することができる。
入力画像:背景画像=α:1−α (式2)
(0≦α≦1)
の比率で合成を行うとする。
入力画像の全ての背景領域に対して上記の画像合成に係る処理を行い、背景画像記憶部104の背景画像に記憶させることで、背景画像を最新の背景画像に更新することができる。
入力画像:背景画像=β:1−β (式3)
(0≦β≦1)
の比率で合成を行うとする。
また、例えば、操作者がβ=1と設定することで、背景画像の画素値は一切反映されず、生成される画像は入力画像のままであり、入力画像をそのまま表示側に送信することと等価である(図5b)。また、例えば、操作者が0<β<1の範囲で値を設定することで、入力画像の画素値が反映され、生成される画像に動体、つまり例えば人物等が半透明となって映りこむ(図5c)。
送信部111は、合成部110で生成された画像を表示側へ送信する(S109)。表示側では、受信部112が、合成画像又は例えば最新の背景画像を受信する。そして、表示部113が、受信部112で受信された画像を表示する。
画像処理装置100は、以上の処理を、撮像部101で撮影された画像フレームごとに行う。
図6は、第二の実施形態のテレビ会議システムのシステム構成の一例を示す図である。本実施形態のテレビ会議システムは、上述した第一の実施形態と同様、撮像部101と、画像処理装置100(送信部111を含む画像処理装置100)と、表示側と、がネットワーク等を介して接続されている。
ホワイトボード上に線画が書き足された場合、表示側では書き足された情報を早急に見たい要望があり、逆に線画が消去された場合は、書き足されたときに比べ消去された情報をしばらくの間残しておきたいという要望がある。何故なら、しばらくの間消去した線画を残しておくことで視認性の向上が見込まれるからである。
以下、上述した実施形態と異なる点について説明を行う。
輝度変化判定部114は、入力画像と背景画像記憶部104に記憶されている背景画像との輝度の変化を判定(又は検出)する。更新比率調整部115は、輝度変化判定部114の判定結果を基に、背景画像更新部109のパラメータを調整する。
S201からS208までの処理は、第一の実施形態の図2のS101からS108までの処理と同様であるため、本実施形態では説明を省略する。
動体領域か背景領域かの判定が行われた後、輝度変化判定部114は、背景領域と判定された入力画像の処理対象の領域と、背景画像記憶部104に格納されている背景画像の同一位置の領域と、を比較することで輝度の変化を判定(検出)する(S209)。例えば、輝度変化判定部114は、入力画像、背景画像それぞれの領域中の同一画素位置の画素の輝度の差分をとることによって、輝度の変化を判定する。輝度変化判定部114は、背景画像に対し入力画像の輝度が暗く変化した場合、ホワイトボードに線画が書き足された領域であると判断し、輝度が明るく変化した場合、ホワイトボード上の線画が消された領域と判断する。
α1>α2 (式4)
と設定することで、線画が書き足された場合、線画を早く背景画像に反映するようにすることができると共に、線画が逆に消された場合、ゆっくりと消去された線画を更新するようにすることができる。
以下、S212からS214までの処理は、第一の実施形態の図2のS110からS112までの処理と同様であるため、本実施形態では説明を省略する。
また、本発明の目的は、以下のようにすることによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(又は記録媒体)を、システム或いは装置に供給する。そして、そのシステム或いは装置の中央演算処理手段(CPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記録した記憶媒体は本発明を構成することになる。
101 撮像部
Claims (13)
- 画像を入力する画像入力手段と、
前記画像入力手段で入力された入力画像の部分領域と、前記部分領域に対応する記憶装置に記憶されている背景画像の部分領域と、の差分をとり、前記差分に基づき、前記入力画像の部分領域ごとに動体領域か背景領域かを判定する領域判定手段と、
前記領域判定手段で背景領域と判定された前記入力画像の部分領域と、前記部分領域に対応する前記背景画像の部分領域と、を比較して輝度の変化を判定する輝度変化判定手段と、
前記輝度変化判定手段で判定された前記輝度の変化に基づいて、前記領域判定手段で背景領域と判定された前記入力画像の部分領域と、前記部分領域に対応する前記背景画像の部分領域とを合成する合成比率を設定する設定手段と、
前記領域判定手段で背景領域と判定された前記入力画像の部分領域と、前記部分領域に対応する前記背景画像の部分領域と、を設定された前記合成比率で合成し、前記背景画像を更新する更新手段と、
を有することを特徴とする画像処理装置。 - 前記入力画像と、前記更新手段で更新された前記背景画像と、を合成する画像合成手段を更に有することを特徴とする請求項1に記載の画像処理装置。
- 前記画像合成手段での前記合成により生成された合成画像を送信する送信手段を更に有することを特徴とする請求項2に記載の画像処理装置。
- 前記領域判定手段は、前記入力画像と前記背景画像との各部分領域を空間周波数成分に変換し、前記入力画像の部分領域の空間周波数成分と、前記部分領域に対応する前記背景画像の部分領域の空間周波数成分と、の差分をとり、前記差分に基づき、前記入力画像の部分領域ごとに動体領域か背景領域かを判定することを特徴とする請求項1乃至3の何れか1項に記載の画像処理装置。
- 前記画像入力手段は、撮像手段で撮像された画像を前記撮像手段より受け取り、入力することを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。
- 撮像手段で撮像されたホワイトボードのみの画像を前記撮像手段より受け取り、初期背景画像として前記記憶装置に記憶する背景画像設定手段を更に有することを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。
- 画像処理装置における画像処理方法であって、
画像を入力する画像入力ステップと、
前記画像入力ステップで入力された入力画像の部分領域と、前記部分領域に対応する記憶装置に記憶されている背景画像の部分領域と、の差分をとり、前記差分に基づき、前記入力画像の部分領域ごとに動体領域か背景領域かを判定する領域判定ステップと、
前記領域判定ステップで背景領域と判定された前記入力画像の部分領域と、前記部分領域に対応する前記背景画像の部分領域と、を比較して輝度の変化を判定する輝度変化判定ステップと、
前記輝度変化判定ステップで判定された前記輝度の変化に基づいて、前記領域判定ステップで背景領域と判定された前記入力画像の部分領域と、前記部分領域に対応する前記背景画像の部分領域とを合成する合成比率を設定する設定ステップと、
前記領域判定ステップで背景領域と判定された前記入力画像の部分領域と、前記部分領域に対応する前記背景画像の部分領域と、を設定された前記合成比率で合成し、前記背景画像を更新する更新ステップと、
を有することを特徴とする画像処理方法。 - 前記入力画像と、前記更新ステップで更新された前記背景画像と、を合成する画像合成ステップを更に有することを特徴とする請求項7に記載の画像処理方法。
- 前記画像合成ステップでの前記合成により生成された合成画像を送信する送信ステップを更に有することを特徴とする請求項8に記載の画像処理方法。
- 前記領域判定ステップでは、前記入力画像と前記背景画像との各部分領域を空間周波数成分に変換し、前記入力画像の部分領域の空間周波数成分と、前記部分領域に対応する前記背景画像の部分領域の空間周波数成分と、の差分をとり、前記差分に基づき、前記入力画像の部分領域ごとに動体領域か背景領域かを判定することを特徴とする請求項7乃至9の何れか1項に記載の画像処理方法。
- 前記画像入力ステップでは、撮像手段で撮像された画像を前記撮像手段より受け取り、入力することを特徴とする請求項7乃至10の何れか1項に記載の画像処理方法。
- 撮像手段で撮像されたホワイトボードのみの画像を前記撮像手段より受け取り、初期背景画像として前記記憶装置に記憶する背景画像設定ステップを更に有することを特徴とする請求項7乃至11の何れか1項に記載の画像処理方法。
- 請求項7乃至12の何れか1項に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008260897A JP5213627B2 (ja) | 2008-10-07 | 2008-10-07 | 画像処理装置及び画像処理方法 |
US12/574,010 US8542948B2 (en) | 2008-10-07 | 2009-10-06 | Image processing apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008260897A JP5213627B2 (ja) | 2008-10-07 | 2008-10-07 | 画像処理装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010092224A JP2010092224A (ja) | 2010-04-22 |
JP5213627B2 true JP5213627B2 (ja) | 2013-06-19 |
Family
ID=42075492
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008260897A Active JP5213627B2 (ja) | 2008-10-07 | 2008-10-07 | 画像処理装置及び画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8542948B2 (ja) |
JP (1) | JP5213627B2 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5719141B2 (ja) * | 2010-10-28 | 2015-05-13 | キヤノン株式会社 | 情報処理装置、その処理方法及びプログラム |
US8896692B2 (en) * | 2010-11-10 | 2014-11-25 | Ricoh Company, Ltd. | Apparatus, system, and method of image processing, and recording medium storing image processing control program |
CN102541314B (zh) * | 2010-12-13 | 2015-04-15 | 株式会社理光 | 一种信息处理设备和信息处理方法 |
JP2012142697A (ja) * | 2010-12-28 | 2012-07-26 | Brother Ind Ltd | テレビ会議システム及びテレビ会議プログラム |
JP5565737B2 (ja) * | 2012-02-06 | 2014-08-06 | 日本電信電話株式会社 | 映像イベント検出装置およびその動作方法 |
JP5901353B2 (ja) * | 2012-03-01 | 2016-04-06 | オリンパス株式会社 | 画像処理装置 |
JP6095283B2 (ja) | 2012-06-07 | 2017-03-15 | キヤノン株式会社 | 情報処理装置、およびその制御方法 |
JP6102111B2 (ja) * | 2012-07-27 | 2017-03-29 | 富士通株式会社 | 送信装置、通信装置、データ送信プログラム及びデータ送信方法 |
JP6054771B2 (ja) * | 2013-02-22 | 2016-12-27 | Kddi株式会社 | 背景モデル構築装置、背景モデル構築方法、およびプログラム |
JP6334906B2 (ja) * | 2013-12-05 | 2018-05-30 | ヴイ・インターネットオペレーションズ株式会社 | 映像配信システムおよびプログラム |
JP2015115678A (ja) * | 2013-12-10 | 2015-06-22 | ヴイ・インターネットオペレーションズ株式会社 | 映像配信システムおよびプログラム |
JP2016009266A (ja) * | 2014-06-23 | 2016-01-18 | コニカミノルタ株式会社 | 撮影システム、撮影の方法、およびコンピュータープログラム |
JP6603123B2 (ja) * | 2015-12-25 | 2019-11-06 | Kddi株式会社 | 動物体の検出装置、検出方法及びプログラム |
US10970896B2 (en) * | 2016-11-02 | 2021-04-06 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
JP2019057328A (ja) * | 2019-01-07 | 2019-04-11 | ヴイ・インターネットオペレーションズ株式会社 | 映像配信システムおよびプログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4357624A (en) * | 1979-05-15 | 1982-11-02 | Combined Logic Company | Interactive video production system |
JPH10210364A (ja) * | 1997-01-21 | 1998-08-07 | Matsushita Electric Ind Co Ltd | 画像合成方法、および、画像合成装置 |
JPH1196376A (ja) * | 1997-09-24 | 1999-04-09 | Oki Electric Ind Co Ltd | 移動物体追跡装置及び方法 |
WO2003010727A1 (en) * | 2001-07-25 | 2003-02-06 | Vislog Technology Pte Ltd. | Method and apparatus for processing image data |
US7224847B2 (en) * | 2003-02-24 | 2007-05-29 | Microsoft Corp. | System and method for real-time whiteboard streaming |
JP2005202706A (ja) | 2004-01-16 | 2005-07-28 | Seiko Epson Corp | 動体を含まない画像の合成処理 |
JP2006023983A (ja) * | 2004-07-08 | 2006-01-26 | Ricoh Co Ltd | 文字画像分離装置、文字画像分離方法、文字画像分離プログラム、およびこのプログラムを格納した記録媒体 |
JP4850689B2 (ja) * | 2006-12-22 | 2012-01-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理プログラム並びに記憶媒体 |
US8275197B2 (en) * | 2008-06-14 | 2012-09-25 | Microsoft Corporation | Techniques to manage a whiteboard for multimedia conference events |
-
2008
- 2008-10-07 JP JP2008260897A patent/JP5213627B2/ja active Active
-
2009
- 2009-10-06 US US12/574,010 patent/US8542948B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20100085420A1 (en) | 2010-04-08 |
US8542948B2 (en) | 2013-09-24 |
JP2010092224A (ja) | 2010-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5213627B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4181473B2 (ja) | 映像オブジェクト軌跡合成装置、その方法及びそのプログラム | |
JP4941950B1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
EP3528206B1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP6494439B2 (ja) | 通信装置およびその制御方法 | |
JP6682559B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体 | |
KR20180102125A (ko) | 영상 표시 시스템 | |
JP5037061B2 (ja) | 画像出力装置、画像一覧表示システム、プログラム、記録媒体、及び画像出力方法 | |
JP7187154B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US10095919B2 (en) | Image processing apparatus, image processing method and storage medium to suitably clip a subject region from a moving image | |
JP5340772B2 (ja) | 画像通信システム | |
CN110889809A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
US9781343B2 (en) | Image processing apparatus and method for operating image processing apparatus | |
JP4876058B2 (ja) | 色処理装置およびその方法 | |
JP5493112B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP5812739B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US11457158B2 (en) | Location estimation device, location estimation method, and program recording medium | |
JP2019207603A (ja) | エッジ強度最大化によるトーンマッピング処理方法及びhdr映像変換装置 | |
JP5868048B2 (ja) | 制御装置及びその制御方法 | |
JP2012003584A (ja) | 動画像強調処理システムおよび方法 | |
JP6893322B2 (ja) | 画像生成システム、画像表示システム、画像生成方法、画像生成プログラム、及び移動体 | |
JP2001339695A (ja) | 画像信号処理装置及び画像信号処理方法 | |
JP2009065619A (ja) | 手振れ補正装置及び撮像装置 | |
JP6552309B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5889383B2 (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111006 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120913 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120918 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130226 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5213627 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160308 Year of fee payment: 3 |