JP4188224B2

JP4188224B2 - 画像処理方法

Info

Publication number: JP4188224B2
Application number: JP2003431353A
Authority: JP
Inventors: 秀則竹島; 孝井田; 善啓大盛; 信幸松本; 安則田口
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2003-12-25
Filing date: 2003-12-25
Publication date: 2008-11-26
Anticipated expiration: 2023-12-25
Also published as: JP2005191964A

Description

本発明は、例えば、複数の参加者が１つの合成画像を共有しながらコミュニケーションを行うための画像処理方法に関する。

離れた場所にいるユーザ同士でのコミュニケーションを支援するために、テレビ会議やビデオチャット等のシステムが提案されたが、これらのシステムでは親近感や一体感を感じることができないため、広く普及するにはいたっていない。そこで、親近感や一体感が感じられるシステムを目指し、参加者の画像を１つの画面に合成し、合成画像を共有しながらコミュニケーションを行うシステムが検討されている。

非特許文献１では、図１９のようにカメラ（Ｓ１２０６、Ｓ１２０８）、鏡像反転装置（Ｓ１２０４、Ｓ１２０７）、クロマキー装置（Ｓ１２０２、Ｓ１２０３）、画面（Ｓ１２０１、Ｓ１２０５）を接続し、離れた場所に設置した複数のカメラで撮影し、ネットワークを介して撮影画像を送受信し、前景となる撮影映像の背景部分をクロマキー法（予めカメラの撮影範囲に青や緑等単色の背景を準備しておき、動作時には撮影画像から背景色と異なる部分を被写体とみなし、別の画像上に合成する画像処理方法）で除去して１つの画像として合成し、得られた合成画像を大画面のスクリーンやプロジェクタ装置を用いて等身大に近い大きさで各参加者に提示する。この際、カメラを２つに制限し、図１８のフローチャートに示すように自身の撮影映像については鏡像反転を行い（Ｓ１２０２）、相手の撮影映像については鏡像反転を行わずに合成を行い（Ｓ１２０３）、その合成画像を提示する（Ｓ１２０４）ことで、鏡を見るように自然で、一体感が感じられるコミュニケーションシステムが構築できる。このシステムの構築にあたっては、クロマキー法のために単色の背景という特殊な環境を準備する必要がある。

一方、非特許文献２では、クロマキー法ではなく背景差分法（予めカメラの撮影範囲を撮影・記憶しておき、動作時には撮影画像から記憶した背景と異なる部分を被写体とみなし、別の画像上に合成する画像処理方法）を使って被写体の切り出しと合成を行い、合成画像を共有するシステムを構築している。背景差分法を使えば単色の背景を用意する必要がないため、特殊な環境を用意しなくても同様のコミュニケーションを行うことが可能となる。

ところが、背景差分のみでは被写体の正確な切り出しが難しい。そのため、さらに、正確に被写体の輪郭を抽出するために、背景差分で抽出した被写体の形状を利用して、非特許文献３のフラクタル輪郭抽出法で正確な輪郭の抽出を行っている。

このフラクタル輪郭抽出法について図２０のフローチャートに基づいて説明する。

まず、入力する情報は、画像データと、正確ではないが輪郭に近い形状データである概略形状データとである。なお、出力される情報は、より正確な形状データである。

Ｓ１３０９：ブロックサイズから決定でき、かつ、正確に抽出できる写像回数Ｍを設定する。なお、Ｍは、縦横の画素数Ｘに、ブロック倍率ＡのＭ乗をかけた値が１以下になるような値である。すなわち、Ｘ×Ａ^Ｍ＝＜１を満たす値である。

Ｓ１３０２：概略形状データを参照しながら、その輪郭に複数の処理ブロック（例えば縦横各３２画素の正方形）を配置する。

Ｓ１３０３：画像データを参照しながら、各処理ブロックについて、その処理ブロックをＡ倍した大きさ（例えばＡ＝２．０）を持ち、最もその誤差（例えば画素毎の誤差絶対値の総和値）が小さいブロックであるペアレントブロックを探索する。この探索は探索ステップが１画素である全探索か、はじめに大きな探索ステップで探索を行い、その解の近傍でのみ小さな探索ステップで探索を行うことを、探索ステップが１になるまで数回繰り返す階層的探索で行う。

Ｓ１３０４：次に、各ブロックで、形状データについてペアレントブロックから処理ブロックへの写像を行う。

Ｓ１３０５：Ｍ回の写像が完了するまで、Ｓ１３０４の処理を繰り返す。

Ｓ１３０６〜Ｓ１３０７：処理ブロックのサイズが十分に小さい（例えば縦横各４画素の正方形）なら、形状データを出力し画像処理を終了する。そうでなければ、処理ブロックをより小さなもの（例えば縦横それぞれが半分の長さをもつブロック）に変えてＳ１３０２に戻る。

フラクタル輪郭抽出法は図１７に示すように、処理ブロックのサイズが大きいほど、対応可能範囲は大きく、計算量は多く、得られる輪郭の精度は低くなるという特性をもつ。そこで、Ｓ１３０６〜Ｓ１３０７の処理では、対応可能範囲を大きく、かつ、得られる輪郭の精度を高くするために、始めに大きな処理ブロックのサイズで輪郭抽出処理を行った後、前の輪郭抽出処理の結果を次の入力として、段階的に対応可能範囲を小さくしながら輪郭抽出処理を繰り返す処理を行っている。このため対応可能範囲を大きくすると、その計算量は多くなる。

このような画像処理を行うことで、処理前に比べ真の形状に近い形状データが得られる。
森川治，「超鏡：魅力あるビデオ対話方式をめざして」情報処理学会論文誌，Vol.41-3，pp.815-822，2000．竹島秀則，井田孝，堀修，「参加者の切りだし画像を実時間で共有するチャットシステムの開発」，2002年電子情報通信学会総合大会講演論文集，SD-3-10，pp.391-392，早稲田大学，Mar．2002． T. Ida and Y. Sambonsugi, ``Self-affine mapping system and its application to object contour extraction,'' IEEE Trans. Image Processing., vol.9, no.11, pp.1926-1936, Nov. 2000.

背景技術で述べた技術を用いて、カメラを２つに制限して自画像の鏡像反転を行い、背景差分法を用いて被写体の切り出しと合成を行えば、単色の背景という特殊な環境を用意しなくても、鏡を見るように自然で、一体感が感じられるコミュニケーションシステムが構築できる。

しかし、このシステムでは３地点以上の通信ができないという問題点がある。

そこで、本発明は、３人以上の参加者が１つの合成画像を共有しながらコミュニケーションを行うことができる画像処理方法を提供する。

また、上記で説明した非特許文献３のフラクタル輪郭抽出法は計算コストのかかる画像処理であり、例えば、非特許文献２の方法でシステムを構成するとＬＡＮ接続での遅延時間は０．５秒程度となる。

そこで、本発明は、また、フラクタル輪郭抽出法を用いて後処理を行う場合に高速に処理できる画像処理方法を提供する。

本発明は、２つの端末グループの中の第１の端末グループに属する自端末の撮影手段によって撮影された自画像を入力する自画像入力ステップと、前記第１の端末グループに属する外部端末及び前記第１の端末グループに属さない第２の端末グループに属する外部端末において撮影された各外部端末画像をネットワークを介して入力する外部端末画像入力ステップと、前記自端末と前記第１の端末グループに属する外部端末から入力された各画像を、鏡像反転する画像反転ステップと、前記鏡像反転された前記第１の端末グループの各画像と、前記第２の端末グループの外部端末画像を重ね合わせて合成し、合成画像を生成する合成ステップと、を具備することを特徴とする画像処理方法である。

本発明では、３地点以上でもユーザにとって自然な画像の共有が実現できる。

（実施形態１）
以下、本発明の実施形態１の画像処理方法について説明する。本実施形態では、３つ以上の端末１０（例えば、４つの端末１０）の接続に関するものであり、図１〜図５を用いて説明する。

図１は、本実施形態の画像処理方法を実現する場合のフローチャートであり、図２は画像入力、被写体抽出、鏡像反転、画像合成を行う際の画像データの流れであり、図３は本実施形態におけるシステム構成の例、図４はシステムにおける端末１０内部の構成の例である。図５は鏡像反転状態を示す説明図である。

（１）システムの概要
図３に示すシステムは多地点テレビ会議の一種である。ネットワークに接続された複数の端末１０のそれぞれは、図４に示すように、まずカメラから画像を逐次撮影し、すなわち、所定時間毎に撮影して取り込むと同時に、ネットワークを介して接続された他の端末１０（外部端末１０）で撮影されたカメラ画像を取り込む。

次に、取り込まれた複数の画像を重ねて合成し、画面（例えば、端末画面やテレビ画面、プロジェクタ）に表示する。

ここで、表示された自画像を自然な画像とするためには、鏡像反転処理をする必要がある。なぜなら、ユーザが左右に移動すると表示される画面上では逆方向に移動するように見えるため使いにくいからである。なお、非特許文献１では、２地点間では自画像を鏡像反転したうえで合成することが可能であるが、３地点以上の通信では鏡像反転処理を行うことはできない。

そこで、本実施形態では、４つの端末１０を２つの端末グループのいずれかに所属させておき、各端末１０の画像処理においては、図５に示すように、自分の端末１０が属する端末グループ（以下、「自端末グループ」という）の画像を鏡像反転の対象とし、自分の端末１０が属しない端末グループ（以下、「相手グループ」という）の画像は鏡像反転の対象としない。自画像は、自端末グループ内の端末１０では鏡像反転されて表示され、相手グループ内の端末１０では鏡像反転をうけずに表示される。

（２）端末１０の構成
図２及び図４に基づいて端末１０の構成について説明する。

端末１０は、モニタ１２、カメラ１４が接続され、ネットワークを介して他の３個の端末と接続されている。

端末１０内部には、画像合成部１６、３個の切り出し部１８、１８，１８と２個の鏡像反転部２０，２０とキャプチャー部２２を有している。なお、図４において、矢印の方向は画像データの流れを示している。

カメラ１４で撮影した画像（すなわち、自画像）は、キャプチャー部２２を介して鏡像反転部２０に入力されて画像の左右が反転し、鏡像反転した画像は切り出し部１８に入力され背景画像から被写体のみが切り出される。この切り出し方法は背景技術で説明した技術を用いる。この被写体のみが切り出された画像が画像合成部１６に入力される。また、ネットワークを介して撮影した画像は他の３個の外部端末１０に送信される。

第１の外部端末１０は、自端末グループに属するものであり、第１の外部端末１０から送信された画像は、鏡像反転部２０、切り出し部１８を通して、鏡像反転され被写体のみが切り出された画像が画像合成部１６に入力される。

第２の外部端末１０は、相手グループに属するものであり、第２の外部端末１０から送信された画像は、鏡像反転は行わず切り出し部１８で被写体のみが切り出された画像が画像合成部１６に入力される。

第３の外部端末１０は相手グループに属するものであり、この第３の外部端末１０から送信された画像は、鏡像反転は行わず、また、背景画像からの切り出しも行わず、そのままの画像が画像合成部１６に入力される。

画像合成部１６は、自端末グループの自端末１０と第１外部端末の鏡像反転され切り出された被写体と、相手グループの第２外部端末の鏡像反転されない切り出された被写体と、第３外部端末の背景画像を含む画像とを合成してモニタ１２に表示する。

なお、このグループ分けは、予め設定されているか、システムを動作するときに設定する。

（２）処理方法
本実施形態の画像処理方法のフローチャートを図１に示す。

各端末１０に通しの端末番号ｋをつけて管理する。端末番号ｋを１から端末数（上記の場合には端末数４）の各画像に対し、以下で説明するＳ１０２〜Ｓ１０７の処理を行い、得られた複数の出力画像を用いて画像合成を行い（Ｓ１０８）、表示手段（例えばディスプレイやプロジェクタ）で提示する（Ｓ１０９）。なお、各鏡像反転処理は各画像毎に独立であるため、並列処理を行うことも可能である。

ここで、Ｓ１０４とＳ１０５では、自端末の属する端末グループであれば、入力画像に対し鏡像反転を行い出力画像とする。そうでなければ、入力画像をそのまま出力画像とするものである。

ここで具体例として、教師がホワイトボードを使いながら、生徒に対し授業を行う場合を考える。

この場合、教師の端末１０で撮影された画像は、ホワイトボードに書かれた文字を含む。したがって、生徒の端末１０においては鏡像反転されないことが望ましい。そこで本実施形態のもつ２グループ構成を生かし、第１のグループに教師を、第２のグループに生徒を所属させる。図４の構成では、第３外部端末１０が教師の端末であることが望ましい。

これにより、生徒の端末１０ではホワイトボードを含む教師の画像が鏡像反転されることはない。なお、教師の端末１０においては、教師自身の画像は鏡像反転の対象となるため、文字も鏡像反転される。この問題の解決方法は次の実施形態２で述べる。

以上により、本実施形態では、３地点以上でもユーザにとって自然な画像の共有が実現できる。

（３）変更例
文字が画像中に存在しない場合は、グループ分けを行わずに全部の端末１０を１つのグループとみなしてもよく、この場合は全端末１０で鏡像画像を表示する。

（実施形態２）
以下、本発明の実施形態２の画像処理方法について説明する。本実施形態では画像中の一部の領域を鏡像反転領域から除外するものであり、図６から図９を用いて説明する。

鏡像反転を行わないで画面に合成する場合は、その画像は図６の５０１のようになり、文字は正しく表示される。

しかし、実施形態１で述べたように、鏡像画像の表示は、図７の６０１のようになり、文字は認識できない。

そのため、従来では、例えば、電子的な仮想ホワイトボード（電子ホワイトボード）を用意しておき、ホワイトボードに書かれた文字や図形を、通信路を介して共有し表示画像に重ねて合成することで対応していた。しかし、電子機器に不慣れなユーザは、電子ホワイトボードに対し抵抗感があることも多い。また画像に対し無条件に鏡像反転を行っているため、電子ホワイトボード以外では文字を共有することができず、例えば紙に印刷された文字を見せたいとユーザが考えても、その部分は鏡像反転されたままである。

そこで、本実施形態では、この問題点を解決するものであり、以下、その画像処理方法を、図８と図９のフローチャートに基づいて説明する。

鏡像反転した画像内の、左右対称な領域をユーザに選択させる方法を用意しておく。少なくとも２端末における画像を逐次入力した後、そのうちのいくつかの画像はそのまま画像合成入力とし、いくつかの画像は鏡像反転を行ってから画像合成入力とする。

鏡像反転（Ｓ８０２）された画像に対してユーザによって画像内の領域が選択されている場合は（Ｓ８０３）、鏡像反転を行った後の画像に対し指定領域のみ鏡像反転を行って（Ｓ８０４：再鏡像反転を行う代わりに指定領域のみ鏡像反転前の画像をはり付けても良い）、画像合成部１６に入力する。

領域が選択されていない場合は、通常の鏡像反転のみを行う。

その後、得られた鏡像画像及びを用いて図８に示すように画像合成（Ｓ８０５）及び画像提示（Ｓ８０６）を行う。

これによって、選択された領域にユーザがいない限り、自画像は鏡像反転し、かつ文字の鏡像反転を避けることができる。

本実施形態は、２個の端末であっても、多端末の構成であっても適用可能である。

また、２つのグループに分ける構成を用いる場合は、通信回線を介して鏡像反転領域を共有すれば、鏡像反転領域を指定するユーザ操作は１箇所で行えばすむ。

本実施形態により、自画像等の鏡像画像においても、鏡像とすべきでない文字等の領域を自然にユーザに提示することが可能となる。

（実施形態３）
以下、本発明の実施形態３の画像処理方法について説明する。本実施形態では、合成画像の背景を含む画像を撮影する端末（以下、「背景側端末」という）において、被写体領域の算出及び重ねあわせを行うものであり、図１０を用いて説明する。なお、図４においては、背景側端末としては第３外部端末１０が該当する。

従来、背景側端末のユーザは常に他の端末のユーザによって重ね合わせられていた。しかし、例えば教師が生徒を指導するために使う場合は、教師が重ねあわせによって見えなくなると都合が悪いことも多い。従って、ユーザの指示によって、背景側端末のユーザを上に重ね合わせる機能を提供することは有用である。

ここで、非特許文献１のようにクロマキー法を用いてシステムを構成する場合は、背景側端末では通常、単色の背景は用意しないため被写体を切り出せない。この理由は、単色の背景を合成することはユーザにあまり好まれないためである。

しかし、背景差分法を用いてシステムを構成する場合は、背景が単色でなくても被写体を切り出すことができるため、背景側端末の被写体を切り出すことができる。従って、背景側端末の被写体を他の端末で撮影した被写体の上に重ねて表示できる。これを利用して、ユーザの指示により背景側端末のユーザを上に重ね合わせる機能を提供する方法の一例を、図１０に示すフローチャートに従って説明する。

まず、別途指定された順序を重ねあわせ順序として設定する（Ｓ９０２）。例えば、端末番号１の画像上に、端末番号２、４、３の画像を順番に重ね合わせるなどである。

次に、ｋ番目の端末で撮影された画像に対し被写体の切り出しを行う（Ｓ９０４，Ｓ９０５）。これを、１から端末数までの各端末番号ｋに対して行う（Ｓ９０３〜Ｓ９０７）。なお、Ｓ９０３〜Ｓ９０７の処理は逐次処理であるが、各画像に対する被写体の切り出しは独立した処理であり、並列処理を行うことも可能である。

次に、背景画像に対し、前記重ね合わせ順序を用いて、切り出された被写体画像を重ねていく（Ｓ９０８）。このとき、背景側端末で撮影された画像も重ねることで、背景側端末の被写体を他の端末で撮影された被写体よりも上に重ねて合成することができ、先の状況の要求にこたえることができる。

Ｓ９０２で設定する背景側端末の被写体と他の被写体との上下関係は別途用意した設定やボタン操作等で静的に決定することが可能である。また、被写体の領域（形状データ）から得られる被写体の大きさ（大きさとは例えば面積、バウンディングボックス）を用いてフレームごとに決定してもよい。例えば、被写体の大きさが大きいほど上に重ね合わせられるように重ねあわせ順序を決定すれば、ユーザがカメラに近づくほど上に重ねあわせられるため、奥行き情報を持たない２次元画像を用いていても奥行きを擬似的に実現することができ、システムが提供するコミュニケーション空間の自然さに寄与する
（実施形態４）
以下、本発明の実施形態４の画像処理方法について説明する。本実施形態では、別途撮影された参照画像を用いて背景差分法を行う方法について図１１と図１２に従って説明する。ここで、「参照画像」とは背景差分法を用いて、例えば背景と一緒に写った被写体の画像から被写体のみを切り出す場合に、その差分の基礎となる背景のみが写った画像をいう。

図１１は、外部端末から画像を入力し、背景差分法及び画像合成を行う端末（自端末）のフローチャートを示し、図１２は入力画像を送信する外部端末のフローチャートを示す。

（１）自端末の処理
自端末は参照画像を保存する記憶する機能（参照画像メモリ）を持ち、図１１のフローチャートに示された画像処理を逐次行う。

画像処理においては、まず、外部端末からの画像及び画像付加情報を受信する（Ｓ１００２）。この画像付加情報は、通常の撮影画像であるか参照画像であるかを識別するための情報（例えば、０を撮影画像、１を参照画像とする２値の情報）を含むものとする。

自端末は受信された画像付加情報を参照して入力画像であるか参照画像であるかを調べる（Ｓ１００３）。

画像が参照画像であったときには、参照画像メモリに保存する（Ｓ１００７）。既に参照画像がメモリに保存されていれば、それを更新する（Ｓ１００７）。

画像が入力画像であったときには、参照画像メモリと入力画像との差分領域を検出し（Ｓ１００４）、他の画像との合成（Ｓ１００５）を行う。

（２）外部端末の処理
次に、外部端末における処理の流れを図１２に従って説明する。

外部端末は画像を撮影する手段、及び参照画像の更新をユーザに指示させる手段を持っており、逐次画像の入力（Ｓ１１０２）を行っている。

通信開始直後やユーザの指示による参照画像入力の指示（Ｓ１１０３）があったときには、画像付加情報に参照画像であるという情報を付与し（Ｓ１１０６）、画像及び画像付加情報を送信する。

それ以外のときには、画像付加情報に入力画像であるという情報を付与し（Ｓ１１０４）、画像及び画像付加情報を送信する。

（３）実施形態４の効果
一般のテレビ会議システムでは背景差分法のための参照画像を送信する手段を持っていないが、背景差分法は背景が変化するたびに参照画像の更新が必要となることが多い。そこで、このような構成にして外部端末はいつでも参照画像の更新を行えるようにすることで、カメラの移動や照明条件の著しい変化といった背景差分法に悪影響を与える現象が起きた場合に、参照画像の更新が行えるようになり、コミュニケーションの継続ができる。

（４）変更例
なお、被写体抽出を行う前の画像をいつでも見られるようにすれば、例えば背景差分法におけるパラメータ（例えば、前景であると判断するしきい値）の調整に有用である。

また、例えば参照画像の取り込みを行うといった端末の状態変化を送信し、外部端末の状況を受信側に表示しておけば、外部端末の被写体が参照画像の取り込みのために突然合成されなくなり受信側のユーザが戸惑うという問題を避けることができる。

また、機器の調整を画像送受信の開始時に行う場合、合成画像を共有する通信を行う前に、音声通信や合成前の画像を送受信することで、参照画像機器の調整をスムーズに行うことができる。

（実施形態５）
以下、本発明の実施形態５の画像処理方法について説明する。

背景差分で抽出した被写体の形状を利用して正確な輪郭の抽出を行うフラクタル輪郭抽出法を高速に画像処理する方法について図１３〜図１７を用いて説明する。

（１）本実施形態のフラクタル輪郭抽出法の内容
以下、図１４〜図１６に基づいて本実施形態のフラクタル輪郭抽出法の内容について説明する。

図１４、図１５におけるＸ１７０２は真の輪郭線、Ｘ１７０３は与えられた大まかな輪郭線とする。輪郭抽出処理では、大まかな輪郭線（すなわち、概略的な輪郭線）に基づいて複数の処理ブロックが配置される。Ｘ１７０１、Ｘ１８０１は処理ブロックの１つを表している。

図１４のＸ１７０１のように真の輪郭線が処理ブロックに含まれていれば、輪郭抽出処理は正しく行われる。一方、図１５のＸ１８０１のように真の輪郭線が処理ブロックに含まれていないと、輪郭抽出処理は失敗する。つまり、与えられた大まかな輪郭線に許容されるずれの程度は、処理ブロックが配置された場合に真の輪郭線が処理ブロックに含まれる程度である。

従来のフラクタル輪郭抽出法では、輪郭抽出処理を毎回高い計算精度で行ってきた。しかし、前の輪郭抽出処理の結果を次の入力として再び輪郭抽出処理を行っているのであるから、前の輪郭抽出処理では次の輪郭抽出処理（対応範囲は前より小さいが、精度は前より高い）の対応範囲に入ってさえいれば良いため高い計算精度はいらない。最後の輪郭抽出処理だけは高い計算精度で行う必要があるが、フラクタル輪郭抽出法の特性（図１７）を考えると、最後の輪郭抽出処理で使う処理ブロックは小さいためいまいちよくわからないので加筆高い精度で計算を行ってもその計算量は少なくてすむ。

このことを使えばフラクタル輪郭抽出法はより高速になる。

まず、図１４に示す方法で、図１６のように大まかな輪郭線Ｘ１７０３が与えられたとする。その現段階で行う輪郭抽出処理の結果である次の大まかな輪郭線Ｘ１９０２に基づき、次の輪郭抽出処理の処理ブロックＸ１９０１が配置されたとする。この場合に、真の輪郭線が処理ブロックＸ１９０１に含まれていれば良い。処理ブロックＸ１９０１が真の輪郭線を含むように現段階の輪郭抽出処理の計算量を落とせば高速になる。

（３）フラクタル輪郭抽出法の処理のフローチャートによる説明
本実施形態のフラクタル輪郭抽出法の処理を図１３のフローチャートに基づいて説明する。

Ｓ１３０１において探索ステップ及び写像回数Ｍを、ブロックサイズに応じて適切に設定する。そして、ブロックマッチング（Ｓ１３０３）の探索をＳ画素（Ｓは自然数）毎に行うことや、縮小写像（Ｓ１３０４）の回数を減らすことにより、高速になる。

但し、Ｓ１３０２〜Ｓ１３０５の処理が最後の処理である場合は、Ｓ１３０１では全探索（ステップ＝１）で誤差が１未満となるようなＭ（例えば縦横４画素であればＭ＝３とする）を設定する。

（３−１）ブロックマッチングの探索
まず、Ｓ１３０３におけるブロックマッチングの探索を高速に行うことについて説明する。

処理ブロックは与えられた大まかな輪郭線の中心におかれるから、与えられた大まかな輪郭線と真の輪郭線とのずれは、処理ブロックの大きさの１／２を超えてはいけない。

また、現段階の処理ブロックと次の処理ブロックの大きさ（処理ブロックの各軸の長さ）の比は１／２である。真の輪郭線を次の処理ブロックのなかに含めるためには、現段階の輪郭抽出処理によって得られる輪郭線のずれが、現段階の処理ブロックの１／４以下になっていれば良い。つまり、現段階の処理ブロックのサイズをＢとしたときに、現段階の輪郭抽出処理における許容誤差はＢ／４である。

ペアレントブロックと処理ブロックの大きさの比がｒ（但し、ｒ＞１である）であるとき、ペアレントブロックの位置が１画素ずれると、得られる輪郭線はほぼ（１／（ｒ−１））画素ずれる。そして、このずれの値は、ペアレントブロックから処理ブロックへの写像の不動点が、ペアレントブロックを１画素ずらした場合の前記不動点のずれにほぼ等しくなることから求められる。なお、「ペアレントブロック」とは、背景技術で説明したように、各処理ブロックについて、その処理ブロックをＡ倍した大きさ（例えばＡ＝２．０）を持ち、最もその誤差（例えば画素毎の誤差絶対値の総和値）が小さいブロックをいう。

Ｓ画素毎に探索した場合に、１画素毎に探索した場合のペアレントブロックに最も近いペアレントブロックが常に得られると仮定する。つまり、ペアレントブロックのずれが最大Ｓ／２画素であると仮定する。

すると、（１／（ｒ−１））×（Ｓ／２）が許容されるずれを超えないようにＳを決めればよい。

（３−２）縮小写像の処理
次に、Ｓ１３０４における縮小写像の処理について説明する。

本実施形態では、非特許文献３のように縮小写像が収束するまで行わずに、Ｍ回で打ち切ることで高速に行うものである。

縮小写像を１回行う毎に輪郭の誤差が（１／ｒ）になることにより、Ｍ回行うと輪郭の誤差は（１／ｒ）のＭ乗に初期許容誤差Ｂ／２を掛けた値になる。

従って、探索をＳ画素おきに行ったために発生する誤差と、縮小写像をＭ回で打ち切ったことによる誤差があわせてＢ／４以下である限り、輪郭抽出結果に影響を与えずに高速に輪郭抽出を行うことができる。この条件は、例えばＳ＝Ｂ／４、Ｍ＝３とすれば満たされる。

（４）効果
以上により、処理ブロックのサイズＢが大きくてもＭを増やす必要はなく、また処理ブロックのサイズが大きいほどＳも大きくできることがわかる。

また、先に述べたように処理ブロックのサイズＢが大きいほど輪郭抽出処理に多くの時間を必要とするから、本実施形態によって処理ブロックのサイズＢが大きいときに必要な時間を短縮できれば、フラクタル輪郭抽出法を高速化できる。

そして、本実施形態により、時間のかかる後処理であるフラクタル輪郭抽出法を高速に行うことができ、クロマキーに比べて計算量の多い処理を導入することによる円滑なコミュニケーションの阻害を解決することができる。

（５）変更例
上記では、２次元のフラクタル輪郭抽出法の高速化方法について説明したが、この方法は、例えばＭＲＩで得られる３次元画像、時系列に従う２次元画像である３次元の時空間画像、時系列に従う３次元画像である４次元の時空間画像のように３次元以上の画像であっても適用可能である。

例えば、非特許文献４（竹島秀則，井田孝，堀修，松本信幸，「時空間画像の自己相似性を用いたオブジェクト輪郭の抽出」，電子情報通信学会技術研究報告（信学技報）、Vol.103、No.325、IE2003-62、Sept.2003.）の時空間の３次元のフラクタル輪郭抽出法に適用できる。

すなわち、非特許文献４では時間方向において、現段階の処理ブロックの大きさと次の処理ブロックの大きさが同じ場合がある。この場合は同様に考えると、探索をＳ画素おきに行ったために発生する誤差と、縮小写像をＭ回で打ち切ったことによる誤差があわせてＢ／２以下である限り、輪郭抽出結果に影響を与えずに高速に輪郭抽出を行えることがわかる。

本発明は、例えば、複数の参加者が１つの合成画像を共有しながらコミュニケーションを行うための画像処理方法に好適である。

本発明の実施形態１の自端末グループに対してのみ鏡像反転を行う方法のフローチャートである。４つの端末からの画像に対し画像処理を行う場合の画像データの例である。本実施形態を利用したシステム構成例である。本実施形態を利用したシステムの端末の構成例である。鏡像反転の関係を示す説明図である。実施形態２の鏡像反転しない画面の例である。全体を鏡像反転した画面の例である。文字領域のみを鏡像反転の対象から除外した画面の例である。実施形態３の一部の領域を鏡像反転の対象からはずす方法のフローチャートである。実施形態４の自端末の画像を上に重ねることが可能な画像処理方法のフローチャートである。付加情報を利用して参照画像と対象画像を分離して処理する方法である。参照画像と対象画像を区別するための情報を付加して送信する方法である。実施形態５の高速なフラクタル輪郭抽出法のフローチャートである。真の輪郭線が処理ブロックに含まれているときの説明図である。真の輪郭線が処理ブロックに含まれていないときの説明図である。次の輪郭抽出処理の処理ブロックが配置された説明図である。処理ブロックのサイズが大きいほど、対応可能範囲は大きく、計算量は多く、得られる輪郭の精度は低くなるという特性を示す説明図である。従来のシステムにおける画像処理方法のフローチャートである。従来のシステムの構成例である。従来のフラクタル輪郭抽出法のフローチャートである。

符号の説明

１０端末
１２モニタ
１４カメラ
１６画像合成部
１８切り出し部
２０鏡像反転部
２２キャプチャー部

Claims

２つの端末グループの中の第１の端末グループに属する自端末の撮影手段によって撮影された自画像を入力する自画像入力ステップと、
前記第１の端末グループに属する外部端末及び前記第１の端末グループに属さない第２の端末グループに属する外部端末において撮影された各外部端末画像をネットワークを介して入力する外部端末画像入力ステップと、
前記自端末と前記第１の端末グループに属する外部端末から入力された各画像を、鏡像反転する画像反転ステップと、
前記鏡像反転された前記第１の端末グループの各画像と、前記第２の端末グループの外部端末画像を重ね合わせて合成し、合成画像を生成する合成ステップと、
を具備することを特徴とする画像処理方法。
前記画像反転ステップは、
前記画像を鏡像反転させる鏡像反転ステップと、
前記鏡像反転させた画像の中で指定された反転処理除外領域のみを鏡像反転していない画像に置き換える画像置き換えステップと、
を具備することを特徴とする請求項１記載の画像処理方法。
２つの端末グループの中の第１の端末グループに属する自端末の撮影手段によって撮影された自画像を入力する自画像入力手段と、
前記第１の端末グループに属する外部端末及び前記第１の端末グループに属さない第２の端末グループに属する外部端末において撮影された各外部端末画像をネットワークを介して入力する外部端末画像入力手段と、
前記自端末と前記第１の端末グループに属する外部端末から入力された各画像を、鏡像反転する画像反転手段と、
前記鏡像反転された前記第１の端末グループの各画像と、前記第２の端末グループの外部端末画像を重ね合わせて合成し、合成画像を生成する合成手段と、
を具備することを特徴とする画像処理装置。
前記画像反転手段は、
前記画像を鏡像反転させる鏡像反転手段と、
前記鏡像反転させた画像の中で指定された反転処理除外領域のみを鏡像反転していない画像に置き換える画像置き換え手段と、
を具備することを特徴とする請求項３記載の画像処理装置。