JP4320064B2 - 画像処理装置及び記録媒体 - Google Patents
画像処理装置及び記録媒体 Download PDFInfo
- Publication number
- JP4320064B2 JP4320064B2 JP19601598A JP19601598A JP4320064B2 JP 4320064 B2 JP4320064 B2 JP 4320064B2 JP 19601598 A JP19601598 A JP 19601598A JP 19601598 A JP19601598 A JP 19601598A JP 4320064 B2 JP4320064 B2 JP 4320064B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- circumscribed rectangle
- data
- processing apparatus
- rectangle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
Description
【０００１】
【発明の属する技術分野】
本発明は画像処理装置及び記録媒体に係り、特に、画像中から所望の対象物を抽出する画像処理装置及び記録媒体に関する。
【０００２】
【従来の技術】
従来の動画像中から所望のオブジェクトを切り出す場合には、一般にブルーバック背景で所望のオブジェクトの映像を撮影し、クロマキー抽出技術を用いてブルーバックを排除し、使用するオブジェクトを切り抜き、切り抜いたブルーバックに代えて他の背景を合成していた。
【０００３】
【発明が解決しようとする課題】
しかるに、上記画像処理方法では、切り出された画像サイズは参照画像の一部であるにもかかわらず、参照画像と同一サイズになるため、処理を行う際のデータ効率が悪い等の問題点があった。
すなわち、切り出された画像の背景は後で合成されるのであるから、切り出された画像以外の部分のデータは余分なデータであり、データを保持する場合などにもブルーバック部分の不要なデータ部分が多くなる。
【０００４】
本発明は上記の点に鑑みてなされたもので、画像処理時のデータ効率を向上できる画像処理装置及び記録媒体を提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明の請求項１及び１０は、所望の対象物を含む画像中から所望の対象物を同定し、同定された対象物を含む矩形を抽出し、抽出された矩形により対象物を含む矩形画像を切り取る。
【０００６】
請求項３は、請求項１又は２において、複数の連続する画像から所望の対象物を含む矩形を抽出し、複数の矩形画像のうち最大の大きさの矩形で複数の連続する画像から対象物を含む矩形画像を切り出す。
請求項４は、請求項１乃至３において、矩形画像の画像サイズ情報を出力する。
【０００７】
請求項５は、矩形画像の画像中での位置情報を出力する。
請求項６は、請求項１乃至５において、画像をベクトルデータとする。
請求項７は、請求項１乃至５において、画像をビットマップデータとする。
請求項８は、請求項１乃至７において、切り取った連続する矩形画像と他の画像を合成して出力する。
【０００８】
請求項９は、請求項１乃至７において、切り取った連続する矩形画像と他の画像を位置情報に従って合成して出力する。
【００１２】
上記本発明によれば、画面全体でなく、対象物を含む矩形として切り取るので、小さいデータ量で対象物を切り取ることができる。
また、対象物をその最小外接矩形として切り取るので、最小のデータ量で対象物を切り取ることができる。
さらに、動画像等の複数の連続画像から対象物を切り出す際に、画面全体でなく、対象物を含む矩形として切り取るので、小さいデータ量で対象物を切り取ることができる。
【００１３】
また、矩形の大きさを示す画像サイズ情報を付与することにより矩形の大きさを認識できる。
さらに、切り取られた矩形画像の画像中での位置を認識できる。
また、切り取った連続する矩形画像と他の画像を前記位置情報に従って合成することにより、クロマキー技術などにより合成する際に、切り取った画像が参照画像内で動きが忠実に再現でき、リアルな映像表現が可能となる。
【００１４】
【発明の実施の形態】
図１は本発明の一実施例のブロック構成図を示す。
本実施例の情報処理装置１は、主に、ＣＰＵ２、ＲＯＭ３、ＲＡＭ４、ハードディスクドライブ５、フロッピーディスクドライブ６、ＣＤ−ＲＯＭドライブ７、ディスプレイ８、表示コントローラ９、入力装置１０、通信コントローラ１１、バス１２から構成される。
【００１５】
ＣＰＵ２は、実行中のプログラムに応じた所望のデータ処理を行う。ＲＯＭ３は、起動プログラムや初期値が記憶され、装置の起動時に起動プログラムや初期値が読み出される。ＲＡＭ４は、ハードディスクドライブ６からアプリケーションソフトのプログラムやデータなどが展開、記憶され、ＣＰＵ２の作業領域として使用される。
【００１６】
ハードディスクドライブ５は、ＯＳや本実施例の画像処理プログラム、参照画像データ、マスク画像データ、処理後の画像データ等が記憶される。ハードディスクドライブ５に記憶されたＯＳやプログラム、データは、ＲＡＭ４に展開され、ＣＰＵ２により処理が行われる。
フロッピーディスクドライブ６は、フロッピーディスク１３が装着され、フロッピーディスク１３にプログラムやデータを記憶するとともに、フロッピーディスク１３に予め記憶されたプログラムやデータを読み出す。
【００１７】
ＣＤ−ＲＯＭドライブ７は、ＣＤ−ＲＯＭ１４が装着され、ＣＤ−ＲＯＭ１４に記録されたプログラムやデータを読み出す。
ディスプレイ８は、表示データに対応する画面を表示する。表示コントローラ９は、ディスプレイ８とバス１２との間に接続され、表示データをディスプレイ８に画面を表示するための画像信号に変換する。
【００１８】
入力装置１０は、キーボード、マウスから構成され、指示やデータを入力する。通信コントローラ１１は、通信回線１５に接続され、通信回線１５を介してプログラムやデータの通信を行う。バス１２は、ＣＰＵ２、ＲＯＭ３、ＲＡＭ４、ハードディスクドライブ５、フロッピーディスクドライブ６、ＣＤ−ＲＯＭドライブ７、ディスプレイ８、表示コントローラ９、入力装置１０、通信コントローラ１１の間に接続され、コマンドやデータをやり取りする。
【００１９】
ハードディスクドライブ５には、本実施例の画像処理を行う画像処理プログラムがインストールされている。なお、画像処理プログラムは、フロッピーディスク１３、ＣＤ−ＲＯＭ１４から提供される。また、通信回線１５を介して提供されてもよい。
次に、本実施例の画像処理プログラムの動作を説明する。
【００２０】
図２は本発明の一実施例の機能ブロック図を示す。
画像処理プログラム２０は、情報処理装置（コンピュータ）を参照画像データ供給部２１、マスク画像データ供給不２２、画像処理部２３、データ保持部２４として機能させる。
参照画像データ供給部２１は、切り取ろうとする対象物を含む画像の画像データを画像処理部２３に供給する。
【００２１】
マスク画像データ供給部２２は、画像のうち切り取ろうとする対象物以外の部分をマスクするマスク画像データを画像処理部２３に供給する。マスク画像データ供給部２２から供給されるマスク画像データは、参照画像データ供給部２１から供給される参照画像データ供給部２１に基づいて作成される。
参照画像データからのマスク画像データの作成方法は、例えば、手動による方法と画像抽出などの自動的に行う方法がある。
【００２２】
手動でのマスク画像データ作成方法は、例えば、各フレームについて、オペレータが参照画像上で入力装置１０であるマウスの右ボタンを操作しつつ、ポインタを移動させることにより、マスクを解除すべき領域を指定する。指定後、所定の操作を行うことにより指定された領域以外をマスクするマスク画像データが作成される。
【００２３】
また、自動でのマスク画像データ作成方法は、例えば、所望のフレームについてオペレータにより上記の手動によるマスク画像データ作成方法によりマスク画像データを作成する。手動で作成されたマスク画像データを用いて次にフレームの参照画像に対して作成されたマスク画像データの指定領域の周囲でエッジを検索する。検索結果、検出されたエッジを結ぶことにより領域を設定し、設定された領域以外の領域をマスクするマスク画像データを作成する。
【００２４】
上記処理を順次次のフレームに適用することにより自動的にマスク画像データを作成する。
以上のようにして作成されたマスク画像データがマスク画像データ供給部２２から供給される。
画像処理部２３は、オブジェクト判定部２５、外接矩形算出部２６、切取データ出力部２７、外接矩形情報出力部２８、位置情報算出部２９、位置情報出力部３０から構成される。
【００２５】
オブジェクト判定部２５は、参照画像データ供給部２１から参照画像データ又マスク画像データ供給部２２から供給される参照画像データに対応するマスク画像データを読み込み、参照画像データにマスク画像データを適用して所望の領域の画像データを抽出する。
外接矩形算出部２６は、オブジェクト判定部２５で抽出された対象物の外形矩形を算出する。
【００２６】
切取データ出力部２７は、参照画像から外接矩形算出部２６で算出された外接矩形の領域の画像データを切り取る。
外接矩形情報出力部２８は、外接矩形算出部２６で算出された外接矩形の大きさなどの情報を取得し、出力する。
位置情報算出部２９は、外接矩形算出部２６で算出された外接矩形の参照画像上での位置情報を取得し、出力する。
【００２７】
データ保持部２４は、切取データ出力部２７から出力される切取データ、外接矩形情報出力部２８から出力される外接矩形情報、位置情報出力部３０から出力される位置情報を保持する。
次に、画像処理部２３の動作を詳細に説明する。
図３は本発明の一実施例の画像処理部の動作フローチャートを示す。
【００２８】
画像処理部２３は、まず、参照画像データ供給部２１から参照画像データを読み込む（ステップＳ１−１）。次に、画像処理部２３は、マスク画像データ供給部２２からステップＳ１−１で読み込んだ参照画像データ中の所望の対象物以外の領域をマスクしたマスク画像データを読み込む（ステップＳ１−２）。
画像処理部２３は、ステップＳ１−１、Ｓ１−２で参照画像データ及びマスク画像データが読み込まれると、ループＬ１によりフレーム毎にオブジェクト判定処理、外接矩形計算処理、相対位置計算処理、切取データ出力処理が行われる（ステップＳ１−３〜Ｓ１−１４）。
【００２９】
ステップＳ１−６のオブジェクト判定処理では、ステップＳ１−２でマスク画像データ供給部２２から読み出したマスク画像データをステップＳ１−４、Ｓ１−５、Ｓ１−７〜Ｓ１−１０によりループＬ２、Ｌ３により原点から横方向・縦方向に１ピクセルづつスキャンする。
ここで、ステップＳ１−６のオブジェクト判定処理について説明する。
【００３０】
図４は本発明の一実施例のオブジェクト判定処理の処理フローチャートを示す。
ステップＳ１−６のオブジェクト判定処理では、画面上の画素の座標を（Ｉ，Ｊ）とすると、まず、座標（Ｉ，Ｊ）の画素がオブジェクト内か否かを判定する（ステップＳ２−１）。オブジェクト内か否かの判定は、マスク画像データの指定領域以外のマスク部分の画素をオブジェクト外と判定し、指定領域の画素をオブジェクト内と判定する。
【００３１】
ステップＳ２−１で、座標（Ｉ，Ｊ）がオブジェクト内になければ、オブジェクトではないと判定してオブジェクト判定処理を終了する。
また、ステップＳ２−１で、座標（Ｉ，Ｊ）がオブジェクト内にあれば、次に、オブジェクト内の画素としてはじめて検出されたか否かを判定する（ステップＳ２−２）。
【００３２】
ステップＳ２−２で、オブジェクト内の画素としてはじめて検出されたと判定された場合には、そのときの座標（Ｉ，Ｊ）を外形座標Ｘmin(I,J)、Ｙmin(I,J)とする（ステップＳ２−３、Ｓ２−４）。また、座標（Ｉ，Ｊ）を外形座標Ｘmax(I,J)、Ｙmax(I,J)とする（ステップＳ２−５、Ｓ２−６）。
ステップＳ２−２で、オブジェクト内の画素としてはじめて検出された画素ではないと判定された場合には、そのときの座標（Ｉ，Ｊ）をステップＳ２−５、Ｓ２−６により座標Ｘmax(I,J)、Ｙmax(I,J)とする（ステップＳ２−５、Ｓ２−６）。
【００３３】
以上の動作を１フレーム内で繰り返し、オブジェクトの外形座標Ｘmin(I,J)、Ｙmin(I,J)、及び、Ｘmax(I,J)、Ｙmax(I,J)を求めることにより、そのフレーム内でのオブジェクトの外周縁の座標が求まる。
上記処理を１フレーム分の画像に対して実行すると、次に、ステップＳ１−６のオブジェクト判定処理で求められたオブジェクトを構成する画素の最小値Ｘmin(I,J)、Ｙmin(I,J)及び最大値Ｘmax(I,J)、Ｙmax(I,J)からオブジェクトの外接矩形を算出する（ステップＳ１−１１）。
【００３４】
ここで、ステップＳ１−１１の外接矩形算出処理について説明する。
図５は本発明の一実施例の外接矩形算出処理に処理フローチャートを示す。
外接矩形算出処理は、まず、ステップＳ１−４〜Ｓ１−１０で求められた外形座標Ｘmin(I,J)のうちの最小値をＸmin とする（ステップＳ３−１）。
また、ステップＳ１−４〜Ｓ１−１０で求められた外形座標Ｘmax(I,J)のうちの最大値をＸmax とする（ステップＳ３−２）。
【００３５】
さらに、ステップＳ１−４〜Ｓ１−１０で求められた外形座標Ｙmin(I,J)のうちの最小値をＹmin とする（ステップＳ３−３）。
また、ステップＳ１−４〜Ｓ１−１０で求められた外形座標Ｙmax(I,J)のうちの最大値をＹmax とする（ステップＳ３−４）。
次に、ステップＳ３−２で求められたＸ軸の最大値Ｘmax 及びステップＳ３−１で求められたＸ軸の最小値Ｘmin との差からオブジェクトのＸ軸方向の大きさΔＸを求める（ステップＳ３−５）。
【００３６】
すなわち、Ｘ軸方向の大きさΔＸは、
ΔＸ＝Ｘmax −Ｘmin
から求められる。
また、ステップＳ３−４で求められたＹ軸の最大値Ｙmax 及びステップＳ３−３で求められたＹ軸の最小値Ｙmin との差からオブジェクトのＹ軸方向の大きさΔＹを求める（ステップＳ３−６）。
【００３７】
すなわち、Ｙ軸方向の大きさΔＹは、
ΔＹ＝Ｙmax −Ｙmin
から求められる。
以上により外接矩形の大きさが求まる。
ステップＳ１−１１で外接矩形計算処理によりオブジェクトに外接する矩形の大きさΔＸ、ΔＹが求められると、次に外接矩形の画面上での位置を求める（ステップＳ１−１２）。
【００３８】
ここで、ステップＳ１−１２の相対位置計算処理について説明する。
図６は本発明の一実施例の相対位置計算処理の処理フローチャートを示す。
相対位置計算処理は、ステップＳ１−１１で求められた外接矩形の最小値の座標（Ｘmin 、Ｙmin ）、すなわち、画面上における外接矩形の左上の角の座標を位置座標として設定する（ステップＳ４−１、Ｓ４−２）。
【００３９】
以上のようにして、ステップＳ１−１２で、外接矩形の相対位置が求めらると、次に、参照画像から外接矩形の範囲の画像を切り出す（ステップＳ１−１３）。
ここで、ステップＳ１−１３の参照画像から外接矩形の範囲の画像を切り出す切取データ出力処理について説明する。
【００４０】
図７は本発明の一実施例の切取データ出力処理の処理フローチャートを示す。
切取データ出力処理は、まず、ステップＳ１−１１の外接矩形計算処理で計算された外接矩形の大きさのデータ（ΔＸ，ΔＹ）を外接矩形サイズデータとして出力する（ステップＳ５−１）。
次に、ステップＳ１−１２で算出された外接矩形の左上角の座標（Ｘmin ，Ｙmin ）を相対位置データとして出力する（ステップＳ５−２）。
【００４１】
次に、参照画像中で、ステップＳ５−１で出力された外接矩形サイズデータ（ΔＸ，ΔＹ）の左上角を相対位置データ（Ｘmin ，Ｙmin ）に配置して、外接矩形内の画像データだけをコピーして出力する（ステップＳ５−３）。
以上により外接矩形サイズデータ、相対位置データ及び切取画像データが得られる。上記ステップＳ１−３〜Ｓ１−１４をループＬ１により繰り返し行うことにより、各フレームで所望のオブジェクトの外接矩形が得られる。
【００４２】
以上による複数の連続する画像、すなわち、動画像から所望のオブジェクトが表示される。
次に、複数の連続する画像から所望のオブジェクトを切り取る際に一つのサイズの外接矩形により切り取りを行う場合には、外接矩形最大値計算処理を行う（ステップＳ１−１５）。
【００４３】
ここで、外接矩形最大値計算処理について説明する。
図８は本発明の一実施例の外接矩形最大値算出処理の処理フローチャートを示す。
外接矩形最大値計算処理は、ループＬ１で複数のフレームに設定された外接矩形の外接矩形サイズデータ（ΔＸ，ΔＹ）のうちのＸ成分ΔＸの最大値をΔＸmax とし（ステップＳ６−１）、Ｙ成分ΔＹの最大値をΔＹmax とする（ステップＳ６−２）。
【００４４】
以上により、複数のフレームで設定された外接矩形を全て含む外接矩形サイズ（ΔＸmax ，ΔＹmax ）を設定できる。
ステップＳ１−１５で、外接矩形最大値計算処理の結果、全フレームの外接矩形を含む外接矩形サイズ（ΔＸmax ，ΔＹmax ）が設定されると、次にステップＳ１−１５で設定された外接矩形サイズ（ΔＸmax ，ΔＹmax ）の外接矩形で参照画像から画像を抽出し、出力する（ステップＳ１−１６）。
【００４５】
ここで、ステップＳ１−１６の最大外接矩形による切取データ出力処理について説明する。
図９は本発明の一実施例の最大外接矩形による切取データ出力処理の処理フローチャートを示す。
最大外接矩形による切取データ出力処理は、ステップＳ１−１６で設定された外接矩形サイズ（ΔＸmax ，ΔＹmax ）を取り込む（ステップＳ７−１）。ステップＳ７−１で取り込んだ外接矩形サイズ（ΔＸmax ，ΔＹmax ）の外接矩形を左上角を参照画像の座標（Ｘmin ，Ｙmin ）に設定して、参照画像から外接矩形内の画像だけをコピーして出力する（ステップＳ７−２）。
【００４６】
画像処理部２３は、上記図３に示す処理により外接矩形サイズ、相対位置、画像データからなるデータを出力する。
図１０は本発明の一実施例の画像処理部の出力データ構成図を示す。図１０（Ａ）は切取データ全体のデータ構成、図１０（Ｂ）は各フレームのデータ構成を示す。
【００４７】
切取データ４１は、図１０（Ａ）に示すようにヘッダ４２、画像サイズ情報４３、フレームデータ４４−１〜４４−Ｎから構成される。
ヘッダ４２は、切取データ４１であることを示す情報である。画像サイズ情報４３は、ステップＳ１−１５で最大外接矩形により画像を切り取る処理が選択された場合に、ステップＳ１−１５で算出された最大外接矩形のサイズを示すデータである。なお、画像サイズ情報４３は、各フレーム毎に外接矩形を設定する場合には、各フレームデータ４４−１〜４４−Ｎに画像サイズ情報が記憶されるので、不要となる。
【００４８】
フレームデータ４４−１〜４４−Ｎは、図１０（Ｂ）に示すようにヘッダ４５、フレームデータ４６、画像サイズ情報４７、相対位置情報４８から構成される。
ヘッダ４５は、各フレームを識別する情報である。フレームデータ４６は、各フレームで設定された外接矩形内の画像データである。
【００４９】
画像サイズ情報４７は、各フレームに設定された外接矩形のサイズを示すデータである。相対位置情報４８は、ステップＳ１−１２で算出された各フレーム内での外接矩形の位置を示す情報である。なお、ステップＳ１−１５で最大外接矩形により画像を切り取る処理が選択された場合には不要となる。
次に本実施例の画像処理動作について説明する。
【００５０】
図１１は本発明の一実施例の画像処理の動作説明図を示す。図１１（Ａ）は参照画像データ、図１１（Ｂ）はマスク画像データ、図１１（Ｃ）は外接矩形の設定時の動作を説明するための図、図１１（Ｄ）は切取データを示す。
ステップＳ１−６の外接矩形計算処理では、図１１（Ｂ）に示すマスク画像データを画素単位でオブジェクトの内部か外部かを順次に検索することにより、図１１（Ｃ）に示すようにオブジェクトのエッジの座標Ｘmin(I,J)、Ｘmax(I,J)、Ｙmin(I,J)、Ｙmax(I,J)を求める。
【００５１】
ステップＳ１−１１の外接矩形計算処理では、図１１（Ｃ）に示すステップＳ１−６で求めたオブジェクトのエッジの座標Ｘmin(I,J)、Ｘmax(I,J)、Ｙmin(I,J)、Ｙmax(I,J)の最小値Ｘmin 、Ｙmin 、及び、最大値Ｘmax 、Ｙmax から外接矩形５１を求め、最小値Ｘmin 、Ｙmin 、及び、最大値Ｘmax 、Ｙmax から外接矩形５１のサイズΔＸ、ΔＹを求める。
【００５２】
図１１（Ａ）に示す参照画像データから外接矩形５１の領域の画像だけを切り出し、図１１（Ｄ）に示す切取データを取得する。
このとき、ステップＳ１−１３で各フレーム毎に設定された外接矩形をそのまま出力する場合と、ステップＳ１−１５で複数のフレームで共通の外接矩形を用いる場合とを選択できる。
【００５３】
図１２は本発明の一実施例のオブジェクトの大きさが変形する場合の動作説明図を示す。図１２（Ａ）は時刻ｔ１のときの画面、図１２（Ｂ）は時刻ｔ２のときの画面、図１２（Ｃ）は時刻ｔ３のときの画面を示す。
図１２に示すように画面６１の右角にあったオブジェクト６２−１〜６２−３が時刻ｔ１から時刻ｔ３と時刻が進むにつれて大きくなりながら、左角に移動するものとする。
【００５４】
このとき、まず、ステップＳ１−１３のフレーム毎に外接矩形を設定する場合について説明する。
図１３は本発明の一実施例のフレーム毎に外接矩形を設定する場合の動作説明図を示す。図１３（Ａ）は時刻ｔ１のときの外接矩形、図１３（Ｂ）は時刻ｔ２のときの外接矩形、図１３（Ｃ）は時刻ｔ３のときの外接矩形を示す。
【００５５】
時刻ｔ１のときには、図１３（Ａ）に示すようにオブジェクト６２−１に外接するサイズ（ΔＸ１、ΔＹ１）の外接矩形６３−１が設定される。時刻ｔ２のときには、図１３（Ｂ）に示すようにオブジェクト６２−２に外接するサイズ（ΔＸ２，ΔＹ２）の外接矩形６３−２が設定される。時刻ｔ３のときには、図１３（Ｃ）に示すようにオブジェクト６２−３に外接するサイズ（ΔＸ３，ΔＸ３）の外接矩形６３−３が設定される。
【００５６】
以上のように、フレーム毎に外接矩形を設定することによりオブジェクト６２−１〜６２−３に対応した外接矩形を設定できる。
次に、ステップＳ１−１５の共通の外接矩形で複数のフレームのオブジェクトに対応する場合の動作について説明する。
図１４は本発明の一実施例の複数のフレームで共通の外接矩形を用いる場合の動作説明図を示す。図１４（Ａ）は時刻ｔ１のときの外接矩形、図１４（Ｂ）は時刻ｔ２のときの外接矩形、図１４（Ｃ）は時刻ｔ３のときの外接矩形を示す。
【００５７】
ステップＳ１−１５では、図１３に示すように設定された外接矩形６３−１〜６３−３から全てフレームのオブジェクト６２−１〜６２−３を含む外接矩形６３−３を全てのフレームに共通の外接矩形６４として設定する。
このとき、時刻ｔ１、ｔ２では、外接矩形６４がオブジェクト６２−１に比べて大きくなるので、外接矩形６４の中で位置決めされない。よって、外接矩形６４の左上角を基準位置としてオブジェクト６２−１を配置する。
【００５８】
なお、切り取った連続する矩形画像は他の画像と合成され出力される。
また、このとき、切り取った連続する矩形画像と他の画像を位置情報に従って合成してもよい。このとき、切り取った連続する矩形画像と他の画像を前記位置情報に従って合成することにより、クロマキー技術などにより合成する際に、切り取った画像が参照画像内で動きが忠実に再現でき、リアルな映像表現が可能となる。
【００５９】
このように、複数のフレームで共通の外接矩形を用いることにより、図１０に示すようにデータ構成上、複数のフレームで１つの外接矩形の画像サイズ情報を設定すればよい。よって、図１０（Ａ）に示す画像サイズ情報４３だけを設定すればよく、図１０（Ｂ）に示す各フレーム毎の画像サイズ情報４７は不要となるので、データサイズを小さくできる。
【００６０】
なお、参照画像データ、マスク画像データはＡＶＩフォーマットビデオ、切取画像データはＭＰＥＧ形式のビデオデータを想定したが、各画像データはこれに限られるものではなく、例えば、Quick Time形式など他のフォーマットであっても良いことは言うまでもない。
また、画像処理装置についてもパーソナルコンピュータ等の汎用情報処理機器を想定したが、専用のマイコンなどで構成した画像処理機器で構成することもできる。
（付記）
（付記１） 所望の対象物を含む画像から該対象物を抽出する画像処理装置において、
前記画像中から前記所望の対象物を同定する対象物同定手段と、
前記対象物同定手段で同定された前記対象物を含む矩形を抽出する矩形抽出手段と、
前記画像から前記矩形抽出手段で抽出された矩形により前記対象物を含む矩形画像を切り取る画像切取手段とを有することを特徴とする画像処理装置。
（付記２） 前記矩形抽出手段は、前記対象物の最小外接矩形であることを特徴とする付記１記載の画像処理装置。
（付記３） 前記画像切取手段は、複数の連続する画像から前記所望の対象物を含む矩形を抽出し、該複数の矩形画像のうち最大の大きさの矩形で前記複数の連続する画像から前記対象物を含む矩形画像を切り出すことを特徴とする付記１又は２記載の画像処理装置。
（付記４） 前記画像切取手段は、前記矩形画像の画像サイズ情報を出力することを特徴とする付記１乃至３のいずれか一項記載の画像処理装置。
（付記５） 前記画像切取手段は、前記矩形画像の前記画像中での位置情報を出力することを特徴とする付記１乃至４のいずれか一項記載の画像処理装置。
（付記６） 前記画像は、ベクトルデータであることを特徴とする付記１乃至５のいずれか一項記載の画像処理装置。
（付記７） 前記画像は、ビットマップデータであることを特徴とする付記１乃至５のいずれか一項記載の画像処理装置。
（付記８） 前記切り取った連続する矩形画像と他の画像を合成して出力することを特徴とする付記１乃至７のいずれか一項記載の画像処理装置。
（付記９） 前記切り取った連続する矩形画像と他の画像を前記位置情報に従って合成して出力することを特徴とする付記１乃至７のいずれか一項記載の画像処理装置。
【００６１】
【発明の効果】
上述の如く、本発明によれば、画面全体でなく、対象物を含む矩形として切り取るので、小さいデータ量で対象物を切り取ることができる等の特長を有する。
また、本発明によれば、対象物をその最小外接矩形として切り取るので、最小のデータ量で対象物を切り取ることができる等の特長を有する。
【００６２】
さらに、本発明によれば、動画像等の複数の連続画像から対象物を切り出す際に、画面全体でなく、対象物を含む矩形として切り取るので、小さいデータ量で対象物を切り取ることができる等の特長を有する。
また、本発明によれば、矩形の大きさを示す画像サイズ情報を付与することにより矩形の大きさを認識できるため、対象物の動きを認識できる等の特長を有する。
【００６３】
さらに、本発明によれば、切り取られた矩形画像の画像中での位置を認識できるため、対象物の画面上での動きを認識でき、また、元の画像と同じ位置に張り付けることができる等の特長を有する。
また、本発明によれば、切り取った連続する矩形画像と他の画像を前記位置情報に従って合成することにより、クロマキー技術などにより合成する際に、切り取った画像が参照画像内で動きが忠実に再現でき、リアルな映像表現が可能となる等の特長を有する。
【図面の簡単な説明】
【図１】本発明の一実施例のブロック構成図である。
【図２】本発明の一実施例の機能ブロック図である。
【図３】本発明の一実施例の画像処理部の処理フローチャートである。
【図４】本発明の一実施例のオブジェクト判定処理の処理フローチャートである。
【図５】本発明の一実施例の外接矩形算出処理の処理フローチャートである。
【図６】本発明の一実施例の相対位置計算処理の処理フローチャートである。
【図７】本発明の一実施例の切取データ出力処理の処理フローチャートである。
【図８】本発明の一実施例の外接矩形最大値計算処理の処理フローチャートである。
【図９】本発明の一実施例の最大外接矩形による切取データ出力処理の処理フローチャートである。
【図１０】本発明の一実施例の画像処理部からの出力データ構成図である。
【図１１】本発明の一実施例の画像処理の動作説明図である。
【図１２】本発明の一実施例のオブジェクトの大きさが変形する場合の動作説明図である。
【図１３】本発明の一実施例のフレーム毎に外接矩形を設定する場合の動作説明図である。
【図１４】本発明の一実施例の複数のフレームで共通の外接矩形を用いる場合の動作説明図である。
【符号の説明】
１ 画像処理装置
２ ＣＰＵ
３ ＲＯＭ
４ ＲＡＭ
５ ハードディスクドライブ
６ フロッピーディスクドライブ
７ ＣＤ−ＲＯＭドライブ
８ ディスプレイ
９ 表示コントローラ
１０ 入力装置
１１ 通信コントローラ
１２ バス
１３ フロッピーディスク
１４ ＣＤ−ＲＯＭ
１５ 通信回線
２０ 画像処理プログラム
２１ 参照画像データ供給部
２２ マスク画像データ供給部
２３ 画像処理部
２４ データ保持部
２５ オブジェクト判定部
２６ 外接矩形算出部
２７ 切取データ出力部
２８ 外接矩形情報出力部
２９ 位置情報算出部
３０ 位置情報出力部
【発明の属する技術分野】
本発明は画像処理装置及び記録媒体に係り、特に、画像中から所望の対象物を抽出する画像処理装置及び記録媒体に関する。
【０００２】
【従来の技術】
従来の動画像中から所望のオブジェクトを切り出す場合には、一般にブルーバック背景で所望のオブジェクトの映像を撮影し、クロマキー抽出技術を用いてブルーバックを排除し、使用するオブジェクトを切り抜き、切り抜いたブルーバックに代えて他の背景を合成していた。
【０００３】
【発明が解決しようとする課題】
しかるに、上記画像処理方法では、切り出された画像サイズは参照画像の一部であるにもかかわらず、参照画像と同一サイズになるため、処理を行う際のデータ効率が悪い等の問題点があった。
すなわち、切り出された画像の背景は後で合成されるのであるから、切り出された画像以外の部分のデータは余分なデータであり、データを保持する場合などにもブルーバック部分の不要なデータ部分が多くなる。
【０００４】
本発明は上記の点に鑑みてなされたもので、画像処理時のデータ効率を向上できる画像処理装置及び記録媒体を提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明の請求項１及び１０は、所望の対象物を含む画像中から所望の対象物を同定し、同定された対象物を含む矩形を抽出し、抽出された矩形により対象物を含む矩形画像を切り取る。
【０００６】
請求項３は、請求項１又は２において、複数の連続する画像から所望の対象物を含む矩形を抽出し、複数の矩形画像のうち最大の大きさの矩形で複数の連続する画像から対象物を含む矩形画像を切り出す。
請求項４は、請求項１乃至３において、矩形画像の画像サイズ情報を出力する。
【０００７】
請求項５は、矩形画像の画像中での位置情報を出力する。
請求項６は、請求項１乃至５において、画像をベクトルデータとする。
請求項７は、請求項１乃至５において、画像をビットマップデータとする。
請求項８は、請求項１乃至７において、切り取った連続する矩形画像と他の画像を合成して出力する。
【０００８】
請求項９は、請求項１乃至７において、切り取った連続する矩形画像と他の画像を位置情報に従って合成して出力する。
【００１２】
上記本発明によれば、画面全体でなく、対象物を含む矩形として切り取るので、小さいデータ量で対象物を切り取ることができる。
また、対象物をその最小外接矩形として切り取るので、最小のデータ量で対象物を切り取ることができる。
さらに、動画像等の複数の連続画像から対象物を切り出す際に、画面全体でなく、対象物を含む矩形として切り取るので、小さいデータ量で対象物を切り取ることができる。
【００１３】
また、矩形の大きさを示す画像サイズ情報を付与することにより矩形の大きさを認識できる。
さらに、切り取られた矩形画像の画像中での位置を認識できる。
また、切り取った連続する矩形画像と他の画像を前記位置情報に従って合成することにより、クロマキー技術などにより合成する際に、切り取った画像が参照画像内で動きが忠実に再現でき、リアルな映像表現が可能となる。
【００１４】
【発明の実施の形態】
図１は本発明の一実施例のブロック構成図を示す。
本実施例の情報処理装置１は、主に、ＣＰＵ２、ＲＯＭ３、ＲＡＭ４、ハードディスクドライブ５、フロッピーディスクドライブ６、ＣＤ−ＲＯＭドライブ７、ディスプレイ８、表示コントローラ９、入力装置１０、通信コントローラ１１、バス１２から構成される。
【００１５】
ＣＰＵ２は、実行中のプログラムに応じた所望のデータ処理を行う。ＲＯＭ３は、起動プログラムや初期値が記憶され、装置の起動時に起動プログラムや初期値が読み出される。ＲＡＭ４は、ハードディスクドライブ６からアプリケーションソフトのプログラムやデータなどが展開、記憶され、ＣＰＵ２の作業領域として使用される。
【００１６】
ハードディスクドライブ５は、ＯＳや本実施例の画像処理プログラム、参照画像データ、マスク画像データ、処理後の画像データ等が記憶される。ハードディスクドライブ５に記憶されたＯＳやプログラム、データは、ＲＡＭ４に展開され、ＣＰＵ２により処理が行われる。
フロッピーディスクドライブ６は、フロッピーディスク１３が装着され、フロッピーディスク１３にプログラムやデータを記憶するとともに、フロッピーディスク１３に予め記憶されたプログラムやデータを読み出す。
【００１７】
ＣＤ−ＲＯＭドライブ７は、ＣＤ−ＲＯＭ１４が装着され、ＣＤ−ＲＯＭ１４に記録されたプログラムやデータを読み出す。
ディスプレイ８は、表示データに対応する画面を表示する。表示コントローラ９は、ディスプレイ８とバス１２との間に接続され、表示データをディスプレイ８に画面を表示するための画像信号に変換する。
【００１８】
入力装置１０は、キーボード、マウスから構成され、指示やデータを入力する。通信コントローラ１１は、通信回線１５に接続され、通信回線１５を介してプログラムやデータの通信を行う。バス１２は、ＣＰＵ２、ＲＯＭ３、ＲＡＭ４、ハードディスクドライブ５、フロッピーディスクドライブ６、ＣＤ−ＲＯＭドライブ７、ディスプレイ８、表示コントローラ９、入力装置１０、通信コントローラ１１の間に接続され、コマンドやデータをやり取りする。
【００１９】
ハードディスクドライブ５には、本実施例の画像処理を行う画像処理プログラムがインストールされている。なお、画像処理プログラムは、フロッピーディスク１３、ＣＤ−ＲＯＭ１４から提供される。また、通信回線１５を介して提供されてもよい。
次に、本実施例の画像処理プログラムの動作を説明する。
【００２０】
図２は本発明の一実施例の機能ブロック図を示す。
画像処理プログラム２０は、情報処理装置（コンピュータ）を参照画像データ供給部２１、マスク画像データ供給不２２、画像処理部２３、データ保持部２４として機能させる。
参照画像データ供給部２１は、切り取ろうとする対象物を含む画像の画像データを画像処理部２３に供給する。
【００２１】
マスク画像データ供給部２２は、画像のうち切り取ろうとする対象物以外の部分をマスクするマスク画像データを画像処理部２３に供給する。マスク画像データ供給部２２から供給されるマスク画像データは、参照画像データ供給部２１から供給される参照画像データ供給部２１に基づいて作成される。
参照画像データからのマスク画像データの作成方法は、例えば、手動による方法と画像抽出などの自動的に行う方法がある。
【００２２】
手動でのマスク画像データ作成方法は、例えば、各フレームについて、オペレータが参照画像上で入力装置１０であるマウスの右ボタンを操作しつつ、ポインタを移動させることにより、マスクを解除すべき領域を指定する。指定後、所定の操作を行うことにより指定された領域以外をマスクするマスク画像データが作成される。
【００２３】
また、自動でのマスク画像データ作成方法は、例えば、所望のフレームについてオペレータにより上記の手動によるマスク画像データ作成方法によりマスク画像データを作成する。手動で作成されたマスク画像データを用いて次にフレームの参照画像に対して作成されたマスク画像データの指定領域の周囲でエッジを検索する。検索結果、検出されたエッジを結ぶことにより領域を設定し、設定された領域以外の領域をマスクするマスク画像データを作成する。
【００２４】
上記処理を順次次のフレームに適用することにより自動的にマスク画像データを作成する。
以上のようにして作成されたマスク画像データがマスク画像データ供給部２２から供給される。
画像処理部２３は、オブジェクト判定部２５、外接矩形算出部２６、切取データ出力部２７、外接矩形情報出力部２８、位置情報算出部２９、位置情報出力部３０から構成される。
【００２５】
オブジェクト判定部２５は、参照画像データ供給部２１から参照画像データ又マスク画像データ供給部２２から供給される参照画像データに対応するマスク画像データを読み込み、参照画像データにマスク画像データを適用して所望の領域の画像データを抽出する。
外接矩形算出部２６は、オブジェクト判定部２５で抽出された対象物の外形矩形を算出する。
【００２６】
切取データ出力部２７は、参照画像から外接矩形算出部２６で算出された外接矩形の領域の画像データを切り取る。
外接矩形情報出力部２８は、外接矩形算出部２６で算出された外接矩形の大きさなどの情報を取得し、出力する。
位置情報算出部２９は、外接矩形算出部２６で算出された外接矩形の参照画像上での位置情報を取得し、出力する。
【００２７】
データ保持部２４は、切取データ出力部２７から出力される切取データ、外接矩形情報出力部２８から出力される外接矩形情報、位置情報出力部３０から出力される位置情報を保持する。
次に、画像処理部２３の動作を詳細に説明する。
図３は本発明の一実施例の画像処理部の動作フローチャートを示す。
【００２８】
画像処理部２３は、まず、参照画像データ供給部２１から参照画像データを読み込む（ステップＳ１−１）。次に、画像処理部２３は、マスク画像データ供給部２２からステップＳ１−１で読み込んだ参照画像データ中の所望の対象物以外の領域をマスクしたマスク画像データを読み込む（ステップＳ１−２）。
画像処理部２３は、ステップＳ１−１、Ｓ１−２で参照画像データ及びマスク画像データが読み込まれると、ループＬ１によりフレーム毎にオブジェクト判定処理、外接矩形計算処理、相対位置計算処理、切取データ出力処理が行われる（ステップＳ１−３〜Ｓ１−１４）。
【００２９】
ステップＳ１−６のオブジェクト判定処理では、ステップＳ１−２でマスク画像データ供給部２２から読み出したマスク画像データをステップＳ１−４、Ｓ１−５、Ｓ１−７〜Ｓ１−１０によりループＬ２、Ｌ３により原点から横方向・縦方向に１ピクセルづつスキャンする。
ここで、ステップＳ１−６のオブジェクト判定処理について説明する。
【００３０】
図４は本発明の一実施例のオブジェクト判定処理の処理フローチャートを示す。
ステップＳ１−６のオブジェクト判定処理では、画面上の画素の座標を（Ｉ，Ｊ）とすると、まず、座標（Ｉ，Ｊ）の画素がオブジェクト内か否かを判定する（ステップＳ２−１）。オブジェクト内か否かの判定は、マスク画像データの指定領域以外のマスク部分の画素をオブジェクト外と判定し、指定領域の画素をオブジェクト内と判定する。
【００３１】
ステップＳ２−１で、座標（Ｉ，Ｊ）がオブジェクト内になければ、オブジェクトではないと判定してオブジェクト判定処理を終了する。
また、ステップＳ２−１で、座標（Ｉ，Ｊ）がオブジェクト内にあれば、次に、オブジェクト内の画素としてはじめて検出されたか否かを判定する（ステップＳ２−２）。
【００３２】
ステップＳ２−２で、オブジェクト内の画素としてはじめて検出されたと判定された場合には、そのときの座標（Ｉ，Ｊ）を外形座標Ｘmin(I,J)、Ｙmin(I,J)とする（ステップＳ２−３、Ｓ２−４）。また、座標（Ｉ，Ｊ）を外形座標Ｘmax(I,J)、Ｙmax(I,J)とする（ステップＳ２−５、Ｓ２−６）。
ステップＳ２−２で、オブジェクト内の画素としてはじめて検出された画素ではないと判定された場合には、そのときの座標（Ｉ，Ｊ）をステップＳ２−５、Ｓ２−６により座標Ｘmax(I,J)、Ｙmax(I,J)とする（ステップＳ２−５、Ｓ２−６）。
【００３３】
以上の動作を１フレーム内で繰り返し、オブジェクトの外形座標Ｘmin(I,J)、Ｙmin(I,J)、及び、Ｘmax(I,J)、Ｙmax(I,J)を求めることにより、そのフレーム内でのオブジェクトの外周縁の座標が求まる。
上記処理を１フレーム分の画像に対して実行すると、次に、ステップＳ１−６のオブジェクト判定処理で求められたオブジェクトを構成する画素の最小値Ｘmin(I,J)、Ｙmin(I,J)及び最大値Ｘmax(I,J)、Ｙmax(I,J)からオブジェクトの外接矩形を算出する（ステップＳ１−１１）。
【００３４】
ここで、ステップＳ１−１１の外接矩形算出処理について説明する。
図５は本発明の一実施例の外接矩形算出処理に処理フローチャートを示す。
外接矩形算出処理は、まず、ステップＳ１−４〜Ｓ１−１０で求められた外形座標Ｘmin(I,J)のうちの最小値をＸmin とする（ステップＳ３−１）。
また、ステップＳ１−４〜Ｓ１−１０で求められた外形座標Ｘmax(I,J)のうちの最大値をＸmax とする（ステップＳ３−２）。
【００３５】
さらに、ステップＳ１−４〜Ｓ１−１０で求められた外形座標Ｙmin(I,J)のうちの最小値をＹmin とする（ステップＳ３−３）。
また、ステップＳ１−４〜Ｓ１−１０で求められた外形座標Ｙmax(I,J)のうちの最大値をＹmax とする（ステップＳ３−４）。
次に、ステップＳ３−２で求められたＸ軸の最大値Ｘmax 及びステップＳ３−１で求められたＸ軸の最小値Ｘmin との差からオブジェクトのＸ軸方向の大きさΔＸを求める（ステップＳ３−５）。
【００３６】
すなわち、Ｘ軸方向の大きさΔＸは、
ΔＸ＝Ｘmax −Ｘmin
から求められる。
また、ステップＳ３−４で求められたＹ軸の最大値Ｙmax 及びステップＳ３−３で求められたＹ軸の最小値Ｙmin との差からオブジェクトのＹ軸方向の大きさΔＹを求める（ステップＳ３−６）。
【００３７】
すなわち、Ｙ軸方向の大きさΔＹは、
ΔＹ＝Ｙmax −Ｙmin
から求められる。
以上により外接矩形の大きさが求まる。
ステップＳ１−１１で外接矩形計算処理によりオブジェクトに外接する矩形の大きさΔＸ、ΔＹが求められると、次に外接矩形の画面上での位置を求める（ステップＳ１−１２）。
【００３８】
ここで、ステップＳ１−１２の相対位置計算処理について説明する。
図６は本発明の一実施例の相対位置計算処理の処理フローチャートを示す。
相対位置計算処理は、ステップＳ１−１１で求められた外接矩形の最小値の座標（Ｘmin 、Ｙmin ）、すなわち、画面上における外接矩形の左上の角の座標を位置座標として設定する（ステップＳ４−１、Ｓ４−２）。
【００３９】
以上のようにして、ステップＳ１−１２で、外接矩形の相対位置が求めらると、次に、参照画像から外接矩形の範囲の画像を切り出す（ステップＳ１−１３）。
ここで、ステップＳ１−１３の参照画像から外接矩形の範囲の画像を切り出す切取データ出力処理について説明する。
【００４０】
図７は本発明の一実施例の切取データ出力処理の処理フローチャートを示す。
切取データ出力処理は、まず、ステップＳ１−１１の外接矩形計算処理で計算された外接矩形の大きさのデータ（ΔＸ，ΔＹ）を外接矩形サイズデータとして出力する（ステップＳ５−１）。
次に、ステップＳ１−１２で算出された外接矩形の左上角の座標（Ｘmin ，Ｙmin ）を相対位置データとして出力する（ステップＳ５−２）。
【００４１】
次に、参照画像中で、ステップＳ５−１で出力された外接矩形サイズデータ（ΔＸ，ΔＹ）の左上角を相対位置データ（Ｘmin ，Ｙmin ）に配置して、外接矩形内の画像データだけをコピーして出力する（ステップＳ５−３）。
以上により外接矩形サイズデータ、相対位置データ及び切取画像データが得られる。上記ステップＳ１−３〜Ｓ１−１４をループＬ１により繰り返し行うことにより、各フレームで所望のオブジェクトの外接矩形が得られる。
【００４２】
以上による複数の連続する画像、すなわち、動画像から所望のオブジェクトが表示される。
次に、複数の連続する画像から所望のオブジェクトを切り取る際に一つのサイズの外接矩形により切り取りを行う場合には、外接矩形最大値計算処理を行う（ステップＳ１−１５）。
【００４３】
ここで、外接矩形最大値計算処理について説明する。
図８は本発明の一実施例の外接矩形最大値算出処理の処理フローチャートを示す。
外接矩形最大値計算処理は、ループＬ１で複数のフレームに設定された外接矩形の外接矩形サイズデータ（ΔＸ，ΔＹ）のうちのＸ成分ΔＸの最大値をΔＸmax とし（ステップＳ６−１）、Ｙ成分ΔＹの最大値をΔＹmax とする（ステップＳ６−２）。
【００４４】
以上により、複数のフレームで設定された外接矩形を全て含む外接矩形サイズ（ΔＸmax ，ΔＹmax ）を設定できる。
ステップＳ１−１５で、外接矩形最大値計算処理の結果、全フレームの外接矩形を含む外接矩形サイズ（ΔＸmax ，ΔＹmax ）が設定されると、次にステップＳ１−１５で設定された外接矩形サイズ（ΔＸmax ，ΔＹmax ）の外接矩形で参照画像から画像を抽出し、出力する（ステップＳ１−１６）。
【００４５】
ここで、ステップＳ１−１６の最大外接矩形による切取データ出力処理について説明する。
図９は本発明の一実施例の最大外接矩形による切取データ出力処理の処理フローチャートを示す。
最大外接矩形による切取データ出力処理は、ステップＳ１−１６で設定された外接矩形サイズ（ΔＸmax ，ΔＹmax ）を取り込む（ステップＳ７−１）。ステップＳ７−１で取り込んだ外接矩形サイズ（ΔＸmax ，ΔＹmax ）の外接矩形を左上角を参照画像の座標（Ｘmin ，Ｙmin ）に設定して、参照画像から外接矩形内の画像だけをコピーして出力する（ステップＳ７−２）。
【００４６】
画像処理部２３は、上記図３に示す処理により外接矩形サイズ、相対位置、画像データからなるデータを出力する。
図１０は本発明の一実施例の画像処理部の出力データ構成図を示す。図１０（Ａ）は切取データ全体のデータ構成、図１０（Ｂ）は各フレームのデータ構成を示す。
【００４７】
切取データ４１は、図１０（Ａ）に示すようにヘッダ４２、画像サイズ情報４３、フレームデータ４４−１〜４４−Ｎから構成される。
ヘッダ４２は、切取データ４１であることを示す情報である。画像サイズ情報４３は、ステップＳ１−１５で最大外接矩形により画像を切り取る処理が選択された場合に、ステップＳ１−１５で算出された最大外接矩形のサイズを示すデータである。なお、画像サイズ情報４３は、各フレーム毎に外接矩形を設定する場合には、各フレームデータ４４−１〜４４−Ｎに画像サイズ情報が記憶されるので、不要となる。
【００４８】
フレームデータ４４−１〜４４−Ｎは、図１０（Ｂ）に示すようにヘッダ４５、フレームデータ４６、画像サイズ情報４７、相対位置情報４８から構成される。
ヘッダ４５は、各フレームを識別する情報である。フレームデータ４６は、各フレームで設定された外接矩形内の画像データである。
【００４９】
画像サイズ情報４７は、各フレームに設定された外接矩形のサイズを示すデータである。相対位置情報４８は、ステップＳ１−１２で算出された各フレーム内での外接矩形の位置を示す情報である。なお、ステップＳ１−１５で最大外接矩形により画像を切り取る処理が選択された場合には不要となる。
次に本実施例の画像処理動作について説明する。
【００５０】
図１１は本発明の一実施例の画像処理の動作説明図を示す。図１１（Ａ）は参照画像データ、図１１（Ｂ）はマスク画像データ、図１１（Ｃ）は外接矩形の設定時の動作を説明するための図、図１１（Ｄ）は切取データを示す。
ステップＳ１−６の外接矩形計算処理では、図１１（Ｂ）に示すマスク画像データを画素単位でオブジェクトの内部か外部かを順次に検索することにより、図１１（Ｃ）に示すようにオブジェクトのエッジの座標Ｘmin(I,J)、Ｘmax(I,J)、Ｙmin(I,J)、Ｙmax(I,J)を求める。
【００５１】
ステップＳ１−１１の外接矩形計算処理では、図１１（Ｃ）に示すステップＳ１−６で求めたオブジェクトのエッジの座標Ｘmin(I,J)、Ｘmax(I,J)、Ｙmin(I,J)、Ｙmax(I,J)の最小値Ｘmin 、Ｙmin 、及び、最大値Ｘmax 、Ｙmax から外接矩形５１を求め、最小値Ｘmin 、Ｙmin 、及び、最大値Ｘmax 、Ｙmax から外接矩形５１のサイズΔＸ、ΔＹを求める。
【００５２】
図１１（Ａ）に示す参照画像データから外接矩形５１の領域の画像だけを切り出し、図１１（Ｄ）に示す切取データを取得する。
このとき、ステップＳ１−１３で各フレーム毎に設定された外接矩形をそのまま出力する場合と、ステップＳ１−１５で複数のフレームで共通の外接矩形を用いる場合とを選択できる。
【００５３】
図１２は本発明の一実施例のオブジェクトの大きさが変形する場合の動作説明図を示す。図１２（Ａ）は時刻ｔ１のときの画面、図１２（Ｂ）は時刻ｔ２のときの画面、図１２（Ｃ）は時刻ｔ３のときの画面を示す。
図１２に示すように画面６１の右角にあったオブジェクト６２−１〜６２−３が時刻ｔ１から時刻ｔ３と時刻が進むにつれて大きくなりながら、左角に移動するものとする。
【００５４】
このとき、まず、ステップＳ１−１３のフレーム毎に外接矩形を設定する場合について説明する。
図１３は本発明の一実施例のフレーム毎に外接矩形を設定する場合の動作説明図を示す。図１３（Ａ）は時刻ｔ１のときの外接矩形、図１３（Ｂ）は時刻ｔ２のときの外接矩形、図１３（Ｃ）は時刻ｔ３のときの外接矩形を示す。
【００５５】
時刻ｔ１のときには、図１３（Ａ）に示すようにオブジェクト６２−１に外接するサイズ（ΔＸ１、ΔＹ１）の外接矩形６３−１が設定される。時刻ｔ２のときには、図１３（Ｂ）に示すようにオブジェクト６２−２に外接するサイズ（ΔＸ２，ΔＹ２）の外接矩形６３−２が設定される。時刻ｔ３のときには、図１３（Ｃ）に示すようにオブジェクト６２−３に外接するサイズ（ΔＸ３，ΔＸ３）の外接矩形６３−３が設定される。
【００５６】
以上のように、フレーム毎に外接矩形を設定することによりオブジェクト６２−１〜６２−３に対応した外接矩形を設定できる。
次に、ステップＳ１−１５の共通の外接矩形で複数のフレームのオブジェクトに対応する場合の動作について説明する。
図１４は本発明の一実施例の複数のフレームで共通の外接矩形を用いる場合の動作説明図を示す。図１４（Ａ）は時刻ｔ１のときの外接矩形、図１４（Ｂ）は時刻ｔ２のときの外接矩形、図１４（Ｃ）は時刻ｔ３のときの外接矩形を示す。
【００５７】
ステップＳ１−１５では、図１３に示すように設定された外接矩形６３−１〜６３−３から全てフレームのオブジェクト６２−１〜６２−３を含む外接矩形６３−３を全てのフレームに共通の外接矩形６４として設定する。
このとき、時刻ｔ１、ｔ２では、外接矩形６４がオブジェクト６２−１に比べて大きくなるので、外接矩形６４の中で位置決めされない。よって、外接矩形６４の左上角を基準位置としてオブジェクト６２−１を配置する。
【００５８】
なお、切り取った連続する矩形画像は他の画像と合成され出力される。
また、このとき、切り取った連続する矩形画像と他の画像を位置情報に従って合成してもよい。このとき、切り取った連続する矩形画像と他の画像を前記位置情報に従って合成することにより、クロマキー技術などにより合成する際に、切り取った画像が参照画像内で動きが忠実に再現でき、リアルな映像表現が可能となる。
【００５９】
このように、複数のフレームで共通の外接矩形を用いることにより、図１０に示すようにデータ構成上、複数のフレームで１つの外接矩形の画像サイズ情報を設定すればよい。よって、図１０（Ａ）に示す画像サイズ情報４３だけを設定すればよく、図１０（Ｂ）に示す各フレーム毎の画像サイズ情報４７は不要となるので、データサイズを小さくできる。
【００６０】
なお、参照画像データ、マスク画像データはＡＶＩフォーマットビデオ、切取画像データはＭＰＥＧ形式のビデオデータを想定したが、各画像データはこれに限られるものではなく、例えば、Quick Time形式など他のフォーマットであっても良いことは言うまでもない。
また、画像処理装置についてもパーソナルコンピュータ等の汎用情報処理機器を想定したが、専用のマイコンなどで構成した画像処理機器で構成することもできる。
（付記）
（付記１） 所望の対象物を含む画像から該対象物を抽出する画像処理装置において、
前記画像中から前記所望の対象物を同定する対象物同定手段と、
前記対象物同定手段で同定された前記対象物を含む矩形を抽出する矩形抽出手段と、
前記画像から前記矩形抽出手段で抽出された矩形により前記対象物を含む矩形画像を切り取る画像切取手段とを有することを特徴とする画像処理装置。
（付記２） 前記矩形抽出手段は、前記対象物の最小外接矩形であることを特徴とする付記１記載の画像処理装置。
（付記３） 前記画像切取手段は、複数の連続する画像から前記所望の対象物を含む矩形を抽出し、該複数の矩形画像のうち最大の大きさの矩形で前記複数の連続する画像から前記対象物を含む矩形画像を切り出すことを特徴とする付記１又は２記載の画像処理装置。
（付記４） 前記画像切取手段は、前記矩形画像の画像サイズ情報を出力することを特徴とする付記１乃至３のいずれか一項記載の画像処理装置。
（付記５） 前記画像切取手段は、前記矩形画像の前記画像中での位置情報を出力することを特徴とする付記１乃至４のいずれか一項記載の画像処理装置。
（付記６） 前記画像は、ベクトルデータであることを特徴とする付記１乃至５のいずれか一項記載の画像処理装置。
（付記７） 前記画像は、ビットマップデータであることを特徴とする付記１乃至５のいずれか一項記載の画像処理装置。
（付記８） 前記切り取った連続する矩形画像と他の画像を合成して出力することを特徴とする付記１乃至７のいずれか一項記載の画像処理装置。
（付記９） 前記切り取った連続する矩形画像と他の画像を前記位置情報に従って合成して出力することを特徴とする付記１乃至７のいずれか一項記載の画像処理装置。
【００６１】
【発明の効果】
上述の如く、本発明によれば、画面全体でなく、対象物を含む矩形として切り取るので、小さいデータ量で対象物を切り取ることができる等の特長を有する。
また、本発明によれば、対象物をその最小外接矩形として切り取るので、最小のデータ量で対象物を切り取ることができる等の特長を有する。
【００６２】
さらに、本発明によれば、動画像等の複数の連続画像から対象物を切り出す際に、画面全体でなく、対象物を含む矩形として切り取るので、小さいデータ量で対象物を切り取ることができる等の特長を有する。
また、本発明によれば、矩形の大きさを示す画像サイズ情報を付与することにより矩形の大きさを認識できるため、対象物の動きを認識できる等の特長を有する。
【００６３】
さらに、本発明によれば、切り取られた矩形画像の画像中での位置を認識できるため、対象物の画面上での動きを認識でき、また、元の画像と同じ位置に張り付けることができる等の特長を有する。
また、本発明によれば、切り取った連続する矩形画像と他の画像を前記位置情報に従って合成することにより、クロマキー技術などにより合成する際に、切り取った画像が参照画像内で動きが忠実に再現でき、リアルな映像表現が可能となる等の特長を有する。
【図面の簡単な説明】
【図１】本発明の一実施例のブロック構成図である。
【図２】本発明の一実施例の機能ブロック図である。
【図３】本発明の一実施例の画像処理部の処理フローチャートである。
【図４】本発明の一実施例のオブジェクト判定処理の処理フローチャートである。
【図５】本発明の一実施例の外接矩形算出処理の処理フローチャートである。
【図６】本発明の一実施例の相対位置計算処理の処理フローチャートである。
【図７】本発明の一実施例の切取データ出力処理の処理フローチャートである。
【図８】本発明の一実施例の外接矩形最大値計算処理の処理フローチャートである。
【図９】本発明の一実施例の最大外接矩形による切取データ出力処理の処理フローチャートである。
【図１０】本発明の一実施例の画像処理部からの出力データ構成図である。
【図１１】本発明の一実施例の画像処理の動作説明図である。
【図１２】本発明の一実施例のオブジェクトの大きさが変形する場合の動作説明図である。
【図１３】本発明の一実施例のフレーム毎に外接矩形を設定する場合の動作説明図である。
【図１４】本発明の一実施例の複数のフレームで共通の外接矩形を用いる場合の動作説明図である。
【符号の説明】
１ 画像処理装置
２ ＣＰＵ
３ ＲＯＭ
４ ＲＡＭ
５ ハードディスクドライブ
６ フロッピーディスクドライブ
７ ＣＤ−ＲＯＭドライブ
８ ディスプレイ
９ 表示コントローラ
１０ 入力装置
１１ 通信コントローラ
１２ バス
１３ フロッピーディスク
１４ ＣＤ−ＲＯＭ
１５ 通信回線
２０ 画像処理プログラム
２１ 参照画像データ供給部
２２ マスク画像データ供給部
２３ 画像処理部
２４ データ保持部
２５ オブジェクト判定部
２６ 外接矩形算出部
２７ 切取データ出力部
２８ 外接矩形情報出力部
２９ 位置情報算出部
３０ 位置情報出力部
Claims (14)
- コンピュータに、
記憶部にある所望の対象物を含む動画像を構成する各画像中から該対象物を同定する対象物同定手順と、
前記対象物同定手順で同定された前記対象物に外接する外接矩形を前記各画像中から抽出する矩形抽出手順と、
前記矩形抽出手順で抽出された複数の外接矩形のうちのＸ成分の最大値及びＹ成分の最大値からなる矩形により前記各画像中から前記対象物を含む矩形画像を切り取る画像切取手順とを実行させるためのプログラムを記憶されたコンピュータで読取可能な記録媒体。 - 前記画像切取手順は、前記矩形画像の画像サイズ情報を出力することを特徴とする請求項１記載のプログラムが記憶されたコンピュータで読み取り可能な記録媒体。
- 前記画像切取手順は、前記矩形画像の前記各画像中での位置情報を出力することを特徴とする請求項１又は２記載のプログラムが記憶されたコンピュータで読み取り可能な記録媒体。
- 前記画像は、ベクトルデータであることを特徴とする請求項１乃至３のいずれか一項記載の記録媒体。
- 前記画像は、ビットマップデータであることを特徴とする請求項１乃至３のいずれか一項記載の記録媒体。
- 前記切り取った連続する矩形画像と他の画像を合成して出力する合成手順を有することを特徴とする請求項１乃至５のいずれか一項記載の記録媒体。
- 前記切り取った連続する矩形画像と他の画像を前記位置情報に従って合成して出力する合成手順を有することを特徴とする請求項１乃至５のいずれか一項記載の記録媒体。
- 記憶部にある所望の対象物を含む動画像を構成する各画像中から該対象物を抽出する画像処理装置において、
前記画像中から前記所望の対象物を同定する対象物同定手段と、
前記対象物同定手順で同定された前記対象物に外接する外接矩形を前記各画像中から抽出する矩形抽出手段と、
前記矩形抽出手順で抽出された外接矩形のうち最大外接矩形により前記各画像中から前記対象物を含む矩形画像を切り取る画像切取手段とを有することを特徴とする画像処理装置。 - 前記画像切取手段は、前記矩形画像の画像サイズ情報を出力することを特徴とする請求項８記載の画像処理装置。
- 前記画像切取手段は、前記矩形画像の前記各画像中での位置情報を出力することを特徴とする請求項８又は９記載の画像処理装置。
- 前記画像は、ベクトルデータであることを特徴とする請求項８乃至１０のいずれか一項記載の画像処理装置。
- 前記画像は、ビットマップデータであることを特徴とする請求項８乃至１０のいずれか一項記載の画像処理装置。
- 前記切り取った連続する矩形画像と他の画像を合成して出力する合成手段を有することを特徴とする請求項８乃至１２のいずれか一項記載の画像処理装置。
- 前記切り取った連続する矩形画像と他の画像を前記位置情報に従って合成して出力する合成手段を有することを特徴とする請求項８乃至１２のいずれか一項記載の画像処理装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19601598A JP4320064B2 (ja) | 1998-07-10 | 1998-07-10 | 画像処理装置及び記録媒体 |
| GB9915933A GB2341747B (en) | 1998-07-10 | 1999-07-07 | Image processing apparatus, image processing method and recording medium |
| US09/349,118 US6879704B2 (en) | 1998-07-10 | 1999-07-08 | Image processing apparatus, image processing method and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19601598A JP4320064B2 (ja) | 1998-07-10 | 1998-07-10 | 画像処理装置及び記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000030038A JP2000030038A (ja) | 2000-01-28 |
| JP2000030038A5 JP2000030038A5 (ja) | 2005-03-17 |
| JP4320064B2 true JP4320064B2 (ja) | 2009-08-26 |
Family
ID=16350819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19601598A Expired - Fee Related JP4320064B2 (ja) | 1998-07-10 | 1998-07-10 | 画像処理装置及び記録媒体 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6879704B2 (ja) |
| JP (1) | JP4320064B2 (ja) |
| GB (1) | GB2341747B (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4571733B2 (ja) * | 2000-07-31 | 2010-10-27 | 株式会社リコー | 情報処理装置および情報処理方法 |
| AUPQ921600A0 (en) * | 2000-08-04 | 2000-08-31 | Canon Kabushiki Kaisha | Automatic person meta-data labeller |
| US7432939B1 (en) * | 2002-07-10 | 2008-10-07 | Apple Inc. | Method and apparatus for displaying pixel images for a graphical user interface |
| FR2875627B1 (fr) * | 2004-09-21 | 2007-03-16 | Canon Res Ct France S A S Soc | Procede de determination d'un descripteur d'image, procede de comparaison d'images, procede de recherche d'image et dispositifs associes |
| US8923616B2 (en) * | 2011-07-29 | 2014-12-30 | Xerox Coporation | Image-content dependent print cutting system |
| JP6311421B2 (ja) * | 2014-04-10 | 2018-04-18 | 株式会社安川電機 | ティーチングシステム、ロボットシステムおよびティーチング方法 |
| CN107891469A (zh) * | 2017-12-13 | 2018-04-10 | 宁波杭州湾新区双林汽车部件有限公司 | 汽车发动机舱密封件自动裁切机 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6011875B2 (ja) * | 1977-08-17 | 1985-03-28 | 日本電気株式会社 | クロマキ−トラツキング装置 |
| GB2013448B (en) * | 1978-01-30 | 1983-02-23 | Quantel Ltd | Measurement of chroma key area in television systems |
| US4396903A (en) * | 1981-05-29 | 1983-08-02 | Westinghouse Electric Corp. | Electro-optical system for correlating and integrating image data from frame-to-frame |
| US5459529A (en) * | 1983-01-10 | 1995-10-17 | Quantel, Ltd. | Video processing for composite images |
| JPH05225384A (ja) * | 1992-02-13 | 1993-09-03 | Nec Corp | 文字切り出し装置 |
| JPH05225383A (ja) * | 1992-02-13 | 1993-09-03 | Nec Corp | 文字切り出し装置 |
| US5384864A (en) * | 1993-04-19 | 1995-01-24 | Xerox Corporation | Method and apparatus for automatic determination of text line, word and character cell spatial features |
| US5444797A (en) * | 1993-04-19 | 1995-08-22 | Xerox Corporation | Method and apparatus for automatic character script determination |
| JP3302147B2 (ja) * | 1993-05-12 | 2002-07-15 | 株式会社リコー | 文書画像処理方法 |
| JPH0728933A (ja) * | 1993-07-07 | 1995-01-31 | Oki Electric Ind Co Ltd | 文字認識装置 |
| EP1158453B1 (en) * | 1993-12-10 | 2008-08-27 | Ricoh Company, Ltd. | Image extraction method and apparatus, and image recognition method and apparatus, for extracting/recognizing specific image from input image signal |
| US5555556A (en) * | 1994-09-30 | 1996-09-10 | Xerox Corporation | Method and apparatus for document segmentation by background analysis |
| US5870138A (en) * | 1995-03-31 | 1999-02-09 | Hitachi, Ltd. | Facial image processing |
| US5737011A (en) * | 1995-05-03 | 1998-04-07 | Bell Communications Research, Inc. | Infinitely expandable real-time video conferencing system |
| JPH0944130A (ja) * | 1995-07-28 | 1997-02-14 | Sony Corp | 映像装置 |
| US5974175A (en) * | 1997-01-22 | 1999-10-26 | Fujitsu Limited | Image processing apparatus and method for detecting a contour of an object from images of a motion picture and extracting the object therefrom |
| JPH10232940A (ja) * | 1997-02-20 | 1998-09-02 | Sony Corp | コーナ検出装置及びコーナ検出方法 |
| US6061055A (en) * | 1997-03-21 | 2000-05-09 | Autodesk, Inc. | Method of tracking objects with an imaging device |
-
1998
- 1998-07-10 JP JP19601598A patent/JP4320064B2/ja not_active Expired - Fee Related
-
1999
- 1999-07-07 GB GB9915933A patent/GB2341747B/en not_active Expired - Fee Related
- 1999-07-08 US US09/349,118 patent/US6879704B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| GB2341747B (en) | 2002-11-20 |
| JP2000030038A (ja) | 2000-01-28 |
| GB2341747A (en) | 2000-03-22 |
| US20030099396A1 (en) | 2003-05-29 |
| US6879704B2 (en) | 2005-04-12 |
| GB9915933D0 (en) | 1999-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6714689B1 (en) | Image synthesizing method | |
| US6633303B2 (en) | Method, system and record medium for generating wide-area high-resolution image | |
| JP2007148677A (ja) | 画像処理装置、画像処理方法 | |
| JP2007041866A (ja) | 情報処理装置及び情報処理方法並びにプログラム | |
| JP3696952B2 (ja) | 画像合成装置および方法 | |
| JP4320064B2 (ja) | 画像処理装置及び記録媒体 | |
| US20020003545A1 (en) | Image processing method and apparatus and storage medium | |
| JP2932193B2 (ja) | 図形処理装置 | |
| JP3651943B2 (ja) | アイコン作成方法及び動画用のコマ作成方法 | |
| JP2000149031A (ja) | 画像処理装置及び方法並びに記憶媒体 | |
| JP2720807B2 (ja) | シナリオ編集装置 | |
| JP2906202B2 (ja) | 文字図形入力方法 | |
| JPH10108003A (ja) | 画像合成装置および画像合成方法 | |
| US20040164982A1 (en) | Method and apparatus for editing three-dimensional model, and computer readable medium | |
| JP3285948B2 (ja) | 画像編集装置 | |
| JPH07121710A (ja) | 画像セグメンテーション方法及び装置 | |
| JPH0392978A (ja) | 画像処理装置 | |
| Pal et al. | Image retargeting through constrained growth of important rectangular partitions | |
| JP3058630B2 (ja) | 図形処理装置 | |
| JP2005115467A (ja) | 仮想オブジェクト操作プログラム | |
| JP2000182056A (ja) | 画像処理装置 | |
| JPH06309375A (ja) | 画像記録再生装置 | |
| JPH10334259A (ja) | 図形選択方法および記憶媒体 | |
| JPH06333008A (ja) | 画像輪郭指定用入力装置 | |
| JPH05241315A (ja) | 画像レイアウト処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040426 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040426 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070420 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070522 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070719 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070911 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071011 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20071119 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20071207 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090601 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120605 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |