JP4662874B2

JP4662874B2 - 画像処理装置、及びプログラム

Info

Publication number: JP4662874B2
Application number: JP2006085500A
Authority: JP
Inventors: 和敬初雁
Original assignee: NEC Casio Mobile Communications Ltd
Current assignee: NEC Casio Mobile Communications Ltd
Priority date: 2006-03-27
Filing date: 2006-03-27
Publication date: 2011-03-30
Anticipated expiration: 2026-03-27
Also published as: JP2007266694A

Description

本発明は、撮像された動画像の台形補正処理を行う画像処理装置、及びプログラムに関する。

ホワイトボートやプロジェクター等の矩形形状の被写体を撮像すると、被写体に対する撮像装置のレンズ位置によって矩形の被写体が台形形状に歪んだ画像となってしまうことがある。このような事情を考慮して、従来、撮像された静止画像から四角形領域を輪郭抽出し、抽出された四角形の輪郭領域の形状を矩形に補正することにより、撮像された静止画像に含まれる被写体画像の歪みを補正する台形補正処理機能を備えた撮像装置が知られている（例えば、特許文献１参照）。
特開２００５−１４３０９２号公報

ところで、矩形形状の被写体を動画撮像した動画像においても、同様に、被写体に対する撮像装置のレンズ位置によって矩形の被写体が台形形状に歪んだ画像となってしまうという問題が生じる。しかしながら、従来の台形補正技術は、上述の特許文献１のように、静止画像における歪みを補正する技術であり、撮像時の被写体に対するレンズ位置に起因する動画像の歪みを補正することができなかった。

本発明の課題は、撮像時の被写体に対するレンズ位置に起因する動画像の歪みを補正可能とすることである。

上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
撮像された動画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶された前記動画像から一連のフレーム画像を構成する最初のフレーム画像及び最後のフレーム画像を指定する指定手段と、
前記指定手段により前記最初のフレーム画像及び前記最後のフレーム画像が指定されたことに応じて、前記最初のフレーム画像から前記最後のフレーム画像までの前記一連のフレーム画像のそれぞれから補正対象の被写体の輪郭領域を抽出し、当該抽出された輪郭領域を略矩形形状に補正する台形補正手段と、
を備えたことを特徴とする。

請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記台形補正手段は、前記指定手段により指定された前記最初のフレーム画像から補正対象の被写体の輪郭領域を抽出し、当該抽出した輪郭領域を略矩形形状に補正するとともに、前記一連のフレーム画像の前記最初のフレーム画像を除く他のフレーム画像のそれぞれに含まれる前記補正対象の被写体の輪郭領域を、前記最初のフレーム画像から抽出した前記輪郭領域に基づいて順次抽出し、順次抽出した輪郭領域をそれぞれ略矩形形状に補正することを特徴とする。

請求項３に記載の発明は、
コンピュータを、
撮像された動画像を記憶する画像記憶手段、
前記画像記憶手段に記憶された前記動画像から一連のフレーム画像を構成する最初のフレーム画像及び最後のフレーム画像を指定する指定手段、
前記指定手段により前記最初のフレーム画像及び前記最後のフレーム画像が指定されたことに応じて、前記最初のフレーム画像から前記最後のフレーム画像までの前記一連のフレーム画像のそれぞれから補正対象の被写体の輪郭領域を抽出し、当該抽出された輪郭領域を略矩形形状に補正する台形補正手段、
として機能させるためのプログラムであることを特徴とする。

本発明によれば、撮像時の被写体に対するレンズ位置に起因する動画像の歪みを補正することが可能となるので、撮像時の被写体に対するレンズ位置に起因する歪みのない動画像を得ることが可能となる。

以下、図を参照して、実施の形態を詳細に説明する。
まず、構成を説明する。
図１に、携帯電話機１の機能構成例を示す。
図１に示すように、携帯電話機１は、アンテナ２、無線通信部３、音声処理部４、受話スピーカ５、送話マイク６、ＣＰＵ７、表示部８、キー入力部９、撮像部１０、鳴音駆動部１１、スピーカ１２、ＲＯＭ１３、ＲＡＭ１４、メモリ１５等を備える。

無線通信部３は、アンテナ２を介して図示しない無線基地局から受信した無線通信信号を復調処理し、復調したベースバンド信号（デジタル信号）から通信制御データ、音声データ、通信データ等を取得する。この音声データは、音声処理部４を介してアナログ音声信号に変換され受話スピーカ５に出力される。また、通信データは、ＣＰＵ７に読み込まれ、一時記憶メモリであるＲＡＭ１４に出力される。一方、送話マイク６より入力されたアナログ音声信号が音声処理部４で所定のアルゴリズムによりコード化され音声データとして無線通信部３に出力されると、無線通信部３は、音声データに通信制御データ等を付加したベースバンド信号（デジタル信号）を変調処理し、アンテナ２を介して図示しない無線基地局に送信する。

音声処理部４は、無線通信部３を介して入力された音声データをデコード（伸張処理）し、さらにアナログ音声信号に変換したのち、受話スピーカ５を介して出力する一方、送話マイク６を介して入力されたアナログ音声信号をコード化（圧縮処理）して音声データに変換して無線通信部３へ出力する。

ＣＰＵ７は、ＲＯＭ１３に記憶されている各種プログラムの中から指定されたプログラムを読み出し、ＲＡＭ１４内のワークエリアに展開し、上記プログラムとの協働によって各種処理を実行し、その処理結果をＲＡＭ１４の所定の領域に格納するとともに、表示部８に表示させる。

表示部８は、ＬＣＤ（Liquid Crystal Display）等により構成され、ＣＰＵ７からの表示指示に基づいて、各種プログラムの処理により得られた表示データを表示する。

キー入力部９は、テンキー、メニューキー、十字キー、決定キー及び各種機能キー等の入力キーを備えて構成され、ユーザにより押下されたキーに対応する押下信号をＣＰＵ７に出力する。

撮像部１０は、撮像レンズ、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の光電変換素子、Ａ／Ｄ変換部等を備えている。撮像部１０では、撮像レンズにより取り込まれた光学像を光電変換素子により画像信号に変換し、この画像信号をＡ／Ｄ変換部によりデジタル画像データに変換し、撮像画像データを取得する。

鳴音駆動部１１は、携帯電話機１の着信時等にＣＰＵ７からの鳴音指示により鳴音信号をスピーカ１２に出力し、鳴音によりユーザに通話やメールの着信等を報知する。

ＲＯＭ１３は、ＣＰＵ７により実行される各種プログラムや、プログラムの実行必要なパラメータ、データ等を記憶している。
ＲＡＭ１４は、ＣＰＵ７により実行される各種プログラム及びこれらプログラムに係わるデータを一時的に記憶するワークエリアを形成する。

メモリ１５は、電気的に内容を消去したり書き換えたりすることができる、半導体のメモリ等で構成され、ＣＰＵ７から書き込まれた各種情報を記憶する。メモリ１５は、画像メモリ１５１を有する。ＣＰＵ７は、ＲＯＭ１３に記憶されているプログラムとの協働により、撮像部１０において撮像された静止画像データや受信された静止画像データ、撮像部１０において撮像された動画像データや受信された動画像データを画像メモリ１５１に書込む。画像メモリ１５１は、ＣＰＵ７により書込まれた静止画像データや動画像データを記憶する。なお、動画像データは、ＭＰＥＧ２（Moving Picture Experts Group phase 2）、ＷＭＶ（Windows（登録商標） Media Video）等の所定の圧縮形式で圧縮されたデータが記憶されているものとする。

次に、本実施の形態における携帯電話機１の動作について説明する。
図２は、携帯電話機１において実行される動画像台形補正処理の流れを示すフローチャートである。当該処理は、着信待ち受け状態の時に、ＣＰＵ７によりキー入力部９からの動画像台形補正を指示するキー操作が検出されることによりＲＯＭ１３に記憶されている動画像台形補正処理プログラムが起動され、ＣＰＵ７と当該動画像台形補正処理プログラムとの協働によるソフトウエア処理により実現される処理である。

動画像台形補正処理においては、まず、表示部８に、画像メモリ１５１に記憶されている各動画像データのファイル名又は各動画像データの先頭のフレーム画像のサムネイル画像を一覧表示した動画像一覧画面（図示せず）が表示される（ステップＳ１）。この動画像一覧画面において、補正対象となる動画像データの選択を示すキー操作が検出されると（ステップＳ２）、選択された動画像データがＲＡＭ１４に読み出され、ビットマップ形式のフレーム画像データに変換される（ステップＳ３）。次いで、フレーム画像データに基づいて、表示部８に補正対象の動画像が再生され、この再生画面から、一連の動画像を構成するフレーム画像のなかから補正対象とする最初のフレーム画像（以下、開始フレーム画像という。）の指定（ステップＳ４）、及び最後のフレーム画像（以下、終了フレーム画像という。）の指定が受け付けられる（ステップＳ５）。

図３（ａ）に、ステップＳ４〜５において表示部８に表示される補正対象の動画像の再生画面の一例を示す。図３（ａ）に示すように、ステップＳ４において表示される再生画面には、動画像とともに再生開始からの経過時間を示す時間バーＴ、再生を一時停止させるための「停止」キー、巻き戻しを行うための「巻戻」キーが表示されている。この再生画面上から「停止」キーに対応するキー（例えば、決定キー）の操作が検出されると、動画像の再生が一時停止され、「停止」キーが押下された時に再生されていたフレーム画像が表示される。このとき、表示画面上には、図３（ｂ）に示すように、時間バーＴ、「巻戻」キーの他、表示されているフレーム画像を開始フレーム画像として指定するための「開始」キー、再生の再開を指示するための「再生」キーが表示される。「開始」キーに対応するキー（例えば、決定キー）の操作が検出されると、ＲＡＭ１４に、現在表示されているフレーム画像を特定するためのフレーム番号（又は、再生開始からの経過時間）が開始フレーム情報として書き込まれ、図３（ａ）に示す再生画面に戻り、指定されたフレーム画像の続きのフレーム画像から動画像が再生される。補正対象の開始フレーム画像の指定後に表示される再生画面から「停止」キーに対応するキーの操作が検出されると、動画像の再生が一時停止され、「停止」キーが押下された時に再生されていたフレーム画像が表示される。このとき、表示画面には、図３（ｃ）に示すように、時間バーＴ、「巻戻」キーの他、表示されているフレーム画像を終了フレーム画像として指定するための「終了」キー、再生の再開を指示するための「再生」キーが表示される。「終了」キーに対応するキー（例えば、決定キー）の操作が検出されると、ＲＡＭ１４に、現在表示されているフレーム画像を特定するためのフレーム番号（又は、再生開始からの経過時間）が終了フレーム情報として書き込まれる。

補正対象の動画像から開始フレーム画像及び終了フレーム画像が指定されると、開始フレーム画像に含まれる被写体の輪郭領域が抽出される（ステップＳ６）。ここで、台形補正処理の補正対象となる被写体は四角形の形状を有するものであるから、輪郭抽出は、例えば直線を検出するためのテンプレートやフィルタを用いて直線認識を行い、この認識された直線の連続性を検出して四角形に閉じた形状の領域（輪郭領域）を抽出することにより行われる。四角形に閉じた形状が複数存在する場合には、複数の輪郭領域が抽出される。抽出された輪郭領域（輪郭候補）は開始フレーム画像に重畳して表示部８に表示される（ステップＳ７）。

図４に、ステップＳ７において表示される輪郭候補の表示画面の一例を示す。図４に示す表示画面においては、一点鎖線で示される輪郭候補Ａ、点線で示される輪郭候補Ｂ、二点鎖線で示される輪郭候補Ｃ、の３つの輪郭候補が抽出された場合を示している。十字キーによるカーソル操作により輪郭候補のうち補正対象の被写体に対応する何れか一つの輪郭候補が選択され、決定キーの操作により決定されると（ステップＳ８）、選択された輪郭領域を略矩形形状に補正する台形補正処理が施され、台形補正処理後の処理画像が表示部８に表示される（ステップＳ９）。

台形補正処理は、座標変換により台形形状の画像が略矩形形状となるように補正するものである。例えば、原画（フレーム画像）の各画素の座標をＰ（ｘ、ｙ）、台形補正処理後の処理画像における各画素の座標をＱ（ｘ、ｙ）としたとき、補正後の処理画像は次式により求めることができる。
Ｑ（ｘ、ｙ）＝Ｐ（ａｘ＋ｂ、ｃｙ＋ｄ）・・・（１）
ここで、ａ、ｂ、ｃ、ｄは座標変換時の伸張の係数であり、補正対象となる輪郭領域の形状に基づいて算出される。

上記の式（１）に原画の各画素の座標値Ｐ（ｘ、ｙ）を入力することにより、処理画像を求めることができる。また、射影変換を用いて座標変換を行う方法を用いてもよい（例えば、特開２００５−１１５７１１号公報）。

図５に、ステップＳ９において表示される台形補正処理の確認画面の一例を示す。図５に示す確認画面から、輪郭領域の確定を指示するための「ＯＫ」キーに対応するキーの操作が検出されず、「ＮＧ」キーに対応するキー操作が検出されると（ステップＳ１０；ＮＯ）、処理はステップＳ７に戻り、再度輪郭候補の表示画面が表示され、選択された輪郭領域の台形補正処理及び台形補正処理後の表示が行われる。台形補正処理の確認画面から「ＯＫ」に対応するキーの操作が検出されると（ステップＳ１０；ＹＥＳ）、開始フレーム画像における、上記確定された輪郭領域を基準とし、当該輪郭領域を略矩形形状に補正する台形補正処理が施され（ステップＳ１１）、台形補正されたフレーム画像のデータがＲＡＭ１４に保存される（ステップＳ１２）。具体的には、ＲＡＭ１４に読み出された、処理対象のフレーム画像のデータが台形補正済みのフレーム画像のデータに書き換えられる。

次いで、台形補正処理されたフレーム画像が、ステップＳ５で指定された終了フレーム画像であるか否かが判断され、終了フレーム画像ではないと判断された場合（ステップＳ１３；ＮＯ）、次のフレーム画像に処理対象が移動され（ステップＳ１４）、処理対象のフレーム画像において、補正対象の被写体の移動に応じて、当該補正対象の被写体の輪郭領域が抽出される（ステップＳ１５）。即ち、開始フレーム画像から抽出された補正対象の被写体の輪郭領域に基づいて、当該補正対象の被写体に対応する輪郭領域が処理対象のフレーム画像から抽出される。例えば、処理対象のフレーム画像が開始フレーム画像の次のフレーム画像である場合、処理対象のフレーム画像において四角形領域の抽出を行い、開始フレーム画像において台形補正の基準とした輪郭領域の画像を輪郭パターン画像として、抽出された四角形領域のそれぞれに対し上下左右に移動させながら重ね合わせ、輪郭パターン画像との差が最小となった四角形領域が補正対象の被写体に対応する輪郭領域として抽出される。その次以降のフレーム画像については、直前のフレーム画像において抽出された補正対象の被写体の輪郭領域の画像を輪郭パターン画像として、同様の処理が行われる。これにより、補正対象の被写体がフレーム間で移動していても、その輪郭領域を抽出することが可能となる。ただし、輪郭パターン画像との差が予め設定された基準以上である場合は、輪郭領域の抽出は失敗であると判断される。なお、フレーム間における被写体の移動は所定範囲内であると想定されることから、直前フレーム画像において抽出された補正対象の被写体の輪郭領域の位置から所定範囲内の領域に存在する四角形領域に対し、重ね合わせを行うようにしてもよい。

ステップＳ１５における輪郭領域の抽出が成功したと判断されると（ステップＳ１６；ＹＥＳ）、処理はステップＳ１１に戻り、処理対象のフレーム画像における抽出された輪郭領域が矩形形状となるように台形補正が施され、台形補正されたフレーム画像がＲＡＭ１４に保存される。補正の終了フレーム画像までの各フレーム画像について台形補正処理が終了したと判断されると（ステップＳ１３；ＹＥＳ）、処理はステップＳ１７に移行する。また、ステップＳ１６において、輪郭領域の抽出が失敗したと判断された場合においても（ステップＳ１６；ＮＯ）、処理はステップＳ１７に移行する。

ステップＳ１７においては、ＲＡＭ１４の台形補正処理後の動画像データがビットマップ形式から所定の圧縮形式のデータに変換され（ステップＳ１７）、変換された動画像データが画像メモリ１５１に保存され（ステップＳ１８）、本処理は終了する。

図６に、台形補正前の動画像と台形補正後の動画像の表示画面の遷移を模式的に示す。図６に示すように、レンズ位置に起因して、矩形形状の被写体が台形に歪んでいた補正前の動画像が、上記台形補正処理により、略矩形形状に補正される。

以上説明したように、上記実施の形態における携帯電話機１によれば、撮像された動画像を構成するフレーム画像のそれぞれから補正対象の被写体の輪郭領域を抽出し、当該抽出された輪郭領域を略矩形形状に補正する。従って、撮像時の被写体に対するレンズ位置に起因する歪みがない動画像を得ることが可能となる。

また、撮像された動画像を構成するフレーム画像から、一連のフレーム画像の最初のフレーム画像及び最後のフレーム画像を指定し、指定された最初のフレーム画像から最後のフレーム画像までの一連のフレーム画像のそれぞれから補正対象の被写体の輪郭領域を抽出し、抽出された輪郭領域を略矩形形状に補正するので、撮像された動画像から、所望の時間に再生される動画像の歪みを補正することが可能となる。

また、指定された最初のフレーム画像から補正対象の被写体の輪郭領域を抽出し、抽出された輪郭領域を略矩形形状に補正するとともに、指定された最初のフレーム画像から最後のフレーム画像までの一連のフレーム画像の最初のフレーム画像を除く他のフレーム画像のそれぞれに含まれる補正対象の被写体の輪郭領域を補正対象の被写体の移動に応じて最初のフレーム画像において抽出された輪郭領域に基づいて順次抽出し、抽出された輪郭領域を略矩形形状に補正する。従って、指定された一連の動画像から、補正対象の被写体の移動に応じて輪郭領域を特定し、動画像に含まれる補正対象の被写体の歪みを補正することが可能となる。

なお、上記実施の形態における記述内容は、好適な一例であり、これに限定されるものではない。

例えば、上記実施の形態においては、撮像された動画像に上述の動画像台形補正処理を施す画像処理装置を携帯電話機１に適用した場合を例にとり説明したが、（Personal Handyphone System）端末やパソコン、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ等に適用してもよい。

また、携帯電話機１の細部構成及び細部動作に関しても、適宜変更可能である。

携帯電話機１の機能的構成を示すブロック図である。図１のＣＰＵ７により実行される動画像台形補正処理の流れを示すフローチャートである。補正対象の動画像を再生する画面の一例を示す図である。補正対象の動画像における輪郭候補を表示する画面の一例を示す図である。台形補正後の効果を確認する画面の一例を示す図である。台形補正前の動画像と台形補正後の動画像の表示画面の遷移を模式的に示す図である。

符号の説明

１携帯電話機
２アンテナ
３無線通信部
４音声処理部
５受話スピーカ
６送話マイク
７ＣＰＵ
８表示部
９キー入力部
１０撮像部
１１鳴音駆動部
１２スピーカ
１３ＲＯＭ
１４ＲＡＭ
１５メモリ
１５１画像メモリ

Claims

撮像された動画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶された前記動画像から一連のフレーム画像を構成する最初のフレーム画像及び最後のフレーム画像を指定する指定手段と、
前記指定手段により前記最初のフレーム画像及び前記最後のフレーム画像が指定されたことに応じて、前記最初のフレーム画像から前記最後のフレーム画像までの前記一連のフレーム画像のそれぞれから補正対象の被写体の輪郭領域を抽出し、当該抽出された輪郭領域を略矩形形状に補正する台形補正手段と、
を備えたことを特徴とする画像処理装置。
前記台形補正手段は、前記指定手段により指定された前記最初のフレーム画像から補正対象の被写体の輪郭領域を抽出し、当該抽出した輪郭領域を略矩形形状に補正するとともに、前記一連のフレーム画像の前記最初のフレーム画像を除く他のフレーム画像のそれぞれに含まれる前記補正対象の被写体の輪郭領域を、前記最初のフレーム画像から抽出した前記輪郭領域に基づいて順次抽出し、順次抽出した輪郭領域をそれぞれ略矩形形状に補正することを特徴とする請求項１に記載の画像処理装置。
コンピュータを、
撮像された動画像を記憶する画像記憶手段、
前記画像記憶手段に記憶された前記動画像から一連のフレーム画像を構成する最初のフレーム画像及び最後のフレーム画像を指定する指定手段、
前記指定手段により前記最初のフレーム画像及び前記最後のフレーム画像が指定されたことに応じて、前記最初のフレーム画像から前記最後のフレーム画像までの前記一連のフレーム画像のそれぞれから補正対象の被写体の輪郭領域を抽出し、当該抽出された輪郭領域を略矩形形状に補正する台形補正手段、
として機能させるためのプログラム。