JP5638650B2 - 画像表示装置、画像表示方法および画像表示プログラム - Google Patents

Description

この発明は画像送信装置、画像送信方法および画像送信プログラムに関し、特に携帯可能な画像送信装置、その画像送信装置で実行される撮像画像送信方法および撮像画像送信プログラムに関する。

近年、テレビ電話で通話可能な携帯電話機が普及してきている。テレビ電話では音声と同時に話者を撮影した画像が送信されるので、話者同士の心理的距離を縮めることが可能である。一方、携帯電話は持ち運びされるので通話する場所が限定されない。このため、カメラが撮影する話者の後ろの背景が、通話する時と場所によって異なる。例えば道を歩いている最中にテレビ電話がかかってきた場合に背景に他人の顔が含まれてしまうなど、その背景を撮影した画像を通話する相手に送信することが好ましくない場合もある。このような場合、テレビ電話で通話しないか、背景が撮影されても差し障り無い場所に移動した後にテレビ電話で通話する等しなければならず、通話する相手の要求に応えられなかったり、発呼に応答するまでに長時間かかってしまったりするといった問題がある。

特開２００６−１３８５６号公報（特許文献１）には、カメラで撮影した動画像から人物と背景の境界を認識して背景の領域を抽出し、カメラで撮影した動画像の背景画像部分を予め記憶された背景画像で差し替えた動画像データを送信するテレビ電話装置が記載されている。

しかしながら、カメラで撮影した動画像から人物と背景の境界を認識して背景の領域を抽出する高度な画像処理を実行する必要があり、人物と背景の境界を誤って認識した場合には処理することができないといった問題がある。また、背景領域を抽出する処理にある程度の時間が必要とされ、動画像を送信するまでに長時間かかるといった問題がある。

特開２００６−１３８５６号公報

この発明は上述した問題点を解決するためになされたもので、この発明の目的の１つは、プライバシーを保護することが可能な画像送信装置を提供することである。

この発明は上述した問題点を解決するためになされたもので、この発明の目的の１つは、プライバシーを保護することが可能な画像送信方法および画像送信プログラムを提供することである。

上述した目的を達成するためにこの発明のある局面によれば、画像送信装置は、被写体を撮像した撮像画像を出力する撮像手段と、撮像画像の少なくとも一部の領域の指定を受け付ける領域指定手段と、受け付けられた領域に基づいて、撮像画像の少なくとも一部をマスクするためのマスク領域を決定するマスク領域決定手段と、撮像画像のマスク領域を別の画像に変換した合成画像を生成する合成画像生成手段と、合成画像を送信する送信手段と、を備える。

この局面に従えば、被写体を撮像した撮像画像の少なくとも一部の領域の指定が受け付けられると、撮像画像の少なくとも一部をマスクするためのマスク領域が決定され、撮像画像のマスク領域を別の画像に変換した合成画像が生成されて送信される。このため、被写体を撮像した撮像画像の少なくとも一部の領域が送信されないので、撮像して得られる画像を部分的に選択して送信することが可能となる。その結果、プライバシーを保護することが可能な画像送信装置を提供することができる。

好ましくは、マスク領域決定手段は、受け付けられた領域または該領域以外の領域をマスク領域に決定する。

好ましくは、撮像画像を表示する表示手段をさらに備え、領域指定手段は、表示手段の表示面の位置を受け付ける位置受付手段を含む。

この局面に従えば、撮像画像が表示され、表示面の位置が受け付けられると領域が指定されるので、撮像画像中から任意の領域を容易に選択することができる。

好ましくは、表示手段は、予め定められたマスク領域を含むパターン画像を撮像画像に重畳した画像を表示し、マスク領域決定手段は、パターン画像に含まれるマスク領域を、受け付けられた表示面の位置に基づいて変更する変更手段を含む。

この局面に従えば、予め定められたマスク領域を含むパターン画像を撮像画像に重畳した画像が表示され、受け付けられた表示面の位置に基づいてマスク領域が変更されるので、撮像画像中から任意の領域を容易に選択することができる。

好ましくは、撮像画像から特徴点を抽出する特徴点抽出手段と、特徴点の撮像画像における位置の変化に従って、撮像画像中におけるマスク領域を移動させるマスク領域移動手段をさらに含む。

この局面に従えば、撮像画像から特徴点が抽出され、特徴点の撮像画像における位置の変化に従って、撮像画像中におけるマスク領域が移動するので、撮像範囲が変動する、または、被写体が移動する等する場合であっても、撮像画像中の所定の領域が送信されるのを防止することができる。

好ましくは、送信手段は、マスク領域が決定されることを条件に、合成画像を送信する。

この発明の他の局面によれば、画像送信方法は、被写体を撮像した撮像画像を取得するステップと、撮像画像の少なくとも一部の領域の指定を受け付けるステップと、受け付けられた領域に基づいて、撮像画像の少なくとも一部をマスクするためのマスク領域を決定するステップと、撮像画像のマスク領域を別の画像に変換した合成画像を生成するステップと、合成画像を送信するステップと、を含む。

この局面に従えば、プライバシーを保護することが可能な画像送信方法を提供することができる。

この発明のさらに他の局面によれば、画像送信プログラムは、被写体を撮像した撮像画像を取得するステップと、撮像画像の少なくとも一部の領域の指定を受け付けるステップと、受け付けられた領域に基づいて、撮像画像の少なくとも一部をマスクするためのマスク領域を決定するステップと、撮像画像のマスク領域を別の画像に変換した合成画像を生成するステップと、合成画像を送信するステップと、をコンピュータに実行させる。

この局面に従えば、プライバシーを保護することが可能な画像送信プログラムを提供することができる。

本発明の実施の形態の１つにおける携帯電話機の外観を示す斜視図である。 携帯電話機の平面図である。 指示キーの配置を示す図である。 携帯電話機の機能の概要の一例を示す機能ブロック図である。 制御部の機能の概要の一例を示す機能ブロック図である。 撮像画像の一例を示す図である。 マスク領域の一例を示す第１の図である。 非マスク領域の一例を示す図である。 マスク領域の一例を示す第２の図である。 マスク領域決定部のパターン画像を用いてマスク領域を決定する機能を示す機能ブロック図である。 パターン画像の一例を示す図である。 パターン画像のマスク領域を撮像画像に重畳した画像を示す図である。 パターン画像を拡張または縮小した後のマスク領域を示す図である。 移動後のマスク領域の一例を示す第１の図である。 移動後のマスク領域の一例を示す第２の図である。 着信処理の流れの一例を示すフローチャートである。 マスク領域決定処理の流れの一例を示すフローチャートである。 追従処理の流れの一例を示すフローチャートである。 発信処理の流れの一例を示すフローチャートである。

以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。

以下の説明では、画像送信装置としてのテレビ電話機の一例として携帯電話機１について説明する。図１は、本発明の実施の形態の１つにおける携帯電話機の外観を示す斜視図である。図１を参照して、携帯電話機１は、表示側部２と、操作側部３と、を含む。表示側部２は、その裏面が操作側部３の表面と向かい合うように、長手方向にスライド可能に取り付けられる。図１においては、表示側部２を操作側部３に対してスライドさせて、携帯電話機１が開いた状態を示している。携帯電話機１が閉じた状態に置いては、表示側部２の裏面は、操作側部３の表面と重なる。

図２（Ａ）は、携帯電話機１の閉じた状態における平面図である。図２（Ｂ）は、携帯電話機の開いた状態における平面図である。図２（Ａ）および図２（Ｂ）を参照して、表示側部２の表面は、カメラ２４と、液晶表示装置（ＬＣＤ）１６と、タッチパネル２５Ａと、通話キー１４Ｂ、指示キー１５、および通話終了キー１４Ｃとを含む操作キー１４と、スピーカ１１と、が配置される。タッチパネル２５Ａは、透明な部材からなり、ＬＣＤ１６の表示面の全体に渡ってそれに重畳して配置される。なお、ここでは携帯電話機１がＬＣＤ１６を備える例を示すが、ＬＣＤ１６に代えて、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等を用いてもよい。

携帯電話機１が開いた状態において、操作側部３の表面の一部が露出する。操作側部３は、表面の露出する部分に操作キー１４の一部を構成するテンキー１４Ａと、マイクロフ
ォン１３とが配置される。また、操作側部３の側面には、第２スピーカ１２（図４参照）が配置される。

図３は、指示キーの配置を示す図である。図３を参照して、指示キー１５は、決定キー５、上矢印キー６、下矢印キー７、左矢印キー８および右矢印キー９を含む。決定キー５、上矢印キー６、下矢印キー７、左矢印キー８および右矢印キー９は、ボタンスイッチであり、押下されるとＯＮになる。携帯電話機１は、ＬＣＤ１６にポインタを表示可能であり、ユーザによる指示キー１５の操作が受け付けられると、上矢印キー６、下矢印キー７、左矢印キー８および右矢印キー９のうち押下されたキーに従って、ポインタを上下左右にそれぞれ移動させる。これにより、ＬＣＤ１６の表示面の任意の位置を指定することが可能となっている。

図４は、携帯電話機の機能の概要の一例を示す機能ブロック図である。図４を参照して、携帯電話機１は、携帯電話機１の全体を制御するための制御部２１と、アンテナ２２Ａと接続された無線回路２２と、音声データを処理するためのコーデック部２８と、それぞれがコーデック部２８に接続されたマイクロフォン１３および第１スピーカ１１と、アンテナ２３Ａに接続されたチューナ２３と、ＡＶデコーダ２９と、カメラ２４と、ユーザの操作の入力を受付ける操作部２５と、ＬＣＤ１６の表示を制御するための表示制御部３０と、制御部２１の作業領域として使用されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３１と、制御部２１で実行するプログラム等を記憶するためのフラッシュＲＯＭ（Ｆｌｕｓｈ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３２と、振動部２６と、カードインターフェース（Ｉ／Ｆ）２７と、シリアルインターフェースとしての外部通信接続端子３３と、を含む。

無線回路２２は、アンテナ２２Ａにより受信された無線信号が入力され、無線信号を復調した音声信号をコーデック部２８に出力する。また、無線回路２２は、コーデック部２８から音声信号が入力され、音声信号を変調した無線信号をアンテナ２２Ａに出力する。コーデック部２８は、無線回路２２から入力される音声信号を復号し、復号したデジタルの音声信号をアナログに変換し、増幅し、そして第１スピーカ１１に出力する。また、コーデック部２８は、マイクロフォン１３からアナログの音声信号が入力され、音声信号をデジタルに変換し、符号化し、そして符号化した音声信号を無線回路２２に出力する。

チューナ２３は、アンテナ２３Ａに接続されており、アンテナ２３Ａにより受信された放送信号が入力される。放送信号は、映像データおよび音声データを含む高周波デジタル変調信号である。チューナ２３は、アンテナ２３Ａから入力される高周波デジタル変調信号から特定の周波数の信号を取り出す。また、チューナ２３は、逆インターリーブ回路、誤り訂正回路を備えており、取り出した特定の周波数の高周波デジタル変調信号を復調して符号データをＡＶデコーダ２９に出力する。ＡＶデコーダ２９は、ビデオデコーダおよびオーディオデコーダを備えており、チューナ２３から入力された符号データを復号して映像信号および音声信号を生成し、映像信号を表示制御部３０に出力し、音声信号をＤ／Ａ（デジタル／アナログ）変換して第２スピーカ１２に与える。なお、ここでは、デジタルテレビジョン放送の放送電波を受信して再生する例を示したが、アナログテレビジョン放送の放送電波を受信して再生するようにしてもよい。また、テレビジョン放送に代えて、または、テレビジョン放送に加えて、ラジオ放送の放送電波を受信して再生するようにしてもよい。

表示制御部３０は、制御部２１により制御され、制御部２１から入力される指示に従ってＬＣＤ１６を制御して、ＬＣＤ１６に画像を表示させる。ＬＣＤ１６に表示させる画像は、動画像と静止画像とを含む。

カメラ２４は、レンズおよびＣＭＯＳ(Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏ
ｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の光電変換素子を備え、レンズで集光した光をＣＭＯＳセンサに結像し、ＣＭＯＳセンサは受光した光を光電変換して画像データを制御部２１に出力する。カメラ２４は、制御部２１により制御され、制御部２１からの指示により撮像を開始して、得られる静止画データまたは動画データを制御部２１に出力する。カメラ２４は、光電変換した画像データの画質を向上させるための画像処理を実行する画像処理回路、画像データをアナログからデジタルに変換するＡ／Ｄ変換回路を備えている。制御部２１は、カメラ２４が出力する静止画データまたは動画データを表示制御部３０に出力し、ＬＣＤ１６に表示させる。また、静止画データまたは動画データを符号化し、フラッシュＲＯＭ３２またはカードＩ／Ｆ２７に装着されたメモリカード２７Ａに記憶することが可能である。また、カメラ２４は、携帯電話機１がテレビ電話として機能する場合、動画データを予め定められた圧縮符号化方式で静を符号化して、制御部２１に出力する。

操作部２５は、操作キー１４と、タッチパネル２５Ａとを含む。操作キー１４およびタッチパネル２５Ａは、ユーザによる操作の入力を受け付け、受付けた操作を制御部２１に出力する。

カードＩ／Ｆ２７には、着脱可能なメモリカード２７Ａが装着される。メモリカード２７Ａは、例えば、ＣｏｍｐａｃｔＦｌａｓｈ、ＳｍａｒｔＭｅｄｉａ（登録商標）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）／ＭｉｎｉＳＤ／ＭｉｃｒｏＳＤメモリカード、メモリースティック、ＭＭＣ（ＭｕｌｔｉＭｅｄｉａ Ｃａｒｄ）、ｘＤピクチャーカードなどである。

制御部２１は、カードＩ／Ｆ２７を介して、メモリカード２７Ａにアクセスが可能である。ここでは制御部２１で実行するためのプログラムをフラッシュＲＯＭ３２に記憶しておく例を説明するが、プログラムをメモリカード２７Ａに記憶しておき、メモリカード２７Ａからプログラムを読み出して、制御部２１で実行するようにしてもよい。プログラムを記憶する記録媒体としては、メモリカード２７Ａに限られず、フレキシブルディスク、カセットテープ、光ディスク（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−ＲＯＭ）／ＭＯ（Ｍａｇｎｅｔｉｃ Ｏｐｔｉｃａｌ Ｄｉｓｃ）／ＭＤ（Ｍｉｎｉ Ｄｉｓｃ）／ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ））、光カード、マスクＲＯＭ、ＥＰＲＯＭなどの半導体メモリ等でもよい。また、携帯電話機１をインターネットに無線回路２２を介して接続し、インターネットに接続されたコンピュータからプログラムをダウンロードして、制御部２１で実行するようにしてもよい。ここでいうプログラムは、制御部２１により直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。

図５は、制御部の機能の概要の一例を示す機能ブロック図である。図５を参照して、制御部２１は、撮像画像を取得する撮像画像取得部５１と、撮像画像中の任意の位置の指定を受け付ける位置受付部５７と、マスク領域を決定するためのマスク領域決定部５９と、撮像画像のマスク領域を別の画像で置き換えた合成画像を生成する合成画像生成部５３と、合成画像を送信する送信部５５と、撮像画像からそれに含まれる特徴点を抽出するための特徴点抽出部６１と、撮像画像中における特徴点の移動に応じて撮像画像に対するマスク領域を移動させるマスク領域移動部６３とを含む。

撮像画像取得部５１は、カメラ２４が被写体を撮像して出力する撮像画像が入力される。撮像画像取得部５１は、入力される撮像画像を取得する。撮像画像取得部５１は、取得した撮像画像を合成画像生成部５３および特徴点抽出部６１に出力する。カメラ２４から入力される撮像画像は、静止画像と、動画像とを含む。ここでは、撮像画像として動画
像が入力される場合を例に説明する。合成画像生成部５３は、撮像画像取得部５１から撮像画像が入力されると、撮像画像を表示制御部３０に出力し、ＬＣＤ１６に表示させる。

位置受付部５７は、撮像画像中の任意の位置の指定を受け付ける。
位置受付部５７は、ユーザがタッチパネル２５Ａで指示する撮像画像中の位置を受け付ける。位置受付部５７は、タッチパネル２５Ａで検出された位置からＬＣＤ１６に表示されている撮像画像中の位置を特定する。また、ユーザが、指示キー１５を操作してＬＣＤ１６に表示されたポインタを移動させ、決定キー５を押下した時点のポインタの位置を受け付ける。ＬＣＤ１６に表示されているポインタの位置からＬＣＤ１６に表示されている撮像画像中の位置を特定する。位置受付部５７は、受け付けた撮像画像中の位置を、マスク領域決定部５９に出力する。

マスク領域決定部５９は、位置受付部５７から入力される撮像画像中の位置に基づいて、撮像画像中のマスク領域を決定し、決定したマスク領域をマスク領域移動部６３に出力する。マスク領域決定部５９は、マスク領域指定モードと、非マスク領域指定モードとのいずれかにモードを切り替える。マスク領域決定部５９は、マスク領域指定モードに切り替えられている場合、位置受付部５７から入力される撮像画像中の位置またはその位置から所定の範囲をマスク領域とする。ユーザがタッチパネルを指でなぞる、または指示キー１５で先を描く等する場合には、位置受付部５７から隣接する複数の位置が連続して入力される。マスク領域決定部５９は、連続して入力される複数の位置から所定の範囲の領域をマスク領域とする。また、連続して入力される複数の位置で囲まれる領域をマスク領域としてもよい。

マスク領域決定部５９は、非マスク領域指定モードに切り替えられている場合、位置受付部５７から入力される撮像画像中の位置から所定の範囲を非マスク領域とする。マスク領域決定部５９は、位置受付部５７から連続して入力される複数の位置から所定の範囲の領域を非マスク領域とする。また、連続して入力される複数の位置で囲まれる領域を非マスク領域としてもよい。マスク領域決定部５９は、撮像画像中で非マスク領域以外の領域をマスク領域に決定する。

ここで、マスク領域の指定について具体的に説明する。図６は、撮像画像の一例を示す図である。図６を参照して、撮像画像１００は、被写体としての携帯電話機１の操作者の画像１０１と、背景に「○○株式会社」の文字が表された看板の画像１０３とを含む。図７は、マスク領域の一例を示す第１の図である。図６に示した撮像画像１００が、ＬＣＤ１６に表示されている状態で、操作者が、自身の画像１０１以外の領域をタッチパネル２５Ａで塗りつぶすように指示することにより、図７にハッチングで示すマスク領域１１０が特定される。図８は、非マスク領域の一例を示す図である。図６に示した撮像画像１００が、ＬＣＤ１６に表示されている状態で、操作者が、自身の画像１０１をタッチパネル２５Ａで塗りつぶすように指示することにより、図７にハッチングで示す非マスク領域１１１が特定される。図９は、マスク領域の一例を示す第２の図である。図６に示した撮像画像１００が、ＬＣＤ１６に表示されている状態で、操作者が、「○○株式会社」の文字が表された看板の画像１０３の領域をタッチパネル２５Ａで塗りつぶすように指示することにより、図９にハッチングで示すマスク領域１１３が特定される。

図５に戻って、マスク領域決定部５９は、また、フラッシュＲＯＭ３２に予め記憶されたパターン画像に基づいて、マスク領域を決定することが可能である。図１０は、マスク領域決定部５９のパターン画像を用いてマスク領域を決定する機能を示す機能ブロック図である。図１０を参照して、マスク領域決定部５９は、パターン画像を取得するパターン画像取得部７１と、拡張指示を受け付けるための拡張指示受付部７３と、拡張指示に基づいてマスク領域を拡張する拡張部７５と、縮小指示を受け付けるための縮小指示受付部７
７と、縮小指示に基づいてマスク領域を縮小拡張する縮小部７９と、を含む。

パターン画像取得部７１は、フラッシュＲＯＭ３２に予め記憶されているパターン画像を読み出す。フラッシュＲＯＭ３２に複数のパターン画像を記憶しておき、撮像画像に含まれる画像の特徴からいずれか１つのパターン画像を選択するようにしてもよいし、操作者がいずれか１つを選択するようにしてもよい。パターン画像取得部７１は、読み出したパターン画像を表示制御部３０に出力し、ＬＣＤ１６に表示されている撮像画像にパターン画像を重畳した画像を表示させるとともに、拡張指示受付部７３および縮小指示受付部７７に出力する。

拡張指示受付部７３は、パターン画像取得部７１からパターン画像が入力されると、そのパターン画像をマスク領域に設定する。また、拡張指示受付部７３は、拡張部７５または縮小部７９からマスク領域が入力される。さらに、拡張指示受付部７３は、タッチパネル２５Ａまたは指示キー１５から拡張指示を受け付ける。拡張指示受付部７３は、ユーザがタッチパネル２５Ａでマスク領域の位置を指示した後、連続してマスク領域以外の位置を指示した場合に、拡張指示を受け付ける。拡張指示は、マスク領域以外の位置を含む。拡張指示受付部７３は、拡張指示を受け付けると、受け付けた拡張指示に含まれるマスク領域以外の位置とその時のマスク領域とを拡張部７５に出力する。

拡張部７５は、拡張指示受付部７３から受け付けられるマスク領域を、マスク領域以外の位置まで拡張する。拡張部７５は、拡張後のマスク領域を拡張指示受付部７３および縮小指示受付部７７に出力する。

縮小指示受付部７７は、パターン画像取得部７１からパターン画像が入力されると、そのパターン画像をマスク領域に設定する。また、縮小指示受付部７７は、拡張部７５または縮小部７９からマスク領域が入力される。さらに、縮小指示受付部７７は、タッチパネル２５Ａまたは指示キー１５から縮小指示を受け付ける。縮小指示受付部７７は、ユーザがタッチパネル２５Ａでマスク領域以外の位置を指示した後、連続してマスク領域の位置を指示した場合に、縮小指示を受け付ける。縮小指示は、マスク領域の位置を含む。縮小指示受付部７７は、縮小指示を受け付けると、受け付けた縮小指示に含まれるマスク領域の位置とその時のマスク領域とを縮小部７９に出力する。

縮小部７９は、縮小指示受付部７７から受け付けられるマスク領域を、マスク領域の位置まで縮小する。縮小部７９は、縮小後のマスク領域を拡張指示受付部７３および縮小指示受付部７７に出力する。

パターン画像を用いてマスク領域を決定する場合の具体例を説明する。図１１は、パターン画像の一例を示す図である。図１１を参照して、パターン画像は、マスク領域となる予定のパターン１２１を含む。図では、パターン１２１をハッチングで示す。パターン画像は、画面の略中央に円形のマスク領域以外の領域を含む。図１２は、パターン画像のマスク領域を撮像画像に重畳した画像を示す図である。図１２を参照して、ユーザが、タッチパネル２５Ａで、点１２３で示す位置を指示し、点１２３から伸びる矢印方向に指を移動させると、縮小指示が受け付けられる。また、パターン画像が撮像画像に重畳してＬＣＤ１６に表示されている状態で、ユーザが、タッチパネル２５Ａで、点１２５で示す位置を指示し、点１２５から伸びる矢印方向に指を移動させると、拡張指示が受け付けられる。図１３に、パターン画像を拡張または縮小した後のマスク領域を示す。

このように、タッチパネル２５Ａでパターン画像に含まれるマスク領域を拡大または縮小することで、マスク領域を変更することができるので、撮像画像に合わせたマスク領域を容易に決定することができる。

図５に戻って、特徴点抽出部６１は、撮像画像取得部５１から入力される撮像画像から特徴点を抽出する。特徴点は、例えば、人の目、文字など撮像画像中に含まれる特徴的な形状、色、模様などに含まれる。撮像画像を２値化して所定の形状を抽出したり、撮像画像中から所定の色の部分を抽出したりして、特徴点を決定することができる。

特徴点抽出部６１は、抽出した特徴点をマスク領域移動部６３に出力する。特徴点抽出部６１は、異なる時に撮像画像取得部５１から入力される２つの撮像画像それぞれから抽出された同一の特徴点の位置が異なる場合、移動ベクトルを算出して、マスク領域移動部６３に出力する。

マスク領域移動部６３は、マスク領域決定部５９から入力されるマスク領域を合成画像生成部５３に出力する。また、マスク領域移動部６３は、特徴点抽出部６１から移動ベクトルが入力されると、撮像画像中においてマスク領域を移動ベクトルで特定される方向および距離だけ移動させ、移動後のマスク領域を合成画像生成部５３に出力する。

合成画像生成部５３は、撮像画像取得部５１から入力される撮像画像のうち、マスク領域移動部６３から入力されるマスク領域を、プリセット画像に置き換えた合成画像を生成する。プリセット画像は、フラッシュＲＯＭ３２に予め記憶されており、ユーザが複数のプリセット画像のうちから１つ以上を選択することにより決定される。合成画像生成部５３は、合成画像を送信部５５に出力する。

送信部５５は、合成画像生成部５３から入力される合成画像を、無線回路２２を介して、通話の相手方のテレビ電話機に送信する。

ここで、マスク領域の移動について説明する。図１４は、移動後のマスク領域の一例を示す第１の図である。ここでは、人の目を特徴点として、撮像画像中で操作者が移動した場合を例に示している。図７に示したマスク領域１１０が、操作者の画像１０１が移動することに伴って移動する。図１４において、ハッチングで示す領域１１０Ａが移動後のマスク領域である。マスク領域の外側の領域が新たにマスク領域として設定される。

図１５は、移動後のマスク領域の一例を示す第２の図である。ここでは、撮像画像中の文字を特徴点として、カメラ２４の撮像範囲が左方向に変動した場合を例に示している。図９に示したマスク領域１１３が、カメラ２４の撮像範囲が変動することに伴って撮像画像中における「○○株式会社」の文字が移動する。図９に示すマスク領域１１３が、撮像画像中における「○○株式会社」の文字が移動した分だけ移動し、図１５に示すハッチングで示すマスク領域１１３Ａの位置まで移動する。

図１６は、着信処理の流れの一例を示すフローチャートである。着信処理は、制御部２１が撮像画像送信プログラムを実行することにより、制御部２１により実行される処理である。図１６を参照して、制御部２１は、着呼を検出したか否かを判断する（ステップＳ０１）。無線回路２２が着呼信号を受信すると、着呼を検出する。着呼を検出するまで待機状態となり（ステップＳ０１でＮＯ）、着呼を検出すると処理をステップＳ０２に進める。すなわち、着信処理は、着呼を検出することを条件に実行される処理である。

ステップＳ０２においては、応呼指示を受け付けたか否かを判断する。通話キー１４Ｂが押下されたか否かを判断する。応呼指示を受け付けたならば処理をステップＳ０３に進めるが、そうでなければ処理を終了する。操作者が応呼する意思がない場合に、通話を確立しないためである。

処理をステップＳ０３に進める場合、発呼側のテレビ電話機との間で通信が確立する。ステップＳ０３においては、音声通話を開始する。この段階で、音声通話が可能となる。

ステップＳ０４においては、テレビ電話による通話か否かを判断する。テレビ電話による通話の場合には処理をステップＳ０５に進め、そうでなければ処理をステップＳ１７に進める。処理をステップＳ０５に進める場合、発呼側のテレビ電話機から動画データが受信される場合は、その動画データを表示制御部３０に出力し、ＬＣＤ１６に表示させる。ステップＳ１７においては、音声による通話が終了したか否かを判断する。通話が終了するまで待機状態となり（ステップＳ１７でＮＯ）、通話が終了したならば処理を終了する。通話の終了は、通信の切断の検出、または、通話終了キー１４Ｃの押下の検出により判断する。

ステップＳ０５においては、プリセットキャラクタの送信を開始する。具体的には、フラッシュＲＯＭ３２に予め記憶されているプリセットキャラクタを読み出し、無線回路２２を介して相手方のテレビ電話機に送信する。これにより、相手方のテレビ電話機にプリセットキャラクタが表示される。この段階では、カメラ２４で撮像して得られる画像は、相手方のテレビ電話機に送信されない。

次のステップＳ０６においては、画像を送出するか否かを判断する。画像を送出するか否かは、予め設定されていてもよく、ユーザが操作キー１４に入力する指示に従って判断するようにしてもよい。画像を送出する場合は、処理をステップＳ０７に進め、そうでない場合には処理をステップＳ１３に進める。

ステップＳ０７においては、画像をマスクするか否かを判断する。マスクするか否かは、予め設定されている設定に従って判断するようにしてもよいし、ユーザが入力する指示に従って判断するようにしてもよい。ユーザが入力する指示に従って判断する場合、カメラ２４が操作者を撮像して出力する撮像画像をＬＣＤ１６に表示するとともに、マスクするか否かを問合せるメッセージをＬＣＤ１６に表示して、ユーザに指示の入力を促す。そして、ユーザにより操作キー１４に割当られたマスクすることを示すキーが入力されたならば、処理をステップＳ０８に進め、そうでなければ処理をステップＳ１４に進める。

ステップＳ０８においては、マスク領域決定処理を実行する。マスク領域決定処理については後述するが、撮像画像中のマスク領域を決定する処理である。次のステップＳ０９においては、画像を送信する指示を受け付けたか否かを判断する。操作キー１４のうち画像を送信する指示の入力のために予め割り当てられたキーが指示されるまでマスク領域決定処理を繰り返すが、そのキーが指示されたならば処理をステップＳ１０に進める。操作者が、マスク領域を決定した後に、初めてカメラ２４が操作者を撮像して出力する撮像画像を送信するためである。

ステップＳ１０においては、合成画像を生成する。具体的には、カメラ２４が操作者を撮像して出力する撮像画像のうち、ステップＳ０８において決定されたマスク領域を、別の画像に置き換えた合成画像を生成する。別の画像は、ステップＳ０８におけるマスク領域決定処理により決定されるプリセット画像または、単一色に塗りつぶした画像である。次のステップＳ１１においては、ステップＳ０５で送信を開始したプリセットキャラクタに代えて合成画像を、無線回路２２を介して相手方のテレビ電話機に送信する。これにより、相手方のテレビ電話機に合成画像が表示される。

次のステップＳ１２においては、追従処理を実行する。追従処理については後述するが、撮像画像中の特徴点の移動に追従してマスク領域を移動させる処理である。そして、次のステップＳ１３においては、通話が終了したか否かを判断する。通話が終了したなら
ば処理を終了し、そうでなければ処理をステップＳ１０に戻す。通話が終了するまで、合成画像を送信するためである。

一方、ステップＳ１４においては、ステップＳ０９と同様に、画像を送信する指示を受け付けたか否かを判断する。画像を送信する指示を受け付けるまで、待機状態となり（ステップＳ１４でＮＯ）、画像を送信する指示を受け付けると処理をステップＳ１５に進める。操作者が、指示した後に、初めてカメラ２４が操作者を撮像して出力する撮像画像を送信するためである。なお、画像を送信する指示を受け付けることなく、直ちに処理をステップＳ１５に処理を進めるようにしてもよい。

ステップＳ１５においては、撮像画像を、無線回路２２を介して相手方のテレビ電話機に送信する。これにより、相手方のテレビ電話機に撮像画像が表示される。次のステップＳ１６においては、通話が終了したか否かを判断する。通話が終了したならば処理を終了し、そうでなければ処理をステップＳ１５に戻す。通話が終了するまで、撮像画像を送信するためである。

図１７は、マスク領域決定処理の流れの一例を示すフローチャートである。マスク領域決定処理は、図１６のステップＳ０８において実行される処理である。図１７を参照して、マスク領域の指定方法により処理を分岐させる（ステップＳ５１）。マスク領域の指定方法は、予め設定しておくようにしてもよいし、ユーザが操作部２５に指示を入力することにより選択するようにしてもよい。

マスク領域の指定方法が、マスク領域指定ならば処理をステップＳ５２に進め、非マスク領域指定ならば処理をステップＳ６１に進め、パターン画像指定ならば処理をステップＳ７１に進める。

ステップＳ５２においては、ＬＣＤ１６に表示されている撮像画像中の位置を受け付ける。具体的には、タッチパネル２５Ａにおいて指示された位置に対応する位置を特定する、または、指示キー１５により指示されたＬＣＤ１６に表示されるポインタの位置に対応する撮像画像の位置を特定する。そして、受け付けられた位置をマスク領域に設定する（ステップＳ５３）。受け付けられた位置から所定の範囲をマスク領域に設定するようにしてもよいし、連続して受け付けられる複数の位置で囲まれる領域をマスク領域に設定するようにしてもよい。

そして、マスク領域の指定が終了したか否かを判断する（ステップＳ５４）。ユーザによりマスク領域の指定を終了させるための指示が、操作キー１４に入力されることにより、マスク領域の指定が終了したと判断する。マスク領域の指定が終了したならば処理をステップＳ５５に進め、終了していなければ処理をステップＳ５２に戻す。複数のマスク領域を指定可能とするためである。

ステップＳ６１においては、ステップＳ５２と同様に、ＬＣＤ１６に表示されている撮像画像の位置を受け付ける。そして、受け付けられた位置を非マスク領域に設定する（ステップＳ６２）。受け付けられた位置から所定の範囲を非マスク領域に設定するようにしてもよいし、連続して受け付けられる複数の位置で囲まれる領域を非マスク領域に設定するようにしてもよい。

そして、非マスク領域の指定が終了したか否かを判断する（ステップＳ６３）。ユーザによりマスク領域の指定を終了させるための指示が、操作キー１４に入力されることにより、非マスク領域の指定が終了したと判断する。非マスク領域の指定が終了したならば処理をステップＳ６４に進め、終了していなければ処理をステップＳ６１に戻す。複数の非
マスク領域を指定可能とするためである。ステップＳ６４においては、撮像画像のうち非マスク領域以外の領域をマスク領域に設定し、処理をステップＳ５５に進める。

また、ステップＳ７１においては、フラッシュＲＯＭ３２に予め記憶されているパターン画像を読み出し、ＬＣＤ１６に表示する。ＬＣＤ１６に撮像画像が表示されているので、その撮像画像にパターン画像に含まれるマスク領域を重畳した画像をＬＣＤ１６に表示する。フラッシュＲＯＭ３２に複数のパターン画像を記憶しておくようにし、ユーザがそのうちから１つを選択するようにしてもよいし、撮像画像から抽出される特徴に基づいて、複数のパターン画像のうちから１つを選択するようにしてもよい。また、撮像画像中の被写体の大きさに基づいてパターン画像を拡大または縮小するようにしてもよい。

ステップＳ７２においては、拡張指示が入力されたか否かを判断する。タッチパネル２５Ａまたは指示キー１５により、ＬＣＤ１６に表示されているマスク領域の位置が受け付けられた後、連続してマスク領域以外の位置が受け付けられる場合に、拡張指示を受け付ける。拡張指示を受け付けたならば処理をステップＳ７３に進め、そうでなければ処理をステップＳ７４に進める。ステップＳ７３においては、マスク領域を拡張し、処理をステップＳ７４に進める。具体的には、タッチパネル２５Ａにより、ＬＣＤ１６に表示されているマスク領域の位置が受け付けられた後に連続して受け付けられるマスク領域以外の位置を、マスク領域に変更する。

ステップＳ７４においては、縮小指示が入力されたか否かを判断する。タッチパネル２５Ａにより、ＬＣＤ１６に表示されているマスク領域以外の領域の位置が受け付けられた後、連続してマスク領域の位置が受け付けられる場合に、縮小指示を受け付ける。縮小指示を受け付けたならば処理をステップＳ７５に進め、そうでなければ処理をステップＳ７６に進める。ステップＳ７５においては、マスク領域を縮小し、処理をステップＳ７６に進める。具体的には、タッチパネル２５Ａにより、ＬＣＤ１６に表示されているマスク領域以外の領域の位置が受け付けられた後に連続して受け付けられるマスク領域の位置を、非マスク領域に変更する。

ステップＳ７６においては、マスク領域が決定されたか否かを判断する。換言すれば、マスク領域の拡張および縮小が終了したか否かを判断する。ユーザによりマスク領域を決定するための指示が、操作キー１４に入力されることにより、マスク領域が決定されたと判断する。マスク領域が決定されたならば処理をステップＳ５５に進めるが、そうでなければ処理をステップＳ７２に戻す。複数回のマスク領域の拡大および縮小を可能とするためである。

ステップＳ５５においては、プリセット画像が選択されたか否かを判断する。フラッシュＲＯＭ３２に記憶されているプリセット画像が選択されたならば処理をステップＳ５６に進め、選択されないならば処理をステップＳ５７に進める。ステップＳ５６においては、マスク領域の画像に、選択されたプリセット画像を設定し、処理を戻す。これにより、撮像画像のマスク領域がプリセット画像に置き換えられた合成画像が生成される。

一方、ステップＳ５７においては、マスク領域の画像に単一色を設定し、処理を戻す。これにより、撮像画像のマスク領域が単一色の画像に置き換えられた合成画像が生成される。

なお、マスク領域指定と非マスク領域指定とを組み合わせてマスク領域を指定するようにしてもよい。マスク領域指定による指定方法によれば、撮像画像中の送信を望まない領域を指定することができ、非マスク領域指定による指定方法によれば、撮像画像中の送信望む領域を指定することができる。したがって、両指定方法を組み合わせることにより、
マスク領域の指定がより簡単に行うことができる。

図１８は、追従処理の流れの一例を示すフローチャートである。追従処理は、図１６のステップＳ１２で実行される処理である。図１８を参照して、撮像画像から特徴点を抽出する（ステップＳ８１）。特徴点は、人の目の画像、文字等である。そして、特徴点が移動しているか否かを判断する（ステップＳ８２）。具体的には、今回特徴点を抽出した撮像画像より先の撮像画像から抽出された特徴点の位置と、今回抽出した特徴点の位置とが異なるか否かを判断する。２つの異なる撮像画像それぞれから抽出された特徴点の位置が異なれば、特徴点が移動していると判断する。特徴点が移動していれば処理をステップＳ８３に進め、移動していなければ処理を戻す。

ステップＳ８３においては、マスク領域を移動させ、処理を戻す。２つの特徴点から求められるベクトルに従って、マスク領域を平行移動させる。移動前のマスク領域が撮像画像の４辺のいずれかと接している場合には、接していた辺とマスク領域との間を新たにマスク領域とする。

図１９は、発信処理の流れの一例を示すフローチャートである。発信処理は、制御部２１が撮像画像送信プログラムを実行することにより、制御部２１により実行される処理である。図１９を参照して、制御部２１は、テレビ電話が起動されたか否かを判断する（ステップＳ２１）。テレビ電話が起動されるまで待機状態となり、テレビ電話が起動されたならば処理をステップＳ２２に進める。すなわち、発信処理は、テレビ電話機が起動されることを条件に実行される処理である。ステップＳ２２においては、図１５のステップＳ０７と同様に、送信する画像をマスクするか否かを判断する。画像をマスクするならば、処理をステップＳ２３に進め、そうでなければ処理をステップＳ３２に進める。

ステップＳ２３においては、図１６に示したマスク領域決定処理を実行する。次のステップＳ２４においては、発信指示を受け付けたか否かを判断する。通話キー１４Ｂの押下を検出したならば発信指示を受け付け、処理をステップＳ２５に進めるが、そうでなければ処理をステップＳ２３に戻す。操作者が、マスク領域を決定した後に、発呼するようにして、カメラ２４が操作者を撮像して出力する撮像画像をマスクした合成画像を送信するためである。

ステップＳ２５においては、発呼し、処理をステップＳ２６に進める。ステップＳ２６においては、応呼があったか否かを判断し、応呼があったならば処理をステップＳ２７に進め、応呼がなければ処理を終了する。

ステップＳ２７においては、音声通話を開始し、処理をステップＳ２８に進める。ステップＳ２８においては、合成画像を生成する。具体的には、カメラ２４が操作者を撮像して出力する撮像画像のうち、ステップＳ２３において決定されたマスク領域を、別の画像に置き換えた合成画像を生成する。別の画像は、ステップＳ２３におけるマスク領域決定処理により決定されるプリセット画像または、単一色に塗りつぶした画像である。次のステップＳ２９においては、合成画像を、無線回路２２を介して相手方のテレビ電話機に送信する。これにより、相手方のテレビ電話機に合成画像が表示される。

次のステップＳ３０においては、図１６に示した追従処理を実行し、処理をステップＳ３１に進める。ステップＳ３１においては、通話が終了したか否かを判断する。通話が終了したならば処理を終了するが、通話が終了していなければ処理をステップＳ２８に戻す。

一方、ステップＳ３２においては、発信指示を受け付けるまで待機状態となり、発信指
示を受け付けたならば処理をステップＳ３３に進める。ステップＳ３３においては、発呼し、処理をステップＳ３４に進める。ステップＳ３４においては、応呼があったか否かを判断し、応呼があったならば処理をステップＳ３５に進め、応呼がなければ処理を終了する。

ステップＳ３５においては、音声通話を開始し、処理をステップＳ３６に進める。ステップＳ３６においては、画像を送出するか否かを判断する。画像を送出する場合は、処理をステップＳ３７に進め、そうでない場合には処理をステップＳ３９に進める。

ステップＳ３７においては、撮像画像を、無線回路２２を介して相手方のテレビ電話機に送信する。これにより、相手方のテレビ電話機に撮像画像が表示される。次のステップＳ３８においては、通話が終了したか否かを判断する。通話が終了したならば処理を終了し、そうでなければ処理をステップＳ３７に戻す。通話が終了するまで、撮像画像を送信するためである。ステップＳ３８においては、通話が終了したか否かを判断する。通話が終了するまで待機状態となり、通話が終了したならば処理を終了する。

以上説明したように、本実施の形態における携帯電話機１は、テレビ電話機として機能し、操作者を撮像した撮像画像の背景の少なくとも一部の領域が、タッチパネル２５Ａにより指定されると、撮像画像の少なくとも一部をマスクするためのマスク領域を決定し、撮像画像のマスク領域をプリセット画像または単一色の画像に変換した合成画像を生成し、送信する。このため、操作者を撮像した撮像画像の背景などの領域が送信されないので、撮像して得られる画像を部分的に選択して送信することが可能となる。たとえば、操作者が送信を望まない画像が背景に含まれていれば、その画像を送信しないようにすることができる。

また、撮像画像をＬＣＤ１６に表示しながら、マスク領域を指定することができるので、撮像画像中から送信しない領域を容易に選択することができる。

また、予め定められたマスク領域を含むパターン画像を撮像画像に重畳した画像をＬＣＤ１６に表示し、タッチパネル２５Ａを操作することによりマスク領域を拡大または縮小することができるので、マスクが表示され、受け付けられた表示面の位置に基づいてマスク領域が変更されるので、撮像画像中から送信しない領域を容易に選択することができる。

また、撮像画像から目や文字等の特徴点を抽出し、特徴点の位置が撮像画像中で変化すると、その変化に従って、撮像画像中におけるマスク領域を移動させるので、カメラ２４の撮像範囲が変動したり、被写体が移動したりする場合であっても、撮像画像中で送信を望まない領域が送信されるのを防止することができる。

また、マスク領域が決定されなければ、撮像画像を送信しないので、送信を望まない画像が送信されるのを確実に防止することができる。

なお、本実施の形態においては、テレビ電話機能における画像の送信について説明したが、テレビ電話機能に限らず、例えば、ＫＤＤＩ社が提供するＨｅｌｌｏ Ｍｅｓｓｅｎｇｅｒサービス等の文字や音声、画像を組み合わせて送受信するミーティング機能における画像の送信にも適用することができる。

なお、本実施の形態においては、画像送信装置の一例として携帯電話機１を例に説明したが、図１６〜図１９に示した処理を画像送信装置に実行させる撮像画像送信方法、および図１６〜図１９に示した処理をコンピュータに実行させるための撮像画像送信プログラ
ムとして発明を捉えることができるのは言うまでもない。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

＜付記＞
（１） 前記変更手段は、前記マスク領域を拡張する拡張手段と、
前記マスク領域を縮小する縮小手段と、を含む請求項４に記載の画像送信装置。
（２） 前記撮像画像から顔の領域を検出する顔領域検出手段と、
検出された前記顔領域を前記マスク領域とするパターン画像を生成するパターン画像生成手段と、をさらに備えた請求項４に記載の画像送信装置。
（３） 着呼を検出する着呼検出手段と、
前記送信手段は、着呼に応呼する指示が受け付けられると、前記マスク領域が決定されるまで、予め定められた画像を送信する、請求項７に記載の画像送信装置。
（４） 前記送信手段は、発呼する指示が受け付けられると、前記マスク領域が決定されるまで、予め定められた画像を送信する、請求項７に記載の画像送信装置。

１ 携帯電話機、２ 表示側部、３ 操作側部、５ 決定キー、６ 上矢印キー、７ 下矢印キー、８ 左矢印キー、９ 右矢印キー、１１ 第１スピーカ、１２ 第２スピーカ、１３ マイクロフォン、１４ 操作キー、１４Ａ テンキー、１４Ｂ 通話キー、１４Ｃ 通話終了キー、１５ 指示キー、２１ 制御部、２２ 無線回路、２２Ａ アンテナ、２３ チューナ、２３Ａ アンテナ、２４ カメラ、２５ 操作部、２５Ａ タッチパネル、２６ 振動部、２７ カードＩ／Ｆ、２７Ａ メモリカード、２８ コーデック部、２９ ＡＶデコーダ、３０ 表示制御部、３１ ＲＡＭ、３２ フラッシュＲＯＭ、３３ 外部通信接続端子、５１ 撮像画像取得部、５３ 合成画像生成部、５５ 送信部、５７ 位置受付部、５９ マスク領域決定部、６１ 特徴点抽出部、６３ マスク領域移動部、７１ パターン画像取得部、７３ 拡張指示受付部、７５ 拡張部、７７ 縮小指示受付部、７９ 縮小部。

Claims (4)

1. 被写体を撮像した撮像画像を出力する撮像部と、
   前記撮像画像を表示する表示部と、
   前記表示部の表示面に対する位置の指示を受け付けるタッチパネルと、
   前記撮像部、前記表示部、および前記タッチパネルを制御する制御部と、
   を備えた画像表示装置であって、
   前記表示部は、予め定められたマスク領域を含むパターン画像を前記撮像画像に重畳した画像を表示し、
   前記制御部は、前記タッチパネルが前記表示面に対する位置の指示を連続して受け付けると、前記マスク領域を拡大又は縮小する処理を行う、画像表示装置。
2. 前記表示部は、前記マスク領域の少なくとも一部である第１領域と、前記マスク領域以外の領域であって、前記第１領域に隣接した第２領域とを表示し、
   前記制御部は、前記タッチパネルによって、前記第２領域における位置の指示が、当該第２領域を拡大する方向に連続して受け付けられると、前記第１領域を縮小する処理を行う請求項１に記載の画像表示装置。
3. 被写体を撮像した撮像画像を出力する撮像部と、前記撮像画像を表示する表示部と、前記表示部の表示面に対する位置の指示を受け付けるタッチパネルと、前記撮像部、前記表示部、および前記タッチパネルを制御する制御部とを備えた画像表示装置において実行される画像表示方法であって、
   被写体を撮像した撮像画像を取得する取得ステップと、
   予め定められたマスク領域を含むパターン画像を前記撮像画像に重畳した画像を表示する表示ステップと、
   前記表示面に対する位置の指示を連続して受け付ける受付ステップと、
   前記表示面に対する位置の指示を連続して受け付けると、前記マスク領域を拡大又は縮小する拡大縮小ステップと、
   を含む、画像表示方法。
4. 被写体を撮像した撮像画像を出力する撮像部と、前記撮像画像を表示する表示部と、前記表示部の表示面に対する位置の指示を受け付けるタッチパネルと、前記撮像部、前記表示部、および前記タッチパネルを制御する制御部とを備えた画像表示装置において、前記制御部に、
   前記撮像部によって被写体を撮像した撮像画像を取得させる取得ステップと、
   予め定められたマスク領域を含むパターン画像を前記撮像画像に重畳した画像を表示部に表示させる表示ステップと、
   前記タッチパネルが前記表示面に対する位置の指示を連続して受け付けると、前記マスク領域を拡大又は縮小する拡大縮小ステップと、
   を実行させる、画像表示プログラム。