JP4404418B2 - テレビ電話装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、携帯型テレビ電話装置に関し、特に携帯型テレビ電話装置における通信時の保留画像の表示に関する。
【０００２】
【従来の技術】
携帯型テレビ電話装置は、音声や画像を送信／受信することにより、相手側からの画像を見ながら、会話することができ、更にその受信画像をそのまま記憶することも可能であり、また、携帯型テレビ電話装置に内蔵しているカメラで撮像した画像をそのまま記憶することも可能である。携帯型テレビ電話装置では、この記憶した画像データを、電話帳の登録データの付属情報として扱うことが出来る。これにより、電話帳から個人を検索するとき画像を見て検索することが可能となるとともに、着信時においては着番号に関わる画像を名前情報とともに表示することにより、より直感的に発呼相手を理解することが可能となる。
【０００３】
【発明が解決しようとする課題】
携帯型テレビ電話装置では、装置の小型・軽量化の点から、送受信される画像、および内部メモリに記憶されている画像の符号化復号処理は同一の処理部を使用する。つまり、通常、電話帳などの内部メモリに記憶されている画像を取り扱うアプリケーションを使用して内部メモリの画像データを符号化復号処理する場合、カメラによって得られる画像を符号化復号処理する場合、テレビ電話装置による通話中に送受信している画像の符号化復号処理する場合に、同一の処理部を用いている。
【０００４】
しかしながら、電話帳機能のように内部メモリの画像データを復号するアプリケーションをテレビ電話による通信中に起動した時に、通信相手側から保留要求を受けテレビ電話装置が保留状態に移行した場合、この保留状態中に上記アプリケーションを抜けテレビ電話装置の表示画面を電話帳の画像表示から通信用の表示に戻した時に保留を示す画像を表示できないという問題点を有している。
【０００５】
この現象について、図９、図１０、図１１を用いて説明する。
図９は、従来の携帯型テレビ電話装置における画像の表示処理に関する基本的な構成図を示し、図１０は、従来の携帯型テレビ電話装置における受信画像の表示処理の流れを表す構成図を示し、図１１は、従来の携帯型テレビ電話装置におけるアプリケーション起動時の画像表示処理の流れを表す構成図を示す。
【０００６】
上記図の符号１は制御処理部、２は操作入力部、３は電話番号等に対応して画像情報を記憶している画像メモリ、４は通信回線を介してデータを受信する受信部、５はデータの入出力のタイミングを合わせるために一時的に受信したデータを記憶する受信画像データバッファ部、６はセレクター、７は復号処理部、８は表示部を表す。尚、同一の構成を示す箇所は同一の符号を用いている。
【０００７】
次に従来の動作処理について説明する。
図９に示す構成において受信部４が受信した受信画像を表示部８にリアルタイムに表示する処理手順は、先ず、受信した画像を表示処理するため制御処理部１の制御によりセレクター６を図１０に示すように接続する。受信部４で受信した画像データは受信画像データバッファ部５に一旦蓄積され、復号処理部７で復号され、表示部８で表示出力される。また、アプリケーション起動時の画像表示中の場合、画像メモリ３が記憶している画像を表示処理するため制御処理部１の制御によりセレクター６を図１１に示すように接続する。そして画像メモリ３から表示する画像データを読み出し、復号処理部７で復号し、表示部８で表示出力する。これらの処理は、操作入力部２からの信号ないし、受信部４で受信された信号に対応して制御処理部１がセレクター６を随時切替えることによって行い、受信部４で受信された受信画像データ、画像メモリ３に記憶されている画像データの復号処理を同一の復号処理部７を用いて行うことを可能としている。
【０００８】
また、図１０に示すようなテレビ電話による通信中でも、電話帳など画像メモリ６に記憶している画像データを表示するアプリケーションを起動させるとセレクターは図１１に示すように切換えられる。この時、通信自体は停止していないため、次々に受信される画像データは受信画像データバッファ部５に蓄積され、復号されないまま次の受信データに随時上書き・更新されている。そして、上記アプリケーションを終了しテレビ電話による通信に戻ると、受信画像データバッファ部５に蓄積されている画像データから復号を開始する。
【０００９】
また、通常、テレビ電話による通信中に保留要求が発生した場合、復号処理を停止し表示部８に表示されている画像の更新を止めるとともにスピーカー（図示せず）から保留音を送出する（参照図１２）。
【００１０】
この保留における処理では、復号処理を停止することにより表示画像の更新を停止している。しかしながら、この保留処理中にアプリケーションを起動して画像メモリ３の画像表示に切換えた場合、また、通信中にアプリケーションを起動して画像メモリ３の画像を表示している時に通信が保留になった場合、アプリケーションを終了した時に保留により停止した時の画像を再び表示できないという問題点を有している。（参照図１３）
この状態を説明すると、先ず、テレビ電話のように時間的に連続して送られてくる画像のデータ圧縮にはフレーム間符号化方式が有用である。この方式は、画面が急に変わる前までは、１つのフレームと次のフレームの間に強い相関があることを利用して、データ圧縮を行う方法であり、１フレームの全ての画素の値を記憶するフレームメモリを必要とする。通常２つのフレームメモリを有していて、この２枚のフレームメモリのうち１枚は表示用に、そしてもう一枚は次表示画像の生成用に用いられている。そして、これら２枚のフレームメモリを切り換えて使用している。そこで、上記のような保留状態では、この２枚のフレームメモリの切り換えを停止している。しかしながら、アプリケーションを起動して画像メモリ３の画像表示を行う場合、前記２枚のフレームメモリに表示のため次々に画像メモリ３の画像が送られてくるため、前記保留時の画像は、アプリケーション起動に伴う画像表示によって上書き消去されてしまうことになる。
【００１１】
また、モーションＪＰＥＧなどのようなフレーム間符号化がない画像データの場合、復号前の画像データを蓄積しておき、保留画像として表示を必要とする場合に再復号・表示を行うことにより、前記のようなアプリケーションの起動に伴って画像表示が上書き消去された場合においてもアプリケーション終了後に再度表示することが可能であるが、この場合、アプリケーションを起動して画像を表示している時に保留要求が発生したとすると、アプリケーションを終了した時に保留画像を表示できないことがあるという問題点を有している。
【００１２】
これは、アプリケーションの起動に伴って復号処理自体は内部メモリに記憶されている画像データの復号処理を行っているため、保留要求を受けた時点における受信画像データバッファ部５に蓄積されている画像データが表示出力可能であるか分からない。これは携帯型テレビ電話装置の場合、端末間のデータのやりとりは無線伝送路を介して行っており、電波状況の悪い場所では、受信データにノイズが載っている可能性があるためである。このため、保留要求を受けた時点における受信画像データをそのまま復号した場合、ノイズのために送信した画像と異なる画像を表示したり、もしくは表示切り換え行わず黒画面など通信画像と関わりのない画像を表示したりすることがある。
【００１３】
【課題を解決するための手段】
上記課題を解決するために請求項１記載の携帯型テレビ電話装置は、撮像手段と、画像データを通信回線を通じて通話相手先との間で送受信する通信手段と、画像データを表示する表示手段と、アプリケーションプログラムを起動するアプリケーションプログラム起動手段と、を備えるテレビ電話装置において、前記アプリケーションプログラム起動手段がアプリケーションを起動する際に前記表示手段に表示している画像データを記憶する記憶手段と、保留中に前記アプリケーションプログラムを終了すると、前記記憶手段に記憶した画像データを前記表示手段に表示制御する制御手段と、を備えたことを特徴とする。
【００１９】
【発明の実施の形態】
以下、本発明の一実施例に基づいて図を用いて説明する。尚、同一の構成を示す箇所は同一の符号を用いている。
図１は、本発明の一実施例である携帯型テレビ電話装置における画像の表示処理に関する基本的な構成図である。
図1における符号１は制御処理部、２は操作入力部、３は電話番号等に対応して画像情報を記憶している画像メモリ、４は通信回線を介してデータを受信する受信部、５はデータの入出力のタイミングを合わせるために一時的に受信したデータを記憶する受信画像データバッファ部、６はセレクター、７は復号処理部、８は表示部、９は保留表示画像フレームメモリを表す。尚、同一の構成を示す箇所は同一の符号を用いている。
【００２０】
先ず、画像情報を表示部８に表示する基本動作を説明すると、受信部４にて受信された画像データは受信画像データバッファ部５に蓄積され、この受信画像データバッファ部５に蓄積されている画像データ、ないし予め画像メモリ３に記憶されておる画像データは、セレクター６を介して復号処理部７で復号され表示部８にて表示出力される。尚、制御処理部１は、操作入力部２からの信号、ないし受信部４にて受信した制御信号に基づきセレクター６の接続先を制御する。
【００２１】
次に、本発明の１実施例を図２、図３、図４を用いて説明する。尚、図２は本発明の一実施例である携帯型テレビ電話装置が通信の保留を行った場合の処理動作を示すフローチャート、図３は本発明の一実施例である携帯型テレビ電話装置のアプリケーション画像表示起動時の処理動作を示すフローチャート、図４は本発明の一実施例である携帯型テレビ電話装置のアプリケーション画像表示終了時の処理動作を示すフローチャートである。
【００２２】
図２は、テレビ電話における通信中に使用者又は通信相手からこの通信の保留要求が生じた場合の処理を示し、先ずセレクター６の接続先から復号処理部７が受信データの復号処理をしているか確認し（Ｓ１０１）、更に表示されている画像が受信部４が受信している通信画像であるか確認し（Ｓ１０２）、制御処理部１は表示部８に表示されているテレビ電話通信による表示画像を保留表示画像フレームメモリ９に一旦退避するとともに次フレームの復号処理を停止する。
【００２３】
又、図３は、テレビ電話による通信中に操作入力部２の信号に対応してアプリケーションを起動させ画像メモリ３を表示する場合の処理を示し、先ずテレビ電話による通信中（保留中でない）に（Ｓ２０１）、表示されている画像が通信による画像か確認し（Ｓ２０２）、制御処理部１は表示部８に表示されているテレビ電話通信における表示画像を保留表示画像フレームメモリ９に一旦退避し（Ｓ２０３）、セレクター６を受信画像データバッファ部５から画像メモリ３に切り返る（Ｓ２０４）。これにより画像メモリ３に記憶されている画像を表示部８にて表示出力する。また、このアプリケーション起動中に受信部４に通信相手からの保留要求の信号が入った場合、制御処理部１は、内部動作処理状態を通信中から保留状態に移行させる。
【００２４】
そして、図４はアプリケーション終了時、つまりアプリケーションに付随した画像表示を終了する場合の処理を示し、アプリケーションを終了に伴って画像メモリ３の復号処理が停止し（Ｓ３０１）、制御処理部１は現在の通信状態に対応した処理（Ｓ３０２）を行う。例えば、現在の状態が通信中の場合はセレクター６を受信画像データバッファ部５に切り換え、受信画像データの復号・表示を開始する（Ｓ３０３）。一方、保留状態の場合、保留表示画像フレームメモリ９に一旦退避してあった画像を画像表示出力する（Ｓ３０４）。
【００２５】
また、図５はテレビ電話通信中に電話帳を開き通信相手から保留要求を受信し、この保留中に電話帳を終了した場合の表示部の表示状態を示した図である。通信中に電話帳を開いた時、表示していた通信画像は保留表示画像フレームメモリ１２に退避される。そして、表示部８には画像メモリ３の画像が表示される。そして、この状態で通信相手から保留要求を受信すると内部状態は通信中から保留状態に移行し保留音を送出する。そして、保留中にアプリケーションを終了すると表示部８には先に保留表示画像フレームメモリ９に退避していた画像を表示出力する。
【００２６】
また、上記内容では、保留表示画像フレームメモリ９を表示部８と別に記述したが、実際には表示部８内のフレームメモリを保留表示画像用に１枚追加しすることで代用して実現してもよいものとする。
【００２７】
次に、本発明の他の実施例に基づいて図を用いて説明する。
図６は、本発明の一実施例である携帯型テレビ電話装置における画像の表示処理に関する基本的な構成図である。図中の符号１０は符号化処理部、１１は保留表示画像バッファ部を示す。尚、同一の構成を示す箇所は同一の符号を用いている。
【００２８】
図６において、保留表示画像を退避する場合に、一度復号処理部７によって復号された画像データを符号化処理部１０で符号化し、保留表示画像バッファ部１１に退避することにより、保留において占有されるメモリ容量を低減することが可能となる。一般に保留を生じた場合、相手も保留状態で画像の更新が停止するため、この間、カメラから入力した画像の符号化及びそのデータの送信を一旦停止しているので、符号化処理部１０は表示部８に表示している保留表示画像の符号化に割り当てることができる。また、保留画像を再表示する時は、セレクター６を介して、復号処理部７で復号し、表示部８に表示出力する。これにより、保留表示画像を退避しておくメモリ容量を低減することが可能となる。
【００２９】
また、図７、図８を用いて本発明の他の実施例を説明する。
図７は本発明の一実施例である携帯型テレビ電話装置における画像の表示処理に関する基本的な構成図、図８は本発明の一実施例である携帯型テレビ電話装置における保留表示画像の更新処理を示すフローチャートである。尚、同一の構成を示す箇所は同一の符号を用いている。
【００３０】
図７、図８おいて、受信画像データバッファ部５に蓄積された画像データが復号処理部７によって復号され、表示部８に表示出力可能である場合（Ｓ４０１、Ｓ４０２）、復号処理部７は復号表示が可能であることを保留表示画像バッファ部１１に知らせ（Ｓ４０３）、前記画像データを受信画像データバッファ部５から保留表示画像バッファ部１１にコピーする（Ｓ４０４）。
【００３１】
アプリケーション終了時に保留状態にある場合、制御処理部１は、セレクター６を画像メモリ３から保留表示画像バッファ部１１に切り換え、保留表示画像バッファ部１１に記憶されている画像データを復号処理部７で復号し、表示部８に表示出力する。
【００３２】
尚、保留表示画像バッファ部１１は、復号処理部７にて復号画像が表示可能であった場合にのみ更新可能にする。このため、アプリケーションを起動させて画像を表示処理している最中は受信部４が受信した受信データは復号されないので、保留表示画像バッファ部１１は更新されない。つまり、アプリケーション終了時に保留画像として表示される画像は、アプリケーションの起動前に使用者が最後に見た画像となり、使用者は違和感なく操作を続けることが可能となる。
【００３３】
ここで、保留表示画像バッファ部１１を受信画像データバッファ部５と別に記述したが、実際には、受信画像データバッファ部５の中に保留表示画像用に１枚追加し、最後に復号・表示出力したバッファを保留表示画像バッファとして扱うことによって実現してもよいものとする。
【００３４】
また、保留表示画像バッファ部１１への受信画像データの退避は、通信画像が非表示となる場合、つまり、保留要求があった時、乃至テレビ電話通信以外のアプリケーションを起動した時に表示されている通信画像の画像データのみについて行うことにより、処理量を減らすことが可能となる。
【００３５】
また、本発明においてアプリケーションとは各種機能を選択するメニュー画面、電話番号とそれに対応する情報をリストにして表示する電話帳機能、文字や図等を作成する文書作成機能、カメラで撮像した画像を表示する撮像モードなど、リアルタイムに表示している通信画像を切換えて表示する機能を指している。
【００３６】
また、上記実施例においては保留状態を通信相手からの要求信号又は使用者の操作によって行われるものとしているが、無線回線を使用している時によく発生するトラフィックの混雑や無線電波の劣化による影響によって、データが十分に又は全く受信できない場合のような突然の通信保留にも用いることが可能である。
【００３７】
【発明の効果】
以上説明した通り、本発明の携帯型テレビ電話装置を用いれば、画像による通信、いわゆるテレビ電話による通信を行っている最中に電話帳機能のようなアプリケーションを起動して画像情報を表示部に表示する場合、画面の切り換えと同時に表示中の通信画像を保留画像用のフレームメモリに退避しておくことにより、例えば電話帳の画像を表示している最中に通信が保留状態になっても、電話帳を終了した時には上記フレームメモリに退避しておいた画像を表示することで通信の保留状態を表せる。
【００３８】
また、復号画像の生成可能な受信画像データを保留表示画像バッファに常に退避しておくことにより、アプリケーションの起動中に保留状態になっても、アプリケーションの終了時には保留表示画像バッファに記憶している画像を表示することで通信の保留状態を表せる。よって、復号した画像を保持しないため、使用されるメモリが削減でき、結果的に端末の小型化につながる。
【００３９】
よって、テレビ電話による通信中においてアプリケーションの起動中に保留状態になっても、保留状態を示す画像の表示が出来るので使用者は違和感なく操作を続けることが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施例である携帯型テレビ電話装置における画像の表示処理に関する基本的な構成図。
【図２】本発明の一実施例である携帯型テレビ電話装置が通信の保留を行った場合の処理動作を示すフローチャート。
【図３】本発明の一実施例である携帯型テレビ電話装置のアプリケーション画像表示起動時の処理動作を示すフローチャート。
【図４】本発明の一実施例である携帯型テレビ電話装置のアプリケーション画像表示終了時の処理動作を示すフローチャート
【図５】本発明の一実施例である携帯型テレビ電話装置における表示部の表示状態を示した図。
【図６】本発明の一実施例である携帯型テレビ電話装置における画像の表示処理に関する基本的な構成図。
【図７】本発明の一実施例である携帯型テレビ電話装置における画像の表示処理に関する基本的な構成図。
【図８】本発明の一実施例である携帯型テレビ電話装置における保留表示画像の更新処理を示すフローチャート。
【図９】従来の携帯型テレビ電話装置における画像の表示処理に関する基本的な構成図。
【図１０】従来の携帯型テレビ電話装置における受信画像の表示処理の流れを表す構成図。
【図１１】従来の携帯型テレビ電話装置におけるアプリケーション起動時の画像表示処理の流れを表す構成図。
【図１２】従来の携帯型テレビ電話装置における表示部の表示状態を示した図。
【図１３】従来の携帯型テレビ電話装置における表示部の表示状態を示した図。
【符号の説明】
１：制御処理部
２：操作入力部
３：画像メモリ
４：受信部
５：受信画像データバッファ部
６：セレクター
７：復号処理部
８：表示部
９：保留表示画像フレームメモリ
１０：符号化処理部
１１：保留表示画像バッファ部

Claims (1)

1. 撮像手段と、画像データを通信回線を通じて通話相手先との間で送受信する通信手段と、画像データを表示する表示手段と、アプリケーションプログラムを起動するアプリケーションプログラム起動手段と、を備えるテレビ電話装置において、
   前記アプリケーションプログラム起動手段がアプリケーションを起動する際に前記表示手段に表示している画像データを記憶する記憶手段と、
   保留中に前記アプリケーションプログラムを終了すると、前記記憶手段に記憶した画像データを前記表示手段に表示制御する制御手段と、
   を備えたことを特徴とするテレビ電話装置。

Images