JP3958623B2 - 無線回線網テレビ電話装置 - Google Patents
無線回線網テレビ電話装置 Download PDFInfo
- Publication number
- JP3958623B2 JP3958623B2 JP2002129742A JP2002129742A JP3958623B2 JP 3958623 B2 JP3958623 B2 JP 3958623B2 JP 2002129742 A JP2002129742 A JP 2002129742A JP 2002129742 A JP2002129742 A JP 2002129742A JP 3958623 B2 JP3958623 B2 JP 3958623B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- moving image
- control unit
- unit
- received
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、テレビ電話機能を有する無線回線網装置（例えば、携帯電話端末、自動車電話端末、ＰＨＳ端末、ＰＤＡ端末）に関するものであり、特に画像復号処理過程においてエラーが発生した場合における画像の表示技術に関している。
【０００２】
【従来の技術】
映像のデジタル圧縮技術が普及し、電話回線を用いたテレビ電話装置が実用化されている。電話回線を用いたテレビ電話装置の従来技術としては、特開平７−９９６５６号公報に記載のものがある。同公報に記載のテレビ電話装置においては、通話中に通信相手の画像データにエラーが発生した場合に、相手に対してイントラ・フレームの送信要求を行い、画像データのエラー回復を図ると言う技術が開示されている。
【０００３】
他方、無線回線網を利用した携帯電話においても、音声と共に画像を送受信可能なテレビ電話機能を有するものが存在する。こうした無線回線網においては、従来の有線を用いた電話回線に比べて、電波状態の悪化等による伝送経路における誤り発生率が高く、また利用場所によっては電波状態の悪い状態が継続することが想定される。
【０００４】
【発明が解決しようとする課題】
有線利用のテレビ電話装置で提案されている上記従来技術によれば、受信エラーが発生した場合には、相手装置に対してデータ要求を行っている期間中、相手方の画像は正常に表示されないと言う問題点がある。このため、当該従来技術を携帯テレビ電話装置に適用する場合には、この様な問題点が一層深刻化する。即ち、携帯テレビ電話装置において受信エラーが発生する場合には無線状態が悪化した状況下にあるので、この様な状況下においては再送要求自体が相手方に正常に通達されないので、正常なデータの再送までに更に時間を要し、その結果、映像が正常に表示されない状態（白いザラザラとした感じの画面表示）が比較的長時間に渡って継続すると言う問題点が顕在化する。このため、画面を見ているユーザにとっては、この期間中、イライラ感を感じざるを得なくなる。
【０００５】
この様な問題点は、携帯テレビ電話端末に固有のものではなく、テレビ電話機能付きの自動車電話やＰＨＳ端末と言った様な、無線回線網を利用した他のテレビ電話装置においても、一般的に生じ得る課題である。
【０００６】
この発明は以上の様な問題点を解決するためになされたものであり、受信画像の復号処理時にエラーが発生した場合に、ちらつき又は乱れが無く且つ相手方人物像を含む正常な静止画像を表示することにより、ユーザに不快感を与えることの無い無線回線網テレビ電話装置を提供することを、その目的としている。
【０００７】
【課題を解決するための手段】
請求項１記載の発明は、無線回線網テレビ電話装置であって、無線回線網を介して圧縮された動画像データを受信する制御部と、前記制御部より入力される前記圧縮動画像データに対して復号処理を行って復号された動画像データを逐次前記制御部に出力すると共に、復号処理完了後に完了通知信号を前記制御部に出力する動画像復号処理部と、前記制御部より逐次入力される前記復号済み動画像データを一時記憶する動画像メモリと、前記制御部によって前記動画像メモリより読み出されて転送されて来る動画像データを表示する画像表示部と、前記制御部との間で信号の授受を行う人物検出部と、前記制御部との間で静止画データの書込み及び読出しを行う静止画メモリとを備えており、前記制御部は、テレビ電話接続のネゴシエーション完了後に最初に受信する前記圧縮動画像データであるイントラ・フレームの復号処理に関する前記完了通知信号を前記動画像復号処理部より受信すると、前記動画像メモリから前記イントラ・フレームに関する前記復号済み動画像データを読み出して前記復号済み動画像データを前記画像表示部に転送し、且つ、前記人物検出部を起動して、前記復号済み動画像データの中に相手方の人物画像データが含まれているか否かを検出する様に前記人物検出部に指令する制御信号を出力し、前記人物検出部は、前記制御信号に応じて、前記動画像メモリにアクセスすることにより前記人物画像データの検出処理を実行して、前記人物画像データを検出したときにはその旨を示す検出通知信号を前記制御部に出力し、前記検出通知信号を受信するときには、前記制御部は、前記動画像メモリから前記イントラ・フレームに関する前記復号済み動画像データを読み出して、読み出した前記復号済み動画像データを前記静止画データとして前記静止画メモリに書込み、前記イントラ・フレームに引き続く１画面の前記圧縮動画像データを受信する迄の期間中に前記検出通知信号を受信しないときには、前記制御部は、前記イントラ・フレームの受信以降に逐次入力する各画面の前記圧縮動画像データに対する前記復号処理の前記完了通知の受信毎に、前記動画像メモリから前記画像表示部への前記復号済み動画像データの転送動作、及び、当該転送タイミングと同時に前記人物画像データの検出を行う様に指令する前記制御信号の出力動作を、前記人物検出部から前記検出通知信号を受信するまで継続的に実行し、前記検出通知信号を受信する場合にはそのときに前記動画像メモリ内に一時的に格納されている１画面分の前記復号済み動画像データを前記静止画データとして前記静止画メモリに書込み、前記動画像復号処理部は、前記静止画データの書込み後に受信した１画面分の前記圧縮動画像データに対する前記復号処理の過程において、無線状態の悪化に起因した復号誤りが発生したことを検出した場合には、誤り通知信号を前記制御部に出力し、前記制御部は、前記誤り通知信号を始めて受信した場合には、前記動画像メモリ内に一時的に格納されている、その直前に受信した正常な１画面分の前記圧縮動画像データに対する前記復号済み動画像データを前記画像表示部に表示させ続けると共に、始めて受信した前記誤り通知信号及びそれ以降に受信する前記誤り通知信号から誤り発生率を算出して、当該算出値と予め自身内に保有している誤り発生閾値との比較処理を行い、前記誤り発生率が前記誤り発生閾値を越える場合には、前記画像表示部に表示させ続けている受信動画像の表示を中止して、代わりに、前記静止画メモリに保持されている前記静止画データを読み出して前記画像表示部に転送・表示させることを特徴とする。
【０００８】
請求項２記載の発明は、請求項１記載の無線回線網テレビ電話装置であって、前記制御部は、前記誤り発生率が前記誤り発生閾値を下回った場合には、前記画像表示部に表示させ続けている静止画表示を中止し、受信動画像の表示を再開することを特徴とする。
【０００９】
請求項３記載の発明は、請求項１又は２記載の無線回線網テレビ電話装置であって、通話中に起動後の経過時間をカウントして、一定時間の経過毎に一定時間経過通知信号を前記制御部に出力するタイマー部を更に備えており、前記制御部は、前記静止画データの前記静止画メモリへの前記書込みと共に前記タイマー部を起動し、前記タイマー部から出力される前記一定時間経過通知信号を受信する毎に、前記人物検出部を再度起動して、前記一定時間経過通知信号の受信直後の前記転送タイミングと同時に前記人物画像データの検出を行う様に指令する前記制御信号を前記人物検出部に出力し、前記人物検出部からの前記検出通知信号を受信する度に、前記制御部は、そのときに前記動画像メモリ内に一時的に格納されている１画面分の前記復号済み動画像データを、その後に無線回線の悪化が生じた時の代謝表示画像用の前記静止画データとして、前記静止画メモリに書込むことを特徴とする。
【００１０】
【発明の実施の形態】
本発明は、テレビ電話機能を有する無線回線網装置（携帯電話、ＰＨＳ、ＰＤＡ、自動車電話等の端末）に一般的に適用可能なものであるが、以下においては、説明の便宜上、無線回線網テレビ電話装置の一例として、携帯テレビ電話装置に本発明を適用した場合について記載する。
【００１１】
（実施の形態１）
図１は、本実施の形態に係る携帯テレビ電話装置１００のシステム構成を示すブロック図である。
【００１２】
図１の携帯テレビ電話装置１００は、例えばＣＰＵから成るＴＶ電話制御部（単に制御部とも称す）１１３を中核として、同制御部１１３によってその動作が監視・制御される各部から構成されている。それらの主要な構成要素を説明すれば、大要、次の通りである。
【００１３】
即ち、カメラ部（デジタルカメラ）１１０は、当該装置１００の操作者であるユーザの人物画を含む（尚、人物画を含まないときもある）動画像を、本装置１００内に入力する部分である。又、マイク１６は、音声を入力する部分である。
【００１４】
又、通信制御部１１２は、相手側装置に無線回路網を介して送信する圧縮動画像・音声信号にヘッダ情報を付加し、あるいは、無線回路網を介して無線アンテナ１１１より受信した、圧縮された動画像・音声データよりヘッダ情報を解析するための部分である。尚、両部１１２，１１３を併せて、「制御部」と総称しても良い。
【００１５】
又、動画像ＤＥＣＯＤＥ処理部（動画像復号（伸張）処理部）１１は、制御部１１３より入力される受信１画面分の各圧縮動画像データに対して順次に復号処理を行って、復号された各動画像データを逐次制御部１１３に出力すると共に、復号処理完了後に完了通知信号を制御部１１３に出力するデコーダである。
【００１６】
又、動画像メモリ１２は、動画像ＤＥＣＯＤＥ処理部１１からＴＶ電話制御部１１３を介して逐次入力される、受信した１画面分の復号済み動画像データを、一時的に記憶する動画像データ格納部である。
【００１７】
又、画像表示部１４は、▲１▼入力する画像データ信号を描画信号に変換するための部分（図示せず）と、▲２▼描画信号に基づき画面を表示するディスプレイパネル（図示せず）とから成る部分であり（例えば、液晶ディスプレイデバイスや、有機あるいは無機のＥＬディスプレイデバイスより成る）、ＴＶ電話制御部１１３によって動画像メモリ１２より読み出されて同制御部１１３内のデータバス（図示せず）を介して転送されて来る動画像データを表示する機能を有する。
【００１８】
又、静止画メモリ１３は、ＴＶ電話制御部１１３との間で、静止画データの書込み及び読出しを行う静止画データ格納部である。
【００１９】
又、人物検出部１１４は、ＴＶ電話制御部１１３が出力する後述の制御信号の受信に応じて、後述する人物画検出機能を実行する部分である。即ち、同部１１４は、上記制御信号が与える開始指令に応じて、制御部１１３を介して動画像メモリ１２をアクセスして、同メモリ１２内に格納されている１画素分あるいは１ライン分の復号済み動画像データを抽出し、抽出データを人物検出部１１４内に保有するメモリ（１画素分あるいは１ライン分のデータを記憶する容量を有する：図示せず）内に一時的に格納すると共に、格納したデータ内に相手側の人物画を与えるデータが含まれているか否かを検出し、人物画が含まれているときには、その旨を示す、例えば“１”レベルの信号である「検出通知信号」を、制御部１１３に出力する。
【００２０】
カメラ部１１０より入力された動画像データは、動画像ＥＮＣＯＤＥ処理部１９においてエンコード化（符号化）されて圧縮される。又、マイク１６より入力された音声データは、音声処理部１７においてエンコード化（符号化）されて圧縮される。符号化された、動画像データ及び音声データは、その後、ＭＵＸ／ＤＥＭＵＸ処理部１８において多重化され、且つ、通信制御部１１２において通信用ヘッダ情報を付加された上で、無線アンテナ１１１を介して無線回線網へ送出される。
【００２１】
他方、無線アンテナ１１１は、通信相手先の装置から無線回線網を介して送られて来る、圧縮された通信データを受信し、通信制御部１１２は、受信データに付加されている通信用ヘッダの解析を行い、その後、ＭＵＸ／ＤＥＭＵＸ処理部１８は、制御部１１３より受け取った画像・音声データの多重分離を行う。更に、制御部１１３は、分離された、圧縮動画像データ及び圧縮音声データを上記処理部１８より受け取り、受信した１画面分の各圧縮動画像データを動画像ＤＥＣＯＤＥ処理部１１へ逐次送信すると共に、圧縮音声データを音声処理部１７へ送信する。動画像ＤＥＣＯＤＥ処理部１１は、制御部１１３より逐次入力される受信１画面内の各圧縮動画像データに対してデコード処理（復号処理）を行って、復号済みの各動画像データを制御部１１３に送信する。制御部１１３は、逐次入力される１画面内の各復号済み動画像データを順次に動画像メモリ１２内に展開（一時記録）する。その上で、制御部１１３は、動画像メモリ１２内に展開された１画面内の各動画像データを順次に読み出して、読み出した各動画像データを、内部のデータバスを経由して画像表示部１４に転送し、各動画像データから構成される受信した１画面は画像表示部１４において表示される。
【００２２】
これに対して、音声処理部１７へ送られた音声データは、同部１７においてデコード処理された後に、スピーカー１５より出力される。
【００２３】
次に、以上の動作を基本動作としてテレビ電話通信機能を可能にしている携帯テレビ電話装置１００において、受信エラーが発生した場合に、人物検出部１１４の判定に従ってキャプチャした相手側の人物画像を含む静止画と、受信した画像とを差し替えて表示する処理について、説明する。
【００２４】
ここで、図２は、テレビ電話開始時のシーケンスを示す図である。図２中、参照符号２１、２２は、図１に示す携帯テレビ電話装置１００である。テレビ電話通信の開始に際して、第一に、発呼側装置及び着呼側装置の間で（両装置２１，２２の内で、一方が発呼側装置であり、他方が着呼側装置に該当する）、呼設定から通信回線の確立が行なわれる。通信回線の確立後は、更に両装置２１，２２間でメッセージのやり取りが行われることで、通信方式に関するネゴシエーションが行われる。
【００２５】
ネゴシエーション完了後は、複数のコーデック方式の中でネゴシエーションを通じてコーデック可能と決定された方式に従い、両装置２１，２２において、次の様な処理が行われる。即ち、各装置２１，２２のＴＶ電話制御部１１３は、音声処理部１７に対して音声の符号化モード及び復号化モードを設定し、動画像ＥＮＣＯＤＥ処理部１９及び動画像ＤＥＣＯＤＥ処理部１１に対して、それぞれ動画像の符号化モード及び復号化モードを設定する。設定完了後は、各装置２１，２２は、動画像データ及び音声データのエンコード、エンコードデータの多重化、及び相手装置への送信の処理を開始すると同時に、相手側装置から送信されて来る多重化された圧縮動画像データ及び圧縮音声データを受信して、受信データを圧縮動画像データ及び圧縮音声データにそれぞれ分離した上で、各データのデコード処理を行う。
【００２６】
次に、図１及び図３を参照しつつ、受信した、通信相手の人物画像を含む画像データを静止画データとしてキャプチャする手順を説明する。
【００２７】
テレビ電話接続のネゴシエーション完了直後には、最初に受信する圧縮動画像データとして、１画面分の全データを含む「イントラ・フレーム」が、相手側装置より、送信されて来る。このイントラ・フレームを受信することにより、携帯テレビ電話装置は、それ以降に行われる通信相手先の画像のデコード処理を可能にすると共に、画像表示部における相手画像表示を開始することが出来る。
【００２８】
図１の携帯テレビ電話装置１００においては、この最初のイントラ・フレームに対するデコード処理完了（この時点では、イントラ・フレーム内の各復号済み動画像データの動画像メモリ１２への展開も完了している）を示す「完了通知信号」を、動画像ＤＥＣＯＤＥ処理部１１からＴＶ電話制御部１１３へ通知する構成が、採用されている。
【００２９】
上記完了通知信号を受けたＴＶ電話制御部１１３は、動画像メモリ１２から上記イントラ・フレームを構成する各復号済み動画像データを読み出して各復号済み動画像データを画像表示部１４に転送すると共に、人物検出部１１４を起動して、「動画像メモリ１２内に展開されている相手画像データに対して人物画の検出動作を開始する様に指令する」制御信号を、人物検出部１１４に出力する。
【００３０】
人物検出部１１４は、上記制御信号に応じて、動画像メモリ１２にアクセスすることにより、通信相手の人物画像データ（顔画像データを含む）の検出処理を実行する。
【００３１】
そして、人物画像データが動画像メモリ１２内に展開されている相手画像中において検出された場合には、人物検出部１１４は、人物画の検出を示す「検出通知信号」（例えば、“１”レベルの信号）をＴＶ電話制御部１１３に出力する。人物画検出の通知を受けたＴＶ電話制御部１１３は、動画像メモリ１２内の１画面分のデータを静止画データとして静止画メモリ１３内にコピーして、メモリ上に保持する。即ち、同制御部１１３は、動画像メモリ１２からイントラ・フレームを構成する各復号済み動画像データを読み出して、読み出した各復号済み動画像データを１画面分の静止画データとして静止画メモリ１３内に書込む。
【００３２】
これに対して、最初のイントラ・フレームのデコード画像内において通信相手の人物画が検出されない場合には、動画像メモリ１２から画像表示部１４への動画像データの転送タイミングである、フレーム割り込み毎に、人物画検出の照合が、人物画が検出されて静止画メモリ１３内に相手方人物画を含む静止画像が保存される迄、継続的に実施される。即ち、イントラ・フレームの受信に引き続く次の１画面の圧縮動画像データを受信する迄の期間中に上記検出通知信号を受信しないときには、制御部１１３は、イントラ・フレームの受信以降に逐次入力する各画面の圧縮動画像データに対する復号処理完了通知の受信毎に、▲１▼動画像メモリ１２から画像表示部１４への１画面分の復号済み動画像データの転送動作、及び、▲２▼当該転送タイミング（フレーム割り込みタイミング）と同時に通信相手の人物画像データの検出を開始する様に指令する制御信号の出力動作を、人物検出部１１４から検出通知信号を受信するまで継続的に実行する。これにより、人物検出部１１４は、フレーム割り込みタイミングの到来の度に、動画像メモリ１２をアクセスして人物画検出処理を実行する。その結果、あるフレーム割り込みのタイミングにおいて、受信した１画面の相手画像の中に相手方の人物画が検出されると、制御部１１３は、検出通知信号を受信し、そのときに動画像メモリ１２内に一時的に格納されている１画面分の復号済み動画像データを読み出して、同データを静止画データとして静止画メモリ１３に書込む。
【００３３】
次に、以降継続されるテレビ電話通信中に、受信動画像のデコード処理の過程においてエラーが発生した場合の処理手順を、図４を用いて説明する。
【００３４】
テレビ電話通信中に、受信動画像のデコード処理にエラーが発生した場合には、動画像ＤＥＣＯＤＥ処理部１１はこのエラーを検知して、ＴＶ電話制御部１１３に対してエラー発生の通知を行う。即ち、動画像ＤＥＣＯＤＥ処理部１１は、静止画データの書込み以降に受信した１画面分の圧縮動画像データに対する復号処理の過程において、無線状態の悪化に起因した復号誤りが発生したことを検出した場合には、「誤り通知信号」をＴＶ電話制御部１１３に出力する。
【００３５】
ＴＶ電話制御部１１３は、▲１▼上記誤り通知信号を始めて受信した場合には、動画像メモリ１２内に一時的に格納されている、その直前に受信した正常な１画面分の圧縮動画像データに対する復号済み動画像データを画像表示部１４に表示させ続ける。しかし、この表示画面は、必ずしも通信相手の人物画を含んでいるとは限らない。そこで、制御部１１３は、▲２▼始めて受信した誤り通知信号及びそれ以降に受信する誤り通知信号から「誤り発生率」を算出し、当該算出値と、予め自身内のレジスタ（図示せず）等に設定・保有されている「誤り発生閾値」との比較処理を行う。そして、制御部１１３は、▲３▼誤り発生率が誤り発生閾値を越える場合には、画像表示部１４に表示させ続けている受信動画像の表示を中止して、代わりに、静止画メモリ１３内に保持されている静止画データを読み出して当該静止画データを画像表示部１４に転送して表示させる。即ち、制御部１１３は、この場合においては、受信動画像の画像表示部１４での表示を中止し、静止画メモリ１３内に保持している相手画像静止画を画像表示部１４上で表示する様に、画像データ転送のパス切り替えを行う。
【００３６】
例えば、１秒間に受信する画面数が１５フレーム〜２０フレームであって、「誤り発生閾値」が１０フレーム／秒に設定されている場合において、算出された累計値としての誤り発生率が１１フレーム／秒になったときには、制御部１１３は、画像表示部１４上の画像表示を、静止画メモリ１３内の静止画データで与えられる静止画面に直ちに差し替える。これにより、通信相手の顔画像を含む人物画を含んだ静止画面が、画像表示部１４上に表示される。
【００３７】
次に、動画像ＤＥＣＯＤＥ処理部１１からＴＶ電話制御部１１３に通知されるエラー通知から算定されるエラー発生率が、エラー発生閾値を下回った場合の処理手順を、図５を用いて説明する。
【００３８】
即ち、エラー発生率がエラー発生閾値を下回った場合には、相手側装置は無線回線が良好な状況下に既に移動している場合であり、その結果、受信する動画像データは既に正常なデータとなっているので、最早、代謝表示画像である静止画面を画像表示部１４上に表示させておく必要性は無い。そこで、制御部１１３は、静止画メモリ１３に保持された静止画データの画像表示部１４上での表示を中止すると共に、デコードされて動画像メモリ１２内に格納されている受信動画像の画像表示部１４上での表示を再開するために、画像データ転送パスの切り替えを行う。
【００３９】
本実施の形態によれば、テレビ電話の開始後に、ひずみや乱れのエラーが発生していない受信動画像から通信相手の人物画像を検出し、当該人物画を含む受信画面を静止画として保存しておくことが出来るので、受信動画像にエラーが発生した場合に、その際に画像表示部１４に表示している受信画像を、静止画メモリ１３内に保存しておいた静止画に差し替えて表示することが出来る。これにより、エラー発生〜相手側への再送要求〜相手側からの正常な圧縮動画像データの再送までに要する時間内に相手側の人物画を含む映像が表示されないことにより生ずるユーザのストレスの軽減化を図ることが可能になる。
【００４０】
しかも、本実施の形態においては、通信前に装置内に予め保存されていない様な、初めてテレビ電話通信をする相手方の人物画像であっても、テレビ電話通信開始後にその様な人物画像を含む静止画をキャプチャするので、表示画面をその様な静止画面に差し替え表示することが容易に可能となる。
【００４１】
（実施の形態２）
本実施の形態は、実施の形態１に係る携帯テレビ電話装置１００に対して、「通話中に起動後の経過時間をカウントして一定時間が経過する毎に当該一定時間の経過を通知する信号をＴＶ電話制御部１１３に出力する」タイマー部を更に設ける点に、その特徴点を有している。このタイマー部を備えることにより、本実施の形態におけるＴＶ電話制御部１１３は、静止画データの静止画メモリ１３への最初の書込みと共に上記タイマー部を起動し、その後、上記タイマー部から出力される一定時間経過通知信号を受信する毎に、人物検出部１１４を再度起動して、「上記一定時間経過通知信号の受信直後の転送タイミングないしはフレーム割り込みと同時に人物画像データの検出を行う様に指令する」制御信号を人物検出部１１４に出力する機能を具備する。その結果、人物検出部１１４は、当該制御信号を受信する度に、上記フレーム割り込みのタイミングに応じて、制御部１１３を介して動画像メモリ１２を再度アクセスして、動画像メモリ１２に一時保存されている１画面内に相手方の人物画が含まれているか否かを検出する機能を実行する。そして、人物検出部１１４からの検出通知信号を受信するときには、ＴＶ電話制御部１１３は、当該受信の度に、そのときに動画像メモリ１２内に一時的に格納されている１画面分の復号済み動画像データを、その後に無線回線の悪化が生じた時の代謝表示画像用の静止画データとして、静止画メモリ１３に書込む機能をも、有する。以下、本実施の形態の上記特徴点を、図面に基づいて説明する。
【００４２】
図６は、本実施の形態に係る携帯テレビ電話装置１００Ａのシステム構成を示すブロック図である。図６において、タイマー部１１５は、起動後に、一定間隔の時間経過を、ＴＶ電話制御部１１３へ通知する機能を備えている。
【００４３】
ＴＶ電話の接続に際し、通信のネゴシエーション完了直後に、相手側装置から送信されて来るイントラ・フレームのデコード処理完了を動画像ＤＥＣＯＤＥ処理部１１から通知された、ＴＶ電話制御部１１３は、人物検出部１１４を起動した上で、同部１１４が動画像メモリ１２内に展開されている１画面の画像データ内に人物画が含まれていることを検出するまで、以後のフレーム割り込み毎に、人物検出動作の開始指令を示す制御信号を人物検出部１１４に出力して、人物検出部１１４に人物画の検出を行わせる。
【００４４】
人物検出部１１４は、動画像メモリ１２内の１画面の画像データ内に人物画を与えるデータを検出した場合には、ＴＶ電話制御部１１３に対して、人物検出通知信号（例えば、レベル“１”の信号）を出力する。人物画の検出通知を受けたＴＶ電話制御部１１３は、この時点において動画像メモリ１２内に展開されている１画面の画像データを静止画メモリ１３にコピーすると共に、タイマー部１１５を起動する。
【００４５】
起動してから一定時間が経過すると、タイマー部１１５は、ＴＶ電話制御部１１３に対して、指定された一定時間の経過を通知する信号を出力する。一定時間経過通知信号（例えば、レベル“１”の信号）を受けたＴＶ電話制御部１１３は、指定時間の経過を認知して直ちに人物検出部１１４を再度起動すると共に、「当該通知直後のフレーム割り込みのタイミングと同時に、動画像メモリ１２内に展開されている１画面の画像データに対する人物画検出動作を開始する様に指令する」制御信号を、人物検出部１１４に出力する。この制御信号による制御の下で、人物検出部１１４は、動画像メモリ１２をアクセスして人物画検出動作を実行する。その人物画検出動作の結果、人物検出部１１４が、人物画が含まれていることを検出した場合には、ＴＶ電話制御部１１３は、動画像メモリ１２内の１画面の画像データを静止画像データとして静止画メモリ１３内にキャプチャする。そして、ＴＶ電話制御部１１３は、キャプチャした静止画像データを、タイマー部１１５が再び上記一定時間経過通知信号を出力する迄の期間中に無線回線の悪化と言う事態が発生したときに備えて保有し続け、仮に上記無線回線悪化事態が生じた場合には、ＴＶ電話制御部１１３は、保有している静止画像データを、代謝表示画像として用いることになる。
【００４６】
その後は、タイマー部１１５が上記一定時間経過通知信号を出力する毎に、ＴＶ電話制御部１１３は、上記の人物画検出動作の開始制御・検出時の静止画像データのキャプチャと言う上記の一連の動作を実行する。
【００４７】
従って、本実施の形態によれば、無線回線悪化事態発生時に差し替えるための代謝画像を、タイマー部１１５によって検知される一定間隔毎に、新たに保存し直すことが可能となり、これにより、ＴＶ電話中に表示されている動画の画面により近い時点における静止画を代謝画像として画像表示部１４に表示することが出来る。
【００４８】
（変形例）
実施の形態１又は２の携帯テレビ電話装置１００、１００Ａに対して、次の様な変形例を適用しても良い。即ち、ＴＶ電話制御部１１３は、「回線状況が悪化しています」等の警告文の文字データを、予め静止画メモリ１３内の所定の領域（例えばヘッド部分）に記録しておく。そして、静止画メモリ１３から画像表示部１４への代謝画像転送時に、あるいは、動画像メモリ１２から静止画メモリ１３への画像データコピー時に、ＴＶ電話制御部１１３は、上記警告文を静止画メモリ１３から読み出して、画像表示部１４に表示すべき画像データの一部分に上記警告文の文字データを上書きし、当該文字データを上書きした画像（人の顔画像を含む画像＋警告文）を一旦静止画メモリ１３へ展開した上で、上書き画像を静止画メモリ１３から読み出して同制御部１１３内のデータバスを介して画像表示部１４に出力する。
【００４９】
この様な構成を採用することにより、利用者に対して回線状況の悪化を通知することが比較的容易に実現出来る。
【００５０】
（付記）
以上、本発明の実施の形態を詳細に開示し記述したが、以上の記述は本発明の適用可能な局面を例示したものであって、本発明はこれに限定されるものではない。即ち、記述した局面に対する様々な修正や変形例を、この発明の範囲から逸脱することの無い範囲内で考えることが可能である。
【００５１】
【発明の効果】
この発明は、以上説明した様に構成されているので、以下に示す効果を奏する。
【００５２】
請求項１記載の発明によれば、テレビ電話の開始後に、歪や乱れのエラーが発生していない正常な１画面の受信圧縮動画像データから通信相手の人物画データを検出して、当該人物画を含む上記受信画面を静止画として保存しておくことが出来る。このため、本発明においては、受信動画像にエラーが発生した場合に、その際に表示している受信画像を保存しておいた静止画に差し替えて表示することが出来、これにより、エラー発生〜相手側への再送要求〜相手側からの正常な圧縮動画像データの再送までに要する時間内に相手側の人物画を含む映像が表示されないことにより生ずる、ユーザのストレスの軽減化を図ることが可能になる。しかも、本発明によれば、通信前に装置内に予め保存されていない様な、初めてテレビ電話通信をする相手方の人物画像であっても、テレビ電話通信開始後にその様な人物画像を含む静止画をキャプチャするので、表示画面をその様な静止画面に差し替え表示することが容易に可能となる効果も得られる。
【００５３】
請求項２記載の発明によれば、無線回線状態が良好となり受信動画像が正常となった場合に、速やかに静止画データの表示から受信画像データの表示へと切替ることが出来る。
【００５４】
請求項３記載の発明によれば、一定間隔毎に、差し替えるための代謝画像を新たに保存し直すことが出来、これにより、テレビ電話通信中に表示される動画の画面に近い時点における静止画を代謝画像として表示することが可能となる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１に係る携帯テレビ電話装置のシステム構成を示すブロック図である。
【図２】 テレビ電話開始時のシーケンスを示す図である。
【図３】 テレビ電話開始時の静止画キャプチャ手順を示す図である。
【図４】 デコードエラー発生時の画像差し替え手順を示す図である。
【図５】 デコードエラー復帰時の画像差し替え手順を示す図である。
【図６】 本発明の実施の形態２に係る携帯テレビ電話装置のシステム構成を示す図である。
【符号の説明】
１１ 動画像ＤＥＣＯＤＥ処理部、１２ 動画像メモリ、１３ 静止画メモリ、１４ 画像表示部、１５ スピーカー、１６ マイク、１７ 音声処理部、１８ＭＵＸ／ＤＥＭＵＸ処理部、１９ 動画像ＥＮＣＯＤＥ処理部、１１０ カメラ部、１１１ 無線アンテナ、１１２ 通信制御部、１１３ ＴＶ電話制御部、１１４ 人物検出部、１１５ タイマー部、１００，１００Ａ 携帯テレビ電話装置。
【発明の属する技術分野】
この発明は、テレビ電話機能を有する無線回線網装置（例えば、携帯電話端末、自動車電話端末、ＰＨＳ端末、ＰＤＡ端末）に関するものであり、特に画像復号処理過程においてエラーが発生した場合における画像の表示技術に関している。
【０００２】
【従来の技術】
映像のデジタル圧縮技術が普及し、電話回線を用いたテレビ電話装置が実用化されている。電話回線を用いたテレビ電話装置の従来技術としては、特開平７−９９６５６号公報に記載のものがある。同公報に記載のテレビ電話装置においては、通話中に通信相手の画像データにエラーが発生した場合に、相手に対してイントラ・フレームの送信要求を行い、画像データのエラー回復を図ると言う技術が開示されている。
【０００３】
他方、無線回線網を利用した携帯電話においても、音声と共に画像を送受信可能なテレビ電話機能を有するものが存在する。こうした無線回線網においては、従来の有線を用いた電話回線に比べて、電波状態の悪化等による伝送経路における誤り発生率が高く、また利用場所によっては電波状態の悪い状態が継続することが想定される。
【０００４】
【発明が解決しようとする課題】
有線利用のテレビ電話装置で提案されている上記従来技術によれば、受信エラーが発生した場合には、相手装置に対してデータ要求を行っている期間中、相手方の画像は正常に表示されないと言う問題点がある。このため、当該従来技術を携帯テレビ電話装置に適用する場合には、この様な問題点が一層深刻化する。即ち、携帯テレビ電話装置において受信エラーが発生する場合には無線状態が悪化した状況下にあるので、この様な状況下においては再送要求自体が相手方に正常に通達されないので、正常なデータの再送までに更に時間を要し、その結果、映像が正常に表示されない状態（白いザラザラとした感じの画面表示）が比較的長時間に渡って継続すると言う問題点が顕在化する。このため、画面を見ているユーザにとっては、この期間中、イライラ感を感じざるを得なくなる。
【０００５】
この様な問題点は、携帯テレビ電話端末に固有のものではなく、テレビ電話機能付きの自動車電話やＰＨＳ端末と言った様な、無線回線網を利用した他のテレビ電話装置においても、一般的に生じ得る課題である。
【０００６】
この発明は以上の様な問題点を解決するためになされたものであり、受信画像の復号処理時にエラーが発生した場合に、ちらつき又は乱れが無く且つ相手方人物像を含む正常な静止画像を表示することにより、ユーザに不快感を与えることの無い無線回線網テレビ電話装置を提供することを、その目的としている。
【０００７】
【課題を解決するための手段】
請求項１記載の発明は、無線回線網テレビ電話装置であって、無線回線網を介して圧縮された動画像データを受信する制御部と、前記制御部より入力される前記圧縮動画像データに対して復号処理を行って復号された動画像データを逐次前記制御部に出力すると共に、復号処理完了後に完了通知信号を前記制御部に出力する動画像復号処理部と、前記制御部より逐次入力される前記復号済み動画像データを一時記憶する動画像メモリと、前記制御部によって前記動画像メモリより読み出されて転送されて来る動画像データを表示する画像表示部と、前記制御部との間で信号の授受を行う人物検出部と、前記制御部との間で静止画データの書込み及び読出しを行う静止画メモリとを備えており、前記制御部は、テレビ電話接続のネゴシエーション完了後に最初に受信する前記圧縮動画像データであるイントラ・フレームの復号処理に関する前記完了通知信号を前記動画像復号処理部より受信すると、前記動画像メモリから前記イントラ・フレームに関する前記復号済み動画像データを読み出して前記復号済み動画像データを前記画像表示部に転送し、且つ、前記人物検出部を起動して、前記復号済み動画像データの中に相手方の人物画像データが含まれているか否かを検出する様に前記人物検出部に指令する制御信号を出力し、前記人物検出部は、前記制御信号に応じて、前記動画像メモリにアクセスすることにより前記人物画像データの検出処理を実行して、前記人物画像データを検出したときにはその旨を示す検出通知信号を前記制御部に出力し、前記検出通知信号を受信するときには、前記制御部は、前記動画像メモリから前記イントラ・フレームに関する前記復号済み動画像データを読み出して、読み出した前記復号済み動画像データを前記静止画データとして前記静止画メモリに書込み、前記イントラ・フレームに引き続く１画面の前記圧縮動画像データを受信する迄の期間中に前記検出通知信号を受信しないときには、前記制御部は、前記イントラ・フレームの受信以降に逐次入力する各画面の前記圧縮動画像データに対する前記復号処理の前記完了通知の受信毎に、前記動画像メモリから前記画像表示部への前記復号済み動画像データの転送動作、及び、当該転送タイミングと同時に前記人物画像データの検出を行う様に指令する前記制御信号の出力動作を、前記人物検出部から前記検出通知信号を受信するまで継続的に実行し、前記検出通知信号を受信する場合にはそのときに前記動画像メモリ内に一時的に格納されている１画面分の前記復号済み動画像データを前記静止画データとして前記静止画メモリに書込み、前記動画像復号処理部は、前記静止画データの書込み後に受信した１画面分の前記圧縮動画像データに対する前記復号処理の過程において、無線状態の悪化に起因した復号誤りが発生したことを検出した場合には、誤り通知信号を前記制御部に出力し、前記制御部は、前記誤り通知信号を始めて受信した場合には、前記動画像メモリ内に一時的に格納されている、その直前に受信した正常な１画面分の前記圧縮動画像データに対する前記復号済み動画像データを前記画像表示部に表示させ続けると共に、始めて受信した前記誤り通知信号及びそれ以降に受信する前記誤り通知信号から誤り発生率を算出して、当該算出値と予め自身内に保有している誤り発生閾値との比較処理を行い、前記誤り発生率が前記誤り発生閾値を越える場合には、前記画像表示部に表示させ続けている受信動画像の表示を中止して、代わりに、前記静止画メモリに保持されている前記静止画データを読み出して前記画像表示部に転送・表示させることを特徴とする。
【０００８】
請求項２記載の発明は、請求項１記載の無線回線網テレビ電話装置であって、前記制御部は、前記誤り発生率が前記誤り発生閾値を下回った場合には、前記画像表示部に表示させ続けている静止画表示を中止し、受信動画像の表示を再開することを特徴とする。
【０００９】
請求項３記載の発明は、請求項１又は２記載の無線回線網テレビ電話装置であって、通話中に起動後の経過時間をカウントして、一定時間の経過毎に一定時間経過通知信号を前記制御部に出力するタイマー部を更に備えており、前記制御部は、前記静止画データの前記静止画メモリへの前記書込みと共に前記タイマー部を起動し、前記タイマー部から出力される前記一定時間経過通知信号を受信する毎に、前記人物検出部を再度起動して、前記一定時間経過通知信号の受信直後の前記転送タイミングと同時に前記人物画像データの検出を行う様に指令する前記制御信号を前記人物検出部に出力し、前記人物検出部からの前記検出通知信号を受信する度に、前記制御部は、そのときに前記動画像メモリ内に一時的に格納されている１画面分の前記復号済み動画像データを、その後に無線回線の悪化が生じた時の代謝表示画像用の前記静止画データとして、前記静止画メモリに書込むことを特徴とする。
【００１０】
【発明の実施の形態】
本発明は、テレビ電話機能を有する無線回線網装置（携帯電話、ＰＨＳ、ＰＤＡ、自動車電話等の端末）に一般的に適用可能なものであるが、以下においては、説明の便宜上、無線回線網テレビ電話装置の一例として、携帯テレビ電話装置に本発明を適用した場合について記載する。
【００１１】
（実施の形態１）
図１は、本実施の形態に係る携帯テレビ電話装置１００のシステム構成を示すブロック図である。
【００１２】
図１の携帯テレビ電話装置１００は、例えばＣＰＵから成るＴＶ電話制御部（単に制御部とも称す）１１３を中核として、同制御部１１３によってその動作が監視・制御される各部から構成されている。それらの主要な構成要素を説明すれば、大要、次の通りである。
【００１３】
即ち、カメラ部（デジタルカメラ）１１０は、当該装置１００の操作者であるユーザの人物画を含む（尚、人物画を含まないときもある）動画像を、本装置１００内に入力する部分である。又、マイク１６は、音声を入力する部分である。
【００１４】
又、通信制御部１１２は、相手側装置に無線回路網を介して送信する圧縮動画像・音声信号にヘッダ情報を付加し、あるいは、無線回路網を介して無線アンテナ１１１より受信した、圧縮された動画像・音声データよりヘッダ情報を解析するための部分である。尚、両部１１２，１１３を併せて、「制御部」と総称しても良い。
【００１５】
又、動画像ＤＥＣＯＤＥ処理部（動画像復号（伸張）処理部）１１は、制御部１１３より入力される受信１画面分の各圧縮動画像データに対して順次に復号処理を行って、復号された各動画像データを逐次制御部１１３に出力すると共に、復号処理完了後に完了通知信号を制御部１１３に出力するデコーダである。
【００１６】
又、動画像メモリ１２は、動画像ＤＥＣＯＤＥ処理部１１からＴＶ電話制御部１１３を介して逐次入力される、受信した１画面分の復号済み動画像データを、一時的に記憶する動画像データ格納部である。
【００１７】
又、画像表示部１４は、▲１▼入力する画像データ信号を描画信号に変換するための部分（図示せず）と、▲２▼描画信号に基づき画面を表示するディスプレイパネル（図示せず）とから成る部分であり（例えば、液晶ディスプレイデバイスや、有機あるいは無機のＥＬディスプレイデバイスより成る）、ＴＶ電話制御部１１３によって動画像メモリ１２より読み出されて同制御部１１３内のデータバス（図示せず）を介して転送されて来る動画像データを表示する機能を有する。
【００１８】
又、静止画メモリ１３は、ＴＶ電話制御部１１３との間で、静止画データの書込み及び読出しを行う静止画データ格納部である。
【００１９】
又、人物検出部１１４は、ＴＶ電話制御部１１３が出力する後述の制御信号の受信に応じて、後述する人物画検出機能を実行する部分である。即ち、同部１１４は、上記制御信号が与える開始指令に応じて、制御部１１３を介して動画像メモリ１２をアクセスして、同メモリ１２内に格納されている１画素分あるいは１ライン分の復号済み動画像データを抽出し、抽出データを人物検出部１１４内に保有するメモリ（１画素分あるいは１ライン分のデータを記憶する容量を有する：図示せず）内に一時的に格納すると共に、格納したデータ内に相手側の人物画を与えるデータが含まれているか否かを検出し、人物画が含まれているときには、その旨を示す、例えば“１”レベルの信号である「検出通知信号」を、制御部１１３に出力する。
【００２０】
カメラ部１１０より入力された動画像データは、動画像ＥＮＣＯＤＥ処理部１９においてエンコード化（符号化）されて圧縮される。又、マイク１６より入力された音声データは、音声処理部１７においてエンコード化（符号化）されて圧縮される。符号化された、動画像データ及び音声データは、その後、ＭＵＸ／ＤＥＭＵＸ処理部１８において多重化され、且つ、通信制御部１１２において通信用ヘッダ情報を付加された上で、無線アンテナ１１１を介して無線回線網へ送出される。
【００２１】
他方、無線アンテナ１１１は、通信相手先の装置から無線回線網を介して送られて来る、圧縮された通信データを受信し、通信制御部１１２は、受信データに付加されている通信用ヘッダの解析を行い、その後、ＭＵＸ／ＤＥＭＵＸ処理部１８は、制御部１１３より受け取った画像・音声データの多重分離を行う。更に、制御部１１３は、分離された、圧縮動画像データ及び圧縮音声データを上記処理部１８より受け取り、受信した１画面分の各圧縮動画像データを動画像ＤＥＣＯＤＥ処理部１１へ逐次送信すると共に、圧縮音声データを音声処理部１７へ送信する。動画像ＤＥＣＯＤＥ処理部１１は、制御部１１３より逐次入力される受信１画面内の各圧縮動画像データに対してデコード処理（復号処理）を行って、復号済みの各動画像データを制御部１１３に送信する。制御部１１３は、逐次入力される１画面内の各復号済み動画像データを順次に動画像メモリ１２内に展開（一時記録）する。その上で、制御部１１３は、動画像メモリ１２内に展開された１画面内の各動画像データを順次に読み出して、読み出した各動画像データを、内部のデータバスを経由して画像表示部１４に転送し、各動画像データから構成される受信した１画面は画像表示部１４において表示される。
【００２２】
これに対して、音声処理部１７へ送られた音声データは、同部１７においてデコード処理された後に、スピーカー１５より出力される。
【００２３】
次に、以上の動作を基本動作としてテレビ電話通信機能を可能にしている携帯テレビ電話装置１００において、受信エラーが発生した場合に、人物検出部１１４の判定に従ってキャプチャした相手側の人物画像を含む静止画と、受信した画像とを差し替えて表示する処理について、説明する。
【００２４】
ここで、図２は、テレビ電話開始時のシーケンスを示す図である。図２中、参照符号２１、２２は、図１に示す携帯テレビ電話装置１００である。テレビ電話通信の開始に際して、第一に、発呼側装置及び着呼側装置の間で（両装置２１，２２の内で、一方が発呼側装置であり、他方が着呼側装置に該当する）、呼設定から通信回線の確立が行なわれる。通信回線の確立後は、更に両装置２１，２２間でメッセージのやり取りが行われることで、通信方式に関するネゴシエーションが行われる。
【００２５】
ネゴシエーション完了後は、複数のコーデック方式の中でネゴシエーションを通じてコーデック可能と決定された方式に従い、両装置２１，２２において、次の様な処理が行われる。即ち、各装置２１，２２のＴＶ電話制御部１１３は、音声処理部１７に対して音声の符号化モード及び復号化モードを設定し、動画像ＥＮＣＯＤＥ処理部１９及び動画像ＤＥＣＯＤＥ処理部１１に対して、それぞれ動画像の符号化モード及び復号化モードを設定する。設定完了後は、各装置２１，２２は、動画像データ及び音声データのエンコード、エンコードデータの多重化、及び相手装置への送信の処理を開始すると同時に、相手側装置から送信されて来る多重化された圧縮動画像データ及び圧縮音声データを受信して、受信データを圧縮動画像データ及び圧縮音声データにそれぞれ分離した上で、各データのデコード処理を行う。
【００２６】
次に、図１及び図３を参照しつつ、受信した、通信相手の人物画像を含む画像データを静止画データとしてキャプチャする手順を説明する。
【００２７】
テレビ電話接続のネゴシエーション完了直後には、最初に受信する圧縮動画像データとして、１画面分の全データを含む「イントラ・フレーム」が、相手側装置より、送信されて来る。このイントラ・フレームを受信することにより、携帯テレビ電話装置は、それ以降に行われる通信相手先の画像のデコード処理を可能にすると共に、画像表示部における相手画像表示を開始することが出来る。
【００２８】
図１の携帯テレビ電話装置１００においては、この最初のイントラ・フレームに対するデコード処理完了（この時点では、イントラ・フレーム内の各復号済み動画像データの動画像メモリ１２への展開も完了している）を示す「完了通知信号」を、動画像ＤＥＣＯＤＥ処理部１１からＴＶ電話制御部１１３へ通知する構成が、採用されている。
【００２９】
上記完了通知信号を受けたＴＶ電話制御部１１３は、動画像メモリ１２から上記イントラ・フレームを構成する各復号済み動画像データを読み出して各復号済み動画像データを画像表示部１４に転送すると共に、人物検出部１１４を起動して、「動画像メモリ１２内に展開されている相手画像データに対して人物画の検出動作を開始する様に指令する」制御信号を、人物検出部１１４に出力する。
【００３０】
人物検出部１１４は、上記制御信号に応じて、動画像メモリ１２にアクセスすることにより、通信相手の人物画像データ（顔画像データを含む）の検出処理を実行する。
【００３１】
そして、人物画像データが動画像メモリ１２内に展開されている相手画像中において検出された場合には、人物検出部１１４は、人物画の検出を示す「検出通知信号」（例えば、“１”レベルの信号）をＴＶ電話制御部１１３に出力する。人物画検出の通知を受けたＴＶ電話制御部１１３は、動画像メモリ１２内の１画面分のデータを静止画データとして静止画メモリ１３内にコピーして、メモリ上に保持する。即ち、同制御部１１３は、動画像メモリ１２からイントラ・フレームを構成する各復号済み動画像データを読み出して、読み出した各復号済み動画像データを１画面分の静止画データとして静止画メモリ１３内に書込む。
【００３２】
これに対して、最初のイントラ・フレームのデコード画像内において通信相手の人物画が検出されない場合には、動画像メモリ１２から画像表示部１４への動画像データの転送タイミングである、フレーム割り込み毎に、人物画検出の照合が、人物画が検出されて静止画メモリ１３内に相手方人物画を含む静止画像が保存される迄、継続的に実施される。即ち、イントラ・フレームの受信に引き続く次の１画面の圧縮動画像データを受信する迄の期間中に上記検出通知信号を受信しないときには、制御部１１３は、イントラ・フレームの受信以降に逐次入力する各画面の圧縮動画像データに対する復号処理完了通知の受信毎に、▲１▼動画像メモリ１２から画像表示部１４への１画面分の復号済み動画像データの転送動作、及び、▲２▼当該転送タイミング（フレーム割り込みタイミング）と同時に通信相手の人物画像データの検出を開始する様に指令する制御信号の出力動作を、人物検出部１１４から検出通知信号を受信するまで継続的に実行する。これにより、人物検出部１１４は、フレーム割り込みタイミングの到来の度に、動画像メモリ１２をアクセスして人物画検出処理を実行する。その結果、あるフレーム割り込みのタイミングにおいて、受信した１画面の相手画像の中に相手方の人物画が検出されると、制御部１１３は、検出通知信号を受信し、そのときに動画像メモリ１２内に一時的に格納されている１画面分の復号済み動画像データを読み出して、同データを静止画データとして静止画メモリ１３に書込む。
【００３３】
次に、以降継続されるテレビ電話通信中に、受信動画像のデコード処理の過程においてエラーが発生した場合の処理手順を、図４を用いて説明する。
【００３４】
テレビ電話通信中に、受信動画像のデコード処理にエラーが発生した場合には、動画像ＤＥＣＯＤＥ処理部１１はこのエラーを検知して、ＴＶ電話制御部１１３に対してエラー発生の通知を行う。即ち、動画像ＤＥＣＯＤＥ処理部１１は、静止画データの書込み以降に受信した１画面分の圧縮動画像データに対する復号処理の過程において、無線状態の悪化に起因した復号誤りが発生したことを検出した場合には、「誤り通知信号」をＴＶ電話制御部１１３に出力する。
【００３５】
ＴＶ電話制御部１１３は、▲１▼上記誤り通知信号を始めて受信した場合には、動画像メモリ１２内に一時的に格納されている、その直前に受信した正常な１画面分の圧縮動画像データに対する復号済み動画像データを画像表示部１４に表示させ続ける。しかし、この表示画面は、必ずしも通信相手の人物画を含んでいるとは限らない。そこで、制御部１１３は、▲２▼始めて受信した誤り通知信号及びそれ以降に受信する誤り通知信号から「誤り発生率」を算出し、当該算出値と、予め自身内のレジスタ（図示せず）等に設定・保有されている「誤り発生閾値」との比較処理を行う。そして、制御部１１３は、▲３▼誤り発生率が誤り発生閾値を越える場合には、画像表示部１４に表示させ続けている受信動画像の表示を中止して、代わりに、静止画メモリ１３内に保持されている静止画データを読み出して当該静止画データを画像表示部１４に転送して表示させる。即ち、制御部１１３は、この場合においては、受信動画像の画像表示部１４での表示を中止し、静止画メモリ１３内に保持している相手画像静止画を画像表示部１４上で表示する様に、画像データ転送のパス切り替えを行う。
【００３６】
例えば、１秒間に受信する画面数が１５フレーム〜２０フレームであって、「誤り発生閾値」が１０フレーム／秒に設定されている場合において、算出された累計値としての誤り発生率が１１フレーム／秒になったときには、制御部１１３は、画像表示部１４上の画像表示を、静止画メモリ１３内の静止画データで与えられる静止画面に直ちに差し替える。これにより、通信相手の顔画像を含む人物画を含んだ静止画面が、画像表示部１４上に表示される。
【００３７】
次に、動画像ＤＥＣＯＤＥ処理部１１からＴＶ電話制御部１１３に通知されるエラー通知から算定されるエラー発生率が、エラー発生閾値を下回った場合の処理手順を、図５を用いて説明する。
【００３８】
即ち、エラー発生率がエラー発生閾値を下回った場合には、相手側装置は無線回線が良好な状況下に既に移動している場合であり、その結果、受信する動画像データは既に正常なデータとなっているので、最早、代謝表示画像である静止画面を画像表示部１４上に表示させておく必要性は無い。そこで、制御部１１３は、静止画メモリ１３に保持された静止画データの画像表示部１４上での表示を中止すると共に、デコードされて動画像メモリ１２内に格納されている受信動画像の画像表示部１４上での表示を再開するために、画像データ転送パスの切り替えを行う。
【００３９】
本実施の形態によれば、テレビ電話の開始後に、ひずみや乱れのエラーが発生していない受信動画像から通信相手の人物画像を検出し、当該人物画を含む受信画面を静止画として保存しておくことが出来るので、受信動画像にエラーが発生した場合に、その際に画像表示部１４に表示している受信画像を、静止画メモリ１３内に保存しておいた静止画に差し替えて表示することが出来る。これにより、エラー発生〜相手側への再送要求〜相手側からの正常な圧縮動画像データの再送までに要する時間内に相手側の人物画を含む映像が表示されないことにより生ずるユーザのストレスの軽減化を図ることが可能になる。
【００４０】
しかも、本実施の形態においては、通信前に装置内に予め保存されていない様な、初めてテレビ電話通信をする相手方の人物画像であっても、テレビ電話通信開始後にその様な人物画像を含む静止画をキャプチャするので、表示画面をその様な静止画面に差し替え表示することが容易に可能となる。
【００４１】
（実施の形態２）
本実施の形態は、実施の形態１に係る携帯テレビ電話装置１００に対して、「通話中に起動後の経過時間をカウントして一定時間が経過する毎に当該一定時間の経過を通知する信号をＴＶ電話制御部１１３に出力する」タイマー部を更に設ける点に、その特徴点を有している。このタイマー部を備えることにより、本実施の形態におけるＴＶ電話制御部１１３は、静止画データの静止画メモリ１３への最初の書込みと共に上記タイマー部を起動し、その後、上記タイマー部から出力される一定時間経過通知信号を受信する毎に、人物検出部１１４を再度起動して、「上記一定時間経過通知信号の受信直後の転送タイミングないしはフレーム割り込みと同時に人物画像データの検出を行う様に指令する」制御信号を人物検出部１１４に出力する機能を具備する。その結果、人物検出部１１４は、当該制御信号を受信する度に、上記フレーム割り込みのタイミングに応じて、制御部１１３を介して動画像メモリ１２を再度アクセスして、動画像メモリ１２に一時保存されている１画面内に相手方の人物画が含まれているか否かを検出する機能を実行する。そして、人物検出部１１４からの検出通知信号を受信するときには、ＴＶ電話制御部１１３は、当該受信の度に、そのときに動画像メモリ１２内に一時的に格納されている１画面分の復号済み動画像データを、その後に無線回線の悪化が生じた時の代謝表示画像用の静止画データとして、静止画メモリ１３に書込む機能をも、有する。以下、本実施の形態の上記特徴点を、図面に基づいて説明する。
【００４２】
図６は、本実施の形態に係る携帯テレビ電話装置１００Ａのシステム構成を示すブロック図である。図６において、タイマー部１１５は、起動後に、一定間隔の時間経過を、ＴＶ電話制御部１１３へ通知する機能を備えている。
【００４３】
ＴＶ電話の接続に際し、通信のネゴシエーション完了直後に、相手側装置から送信されて来るイントラ・フレームのデコード処理完了を動画像ＤＥＣＯＤＥ処理部１１から通知された、ＴＶ電話制御部１１３は、人物検出部１１４を起動した上で、同部１１４が動画像メモリ１２内に展開されている１画面の画像データ内に人物画が含まれていることを検出するまで、以後のフレーム割り込み毎に、人物検出動作の開始指令を示す制御信号を人物検出部１１４に出力して、人物検出部１１４に人物画の検出を行わせる。
【００４４】
人物検出部１１４は、動画像メモリ１２内の１画面の画像データ内に人物画を与えるデータを検出した場合には、ＴＶ電話制御部１１３に対して、人物検出通知信号（例えば、レベル“１”の信号）を出力する。人物画の検出通知を受けたＴＶ電話制御部１１３は、この時点において動画像メモリ１２内に展開されている１画面の画像データを静止画メモリ１３にコピーすると共に、タイマー部１１５を起動する。
【００４５】
起動してから一定時間が経過すると、タイマー部１１５は、ＴＶ電話制御部１１３に対して、指定された一定時間の経過を通知する信号を出力する。一定時間経過通知信号（例えば、レベル“１”の信号）を受けたＴＶ電話制御部１１３は、指定時間の経過を認知して直ちに人物検出部１１４を再度起動すると共に、「当該通知直後のフレーム割り込みのタイミングと同時に、動画像メモリ１２内に展開されている１画面の画像データに対する人物画検出動作を開始する様に指令する」制御信号を、人物検出部１１４に出力する。この制御信号による制御の下で、人物検出部１１４は、動画像メモリ１２をアクセスして人物画検出動作を実行する。その人物画検出動作の結果、人物検出部１１４が、人物画が含まれていることを検出した場合には、ＴＶ電話制御部１１３は、動画像メモリ１２内の１画面の画像データを静止画像データとして静止画メモリ１３内にキャプチャする。そして、ＴＶ電話制御部１１３は、キャプチャした静止画像データを、タイマー部１１５が再び上記一定時間経過通知信号を出力する迄の期間中に無線回線の悪化と言う事態が発生したときに備えて保有し続け、仮に上記無線回線悪化事態が生じた場合には、ＴＶ電話制御部１１３は、保有している静止画像データを、代謝表示画像として用いることになる。
【００４６】
その後は、タイマー部１１５が上記一定時間経過通知信号を出力する毎に、ＴＶ電話制御部１１３は、上記の人物画検出動作の開始制御・検出時の静止画像データのキャプチャと言う上記の一連の動作を実行する。
【００４７】
従って、本実施の形態によれば、無線回線悪化事態発生時に差し替えるための代謝画像を、タイマー部１１５によって検知される一定間隔毎に、新たに保存し直すことが可能となり、これにより、ＴＶ電話中に表示されている動画の画面により近い時点における静止画を代謝画像として画像表示部１４に表示することが出来る。
【００４８】
（変形例）
実施の形態１又は２の携帯テレビ電話装置１００、１００Ａに対して、次の様な変形例を適用しても良い。即ち、ＴＶ電話制御部１１３は、「回線状況が悪化しています」等の警告文の文字データを、予め静止画メモリ１３内の所定の領域（例えばヘッド部分）に記録しておく。そして、静止画メモリ１３から画像表示部１４への代謝画像転送時に、あるいは、動画像メモリ１２から静止画メモリ１３への画像データコピー時に、ＴＶ電話制御部１１３は、上記警告文を静止画メモリ１３から読み出して、画像表示部１４に表示すべき画像データの一部分に上記警告文の文字データを上書きし、当該文字データを上書きした画像（人の顔画像を含む画像＋警告文）を一旦静止画メモリ１３へ展開した上で、上書き画像を静止画メモリ１３から読み出して同制御部１１３内のデータバスを介して画像表示部１４に出力する。
【００４９】
この様な構成を採用することにより、利用者に対して回線状況の悪化を通知することが比較的容易に実現出来る。
【００５０】
（付記）
以上、本発明の実施の形態を詳細に開示し記述したが、以上の記述は本発明の適用可能な局面を例示したものであって、本発明はこれに限定されるものではない。即ち、記述した局面に対する様々な修正や変形例を、この発明の範囲から逸脱することの無い範囲内で考えることが可能である。
【００５１】
【発明の効果】
この発明は、以上説明した様に構成されているので、以下に示す効果を奏する。
【００５２】
請求項１記載の発明によれば、テレビ電話の開始後に、歪や乱れのエラーが発生していない正常な１画面の受信圧縮動画像データから通信相手の人物画データを検出して、当該人物画を含む上記受信画面を静止画として保存しておくことが出来る。このため、本発明においては、受信動画像にエラーが発生した場合に、その際に表示している受信画像を保存しておいた静止画に差し替えて表示することが出来、これにより、エラー発生〜相手側への再送要求〜相手側からの正常な圧縮動画像データの再送までに要する時間内に相手側の人物画を含む映像が表示されないことにより生ずる、ユーザのストレスの軽減化を図ることが可能になる。しかも、本発明によれば、通信前に装置内に予め保存されていない様な、初めてテレビ電話通信をする相手方の人物画像であっても、テレビ電話通信開始後にその様な人物画像を含む静止画をキャプチャするので、表示画面をその様な静止画面に差し替え表示することが容易に可能となる効果も得られる。
【００５３】
請求項２記載の発明によれば、無線回線状態が良好となり受信動画像が正常となった場合に、速やかに静止画データの表示から受信画像データの表示へと切替ることが出来る。
【００５４】
請求項３記載の発明によれば、一定間隔毎に、差し替えるための代謝画像を新たに保存し直すことが出来、これにより、テレビ電話通信中に表示される動画の画面に近い時点における静止画を代謝画像として表示することが可能となる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１に係る携帯テレビ電話装置のシステム構成を示すブロック図である。
【図２】 テレビ電話開始時のシーケンスを示す図である。
【図３】 テレビ電話開始時の静止画キャプチャ手順を示す図である。
【図４】 デコードエラー発生時の画像差し替え手順を示す図である。
【図５】 デコードエラー復帰時の画像差し替え手順を示す図である。
【図６】 本発明の実施の形態２に係る携帯テレビ電話装置のシステム構成を示す図である。
【符号の説明】
１１ 動画像ＤＥＣＯＤＥ処理部、１２ 動画像メモリ、１３ 静止画メモリ、１４ 画像表示部、１５ スピーカー、１６ マイク、１７ 音声処理部、１８ＭＵＸ／ＤＥＭＵＸ処理部、１９ 動画像ＥＮＣＯＤＥ処理部、１１０ カメラ部、１１１ 無線アンテナ、１１２ 通信制御部、１１３ ＴＶ電話制御部、１１４ 人物検出部、１１５ タイマー部、１００，１００Ａ 携帯テレビ電話装置。
Claims (3)
- 無線回線網を介して圧縮された動画像データを受信する制御部と、
前記制御部より入力される前記圧縮動画像データに対して復号処理を行って復号された動画像データを逐次前記制御部に出力すると共に、復号処理完了後に完了通知信号を前記制御部に出力する動画像復号処理部と、
前記制御部より逐次入力される前記復号済み動画像データを一時記憶する動画像メモリと、
前記制御部によって前記動画像メモリより読み出されて転送されて来る動画像データを表示する画像表示部と、
前記制御部との間で信号の授受を行う人物検出部と、
前記制御部との間で静止画データの書込み及び読出しを行う静止画メモリとを備えており、
前記制御部は、テレビ電話接続のネゴシエーション完了後に最初に受信する前記圧縮動画像データであるイントラ・フレームの復号処理に関する前記完了通知信号を前記動画像復号処理部より受信すると、前記動画像メモリから前記イントラ・フレームに関する前記復号済み動画像データを読み出して前記復号済み動画像データを前記画像表示部に転送し、且つ、前記人物検出部を起動して、前記復号済み動画像データの中に相手方の人物画像データが含まれているか否かを検出する様に前記人物検出部に指令する制御信号を出力し、
前記人物検出部は、前記制御信号に応じて、前記動画像メモリにアクセスすることにより前記人物画像データの検出処理を実行して、前記人物画像データを検出したときにはその旨を示す検出通知信号を前記制御部に出力し、
前記検出通知信号を受信するときには、前記制御部は、前記動画像メモリから前記イントラ・フレームに関する前記復号済み動画像データを読み出して、読み出した前記復号済み動画像データを前記静止画データとして前記静止画メモリに書込み、
前記イントラ・フレームに引き続く１画面の前記圧縮動画像データを受信する迄の期間中に前記検出通知信号を受信しないときには、前記制御部は、前記イントラ・フレームの受信以降に逐次入力する各画面の前記圧縮動画像データに対する前記復号処理の前記完了通知の受信毎に、前記動画像メモリから前記画像表示部への前記復号済み動画像データの転送動作、及び、当該転送タイミングと同時に前記人物画像データの検出を行う様に指令する前記制御信号の出力動作を、前記人物検出部から前記検出通知信号を受信するまで継続的に実行し、前記検出通知信号を受信する場合にはそのときに前記動画像メモリ内に一時的に格納されている１画面分の前記復号済み動画像データを前記静止画データとして前記静止画メモリに書込み、
前記動画像復号処理部は、前記静止画データの書込み後に受信した１画面分の前記圧縮動画像データに対する前記復号処理の過程において、無線状態の悪化に起因した復号誤りが発生したことを検出した場合には、誤り通知信号を前記制御部に出力し、
前記制御部は、前記誤り通知信号を始めて受信した場合には、前記動画像メモリ内に一時的に格納されている、その直前に受信した正常な１画面分の前記圧縮動画像データに対する前記復号済み動画像データを前記画像表示部に表示させ続けると共に、始めて受信した前記誤り通知信号及びそれ以降に受信する前記誤り通知信号から誤り発生率を算出して、当該算出値と予め自身内に保有している誤り発生閾値との比較処理を行い、前記誤り発生率が前記誤り発生閾値を越える場合には、前記画像表示部に表示させ続けている受信動画像の表示を中止して、代わりに、前記静止画メモリに保持されている前記静止画データを読み出して前記画像表示部に転送・表示させることを特徴とする、
無線回線網テレビ電話装置。 - 請求項１記載の無線回線網テレビ電話装置であって、
前記制御部は、前記誤り発生率が前記誤り発生閾値を下回った場合には、前記画像表示部に表示させ続けている静止画表示を中止し、受信動画像の表示を再開することを特徴とする、
無線回線網テレビ電話装置。 - 請求項１又は２記載の無線回線網テレビ電話装置であって、通話中に起動後の経過時間をカウントして、一定時間の経過毎に一定時間経過通知信号を前記制御部に出力するタイマー部を更に備えており、
前記制御部は、前記静止画データの前記静止画メモリへの前記書込みと共に前記タイマー部を起動し、前記タイマー部から出力される前記一定時間経過通知信号を受信する毎に、前記人物検出部を再度起動して、前記一定時間経過通知信号の受信直後の前記転送タイミングと同時に前記人物画像データの検出を行う様に指令する前記制御信号を前記人物検出部に出力し、
前記人物検出部からの前記検出通知信号を受信する度に、前記制御部は、そのときに前記動画像メモリ内に一時的に格納されている１画面分の前記復号済み動画像データを、その後に無線回線の悪化が生じた時の代謝表示画像用の前記静止画データとして、前記静止画メモリに書込むことを特徴とする、
無線回線網テレビ電話装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002129742A JP3958623B2 (ja) | 2002-05-01 | 2002-05-01 | 無線回線網テレビ電話装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002129742A JP3958623B2 (ja) | 2002-05-01 | 2002-05-01 | 無線回線網テレビ電話装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003324702A JP2003324702A (ja) | 2003-11-14 |
| JP3958623B2 true JP3958623B2 (ja) | 2007-08-15 |
Family
ID=29543063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002129742A Expired - Fee Related JP3958623B2 (ja) | 2002-05-01 | 2002-05-01 | 無線回線網テレビ電話装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3958623B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5811334B2 (ja) * | 2011-09-01 | 2015-11-11 | 株式会社リコー | 伝送管理システム、伝送管理方法、プログラム、及び伝送システム |
-
2002
- 2002-05-01 JP JP2002129742A patent/JP3958623B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003324702A (ja) | 2003-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2008079038A (ja) | 情報処理装置 | |
| CN101998101A (zh) | 可视电话的视频数据接收和发送系统、视频数据处理方法 | |
| WO2012131932A1 (ja) | 画像送信制御機能を含む情報処理装置 | |
| JP3958623B2 (ja) | 無線回線網テレビ電話装置 | |
| CN1929647B (zh) | 执行视频通信业务的方法及使用该方法的移动通信终端 | |
| KR100630182B1 (ko) | 휴대단말기의 화상통화모드에서 녹화수행방법 | |
| JP2001333163A (ja) | 携帯電話装置、およびその通信方法 | |
| JP2001274742A (ja) | 画像通信方法及び画像通信端末装置 | |
| KR100821661B1 (ko) | 휴대단말의 영상화면 녹화방법 및 그 장치 | |
| JP2008252271A (ja) | テレビドアホン装置 | |
| JP2006262506A (ja) | 携帯電話機 | |
| KR20100005829A (ko) | 휴대 단말기의 상태 알림 방법 | |
| JP2001345895A (ja) | 携帯電話機 | |
| EP1809009A2 (en) | Method for continuing a message transmission upon closing a wireless terminal | |
| JPH1169349A (ja) | 画像通信装置 | |
| JP4404418B2 (ja) | テレビ電話装置 | |
| JP2002359828A (ja) | テレビ電話装置 | |
| KR20090029454A (ko) | 휴대단말기에서 영상데이터 처리 장치 및 방법 | |
| JP2010147939A (ja) | 映像通信装置、映像通信方法及び映像通信システム | |
| JP2007166479A (ja) | 動画像表示装置および動画像表示方法 | |
| JP4741698B2 (ja) | 携帯型テレビ電話装置 | |
| KR20070047877A (ko) | 정지 화상 또는 동화상의 선택적 출력이 가능한 화상 통신 | |
| JP3996435B2 (ja) | 通信装置および通信方法 | |
| KR100658866B1 (ko) | 비디오 및 오디오 데이터 동기화 장치 및 방법 | |
| JPH10145760A (ja) | 画像通信装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050422 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070423 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070508 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070510 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100518 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110518 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |