JP3958623B2 - 無線回線網テレビ電話装置 - Google Patents
無線回線網テレビ電話装置 Download PDFInfo
- Publication number
- JP3958623B2 JP3958623B2 JP2002129742A JP2002129742A JP3958623B2 JP 3958623 B2 JP3958623 B2 JP 3958623B2 JP 2002129742 A JP2002129742 A JP 2002129742A JP 2002129742 A JP2002129742 A JP 2002129742A JP 3958623 B2 JP3958623 B2 JP 3958623B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- moving image
- control unit
- unit
- received
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Description
【発明の属する技術分野】
この発明は、テレビ電話機能を有する無線回線網装置(例えば、携帯電話端末、自動車電話端末、PHS端末、PDA端末)に関するものであり、特に画像復号処理過程においてエラーが発生した場合における画像の表示技術に関している。
【0002】
【従来の技術】
映像のデジタル圧縮技術が普及し、電話回線を用いたテレビ電話装置が実用化されている。電話回線を用いたテレビ電話装置の従来技術としては、特開平7−99656号公報に記載のものがある。同公報に記載のテレビ電話装置においては、通話中に通信相手の画像データにエラーが発生した場合に、相手に対してイントラ・フレームの送信要求を行い、画像データのエラー回復を図ると言う技術が開示されている。
【0003】
他方、無線回線網を利用した携帯電話においても、音声と共に画像を送受信可能なテレビ電話機能を有するものが存在する。こうした無線回線網においては、従来の有線を用いた電話回線に比べて、電波状態の悪化等による伝送経路における誤り発生率が高く、また利用場所によっては電波状態の悪い状態が継続することが想定される。
【0004】
【発明が解決しようとする課題】
有線利用のテレビ電話装置で提案されている上記従来技術によれば、受信エラーが発生した場合には、相手装置に対してデータ要求を行っている期間中、相手方の画像は正常に表示されないと言う問題点がある。このため、当該従来技術を携帯テレビ電話装置に適用する場合には、この様な問題点が一層深刻化する。即ち、携帯テレビ電話装置において受信エラーが発生する場合には無線状態が悪化した状況下にあるので、この様な状況下においては再送要求自体が相手方に正常に通達されないので、正常なデータの再送までに更に時間を要し、その結果、映像が正常に表示されない状態(白いザラザラとした感じの画面表示)が比較的長時間に渡って継続すると言う問題点が顕在化する。このため、画面を見ているユーザにとっては、この期間中、イライラ感を感じざるを得なくなる。
【0005】
この様な問題点は、携帯テレビ電話端末に固有のものではなく、テレビ電話機能付きの自動車電話やPHS端末と言った様な、無線回線網を利用した他のテレビ電話装置においても、一般的に生じ得る課題である。
【0006】
この発明は以上の様な問題点を解決するためになされたものであり、受信画像の復号処理時にエラーが発生した場合に、ちらつき又は乱れが無く且つ相手方人物像を含む正常な静止画像を表示することにより、ユーザに不快感を与えることの無い無線回線網テレビ電話装置を提供することを、その目的としている。
【0007】
【課題を解決するための手段】
請求項1記載の発明は、無線回線網テレビ電話装置であって、無線回線網を介して圧縮された動画像データを受信する制御部と、前記制御部より入力される前記圧縮動画像データに対して復号処理を行って復号された動画像データを逐次前記制御部に出力すると共に、復号処理完了後に完了通知信号を前記制御部に出力する動画像復号処理部と、前記制御部より逐次入力される前記復号済み動画像データを一時記憶する動画像メモリと、前記制御部によって前記動画像メモリより読み出されて転送されて来る動画像データを表示する画像表示部と、前記制御部との間で信号の授受を行う人物検出部と、前記制御部との間で静止画データの書込み及び読出しを行う静止画メモリとを備えており、前記制御部は、テレビ電話接続のネゴシエーション完了後に最初に受信する前記圧縮動画像データであるイントラ・フレームの復号処理に関する前記完了通知信号を前記動画像復号処理部より受信すると、前記動画像メモリから前記イントラ・フレームに関する前記復号済み動画像データを読み出して前記復号済み動画像データを前記画像表示部に転送し、且つ、前記人物検出部を起動して、前記復号済み動画像データの中に相手方の人物画像データが含まれているか否かを検出する様に前記人物検出部に指令する制御信号を出力し、前記人物検出部は、前記制御信号に応じて、前記動画像メモリにアクセスすることにより前記人物画像データの検出処理を実行して、前記人物画像データを検出したときにはその旨を示す検出通知信号を前記制御部に出力し、前記検出通知信号を受信するときには、前記制御部は、前記動画像メモリから前記イントラ・フレームに関する前記復号済み動画像データを読み出して、読み出した前記復号済み動画像データを前記静止画データとして前記静止画メモリに書込み、前記イントラ・フレームに引き続く1画面の前記圧縮動画像データを受信する迄の期間中に前記検出通知信号を受信しないときには、前記制御部は、前記イントラ・フレームの受信以降に逐次入力する各画面の前記圧縮動画像データに対する前記復号処理の前記完了通知の受信毎に、前記動画像メモリから前記画像表示部への前記復号済み動画像データの転送動作、及び、当該転送タイミングと同時に前記人物画像データの検出を行う様に指令する前記制御信号の出力動作を、前記人物検出部から前記検出通知信号を受信するまで継続的に実行し、前記検出通知信号を受信する場合にはそのときに前記動画像メモリ内に一時的に格納されている1画面分の前記復号済み動画像データを前記静止画データとして前記静止画メモリに書込み、前記動画像復号処理部は、前記静止画データの書込み後に受信した1画面分の前記圧縮動画像データに対する前記復号処理の過程において、無線状態の悪化に起因した復号誤りが発生したことを検出した場合には、誤り通知信号を前記制御部に出力し、前記制御部は、前記誤り通知信号を始めて受信した場合には、前記動画像メモリ内に一時的に格納されている、その直前に受信した正常な1画面分の前記圧縮動画像データに対する前記復号済み動画像データを前記画像表示部に表示させ続けると共に、始めて受信した前記誤り通知信号及びそれ以降に受信する前記誤り通知信号から誤り発生率を算出して、当該算出値と予め自身内に保有している誤り発生閾値との比較処理を行い、前記誤り発生率が前記誤り発生閾値を越える場合には、前記画像表示部に表示させ続けている受信動画像の表示を中止して、代わりに、前記静止画メモリに保持されている前記静止画データを読み出して前記画像表示部に転送・表示させることを特徴とする。
【0008】
請求項2記載の発明は、請求項1記載の無線回線網テレビ電話装置であって、前記制御部は、前記誤り発生率が前記誤り発生閾値を下回った場合には、前記画像表示部に表示させ続けている静止画表示を中止し、受信動画像の表示を再開することを特徴とする。
【0009】
請求項3記載の発明は、請求項1又は2記載の無線回線網テレビ電話装置であって、通話中に起動後の経過時間をカウントして、一定時間の経過毎に一定時間経過通知信号を前記制御部に出力するタイマー部を更に備えており、前記制御部は、前記静止画データの前記静止画メモリへの前記書込みと共に前記タイマー部を起動し、前記タイマー部から出力される前記一定時間経過通知信号を受信する毎に、前記人物検出部を再度起動して、前記一定時間経過通知信号の受信直後の前記転送タイミングと同時に前記人物画像データの検出を行う様に指令する前記制御信号を前記人物検出部に出力し、前記人物検出部からの前記検出通知信号を受信する度に、前記制御部は、そのときに前記動画像メモリ内に一時的に格納されている1画面分の前記復号済み動画像データを、その後に無線回線の悪化が生じた時の代謝表示画像用の前記静止画データとして、前記静止画メモリに書込むことを特徴とする。
【0010】
【発明の実施の形態】
本発明は、テレビ電話機能を有する無線回線網装置(携帯電話、PHS、PDA、自動車電話等の端末)に一般的に適用可能なものであるが、以下においては、説明の便宜上、無線回線網テレビ電話装置の一例として、携帯テレビ電話装置に本発明を適用した場合について記載する。
【0011】
(実施の形態1)
図1は、本実施の形態に係る携帯テレビ電話装置100のシステム構成を示すブロック図である。
【0012】
図1の携帯テレビ電話装置100は、例えばCPUから成るTV電話制御部(単に制御部とも称す)113を中核として、同制御部113によってその動作が監視・制御される各部から構成されている。それらの主要な構成要素を説明すれば、大要、次の通りである。
【0013】
即ち、カメラ部(デジタルカメラ)110は、当該装置100の操作者であるユーザの人物画を含む(尚、人物画を含まないときもある)動画像を、本装置100内に入力する部分である。又、マイク16は、音声を入力する部分である。
【0014】
又、通信制御部112は、相手側装置に無線回路網を介して送信する圧縮動画像・音声信号にヘッダ情報を付加し、あるいは、無線回路網を介して無線アンテナ111より受信した、圧縮された動画像・音声データよりヘッダ情報を解析するための部分である。尚、両部112,113を併せて、「制御部」と総称しても良い。
【0015】
又、動画像DECODE処理部(動画像復号(伸張)処理部)11は、制御部113より入力される受信1画面分の各圧縮動画像データに対して順次に復号処理を行って、復号された各動画像データを逐次制御部113に出力すると共に、復号処理完了後に完了通知信号を制御部113に出力するデコーダである。
【0016】
又、動画像メモリ12は、動画像DECODE処理部11からTV電話制御部113を介して逐次入力される、受信した1画面分の復号済み動画像データを、一時的に記憶する動画像データ格納部である。
【0017】
又、画像表示部14は、▲1▼入力する画像データ信号を描画信号に変換するための部分(図示せず)と、▲2▼描画信号に基づき画面を表示するディスプレイパネル(図示せず)とから成る部分であり(例えば、液晶ディスプレイデバイスや、有機あるいは無機のELディスプレイデバイスより成る)、TV電話制御部113によって動画像メモリ12より読み出されて同制御部113内のデータバス(図示せず)を介して転送されて来る動画像データを表示する機能を有する。
【0018】
又、静止画メモリ13は、TV電話制御部113との間で、静止画データの書込み及び読出しを行う静止画データ格納部である。
【0019】
又、人物検出部114は、TV電話制御部113が出力する後述の制御信号の受信に応じて、後述する人物画検出機能を実行する部分である。即ち、同部114は、上記制御信号が与える開始指令に応じて、制御部113を介して動画像メモリ12をアクセスして、同メモリ12内に格納されている1画素分あるいは1ライン分の復号済み動画像データを抽出し、抽出データを人物検出部114内に保有するメモリ(1画素分あるいは1ライン分のデータを記憶する容量を有する:図示せず)内に一時的に格納すると共に、格納したデータ内に相手側の人物画を与えるデータが含まれているか否かを検出し、人物画が含まれているときには、その旨を示す、例えば“1”レベルの信号である「検出通知信号」を、制御部113に出力する。
【0020】
カメラ部110より入力された動画像データは、動画像ENCODE処理部19においてエンコード化(符号化)されて圧縮される。又、マイク16より入力された音声データは、音声処理部17においてエンコード化(符号化)されて圧縮される。符号化された、動画像データ及び音声データは、その後、MUX/DEMUX処理部18において多重化され、且つ、通信制御部112において通信用ヘッダ情報を付加された上で、無線アンテナ111を介して無線回線網へ送出される。
【0021】
他方、無線アンテナ111は、通信相手先の装置から無線回線網を介して送られて来る、圧縮された通信データを受信し、通信制御部112は、受信データに付加されている通信用ヘッダの解析を行い、その後、MUX/DEMUX処理部18は、制御部113より受け取った画像・音声データの多重分離を行う。更に、制御部113は、分離された、圧縮動画像データ及び圧縮音声データを上記処理部18より受け取り、受信した1画面分の各圧縮動画像データを動画像DECODE処理部11へ逐次送信すると共に、圧縮音声データを音声処理部17へ送信する。動画像DECODE処理部11は、制御部113より逐次入力される受信1画面内の各圧縮動画像データに対してデコード処理(復号処理)を行って、復号済みの各動画像データを制御部113に送信する。制御部113は、逐次入力される1画面内の各復号済み動画像データを順次に動画像メモリ12内に展開(一時記録)する。その上で、制御部113は、動画像メモリ12内に展開された1画面内の各動画像データを順次に読み出して、読み出した各動画像データを、内部のデータバスを経由して画像表示部14に転送し、各動画像データから構成される受信した1画面は画像表示部14において表示される。
【0022】
これに対して、音声処理部17へ送られた音声データは、同部17においてデコード処理された後に、スピーカー15より出力される。
【0023】
次に、以上の動作を基本動作としてテレビ電話通信機能を可能にしている携帯テレビ電話装置100において、受信エラーが発生した場合に、人物検出部114の判定に従ってキャプチャした相手側の人物画像を含む静止画と、受信した画像とを差し替えて表示する処理について、説明する。
【0024】
ここで、図2は、テレビ電話開始時のシーケンスを示す図である。図2中、参照符号21、22は、図1に示す携帯テレビ電話装置100である。テレビ電話通信の開始に際して、第一に、発呼側装置及び着呼側装置の間で(両装置21,22の内で、一方が発呼側装置であり、他方が着呼側装置に該当する)、呼設定から通信回線の確立が行なわれる。通信回線の確立後は、更に両装置21,22間でメッセージのやり取りが行われることで、通信方式に関するネゴシエーションが行われる。
【0025】
ネゴシエーション完了後は、複数のコーデック方式の中でネゴシエーションを通じてコーデック可能と決定された方式に従い、両装置21,22において、次の様な処理が行われる。即ち、各装置21,22のTV電話制御部113は、音声処理部17に対して音声の符号化モード及び復号化モードを設定し、動画像ENCODE処理部19及び動画像DECODE処理部11に対して、それぞれ動画像の符号化モード及び復号化モードを設定する。設定完了後は、各装置21,22は、動画像データ及び音声データのエンコード、エンコードデータの多重化、及び相手装置への送信の処理を開始すると同時に、相手側装置から送信されて来る多重化された圧縮動画像データ及び圧縮音声データを受信して、受信データを圧縮動画像データ及び圧縮音声データにそれぞれ分離した上で、各データのデコード処理を行う。
【0026】
次に、図1及び図3を参照しつつ、受信した、通信相手の人物画像を含む画像データを静止画データとしてキャプチャする手順を説明する。
【0027】
テレビ電話接続のネゴシエーション完了直後には、最初に受信する圧縮動画像データとして、1画面分の全データを含む「イントラ・フレーム」が、相手側装置より、送信されて来る。このイントラ・フレームを受信することにより、携帯テレビ電話装置は、それ以降に行われる通信相手先の画像のデコード処理を可能にすると共に、画像表示部における相手画像表示を開始することが出来る。
【0028】
図1の携帯テレビ電話装置100においては、この最初のイントラ・フレームに対するデコード処理完了(この時点では、イントラ・フレーム内の各復号済み動画像データの動画像メモリ12への展開も完了している)を示す「完了通知信号」を、動画像DECODE処理部11からTV電話制御部113へ通知する構成が、採用されている。
【0029】
上記完了通知信号を受けたTV電話制御部113は、動画像メモリ12から上記イントラ・フレームを構成する各復号済み動画像データを読み出して各復号済み動画像データを画像表示部14に転送すると共に、人物検出部114を起動して、「動画像メモリ12内に展開されている相手画像データに対して人物画の検出動作を開始する様に指令する」制御信号を、人物検出部114に出力する。
【0030】
人物検出部114は、上記制御信号に応じて、動画像メモリ12にアクセスすることにより、通信相手の人物画像データ(顔画像データを含む)の検出処理を実行する。
【0031】
そして、人物画像データが動画像メモリ12内に展開されている相手画像中において検出された場合には、人物検出部114は、人物画の検出を示す「検出通知信号」(例えば、“1”レベルの信号)をTV電話制御部113に出力する。人物画検出の通知を受けたTV電話制御部113は、動画像メモリ12内の1画面分のデータを静止画データとして静止画メモリ13内にコピーして、メモリ上に保持する。即ち、同制御部113は、動画像メモリ12からイントラ・フレームを構成する各復号済み動画像データを読み出して、読み出した各復号済み動画像データを1画面分の静止画データとして静止画メモリ13内に書込む。
【0032】
これに対して、最初のイントラ・フレームのデコード画像内において通信相手の人物画が検出されない場合には、動画像メモリ12から画像表示部14への動画像データの転送タイミングである、フレーム割り込み毎に、人物画検出の照合が、人物画が検出されて静止画メモリ13内に相手方人物画を含む静止画像が保存される迄、継続的に実施される。即ち、イントラ・フレームの受信に引き続く次の1画面の圧縮動画像データを受信する迄の期間中に上記検出通知信号を受信しないときには、制御部113は、イントラ・フレームの受信以降に逐次入力する各画面の圧縮動画像データに対する復号処理完了通知の受信毎に、▲1▼動画像メモリ12から画像表示部14への1画面分の復号済み動画像データの転送動作、及び、▲2▼当該転送タイミング(フレーム割り込みタイミング)と同時に通信相手の人物画像データの検出を開始する様に指令する制御信号の出力動作を、人物検出部114から検出通知信号を受信するまで継続的に実行する。これにより、人物検出部114は、フレーム割り込みタイミングの到来の度に、動画像メモリ12をアクセスして人物画検出処理を実行する。その結果、あるフレーム割り込みのタイミングにおいて、受信した1画面の相手画像の中に相手方の人物画が検出されると、制御部113は、検出通知信号を受信し、そのときに動画像メモリ12内に一時的に格納されている1画面分の復号済み動画像データを読み出して、同データを静止画データとして静止画メモリ13に書込む。
【0033】
次に、以降継続されるテレビ電話通信中に、受信動画像のデコード処理の過程においてエラーが発生した場合の処理手順を、図4を用いて説明する。
【0034】
テレビ電話通信中に、受信動画像のデコード処理にエラーが発生した場合には、動画像DECODE処理部11はこのエラーを検知して、TV電話制御部113に対してエラー発生の通知を行う。即ち、動画像DECODE処理部11は、静止画データの書込み以降に受信した1画面分の圧縮動画像データに対する復号処理の過程において、無線状態の悪化に起因した復号誤りが発生したことを検出した場合には、「誤り通知信号」をTV電話制御部113に出力する。
【0035】
TV電話制御部113は、▲1▼上記誤り通知信号を始めて受信した場合には、動画像メモリ12内に一時的に格納されている、その直前に受信した正常な1画面分の圧縮動画像データに対する復号済み動画像データを画像表示部14に表示させ続ける。しかし、この表示画面は、必ずしも通信相手の人物画を含んでいるとは限らない。そこで、制御部113は、▲2▼始めて受信した誤り通知信号及びそれ以降に受信する誤り通知信号から「誤り発生率」を算出し、当該算出値と、予め自身内のレジスタ(図示せず)等に設定・保有されている「誤り発生閾値」との比較処理を行う。そして、制御部113は、▲3▼誤り発生率が誤り発生閾値を越える場合には、画像表示部14に表示させ続けている受信動画像の表示を中止して、代わりに、静止画メモリ13内に保持されている静止画データを読み出して当該静止画データを画像表示部14に転送して表示させる。即ち、制御部113は、この場合においては、受信動画像の画像表示部14での表示を中止し、静止画メモリ13内に保持している相手画像静止画を画像表示部14上で表示する様に、画像データ転送のパス切り替えを行う。
【0036】
例えば、1秒間に受信する画面数が15フレーム〜20フレームであって、「誤り発生閾値」が10フレーム/秒に設定されている場合において、算出された累計値としての誤り発生率が11フレーム/秒になったときには、制御部113は、画像表示部14上の画像表示を、静止画メモリ13内の静止画データで与えられる静止画面に直ちに差し替える。これにより、通信相手の顔画像を含む人物画を含んだ静止画面が、画像表示部14上に表示される。
【0037】
次に、動画像DECODE処理部11からTV電話制御部113に通知されるエラー通知から算定されるエラー発生率が、エラー発生閾値を下回った場合の処理手順を、図5を用いて説明する。
【0038】
即ち、エラー発生率がエラー発生閾値を下回った場合には、相手側装置は無線回線が良好な状況下に既に移動している場合であり、その結果、受信する動画像データは既に正常なデータとなっているので、最早、代謝表示画像である静止画面を画像表示部14上に表示させておく必要性は無い。そこで、制御部113は、静止画メモリ13に保持された静止画データの画像表示部14上での表示を中止すると共に、デコードされて動画像メモリ12内に格納されている受信動画像の画像表示部14上での表示を再開するために、画像データ転送パスの切り替えを行う。
【0039】
本実施の形態によれば、テレビ電話の開始後に、ひずみや乱れのエラーが発生していない受信動画像から通信相手の人物画像を検出し、当該人物画を含む受信画面を静止画として保存しておくことが出来るので、受信動画像にエラーが発生した場合に、その際に画像表示部14に表示している受信画像を、静止画メモリ13内に保存しておいた静止画に差し替えて表示することが出来る。これにより、エラー発生〜相手側への再送要求〜相手側からの正常な圧縮動画像データの再送までに要する時間内に相手側の人物画を含む映像が表示されないことにより生ずるユーザのストレスの軽減化を図ることが可能になる。
【0040】
しかも、本実施の形態においては、通信前に装置内に予め保存されていない様な、初めてテレビ電話通信をする相手方の人物画像であっても、テレビ電話通信開始後にその様な人物画像を含む静止画をキャプチャするので、表示画面をその様な静止画面に差し替え表示することが容易に可能となる。
【0041】
(実施の形態2)
本実施の形態は、実施の形態1に係る携帯テレビ電話装置100に対して、「通話中に起動後の経過時間をカウントして一定時間が経過する毎に当該一定時間の経過を通知する信号をTV電話制御部113に出力する」タイマー部を更に設ける点に、その特徴点を有している。このタイマー部を備えることにより、本実施の形態におけるTV電話制御部113は、静止画データの静止画メモリ13への最初の書込みと共に上記タイマー部を起動し、その後、上記タイマー部から出力される一定時間経過通知信号を受信する毎に、人物検出部114を再度起動して、「上記一定時間経過通知信号の受信直後の転送タイミングないしはフレーム割り込みと同時に人物画像データの検出を行う様に指令する」制御信号を人物検出部114に出力する機能を具備する。その結果、人物検出部114は、当該制御信号を受信する度に、上記フレーム割り込みのタイミングに応じて、制御部113を介して動画像メモリ12を再度アクセスして、動画像メモリ12に一時保存されている1画面内に相手方の人物画が含まれているか否かを検出する機能を実行する。そして、人物検出部114からの検出通知信号を受信するときには、TV電話制御部113は、当該受信の度に、そのときに動画像メモリ12内に一時的に格納されている1画面分の復号済み動画像データを、その後に無線回線の悪化が生じた時の代謝表示画像用の静止画データとして、静止画メモリ13に書込む機能をも、有する。以下、本実施の形態の上記特徴点を、図面に基づいて説明する。
【0042】
図6は、本実施の形態に係る携帯テレビ電話装置100Aのシステム構成を示すブロック図である。図6において、タイマー部115は、起動後に、一定間隔の時間経過を、TV電話制御部113へ通知する機能を備えている。
【0043】
TV電話の接続に際し、通信のネゴシエーション完了直後に、相手側装置から送信されて来るイントラ・フレームのデコード処理完了を動画像DECODE処理部11から通知された、TV電話制御部113は、人物検出部114を起動した上で、同部114が動画像メモリ12内に展開されている1画面の画像データ内に人物画が含まれていることを検出するまで、以後のフレーム割り込み毎に、人物検出動作の開始指令を示す制御信号を人物検出部114に出力して、人物検出部114に人物画の検出を行わせる。
【0044】
人物検出部114は、動画像メモリ12内の1画面の画像データ内に人物画を与えるデータを検出した場合には、TV電話制御部113に対して、人物検出通知信号(例えば、レベル“1”の信号)を出力する。人物画の検出通知を受けたTV電話制御部113は、この時点において動画像メモリ12内に展開されている1画面の画像データを静止画メモリ13にコピーすると共に、タイマー部115を起動する。
【0045】
起動してから一定時間が経過すると、タイマー部115は、TV電話制御部113に対して、指定された一定時間の経過を通知する信号を出力する。一定時間経過通知信号(例えば、レベル“1”の信号)を受けたTV電話制御部113は、指定時間の経過を認知して直ちに人物検出部114を再度起動すると共に、「当該通知直後のフレーム割り込みのタイミングと同時に、動画像メモリ12内に展開されている1画面の画像データに対する人物画検出動作を開始する様に指令する」制御信号を、人物検出部114に出力する。この制御信号による制御の下で、人物検出部114は、動画像メモリ12をアクセスして人物画検出動作を実行する。その人物画検出動作の結果、人物検出部114が、人物画が含まれていることを検出した場合には、TV電話制御部113は、動画像メモリ12内の1画面の画像データを静止画像データとして静止画メモリ13内にキャプチャする。そして、TV電話制御部113は、キャプチャした静止画像データを、タイマー部115が再び上記一定時間経過通知信号を出力する迄の期間中に無線回線の悪化と言う事態が発生したときに備えて保有し続け、仮に上記無線回線悪化事態が生じた場合には、TV電話制御部113は、保有している静止画像データを、代謝表示画像として用いることになる。
【0046】
その後は、タイマー部115が上記一定時間経過通知信号を出力する毎に、TV電話制御部113は、上記の人物画検出動作の開始制御・検出時の静止画像データのキャプチャと言う上記の一連の動作を実行する。
【0047】
従って、本実施の形態によれば、無線回線悪化事態発生時に差し替えるための代謝画像を、タイマー部115によって検知される一定間隔毎に、新たに保存し直すことが可能となり、これにより、TV電話中に表示されている動画の画面により近い時点における静止画を代謝画像として画像表示部14に表示することが出来る。
【0048】
(変形例)
実施の形態1又は2の携帯テレビ電話装置100、100Aに対して、次の様な変形例を適用しても良い。即ち、TV電話制御部113は、「回線状況が悪化しています」等の警告文の文字データを、予め静止画メモリ13内の所定の領域(例えばヘッド部分)に記録しておく。そして、静止画メモリ13から画像表示部14への代謝画像転送時に、あるいは、動画像メモリ12から静止画メモリ13への画像データコピー時に、TV電話制御部113は、上記警告文を静止画メモリ13から読み出して、画像表示部14に表示すべき画像データの一部分に上記警告文の文字データを上書きし、当該文字データを上書きした画像(人の顔画像を含む画像+警告文)を一旦静止画メモリ13へ展開した上で、上書き画像を静止画メモリ13から読み出して同制御部113内のデータバスを介して画像表示部14に出力する。
【0049】
この様な構成を採用することにより、利用者に対して回線状況の悪化を通知することが比較的容易に実現出来る。
【0050】
(付記)
以上、本発明の実施の形態を詳細に開示し記述したが、以上の記述は本発明の適用可能な局面を例示したものであって、本発明はこれに限定されるものではない。即ち、記述した局面に対する様々な修正や変形例を、この発明の範囲から逸脱することの無い範囲内で考えることが可能である。
【0051】
【発明の効果】
この発明は、以上説明した様に構成されているので、以下に示す効果を奏する。
【0052】
請求項1記載の発明によれば、テレビ電話の開始後に、歪や乱れのエラーが発生していない正常な1画面の受信圧縮動画像データから通信相手の人物画データを検出して、当該人物画を含む上記受信画面を静止画として保存しておくことが出来る。このため、本発明においては、受信動画像にエラーが発生した場合に、その際に表示している受信画像を保存しておいた静止画に差し替えて表示することが出来、これにより、エラー発生〜相手側への再送要求〜相手側からの正常な圧縮動画像データの再送までに要する時間内に相手側の人物画を含む映像が表示されないことにより生ずる、ユーザのストレスの軽減化を図ることが可能になる。しかも、本発明によれば、通信前に装置内に予め保存されていない様な、初めてテレビ電話通信をする相手方の人物画像であっても、テレビ電話通信開始後にその様な人物画像を含む静止画をキャプチャするので、表示画面をその様な静止画面に差し替え表示することが容易に可能となる効果も得られる。
【0053】
請求項2記載の発明によれば、無線回線状態が良好となり受信動画像が正常となった場合に、速やかに静止画データの表示から受信画像データの表示へと切替ることが出来る。
【0054】
請求項3記載の発明によれば、一定間隔毎に、差し替えるための代謝画像を新たに保存し直すことが出来、これにより、テレビ電話通信中に表示される動画の画面に近い時点における静止画を代謝画像として表示することが可能となる。
【図面の簡単な説明】
【図1】 本発明の実施の形態1に係る携帯テレビ電話装置のシステム構成を示すブロック図である。
【図2】 テレビ電話開始時のシーケンスを示す図である。
【図3】 テレビ電話開始時の静止画キャプチャ手順を示す図である。
【図4】 デコードエラー発生時の画像差し替え手順を示す図である。
【図5】 デコードエラー復帰時の画像差し替え手順を示す図である。
【図6】 本発明の実施の形態2に係る携帯テレビ電話装置のシステム構成を示す図である。
【符号の説明】
11 動画像DECODE処理部、12 動画像メモリ、13 静止画メモリ、14 画像表示部、15 スピーカー、16 マイク、17 音声処理部、18MUX/DEMUX処理部、19 動画像ENCODE処理部、110 カメラ部、111 無線アンテナ、112 通信制御部、113 TV電話制御部、114 人物検出部、115 タイマー部、100,100A 携帯テレビ電話装置。
Claims (3)
- 無線回線網を介して圧縮された動画像データを受信する制御部と、
前記制御部より入力される前記圧縮動画像データに対して復号処理を行って復号された動画像データを逐次前記制御部に出力すると共に、復号処理完了後に完了通知信号を前記制御部に出力する動画像復号処理部と、
前記制御部より逐次入力される前記復号済み動画像データを一時記憶する動画像メモリと、
前記制御部によって前記動画像メモリより読み出されて転送されて来る動画像データを表示する画像表示部と、
前記制御部との間で信号の授受を行う人物検出部と、
前記制御部との間で静止画データの書込み及び読出しを行う静止画メモリとを備えており、
前記制御部は、テレビ電話接続のネゴシエーション完了後に最初に受信する前記圧縮動画像データであるイントラ・フレームの復号処理に関する前記完了通知信号を前記動画像復号処理部より受信すると、前記動画像メモリから前記イントラ・フレームに関する前記復号済み動画像データを読み出して前記復号済み動画像データを前記画像表示部に転送し、且つ、前記人物検出部を起動して、前記復号済み動画像データの中に相手方の人物画像データが含まれているか否かを検出する様に前記人物検出部に指令する制御信号を出力し、
前記人物検出部は、前記制御信号に応じて、前記動画像メモリにアクセスすることにより前記人物画像データの検出処理を実行して、前記人物画像データを検出したときにはその旨を示す検出通知信号を前記制御部に出力し、
前記検出通知信号を受信するときには、前記制御部は、前記動画像メモリから前記イントラ・フレームに関する前記復号済み動画像データを読み出して、読み出した前記復号済み動画像データを前記静止画データとして前記静止画メモリに書込み、
前記イントラ・フレームに引き続く1画面の前記圧縮動画像データを受信する迄の期間中に前記検出通知信号を受信しないときには、前記制御部は、前記イントラ・フレームの受信以降に逐次入力する各画面の前記圧縮動画像データに対する前記復号処理の前記完了通知の受信毎に、前記動画像メモリから前記画像表示部への前記復号済み動画像データの転送動作、及び、当該転送タイミングと同時に前記人物画像データの検出を行う様に指令する前記制御信号の出力動作を、前記人物検出部から前記検出通知信号を受信するまで継続的に実行し、前記検出通知信号を受信する場合にはそのときに前記動画像メモリ内に一時的に格納されている1画面分の前記復号済み動画像データを前記静止画データとして前記静止画メモリに書込み、
前記動画像復号処理部は、前記静止画データの書込み後に受信した1画面分の前記圧縮動画像データに対する前記復号処理の過程において、無線状態の悪化に起因した復号誤りが発生したことを検出した場合には、誤り通知信号を前記制御部に出力し、
前記制御部は、前記誤り通知信号を始めて受信した場合には、前記動画像メモリ内に一時的に格納されている、その直前に受信した正常な1画面分の前記圧縮動画像データに対する前記復号済み動画像データを前記画像表示部に表示させ続けると共に、始めて受信した前記誤り通知信号及びそれ以降に受信する前記誤り通知信号から誤り発生率を算出して、当該算出値と予め自身内に保有している誤り発生閾値との比較処理を行い、前記誤り発生率が前記誤り発生閾値を越える場合には、前記画像表示部に表示させ続けている受信動画像の表示を中止して、代わりに、前記静止画メモリに保持されている前記静止画データを読み出して前記画像表示部に転送・表示させることを特徴とする、
無線回線網テレビ電話装置。 - 請求項1記載の無線回線網テレビ電話装置であって、
前記制御部は、前記誤り発生率が前記誤り発生閾値を下回った場合には、前記画像表示部に表示させ続けている静止画表示を中止し、受信動画像の表示を再開することを特徴とする、
無線回線網テレビ電話装置。 - 請求項1又は2記載の無線回線網テレビ電話装置であって、通話中に起動後の経過時間をカウントして、一定時間の経過毎に一定時間経過通知信号を前記制御部に出力するタイマー部を更に備えており、
前記制御部は、前記静止画データの前記静止画メモリへの前記書込みと共に前記タイマー部を起動し、前記タイマー部から出力される前記一定時間経過通知信号を受信する毎に、前記人物検出部を再度起動して、前記一定時間経過通知信号の受信直後の前記転送タイミングと同時に前記人物画像データの検出を行う様に指令する前記制御信号を前記人物検出部に出力し、
前記人物検出部からの前記検出通知信号を受信する度に、前記制御部は、そのときに前記動画像メモリ内に一時的に格納されている1画面分の前記復号済み動画像データを、その後に無線回線の悪化が生じた時の代謝表示画像用の前記静止画データとして、前記静止画メモリに書込むことを特徴とする、
無線回線網テレビ電話装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002129742A JP3958623B2 (ja) | 2002-05-01 | 2002-05-01 | 無線回線網テレビ電話装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002129742A JP3958623B2 (ja) | 2002-05-01 | 2002-05-01 | 無線回線網テレビ電話装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003324702A JP2003324702A (ja) | 2003-11-14 |
JP3958623B2 true JP3958623B2 (ja) | 2007-08-15 |
Family
ID=29543063
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002129742A Expired - Fee Related JP3958623B2 (ja) | 2002-05-01 | 2002-05-01 | 無線回線網テレビ電話装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3958623B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5811334B2 (ja) * | 2011-09-01 | 2015-11-11 | 株式会社リコー | 伝送管理システム、伝送管理方法、プログラム、及び伝送システム |
-
2002
- 2002-05-01 JP JP2002129742A patent/JP3958623B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003324702A (ja) | 2003-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008079038A (ja) | 情報処理装置 | |
CN101998101A (zh) | 可视电话的视频数据接收和发送系统、视频数据处理方法 | |
WO2012131932A1 (ja) | 画像送信制御機能を含む情報処理装置 | |
JP3958623B2 (ja) | 無線回線網テレビ電話装置 | |
CN1929647B (zh) | 执行视频通信业务的方法及使用该方法的移动通信终端 | |
KR100630182B1 (ko) | 휴대단말기의 화상통화모드에서 녹화수행방법 | |
JP2001333163A (ja) | 携帯電話装置、およびその通信方法 | |
JP2001274742A (ja) | 画像通信方法及び画像通信端末装置 | |
KR100821661B1 (ko) | 휴대단말의 영상화면 녹화방법 및 그 장치 | |
JP2008252271A (ja) | テレビドアホン装置 | |
JP2006262506A (ja) | 携帯電話機 | |
KR20100005829A (ko) | 휴대 단말기의 상태 알림 방법 | |
JP2001345895A (ja) | 携帯電話機 | |
EP1809009A2 (en) | Method for continuing a message transmission upon closing a wireless terminal | |
JPH1169349A (ja) | 画像通信装置 | |
JP4404418B2 (ja) | テレビ電話装置 | |
JP2002359828A (ja) | テレビ電話装置 | |
KR20090029454A (ko) | 휴대단말기에서 영상데이터 처리 장치 및 방법 | |
JP2010147939A (ja) | 映像通信装置、映像通信方法及び映像通信システム | |
JP2007166479A (ja) | 動画像表示装置および動画像表示方法 | |
JP4741698B2 (ja) | 携帯型テレビ電話装置 | |
KR20070047877A (ko) | 정지 화상 또는 동화상의 선택적 출력이 가능한 화상 통신 | |
JP3996435B2 (ja) | 通信装置および通信方法 | |
KR100658866B1 (ko) | 비디오 및 오디오 데이터 동기화 장치 및 방법 | |
JPH10145760A (ja) | 画像通信装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050422 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070423 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070508 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070510 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100518 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110518 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |