JP4698691B2 - 通信装置および通信システム - Google Patents

Description

本発明は、画像データ通信時の画像の指示や選択に用いて好適な通信装置および通信システムに関する。

近年、音声とともに画像を送受信することにより、通信相手側からの画像を見ながら、会話することができる携帯型テレビ電話装置が実現されている。この携帯型テレビ電話装置のカメラは、話者の方向を撮像するだけでなく、話者の周りを撮像することも可能な構造となっている。これにより、お互いに通話相手の顔を観ながら会話することのみならず、例えば旅行先の風景などを送ることもできる。

従来の携帯型テレビ電話装置は、カメラで撮像した画像およびマイクで入力した音声を各々符号化し、無線回線を用いて、通信相手の端末に送信する。また、通信相手の端末から受信した画像および音声の符号化データを復号し、各々表示部とスピーカにより出力する。この携帯型テレビ電話装置により撮像した画像が通信相手の端末で表示出力されるまでには、画像及び音声の符号化・復号処理と伝送路の伝送帯域幅とに基づき、一定の時間を要する。また、画像は、音声に比べてデータ量が多く、画像の符号化及び復号に要する処理時間は、音声の符号化及び復号に要する時間に比べて長くなる。

通常、テレビ会議システムなどでは、音声を画像に同期させて出力することにより、口の動きと音声のずれをなくすようにしている。しかしながら、音声の遅延はリズミカルな会話の妨げとなることから、会話を重視する場合、音声と画像の同期を取らずに出力することも行われる。また、テレビ会議において発言者が写し出されると、目印を付与するテレビ会議システムがある（例えば、特許文献１参照）。
特開平８−３７６５５号公報

しかし、従来の携帯型テレビ電話装置では、複数の物品を撮像し、この画像を送信して受信者に物を選んでもらう場合、例えば買い物に行った先で何を買うかを選んでもらう時に、上述した画像符号化及び復号の処理時間及び伝送時間によって送信側で撮像する画像と受信側で表示する画像との間で時間的なずれが生じる。このため、送信者がカメラで撮像した時間から受信者が画像を観るまでの時間には遅延が生じる。その上、送信者に受信者からの返事が返ってくるのはさらに遅れることとなる。ところが、送信者が、その遅延時間を気にせずに、受信者がその場にいるかのごとく、対象物にカメラに向けていくと、送信者が見せたつもりの対象物を、受信者が認識できているとは限らず、送信者と受信者の間で注目している画像が一致しないという問題がある。

また、携帯型テレビ電話装置では、対象物の撮像時に使用者の手がぶれる虞があり、この手ぶれによって受信側での表示画像が乱れるという問題もある。

本発明は、このような事情を考慮してなされたもので、その目的は、送信者と受信者の間で、注目する画像を容易に一致させることができる通信装置および通信システムを提供することにある。

上記の課題を解決するために、請求項１に記載の通信装置は、画像入力手段と操作手段を備える通信装置において、前記画像入力手段により入力している画像のデータを、他方の通信装置に送信する送信手段と、前記送信手段で前記他方の通信装置に前記画像のデータを送信しているときに、前記操作手段による操作によって、前記他方の通信装置で記憶対象となる画像のデータに指示情報を付加する付加手段と、前記付加手段で前記指示情報が付加された画像のデータを、前記送信手段で前記他方の通信装置に送信するよう制御する制御手段と、を備えたことを特徴としている。

請求項２に記載の通信装置においては、前記指示情報とは、指示番号を意味し、前記操作手段による操作の度に当該指示番号は更新される、ことを特徴とする。

請求項３に記載の通信装置においては、前記付加手段は、前記操作手段による操作が継続している場合、当該継続している期間に前記画像入力手段により入力された画像のデータに、前記指示情報を付加する、ことを特徴とする。

請求項４に記載の通信装置においては、前記付加手段により前記指示情報が付加された画像のデータから、一定期間に前記画像入力手段により入力された画像のデータを、前記他方の通信装置に記憶させる、ことを特徴とする。

請求項５に記載の通信装置においては、前記画像入力手段により入力した画像内のエッジの先鋭度を計測し、前記操作手段による操作が継続している期間には、当該期間内に送信した画像のデータの先鋭度に比べて高い先鋭度を有する画像のデータのみを送信する、ことを特徴とする。

上記の課題を解決するために、請求項６に記載の通信システムは、画像入力手段と操作手段を備える第１の通信装置と、画像表示手段を備える第２の通信装置からなる通信システムにおいて、前記第１の通信装置が、前記画像入力手段により入力している画像のデータを、前記第２の通信装置に送信する送信手段と、前記第１の通信装置が、前記送信手段で前記第２の通信装置に前記画像のデータを送信しているときに、前記操作手段による操作によって、前記第２の通信装置で記憶対象となる画像のデータに指示情報を付加する付加手段と、前記第２の通信装置が、前記付加手段で前記指示情報が付加された画像のデータを、前記送信手段で前記第２の通信装置に送信するよう制御する制御手段と、前記第２の通信装置が、前記第１の通信装置から送信された画像のデータを受信する受信手段と、前記第２の通信装置が、前記指示情報が付加された画像のデータを記憶する記憶手段と、を備えたことを特徴としている。

本発明によれば、送信者と受信者の間で、注目する画像を容易に一致させることができる。また、本発明により増加する送信データは、符号化データに付加する指示番号等の僅かな情報であるので、注目する画像の指示および選択に伴う伝送効率の低下は軽微なものである。

また、前回送信した画像より高い先鋭度を有する入力画像のみを送信するので、受信側の表示画像は次第に鮮明度が向上する。これにより、例えば携帯型テレビ電話装置では対象物を撮像する際に手ぶれが発生しやすいが、この手ぶれ等による撮像時の画像の乱れがそのまま受信側に伝達されることを防止し、受信側の表示画像が安定するという効果が得られる。

以下、図面を参照し、本発明の実施形態について順次説明する。

図１は、本発明の第１の実施形態による携帯型テレビ電話装置２００の基本的な構成を示すブロック図である。図１において、画像符号化部１は、画像入力部６により入力した画像情報を符号化し、画像符号化データを出力する。音声符号化部２は、音声入力部５により入力した音声情報を符号化し、音声符号化データを出力する。それら画像符号化データと音声符号化データは、多重化・分離部１２により多重化され、無線処理部１３及びアンテナ部４を介して無線送信される。

また、アンテナ部４及び無線処理部１３により受信した符号化データは、多重化・分離部１２により画像符号化データと音声符号化データに分離される。画像復号部９は分離後の画像符号化データを復号する。画像出力部７は、復号後の画像データを表示出力する。また、音声復号部１０は分離後の音声符号化データを復号する。音声出力部８は復号後の音声データを再生出力する。

画像出力部７は、ピクチャインピクチャ機能により、画像入力部６の入力画像を受信した画像と共に表示出力することができる。

制御部２１は画像入力部６の入力画像に対応する指示番号の管理を行う。制御部２１は、操作部３の指示キー押下により指示信号が入力した場合、指示番号を更新し、更新後の指示番号と画像入力部６の現在の入力画像を対応付けて選択画像記憶部２０に記憶する。また、指示信号の入力が継続している間は、入力画像に対し同じ指示信号を対応付ける。そして、制御部２１は、該指示番号を多重化・分離部１２へ出力する。多重化・分離部１２は、該入力画像の画像符号化データを多重化する際に、制御部２１から受け取った指示番号を送信データに付加する。

また、指示番号が付加されている画像符号化データを受信した場合、制御部２１は、多重化・分離部１２から画像符号化データと指示番号を受け取り、選択画像記憶部２０に記憶する。制御部２１は、この選択画像記憶部２０に記憶されている各受信画像を操作部３のキー操作に基づいて画像出力部７に表示させる。これにより、使用者は、操作部３のキー操作により、指示番号が付加されていた各受信画像を表示させて、目的とする画像を選択することができる。制御部２１は、操作部３から画像選択決定の指示を受け取ると、該選択された受信画像に付加されていた指示番号を選択番号として送信する。

また、制御部２１は、指示番号が付加されていた受信画像を該指示番号とともに一定期間表示出力する。これにより、使用者の視認性を向上させることが可能となる。

一方、選択番号を受信した場合、制御部２１は、該選択番号に一致する指示番号が付加されている画像を選択画像記憶部２０から読み出して、画像出力部７に選択された画像として表示出力させる。

なお、制御部２１は、指示番号に対応させて動画像を選択画像記憶部２０に記憶するようにしてもよい。例えば、画像送信側の制御部２１が、指示キー押下時に指示番号を送信し、次いで該指示キーの解放時に該送信した指示番号の解除コードを送信し、その指示キー押下時点から解放時点までの入力動画像を当該指示番号に対応させて選択画像記憶部２０に記憶する。同様に、画像受信側の制御部２１は、指示番号の受信時点から解除コードを受信するまでに受信した動画像を当該指示番号に対応させて選択画像記憶部２０に記憶する。あるいは、画像送信側では指示キー押下時点から一定期間の動画像を、同様に画像受信側では指示番号の受信時点から一定期間の動画像を、それぞれ選択画像記憶部２０に記憶するようにしてもよい。

次に、図２を参照して、上述した携帯型テレビ電話装置２００の動作を説明する。図２は、図１に示す携帯型テレビ電話装置２００により画像を送受する処理の流れを説明するための図である。

図２において、指示画像送信側の操作者１０２は、携帯型テレビ電話装置２００−１を用いて指示対象１０５を撮像している際に、指示キーを押下する。これにより、携帯型テレビ電話装置２００−１は、指示キーが押下されたときに撮像した画像の符号化データに指示番号１を付加して送信する（ステップＳ１）。次いで、指示対象１０３を撮像している際に、操作者１０２が指示キーを押下すると、携帯型テレビ電話装置２００−１は、該押下されたときに撮像した画像の符号化データに指示番号２を付加して各々送信する（ステップＳ２）。次いで、指示対象１０４を撮像している際に、操作者１０２が指示キーを押下すると、携帯型テレビ電話装置２００−１は、該押下されたときに撮像した画像の符号化データに指示番号３を付加して送信する（ステップＳ３）。

次いで、指示画像受信側において、指示番号１，２，３が付加されている各画像符号化データを受信すると、携帯型テレビ電話装置２００−２は、その表示部に、各々の指示対象１０５、１０３、１０４の復号画像を対応する指示番号１，２，３とともに、順次表示する（ステップＳ４）。次いで、指示画像受信側の操作者１０７は、携帯型テレビ電話装置２００−２の表示部に表示された指示対象から目的とする画像を選択する。例えば、指示対象１０３を選択した場合（図２の例）、当該画像符号化データに付加されてきた指示番号２を選択番号として指示画像送信側に送信する（ステップＳ５）。

次いで、指示画像送信側の携帯型テレビ電話装置２００−１は、選択番号２を受信すると、対応する指示番号２に関連付けて記憶されている画像を選択画像記憶部２０から読み出し、指示番号２とともに表示部に表示する（ステップＳ６）。これにより、指示画像送信側の操作者１０２は、通信相手である操作者１０７が指示番号２に対応する指示対象１０３を希望していると、明確に把握することができる。

このように本実施形態によれば、送信者と受信者の間で、注目する画像を容易に一致させることが可能となる。

なお、指示画像受信側の操作者１０７は、指示番号とともに受信した画像の中から所望の画像を選択する際、選択キーとして、上下キーないしスクロールキーで、受信した画像をスクロール表示し、目的とする画像の表示時に決定キーを押下することにより選択することができる。

また、テンキーで所望の画像の指示番号を入力して決定キーを押下することにより選択可能なようにしてもよい。

また、選択可能な画像の個数を１０個以下と限定して選択番号を０〜９の中から割り当てるようにし、目的とする選択番号に一致するテンキーを押下することにより、画像を選択するようにしてもよい。

なお、指示画像受信側の操作者１０７は、選択番号を音声により指示画像送信側の操作者１０２へ通知してもよい。

また、指示画像送信側の携帯型テレビ電話装置２００−１は、受信した選択番号のみを表示するようにしてもよい。ただし、上記実施形態のように、受信した選択番号に対応する選択画像記憶部２０の画像とともに、その指示番号を表示するのがより好ましい。

次に、本発明の第２の実施形態について説明する。図３は、本発明の第２の実施形態による携帯型テレビ電話装置の概略構成を示すブロック図である。第２の実施形態による携帯型テレビ電話装置は、上記図１に示す第１の実施形態による携帯型テレビ電話装置と略同様の構成であり、図３にはその異なる構成に係る部分のみを示している。図３において、図１の各部に対応する部分には同一の符号を付け、その説明を省略する。

図３に示すように、第２の実施形態による携帯型テレビ電話装置は、切替部３０と先鋭度判定部３１とフリーズ画像記憶部３２を備える。

先鋭度判定部３１は、操作部３の指示キーが押下されると、画像入力部６により入力した画像内のエッジの先鋭度を計測する。そして、最新の入力画像の先鋭度が指示キーの押下継続中のいずれの入力画像の先鋭度よりも高い場合に、該最新の入力画像をフリーズ画像記憶部３２に書き込み、これによりフリーズ画像記憶部３２で保持する画像を随時更新する。

切替部３０は、画像入力部６からの入力画像とフリーズ画像記憶部３２に保持されている画像を入力し、制御部２２の切替制御に従っていずれかの画像を画像符号化部１へ出力する。制御部２２は、指示キーが押下されている期間においてはフリーズ画像記憶部３２に保持されている画像を画像符号化部１の入力画像として出力させる。一方、指示キーが押下されていない期間には画像入力部６からの入力画像を画像符号化部１へ出力させる。また、フリーズ画像記憶部３２に保持されている画像を、指示番号と共に、選択画像記憶部２０に記憶させる。これにより、手ぶれ等により乱れた入力画像のうち、もっとも鮮明な画像が指示画像として送信される。

また、画像符号化部１への入力画像としてフリーズ画像記憶部３２の画像を使用することによって、符号化対象の画像は擬似的に静止画像となり、符号化処理の入力画像が固定化される。このため、画像符号化部１は、符号化誤差分を順次補正した符号化データを出力し、これら符号化データを受信して復号する受信側では、復号された表示画像の鮮明度は次第に上がっていくことになる。そして、送信側から指示キーが解放されたことを示す送信コードを送信し、受信側では、受信した送信コードに基づいて対象となる画像の復号を停止することにより、指示番号に関連付けられる復号画像が最も鮮明な静止画像として得られる。これにより、操作者の手ぶれなどによる画像の画質の悪化を抑えることが可能となる。また、指示キー押下の際に、対象物が暗い場合、フラッシュの発光、ライトの点
灯により、より画像の鮮明度を向上することが可能である。

なお、通信の終了時に、該通信期間に選択画像記憶部２０に保持した指示番号及び画像情報に対して、保持順序に対応する削除予定フラグを付加し、選択画像記憶部２０に空き容量がない場合に、削除予定フラグに基づいて選択画像記憶手段に保持している最古の情報を削除するようにしてもよい。あるいは、対応する選択番号を受信していない指示番号に係る情報であって削除予定フラグに基づく最古の情報を削除するようにしてもよい。

また、発信動作時または着信応答時に、選択画像記憶部２０に保持している指示番号及び画像情報を消去し、指示番号を初期化するようにしてもよい。

以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

本発明の第１の実施形態による携帯型テレビ電話装置２００の基本的な構成を示すブロック図である。 図１に示す携帯型テレビ電話装置２００により画像を送受する処理の流れを説明するための図である。 本発明の第２の実施形態による携帯型テレビ電話装置の概略構成を示すブロック図である。

符号の説明

１…画像符号化部、２…音声符号化部、３…操作部、４…アンテナ部、５…音声入力部、６…画像入力部、７…画像出力部、８…音声出力部、９…画像復号部、１０…音声復号部、１２…多重化・分離部、１３…無線処理部、２０…選択画像記憶部、２１，２２…制御部、３０…切替部、３１…先鋭度判定部、３２…フリーズ画像記憶部、２００，２００−１，２００−２…携帯型テレビ電話装置、１０３〜１０５…指示対象

Claims (6)

1. 画像入力手段と操作手段を備える通信装置において、
   前記画像入力手段により入力している画像のデータを、他方の通信装置に送信する送信手段と、
   前記送信手段で前記他方の通信装置に前記画像のデータを送信しているときに、前記操作手段による操作によって、前記他方の通信装置で記憶対象となる画像のデータに指示情報を付加する付加手段と、
   前記付加手段で前記指示情報が付加された画像のデータを、前記送信手段で前記他方の通信装置に送信するよう制御する制御手段と、
   を備えたことを特徴とする通信装置。
2. 前記指示情報とは、指示番号を意味し、前記操作手段による操作の度に当該指示番号は更新される、
   ことを特徴とする請求項１に記載の通信装置。
3. 前記付加手段は、
   前記操作手段による操作が継続している場合、当該継続している期間に前記画像入力手段により入力された画像のデータに、前記指示情報を付加する、
   ことを特徴とする請求項１または２に記載の通信装置。
4. 前記付加手段により前記指示情報が付加された画像のデータから、一定期間に前記画像入力手段により入力された画像のデータを、前記他方の通信装置に記憶させる、
   ことを特徴とする請求項１または２に記載の通信装置。
5. 前記画像入力手段により入力した画像内のエッジの先鋭度を計測し、前記操作手段による操作が継続している期間には、当該期間内に送信した画像のデータの先鋭度に比べて高い先鋭度を有する画像のデータのみを送信する、
   ことを特徴とする請求項１乃至４のいずれかの一項に記載の通信装置。
6. 画像入力手段と操作手段を備える第１の通信装置と、画像表示手段を備える第２の通信装置からなる通信システムにおいて、
   前記第１の通信装置が、前記画像入力手段により入力している画像のデータを、前記第２の通信装置に送信する送信手段と、
   前記第１の通信装置が、前記送信手段で前記第２の通信装置に前記画像のデータを送信しているときに、前記操作手段による操作によって、前記第２の通信装置で記憶対象となる画像のデータに指示情報を付加する付加手段と、
   前記第２の通信装置が、前記付加手段で前記指示情報が付加された画像のデータを、前記送信手段で前記第２の通信装置に送信するよう制御する制御手段と、
   前記第２の通信装置が、前記第１の通信装置から送信された画像のデータを受信する受信手段と、
   前記第２の通信装置が、前記指示情報が付加された画像のデータを記憶する記憶手段と、
   を備えたことを特徴とする通信システム。