JP4571733B2

JP4571733B2 - Information processing apparatus and information processing method

Info

Publication number: JP4571733B2
Application number: JP2000232398A
Authority: JP
Inventors: 進藤岡
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2000-07-31
Filing date: 2000-07-31
Publication date: 2010-10-27
Anticipated expiration: 2020-07-31
Also published as: JP2002051312A

Description

【０００１】
【発明の属する技術分野】
この発明は、情報処理装置および情報処理方法に関する。
【０００２】
【従来の技術】
従来、携帯電話やＰＨＳ（Personal Handyphone System）などの移動体情報処理サービスを利用して、音声データの送受信だけではなく、文章や画像などの非音声データも送受信できる情報処理端末が登場し、さらに、ＣＣＤ（Charge Coupled Device）などの撮影部を備えた情報処理端末も普及してきている。
【０００３】
このようなモバイル端末においては、単一の伝送路を共有して音声データと画像データとを送信するが、会話（音声データの送受信）によるコミュニケーションを遮断しないように、音声データと画像データとを多重化して送信することが一般的におこなわれている。また、音声データに比較して大きなデータ量を有する画像データを効率良く送信するために、種々の送信技術（たとえば、特開平８−２７９８３５号公報、特開平９−２６１１９７号公報、特開平１０−２２９３７５号公報などに開示された送信技術）が提案されている。以下、これらの従来技術について簡単に説明する。
【０００４】
まず最初に、特開平８−２７９８３５号公報には、音声データの有無、すなわち無音期間を検出する送信技術が開示されている。すなわち、この従来技術においては、音声の無音期間を検出し、無音期間中は、音声データの送信（音声データと画像データの多重化送信）を中断して、画像データのみを送信することによって、画像データを効率良く送信している。
【０００５】
また、特開平９−２６１１９７号公報には、音声データを圧縮する送信技術が開示されている。すなわち、この従来技術においては、送信する画像データが大きい場合に、音声データを圧縮して音声データの伝送帯域幅を小さくすること（画像データの伝送帯域幅を大きくすること）によって、画像データを効率良く送信している。
【０００６】
また、特開平１０−２２９３７５号公報には、画像データを優先的に送信するか否かを選択させる送信技術が開示されている。すなわち、この従来技術においては、送信する画像データのデータ量が大量に蓄積されている場合に、画像データの優先的送信を選択させ、この選択がなされると、音声データの送信を中断して、画像データのみを送信することによって、画像データを効率良く送信している。
【０００７】
【発明が解消しようとする課題】
しかしながら、上記の従来技術は、送信する画像データのデータ量が大きい場合に、通信相手が画像データの内容を理解して円滑に会話できるようになるまでに長時間を要するという問題点があった。
【０００８】
すなわち、特開平８−２７９８３５号公報に開示された従来技術は、無音期間中に、画像データのみを送信している。しかし、話者の周囲が騒々しい環境であって、会話はしていないが有音期間として検出される場合には、画像データを音声データと多重化して送信せざるを得ない。このため、画像データのデータ量が大きい場合には、通信相手に画像データが送信されるまでの時間が長くなってしまう。したがって、通信相手が画像データの内容を理解して円滑に会話できるようになるまでに長時間を要していた。また、この結果として、通信時間が長くなり通信費用も高くなっていた。
【０００９】
また、特開平９−２６１１９７号公報に開示された従来技術は、送信する画像データが大きい場合に、音声データを圧縮して画像データの伝送帯域幅を大きくしている。しかし、デジタル携帯電話サービスのＰＤＣ(Personal Digital Cellular)などのように伝送路の帯域幅が小さい場合には、音声信号の圧縮による画像データ伝送帯域幅の拡大にも限界がある。このため、画像データのデータ量が大きい場合には、通信相手に画像データが送信されるまでの時間が長くなってしまう。したがって、上記の従来技術（特開平８−２７９８３５号公報に開示された従来技術）と同様に、通信相手が画像データの内容を理解して円滑に会話できるようになるまでに長時間を要し、結果として、通信時間が長くなり通信費用も高くなっていた。
【００１０】
また、特開平１０−２２９３７５号公報に開示された従来技術は、画像データのデータ量が大きい場合に、画像データの優先的送信を選択させて、画像データのみを送信している。しかし、画像データのデータ量が大きい場合に画像データのみを優先的に送信するものであるため、会話によるコミュニケーションが長時間にわたって遮断されてしまうこととなる。また、画像データのデータ量が大きいと、通信相手に画像データが送信されるまでの時間が長くなってしまうため、上記の従来技術（特開平８−２７９８３５号公報に開示された従来技術）と同様に、通信相手が画像データの内容を理解して円滑に会話できるようになるまでに長時間を要し、結果として、通信時間が長くなり通信費用も高くなっていた。
【００１１】
ところで、近年、ＣＣＤなどの撮像素子の高画素化にともなって、画像データのデータ量も大きくなってきており、上述した従来技術の問題点は、一層顕著である。特に、撮影部を備える情報処理端末においては、通話中に撮影した画像データを通信相手に送信し、早急に画像データの内容を理解して円滑に会話できることが要望されている。しかし、上述したように、上記の従来技術では、通信相手が画像データの内容を理解して円滑に会話できるようになるまでに長時間を要するため、このような要望に応えることが困難であった。
【００１２】
そこで、この発明は、上述した従来技術による問題点を解決するため、送受信される画像データの内容を早急に理解して、円滑な会話をおこなうことができる情報処理装置および情報処理方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、請求項１の発明に係る情報処理装置は、単一の伝送路を用いて、音声データと画像データとを同時送信する情報処理装置において、前記画像データにかかる画像を表示する表示手段と、前記表示手段に表示された前記画像データにかかる画像の一部を形成するオブジェクト画像を、当該オブジェクト画像の輪郭線の位置データを基に抽出された前記オブジェクト画像を含む矩形領域で指定する指定手段と、前記指定手段によって前記オブジェクト画像にかかる情報が指定された場合に、前記音声データの送信を中止して、前記オブジェクト画像にかかる情報を前記伝送路を介して送信し、前記指定手段によって指定された前記オブジェクト画像にかかる情報の送信が終了すると、前記音声データの送信を再開するとともに前記画像データにかかる情報を送信する送信制御手段と、を備えたことを特徴とする。
【００１４】
また、請求項２記載の発明は、請求項１に記載の情報処理装置において、前記送信制御手段が送信する前記オブジェクト画像にかかる情報は、前記矩形領域内で、前記オブジェクト画像の輪郭線の外側にある画素のデータ値を全てゼロに置き換えた矩形画像データである、ことを特徴とする。
【００１５】
また、請求項３の発明に係る情報処理装置は、請求項１または２に記載の発明において、前記指定手段によって指定された前記オブジェクト画像にかかる情報の送信操作が行われた場合に、音声ミュート要求を出力する手段を備え、前記送信制御手段は、前記音声ミュート要求を受け取ると、前記音声データの送信を停止する、ことを特徴とする。
【００１６】
また、請求項４の発明に係る情報処理装置は、請求項３に記載の発明において、前記指定手段によって指定された前記オブジェクト画像にかかる情報の送信が終了した場合に、音声ミュート解除要求を出力する手段を備え、前記送信制御手段は、前記音声ミュート解除要求を受け取ると、前記音声データの送信を再開する、ことを特徴とする。
【００１７】
また、請求項５の発明に係る情報処理方法は、単一の伝送路を用いて、音声データと画像データとを同時送信する情報処理装置で実行される情報処理方法であって、前記画像データにかかる画像を表示する表示工程と、前記表示工程により表示された前記画像データにかかる画像の一部を形成するオブジェクト画像を、当該オブジェクト画像の輪郭線の位置データを基に抽出された前記オブジェクト画像を含む矩形領域で指定する指定工程と、前記指定工程によって前記オブジェクト画像にかかる情報が指定された場合に、前記音声データの送信を中止して、前記オブジェクト画像にかかる情報を前記伝送路を介して送信し、前記指定工程によって指定された前記オブジェクト画像にかかる情報の送信が終了すると、前記音声データの送信を再開するとともに前記画像データにかかる情報を送信する送信制御工程と、を含むことを特徴とする。
【００１８】
また、請求項６の発明に係る情報処理方法は、請求項５に記載の発明において、前記送信制御工程で送信される前記オブジェクト画像にかかる情報は、前記矩形領域内で、前記オブジェクト画像の輪郭線の外側にある画素のデータ値を全てゼロに置き換えた矩形画像データである、ことを特徴とする。
【００１９】
また、請求項７の発明に係る情報処理方法は、請求項５または６に記載の発明において、前記指定工程で指定された前記オブジェクト画像にかかる情報の送信操作が行われた場合に、音声ミュート要求を出力する工程を含み、前記送信制御工程は、前記音声ミュート要求を受け取ると、前記音声データの送信を停止する、ことを特徴とする。
【００２０】
また、請求項８の発明に係る情報処理方法は、請求項７に記載の発明において、前記指定工程で指定された前記オブジェクト画像にかかる情報の送信が終了した場合に、音声ミュート解除要求を出力する工程を含み、前記送信制御工程は、前記音声ミュート解除要求を受け取ると、前記音声データの送信を再開する、ことを特徴とする。
【００３４】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る情報処理装置および情報処理方法の好適な実施の形態を詳細に説明する。
【００３５】
なお、本実施の形態では、本発明を、ＰＳＴＮや携帯電話サービスのＰＤＣ(Personal Digital Cellular)などの比較的低いビットレート回線に接続して、音声データ（リアルタイム性が要求される情報）と画像データ（リアルタイム性が要求されない情報）とを同時に送受信するモバイル端末に適用した場合を示すこととする。
【００３６】
ただし、本実施の形態によって本発明が限定されるものではなく、たとえば、ＰＤＡ（Personal Digital Assistants）、ＴＶ電話、ＴＶ会議システムなど、リアルタイム性が要求される情報（たとえば、音声情報など）とリアルタイム性が要求されない情報（たとえば、画像情報、文章情報、音楽情報など）とを同時に送受信する、あらゆる情報処理に適用することができる。
【００３７】
以下、本発明の実施の形態について、［モバイル端末の構成例］と、［データ通信プロトコルの構成例］と、［データ通信プロトコルを用いた通信例］と、［モバイル端末の動作例（動作例１〜動作例８）］とを順に説明する。
【００３８】
［モバイル端末の構成例］
まず最初に、図１および図２を参照して、本実施の形態に用いられるモバイル端末の概略的な構成および処理の内容を説明する。図１は、本実施の形態に用いられるモバイル端末の構成を示すブロック図である。また、図２は、本実施の形態に用いられるモバイル端末の外観を示す図であり、詳細には、図２（ａ）は、モバイル端末の正面図であり、図２（ｂ）は、モバイル端末の背面図である。なお、図２においては、便宜上、各種の操作ボタンなどの図示を省略している。
【００３９】
本実施の形態に用いられるモバイル端末１は、図１に示すように、画像入力部２と、画像処理部３と、表示部４と、画像メモリ２５と、音声入力部３８と、音声処理部３０と、音声出力部３９と、操作部５と、通信部６と、制御部７とを、バス３６を介して、データ授受可能に接続して構成される。
【００４０】
そして、概略的には、本実施の形態に用いられるモバイル端末１は、音声入力部３８によって入力した音声データや画像入力部２などによって入力した画像データなどを、通信部６によって伝送路に送り出すとともに、通信部６を介して伝送路から送られてくる音声データや画像データを、音声出力部３９や表示部４によって出力する。
【００４１】
ここで、本実施の形態に用いられるモバイル端末１は、制御部７における送信制御処理に特徴があり、具体的には、音声データと画像データとの多重化送信に先立って、音声データの送信を停止し、画像データに関する要約や画像データの主要部分などを、送信相手に早急に送信するよう構成している。
【００４２】
次に、図１を参照して、本実施の形態に用いられるモバイル端末１における各部の具体的な構成および処理の内容を順に説明する。画像入力部２は、図１に示すように、レンズ１１と、メカ機構１２と、ＣＣＤ（Charge Coupled Device）１３と、ＣＤＳ回路（Correlated Double Sampling：相関二重サンプリング回路）１４と、Ａ／Ｄ変換器１５と、モータドライバ１６と、制御信号生成部１７とを備えて構成される。
【００４３】
この画像入力部２において、レンズ１１は、被写体像をＣＣＤ１３上に結像するためのレンズである。また、メカ機構１２は、メカニカルシャッター、オートフォーカス機構、絞り機構、およびフィルターを含む機構である。また、ＣＣＤ１３は、レンズ１１とメカ機構１２を介して入力された映像（被写体像）を電気信号（アナログ画像信号）に変換する回路である。
【００４４】
また、画像入力部２において、ＣＤＳ回路１４は、ＣＣＤ型撮像素子に対する低雑音化をおこなう回路である。また、Ａ／Ｄ変換器１５は、ＣＤＳ回路１４を介して入力されたＣＣＤ１３からのアナログ画像信号をデジタル画像データに変換する回路である。なお、このＡ／Ｄ変換器１５によって変換された画像データは、画像処理部３に送られて、各種の画像処理がおこなわれる。
【００４５】
また、画像入力部２において、モータドライバ１６は、レンズ１１を移動させてズームやフォーカスなどをおこなう駆動部である。また、制御信号生成部１７は、ＣＣＤ１３、ＣＤＳ回路１４、およびＡ／Ｄ変換器１５の動作タイミングを制御する信号を生成する処理部である。
【００４６】
画像処理部３は、図１に示すように、デジタル信号処理部１８と、画像圧縮伸長処理部１９とを備えて構成される。この画像処理部３において、デジタル信号処理部１８は、Ａ／Ｄ変換器１５から入力したデジタル画像データについて、色差（Ｃｂ，Ｃｒ）と輝度（Ｙ）に分けて各種処理、補正および画像圧縮／伸長のためのデータ処理をおこなう処理部である。
【００４７】
また、画像処理部３において、画像圧縮伸長処理部１９は、デジタル信号処理部１８から送られてくる画像データや、通信部６を介して外部のモバイル端末１などから送られてくる画像データに対し、ＪＰＥＧ準拠の符号化や復号化をおこなう処理部である。なお、ＪＰＥＧの符号化モードとしては、ＤＣＴ利用型シーケンシャルモードと階層型モード（ハイアラーキカルモード）との両方を実行できる。
【００４８】
画像メモリ２５は、画像入力部２から入力した画像データが画像処理部３によって画像処理された画像データや、通信部６から入力した画像データなどを記憶するフラッシュメモリである。この画像メモリ２５に記憶する画像フォーマットとしては、ＪＰＥＧの階層型モードやFlashPixなどを適用できる。なお、本実施の形態では、画像データのみを記憶する場合を示したが、音声データや文章データを記憶することも可能である。
【００４９】
音声入力部３８は、通話音声を入力するものであり、音声出力部３９は、通信部６を介して受信した通話相手の音声（相手端末から受信した音声データ）を出力するものであり、本実施の形態では、図２に示すように、イヤホンマイクとして構成される。
【００５０】
音声処理部３０は、音声入力部３８（イヤホンマイク）から入力される音声信号をＡ／Ｄ（Analog／Digital）変換し、このデジタル音声データをITU-T勧告G.723.1に従って符号化をおこなうとともに、相手端末から受信される符号化された音声データをITU-T勧告G.723.1に従って復号化し、この復号化された音声データをＤ／Ａ（Digital／Analog）変換する処理部である。
【００５１】
表示部４は、図１に示すように、ファインダ表示制御部２６と、電子ビューファインダ３１と、ＬＣＤ表示制御部２７と、ＬＣＤ３２とを備えて構成される。
この表示部４において、ファインダ表示制御部２６は、デジタル信号処理部１８から入力された被写体画像データとその中の任意の領域を指示するための矩形（グラフィック）データとを合成して電子ビューファインダ３１に表示するための制御をおこなう処理部である。また、ＬＣＤ表示制御部２７は、画像メモリ２５に記憶された画像データや操作メニューなどをＬＣＤ３２に表示するための制御をおこなう処理部である。
【００５２】
操作部５は、図１に示すように、操作指示部２９と、タッチパネル３３と、タッチパネル制御部２８とを備えて構成される。この操作部５において、タッチパネル制御部２８は、タッチパネル３３上で電子ペンのペン先や指など（図示を省略）が接触した部分を検出し、その位置情報を取り込むものであり、タッチパネル３３はＬＣＤ３２と重ね合わせて密着されている。また、操作指示部２９は、機能選択や撮影指示などの操作や、電子ビューファインダ３１に表示される矩形領域を指定するための操作などを、指示するための各種操作スイッチを備えるユーザーインタフェースである。
【００５３】
通信部６は、図１に示すように、カードインタフェース２０と、カード用アダプタ２１と、ＰＣカード３７とを備えて構成される。この通信部６において、カードインタフェース２０は、ＰＣＭＣＩＡ（Personal Computer Memory Card International Association）規格に準拠したＰＣカードとのインタフェース動作を実行する処理部である。
【００５４】
また、通信部６において、ＰＣカード３７は、デジタル携帯電話サービスのＰＤＣやＰＨＳなどを利用して無線データ通信を行うためのアンテナ内蔵型のデータ通信カードや、ＰＳＴＮに接続してデータ通信を行うためのモデムカードや、画像データを記憶するメモリカードなどである。このＰＣカード３７は、ＰＣＭＣＩＡ規格に準拠しており、カード用アダプタ２１に接続される。
【００５５】
制御部７は、図１に示すように、ＣＰＵ２２と、メインメモリ２３と、ＲＯＭ２４とを備えて構成され、モバイル端末１の各部の動作を制御するものである。
この制御部７において、メインメモリ２３は、ＤＲＡＭ（Dynamic Random Access Memory）により構成され、ＣＰＵ２２のワークエリアとして使用される。また、ＲＯＭ２４には、モバイル端末１を制御するための各種プログラムがあらかじめ書き込まれている。
【００５６】
なお、図１に示したバッテリ３５は、たとえば、ニッケル水素電池、リチウム電池などであり、ＤＣ−ＤＣコンバータ３４を介して、電流をモバイル端末１の内部に供給する。
【００５７】
［データ通信プロトコルの構成例］
次に、図３を参照して、本実施の形態に用いられるモバイル端末１におけるデータ通信プロトコルの構成を説明する。なお、本実施の形態では、ITU-T勧告G.723.1に従って符号化された音声データとＪＰＥＧファイルなどのデータとを多重化して送信する場合におけるデータ通信プロトコルの構成について説明する。また、移動通信回線を使用して音声データとファイルなどのデータとを多重化して送信する場合、ＰＤＣのデータ通信サービスやＰＨＳのＰＩＡＦＳ（PHS Internet Access Forum Standard）などの、移動通信事業者の提供するデータ通信サービスを利用することになるが、本実施の形態では、ＰＤＣのデータ通信サービスを利用する場合におけるデータ通信プロトコルの構成について説明する。
【００５８】
図３は、データ通信プロトコルの構成を示すブロック図であり、詳細には、ＰＤＣのデータ通信サービスを利用して、ITU-T勧告G.723.1に従って符号化された音声データとＪＰＥＧファイルなどのデータとを多重化して送信する場合におけるデータ通信プロトコルの構成を示すブロック図である。
【００５９】
図３に示すように、データ通信プロトコルは、通信制御をおこなうブロック４０と、バイナリデータの転送をおこなうブロック４１と、ITU-T勧告G.723.1の音声符号化および復号化をおこなうブロック４２と、H.223実行部５１と、V.42実行部５２と、物理レイヤ５３とから構成される。以下、各部の具体的な構成と処理の内容を順に説明する。
【００６０】
図３に示すデータ通信プロトコルにおいて、ブロック４０は、通信制御アプリケーション４３と、H.245実行部４４と、CCSRL（Control Channel Segmentation and Reassembly Layer）４５と、LAPM実行部４６とから構成され、データ通信コネクションの確立や解放などの通信制御を実行する。
【００６１】
具体的には、通信制御アプリケーション４３は、データ通信コネクションの確立や解放などの通信制御を実行する。また、H.245実行部４４は、ITU-T勧告H.245に準拠した動作を実行する。また、CCSRL４５は、H.245実行部４４から受け取ったＳＤＵ（Service Data Unit）を１つまたは複数のＰＤＵ（Protocol Data Unit）に分割するとともに、LAPM実行部４６から受け取った１つまたは複数のＰＤＵから１つのＳＤＵを生成する。また、LAPM実行部４６は、ITU-T勧告V.42の中で規定された誤り訂正手順であるLAPM（Link Access Procedures for Modems）を実行する。
【００６２】
また、図３に示すデータ通信プロトコルにおいて、ブロック４１は、バイナリデータ転送アプリケーション４７と、X.225実行部４８とから構成され、静止画像ファイルなどのバイナリデータの転送を実行する。具体的には、バイナリデータ転送アプリケーション４７は、バイナリファイル転送フォーマットとしてITU-T勧告T.434を使用して、静止画像ファイルなどのバイナリデータの転送を実行する。また、X.225実行部４８は、ITU-T勧告X.225に準拠したセッションレイヤの動作を実行する。
【００６３】
また、図３に示すデータ通信プロトコルにおいて、ブロック４２は、オーディオI/O４９と、G.723.1実行部５０とから構成され、ITU-T勧告G.723.1の音声符号化および復号化を実行する。具体的には、オーディオI/O４９は、イヤホンマイクに該当し、G.723.1実行部５０は、音声処理部３０に該当する。なお、ITU-T勧告G.723.1では、音声データを5.3Kbit/sまたは6.3Kbit/sで符号化する。
【００６４】
また、図３に示すデータ通信プロトコルにおいて、H.223実行部５１は、アダプテーションレイヤと多重化レイヤとから構成され、ITU-T勧告H.223に準拠した動作を実行する。なお、ITU-T勧告H.223は、モバイル通信用に３つのレベルのプロトコルを規定しており、レベル１が最も誤り耐性が弱く、レベル３が最も誤り耐性が強い。
【００６５】
具体的には、H.223実行部５１におけるH.223レベル３のアダプテーションレイヤは、LAPM実行部４６から受け取った通信制御データとX.225実行部４８から受け取ったバイナリデータとについて、誤り検出、順方向誤り訂正（ＦＥＣ：Forward Error Correction）および再送（ＡＲＱ：Automatic ReQuest for reception）を実行する。また、H.223実行部５１におけるH.223多重化レイヤは、H.223アダプテーションレイヤから受け取った通信制御データ、バイナリデータ、および音声データを多重化するとともに、V.42実行部５２から受け取った多重化データから通信制御データ、バイナリデータ、および音声データを分離してH.223アダプテーションレイヤへ送り出す。
【００６６】
また、図３に示すデータ通信プロトコルにおいて、V.42実行部５２は、通信用のＰＣカード３７に実装されており、ITU-T勧告V.42に準拠した動作を実行して、データの誤り訂正をおこなう。また、物理レイヤ５３も、通信用のＰＣカード３７に実装されており、通信速度に対応したデータの変調をおこなう。
【００６７】
なお、図３に示すデータ通信プロトコルにおいては、呼の接続や解放など、ＡＲＩＢ（Association of Radio Industries and Businesses）標準規格である「デジタル方式自動車電話システム標準規格」（規格番号RCR STD-27G）に準拠した動作を実行する処理部の図示を省略している。また、上記の通信方式では、音声の符号化方式を通信モードに従って適宜切り替えることができるが、本実施の形態では、説明の便宜上、音声の符号化をITU-T勧告G.723.1のみに限定して説明している。
【００６８】
［データ通信プロトコルを用いた通信例］
次に、図４〜図６を参照して、本実施の形態に用いられるモバイル端末１におけるデータ通信プロトコルを用いた通信例を説明する。なお、本実施の形態では、ＰＤＣのデータ通信サービスを利用して、図３に示したデータ通信プロトコルを用いて相手端末と通信する場合を説明する。
【００６９】
まず最初に、相手端末と接続して会話ができる通信状態になるまでの、通信制御アプリケーション４３およびH.245実行部４４の動作を説明する。図４は、相手端末と接続して会話ができる通信状態になるまでのシーケンスを示す図である。同図に示すように、まず、ARIB規格RCR STD-27Gに規定される手順に従って呼を接続し、自端末のV.42実行部５２と相手端末のV.42実行部５２との間でデータリンクコネクションが確立されると、自端末のH.245実行部４４は、TerminalCapabilitySetメッセージを送信し、相手端末から応答メッセージであるTerminalCapabilitySetAckを受信することによって、端末間の能力交換をおこなう。
【００７０】
そして、自端末のH.245実行部４４はMasterSlaveDeterminationメッセージを送信し、相手端末からマスターの決定情報が入ったMasterSlaveDeterminationAckメッセージを受信すると、スレーブの決定情報を入れたMasterSlaveDeterminationAckメッセージを送信することによって、自端末はマスターとなり、相手端末はスレーブとなる。
【００７１】
そして、自端末のH.245実行部４４は、データタイプとしてG.723.1オーディオを含めたOpenLogicalChannelメッセージを送信し、相手端末から応答メッセージであるOpenLogicalChannelAckメッセージを受信することによって、音声チャネルを開設する。
【００７２】
そして、自端末のH.245実行部４４は、MultiplexEntrySendメッセージを送信し、相手端末から応答メッセージであるMultiplexEntrySendAckメッセージを受信して多重化テーブルエントリを決定することによって、音声データ通信を実行可能なフェーズ、すなわち通信相手と会話ができる状態に移行する。なお、図４に示す通信制御アプリケーション４３とH.245実行部４４との間のプリミティブは、ITU-T勧告H.245に規定されたものである。
【００７３】
次に、会話ができる通信状態から音声データと画像データとを多重化して送信できる通信状態になるまでの、通信制御アプリケーション４３およびH.245実行部４４の動作を説明する。図５は、会話ができる通信状態から音声データと画像データとを多重化して送信できる通信状態になるまでのシーケンスを示す図である。
【００７４】
図５に示すように、静止画像データを音声データと多重化して送信する要求が生じた場合、まず、自端末のH.245実行部４４は、データタイプとしてT.434データを含めたOpenLogicalChannelメッセージを送信し、相手端末から応答メッセージであるOpenLogicalChannelAckメッセージを受信することによって、バイナリデータ用のチャネルを開設する。
【００７５】
そして、自端末のH.245実行部４４は、MultiplexEntrySendメッセージを送信し、相手端末から応答メッセージであるMultiplexEntrySendAckメッセージを受信して多重化テーブルエントリを決定することによって、静止画像データと音声データとを多重化して送信できる状態に移行する。なお、図５に示す通信制御アプリケーション４３とH.245実行部４４との間のプリミティブは、ITU-T勧告H.245に規定されたものである。
【００７６】
次に、通信可能状態から通信状態を終了するまでの、通信制御アプリケーション４３およびH.245実行部４４の動作を説明する。図６は、通信可能状態から通信状態を終了するまでのシーケンスを示す図である。同図に示すように、通信を終了する場合、まず、自端末のH.245実行部４４は、音声チャネルとバイナリデータ用のチャネルそれぞれに対してCloseLogicalChannelメッセージを送信し、その応答メッセージであるCloseLogicalChannelAckメッセージを受信することによって、音声チャネルとバイナリデータ用のチャネルを閉じる。
【００７７】
そして、自端末のH.245実行部４４は、EndSessionCommandメッセージを送信して、相手端末へ通信の終了を通知する。そして、V.42実行部５２間のデータリンクコネクションを解放した後、ARIB規格RCR STD-27Gに規定される手順に従って呼を解放する。なお、図６に示すEndSession要求プリミティブおよびEndSession通知プリミティブは、ITU-T勧告H.245に規定されていない、本実施の形態に固有のものである。
【００７８】
［モバイル端末の動作例］
次に、図７〜図１８を参照して、本実施の形態に用いられるモバイル端末１における動作例（動作例１〜動作例８）を説明する。なお、下記に示す動作例１では、画像データのデータ量をチェックして画像データを送信する場合について説明し、動作例２では、解像度の異なる複数のフレームにより構成される画像データを送信する場合について説明し、動作例３では、解像度の異なる複数のサブ画像から構成される画像データを送信する場合について説明する。
【００７９】
また、動作例４では、表示した画像内容の所定部分を矩形領域によって指定しつつ、画像データを送信する場合について説明し、動作例５では、表示した画像の所定部分をオブジェクトによって指定しつつ、画像データを送信する場合について説明する。また、動作例６では、被写体の所定部分を矩形領域によって指定しつつ撮影して画像データを送信する場合について説明し、動作例７では、被写体の所定部分をオブジェクトによって指定しつつ撮影して画像データを送信する場合について説明し、動作例８では、撮影画面の中心部分をオブジェクトによって指定しつつ撮影して画像データを送信する場合について説明する。
【００８０】
（動作例１）
動作例１では、モバイル端末１は、制御部７によって画像データのデータ量が所定量を超えるか否かを判定し、越えない場合には、音声データの送信を停止して画像データのみを送信し、越える場合には、音声データと画像データとを多重化して送信するよう動作する。図７は、モバイル端末１の動作例１を説明するためのフローチャートである。以下、図７を参照して、モバイル端末１の動作例１を説明する。
【００８１】
まず、モバイル端末１は、操作部５を使用して発呼操作が行われたか否かを判断し（ステップＳ７０１）、発呼操作が行われた場合（ステップＳ７０１肯定）、相手端末と呼を接続し、V.42実行部５２間でデータリンクコネクションを確立し、図４に示した通信シーケンスに従って音声データ用のチャネルを開設する（ステップＳ７０２）。
【００８２】
そして、相手と通話している時に画像メモリ２５に記憶されている静止画像ファイルの中から送信するファイルが選択されると（ステップＳ７０３肯定）、そのファイルのデータ量が所定の値よりも小さいか否かを判断する（ステップＳ７０４）。なお、所定の値としては、音声データの送信を停止してそのデータを送信した場合の送信時間（会話ができない時間）などを考慮して定められる。
【００８３】
そして、データ量が予め定められた所定の値よりも小さい場合（ステップＳ７０４肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート要求を出し、H.245実行部４４は、音声チャネルをインアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ７０５）。ここで、呼が接続してから最初のファイル送信の場合には（ステップＳ７０６肯定）、図５に示した通信シーケンスに従ってバイナリデータ用のチャネルを開設する（ステップＳ７０７）。
【００８４】
そして、指定された静止画像ファイルをバイナリデータ用のチャネルで送信し、この送信をおこなっている間、G.723.1実行部５０は、動作を停止して音声データの送信を停止する（ステップＳ７０８）。そして、静止画像ファイルの送信が終了すると（ステップＳ７０９肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート解除要求を出し、H.245実行部４４は、音声チャネルをアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ７１０）。
【００８５】
そして、G.723.1実行部５０は、動作を再開して音声データの送信を再開する（ステップＳ７１１）。なお、バイナリデータ用のチャネルは、次のファイル送信に備えてそのままにしておく。なお、上記のファイル転送の間、すなわち音声がミュートされているとき、ＬＣＤ３２は、音声がミュート状態であることを表すメッセージやアイコンを表示する。これによって、ユーザの利便性を向上させることができる。
【００８６】
一方、選択されたファイルのデータ量が予め定められた所定の値よりも大きい場合において（ステップＳ７０４否定）、呼が接続してから最初のファイル送信の場合（ステップＳ７１２肯定）、図５に示した通信シーケンスに従ってバイナリデータ用のチャネルを開設する（ステップＳ７１３）。そして、指定された静止画像ファイルをバイナリデータ用のチャネルで送信するが、H.223実行部５１は、静止画像ファイルのデータを音声データと多重化して送信する（ステップＳ７１４）。すわなち、会話をしながらファイル転送が実行される。
【００８７】
上述してきたように、動作例１によれば、制御部７は、画像データのデータ量が所定の値より小さいか否かを判定し、所定の値よりも小さいと判定された場合に、画像データのみを送信し、所定の値以上であると判定された場合に、音声データと画像データとを多重化した情報を送信することとしたので、リアルタイム性が要求されない画像データなどのデータ量が少量である場合に、僅かな時間だけ会話（リアルタイム性が要求される音声データの送受信）を中断して、この画像データを早急に会話相手に送信することができる。このため、送信相手は、画像データの内容を早急に理解することができる。したがって、画像データの内容を考慮した円滑な会話をおこなって、通信時間および通信費用を低減することができる。
【００８８】
（動作例２）
動作例２では、モバイル端末１は、画像メモリ２５にて解像度の異なる複数のフレームにより構成される画像データを記憶し、この画像データのうち所定のフレームまでの画像データの送信については、音声データの送信を停止しておこない、残りのフレームの画像データの送信については、音声データと多重化して送信するよう動作する。
【００８９】
まず最初に、画像データの記憶形式について説明する。動作例２では、画像メモリ２５は、カラー静止画像をＪＰＥＧの符号化方式の１つである階層型モードで符号化されたファイルとして記憶する。この画像ファイルは、解像度の異なる複数のフレームにより構成され、フレームには、次に続くフレームの予測に使用する参照再生成分と、現成分と参照再生成分との差分を符号化した差分フレームがある。このため、この画像を再生（復号化）して表示する場合、低解像度のフレームから、より高解像度のフレームへと順次フレームを再生していくため、初めは荒い画像が表示されるが、徐々に表示画像の品質が向上する。
【００９０】
したがって、モバイル端末１によってこの画像ファイルを相手のモバイル端末に送信する場合、低解像度のフレームデータから、より高解像度のフレームデータが順次送信される。このため、受信側のモバイル端末１においては、受信した画像データをリアルタイムに表示すると、初めは荒い画像が表示されるが、徐々に表示画像の品質が向上する。
【００９１】
次に、図８を参照して、モバイル端末１の動作例２を説明する。図８は、モバイル端末１の動作例２を説明するためのフローチャートである。なお、ユーザによりモバイル端末１にて発呼操作が行われ、音声データ用のチャネルが開設されているものとして説明する。
【００９２】
まず、相手と通話している時に、画像メモリ２５に記憶されている階層型モードの静止画像ファイルの中から送信するファイルが選択されると（ステップＳ８０１肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート要求を出し、H.245実行部４４は、音声チャネルをインアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ８０２）。
【００９３】
そして、指定された静止画像ファイルをバイナリデータ用のチャネルで送信するが、そのファイルの先頭から所定のフレームまでのデータを送信している間、G.723.1実行部５０は、動作を停止して音声データの送信を停止する（ステップＳ８０３）。なお、所定のフレームとしては、音声データの送信を停止してそのフレームまでのデータを送信した場合の送信時間（会話ができない時間）などを考慮して定められる。
【００９４】
そして、静止画像ファイルの所定のフレームまでのデータ送信が終了すると（ステップＳ８０４肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート解除要求を出し、H.245実行部４４は、音声チャネルをアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ８０５）。そして、G.723.1実行部５０は、動作を再開して音声データの送信を再開し（ステップＳ８０６）、H.223実行部５１は、静止画像ファイルの残りのフレームデータと音声データとを多重化して送信する（ステップＳ８０７）。すなわち、会話をしながらファイルの残り部分のデータ転送が実行される。
【００９５】
なお、送信相手のモバイル端末１（静止画像ファイルの受信端末）では、静止画像ファイルの各フレームを受信する度に、画像圧縮伸長処理部１９によって伸長処理をおこない、伸長されたデータをＬＣＤ３２に表示する。
【００９６】
上述してきたように、動作例２によれば、制御部７は、所定の階層までの画像データを送信し、この送信後に、音声データと前記所定の階層以降の画像データとを多重化した情報を送信することとしたので、僅かな時間だけ会話を中断して、所定の階層までの画像データを、早急に会話相手に送信することができる。このため、送信相手は、先に受信した所定の階層までの画像データに基づいて後に受信する画像データの内容を早急に理解することができる。したがって、画像データの内容を考慮した円滑な会話をおこなって、通信時間および通信費用を低減することができる。
【００９７】
（動作例３）
動作例３では、モバイル端末１は、画像メモリ２５にて解像度の異なる複数のサブ画像により構成される画像データを記憶し、この画像データから、最低解像度の画像データを、音声データの送信を停止して送信し、その後、最高解像度の画像データを、音声データと多重化して送信するよう動作する。
【００９８】
まず最初に、画像データの記憶形式について説明する。動作例３では、画像メモリ２５は、カラー静止画像をFlash Pixとして記憶する。このFlash Pixでは、１つの画像オブジェクトが解像度の異なる複数のサブ画像から構成されている。また、それぞれのサブ画像は画像ブロックの最小単位である６４×６４画素のタイルから構成されており、各タイル毎にJPEG圧縮されている。
【００９９】
例えば、1024×1024画素で撮影した画像には、512×512画素、256×256画素、128×128画素、６４×６４画素のサブ画像が存在し得るが、これらの中で512×512画素と256×256画素のサブ画像のみが別々のファイルとして、1024×1024画素のオリジナル画像とともに画像メモリ２５に保存されている。
【０１００】
次に、図９を参照して、モバイル端末１の動作例３を説明する。図９は、モバイル端末１の動作例３を説明するためのフローチャートである。なお、ユーザによりモバイル端末１にて発呼操作が行われ、音声データ用のチャネルが開設されているものとして説明する。
【０１０１】
まず、相手と通話している時に、画像メモリ２５に記憶されているFlash Pixの静止画像の中から送信するものが選択されると（ステップＳ９０１肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート要求を出し、H.245実行部４４は、音声チャネルをインアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ９０２）。
【０１０２】
そして、指定された静止画像のサブ画像ファイルの中で最も解像度の小さいものをバイナリデータ用のチャネルで送信するが、この解像度が最も小さいサブ画像ファイルを送信している間、G.723.1実行部５０は、動作を停止して音声データの送信を停止する（ステップＳ９０３）。そして、そのサブ画像ファイルの送信が終了すると（ステップＳ９０４肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート解除要求を出し、H.245実行部４４は、音声チャネルをアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ９０５）。
【０１０３】
そして、G.723.1実行部５０は、動作を再開して音声データの送信を再開し（ステップＳ９０６）、H.223実行部５１は、オリジナル画像ファイルのデータと音声データとを多重化して送信する（ステップＳ９０７）。すなわち、会話をしながらオリジナル画像ファイルのデータ転送が実行される。
【０１０４】
一方、送信相手のモバイル端末１（静止画像ファイルの受信端末）では、最初に送信されたサブ画像ファイルを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＬＣＤ３２に表示する。その後、オリジナル画像ファイルを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＬＣＤ３２に表示して表示内容を更新する。
【０１０５】
上述してきたように、動作例３によれば、制御部７は、最小データ量（最小解像度）の画像データを送信し、この送信後に、音声データと最大データ量（最高解像度）の画像データとを多重化した情報を送信することとしたので、僅かな時間だけ会話を中断して、最小解像度の画像データを早急に会話相手に送信することができる。このため、送信相手は、先に受信した最小解像度の画像データに基づいて後に受信する最高解像度の画像データの内容を早急に理解することができる。したがって、画像データの内容を考慮した円滑な会話をおこなって、通信時間および通信費用を低減することができる。
【０１０６】
（動作例４）
動作例４では、モバイル端末１は、画像メモリ２５に記憶された画像をＬＣＤ３２に表示し、この表示された画像内容の任意の矩形領域をタッチパネル３３によって指定する。そして、モバイル端末１は、この指定された矩形領域内の画像データを、音声データの送信を停止して送信し、その後、全体（オリジナル）の画像データを、音声データと多重化して送信するよう動作する。
【０１０７】
図１０は、ＬＣＤ３２における画像の表示例を示す図であり、図１１は、モバイル端末１の動作例４を説明するためのフローチャートである。以下、図１１を参照して、モバイル端末１の動作例４を説明する。なお、ユーザによりモバイル端末１にて発呼操作が行われ、音声データ用のチャネルが開設されているものとして説明する。
【０１０８】
まず、相手と通話している時に、操作部５によって画像メモリ２５に記憶された静止画像ファイルの再生操作があると、この静止画像を画像圧縮伸長処理部１９にて伸長し、伸長した画像データをＬＣＤ３２に表示する（ステップＳ１１０１）。そして、電子ペンなどを使用してタッチパネル３３によって、この静止画像中の任意の矩形領域が指定されると（ステップＳ１１０２肯定）、この矩形領域内の画像データを画像圧縮伸長処理部１９にて圧縮し、圧縮された画像データをメインメモリ２３に記憶する（ステップＳ１１０３）。
【０１０９】
そして、操作部５によって、この静止画像の送信操作が行われると（ステップＳ１１０４肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート要求を出し、H.245実行部４４は、音声チャネルをインアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１１０５）。
【０１１０】
そして、メインメモリ２３に記憶された矩形領域内の画像データをバイナリデータ用のチャネルで送信するが、この矩形領域内の画像データを送信している間、G.723.1実行部５０は、動作を停止して音声データの送信を停止する（ステップＳ１１０６）。
【０１１１】
そして、その矩形領域内の画像データの送信が終了すると（ステップＳ１１０７肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート解除要求を出し、H.245実行部４４は、音声チャネルをアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１１０８）。そして、G.723.1実行部５０は、動作を再開して音声データの送信を再開し（ステップＳ１１０９）、H.223実行部５１は、画像メモリ２５に記憶されたオリジナル画像ファイルのデータと音声データとを多重化して送信する（ステップＳ１１１０）。すなわち、会話をしながらオリジナル画像ファイルのデータ転送が実行される。
【０１１２】
一方、送信相手のモバイル端末１（静止画像ファイルの受信端末）では、最初に送信された矩形領域内の画像データを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＬＣＤ３２に表示する。その後、オリジナル画像ファイルを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＬＣＤ３２に表示して表示内容を更新する。
【０１１３】
上述してきたように、動作例４によれば、操作部５は、表示部４に表示された画像から、画像の一部を矩形領域で指定することとしたので、僅かな時間だけ会話を中断して、会話相手に早急に知らせたい矩形領域内の画像を、早急に会話相手に送信することができる。このため、送信相手は、先に受信した短形領域内の画像に基づいて後に受信する全体画像の内容を早急に理解することができる。したがって、画像データの内容を考慮した円滑な会話をおこなって、通信時間および通信費用を低減することができる。
【０１１４】
なお、動作例４では、画像の一部を矩形領域で指定する場合を示したが、本発明はこれに限定されるものではなく、円形、楕円形、三角形などの領域で指定することもできる。また、動作例４では、１つの矩形領域の画像データを多重化に先立って送信する場合を示したが、本発明はこれに限定されるものではなく、複数の短形領域の画像データを多重化に先立って送信することもできる。
【０１１５】
また、動作例４では、オリジナル画像ファイルの全体のデータを多重化して送信する場合を示したが、本発明はこれに限定されるものではなく、多重化に先立って送信した矩形領域の画像データを除外して、オリジナル画像ファイルを送信することもできる。
【０１１６】
（動作例５）
動作例５では、モバイル端末１は、画像メモリ２５に記憶された画像をＬＣＤ３２に表示し、この表示された画像内容の任意のオブジェクトをタッチパネル３３によって指定する。そして、モバイル端末１は、この指定されたオブジェクトを含む矩形領域内の画像データを、音声データの送信を停止して送信し、全体（オリジナル）の画像データを、音声データと多重化して送信するよう動作する。
【０１１７】
まず最初に、図１２および図１３を参照して、オブジェクト画像の抽出について説明する。ＪＰＥＧ圧縮は矩形画像を圧縮するものであるが、任意の形状のオブジェクト画像を圧縮する場合には、オブジェクト画像を含んだ矩形画像を圧縮処理し、ＪＰＥＧファイルのファイルヘッダにそのオブジェクト画像を含んだ矩形画像の位置情報を入れる方法が一般的におこなわれている。
【０１１８】
たとえば、オブジェクト画像の輪郭線を抽出する方法として、特開平５−３２４８２９号公報に開示された方法がある。これは、矩形や閉曲線で囲まれた領域内のオブジェクト画像の輪郭線を抽出するものであり、また、閉曲線上の各点を閉曲線を膨張させる方向に移動させることによって、物体の輪郭を抽出する方法も開示されている。なお、この閉曲線を点とした場合においても、同様の方法によって、その点を含んだオブジェクト画像の輪郭線を抽出することができる。
【０１１９】
この特開平５−３２４８２９号公報に開示された方法にて、オブジェクト画像の輪郭線を抽出すると、その輪郭線の位置データを基に、オブジェクト画像を含む最小面積の矩形領域を抽出する。そして、この矩形領域内にあり、かつ輪郭線の外側にある画素の値を全てゼロに置き換える。そして、このオブジェクト画像を含む最小面積の矩形領域の位置データを、ＪＰＥＧファイルのファイルヘッダに入れておく。図１２は、ＪＰＥＧファイルのファイルヘッダの構造を示す図である。
【０１２０】
図１２において、SOIは、Start Of Imageであり、画像の開始を表すマーカーである。また、APP0は、Application segmentであり、アプリケーションデータのセグメントである。また、COMは、Commentであり、コメント用のセグメントである。また、DQTは、Define Quantization Tableであり、量子化テーブルデータのセグメントである。また、APP0セグメントは、アプリケーションデータマーカーコード（２バイト）と、アプリケーションデータセグメント長（２バイト）と、矩形領域の水平方向の位置情報の識別子（１バイト）およびそのデータ（２バイト）と、矩形領域の垂直方向の位置情報の識別子（１バイト）およびそのデータ（２バイト）とから構成される。
【０１２１】
また、図１３は、抽出されたオブジェクト画像と、これを含む最小面積の矩形領域との関係を示す図である。同図において、矩形領域の左上の頂点（点Ｂ）の位置は、オリジナル画像の左上の頂点（点Ａ）からの水平方向と垂直方向の座標点（ｘ，ｙ）で表される。なお、この座標の単位は画素であり、例えば、（ｘ，ｙ）＝（１００，２００）は、図１３の点Ａから水平方向へ１００画素、垂直方向へ２００画素の位置である。
【０１２２】
また、ＪＰＥＧ符号化では、８×８画素のブロック毎に処理が実行されるので、オブジェクト画像を含む最小面積の矩形領域の縦方向および横方向の画素数が８の倍数でない場合には、８の倍数になるように値がゼロのデータを追加する。
すなわち、図１３に示すように、矩形領域内でオブジェクト画像の輪郭線の外側にある画素のデータ値を全てゼロに置き換える。なお、矩形領域の大きさ（縦横の画素数）は、ＪＰＥＧ規格で定義された位置、すなわち、ＳＯＦ（Start Of Frame）セグメント内の所定の位置に書き込まれる。
【０１２３】
次に、図１４を参照して、モバイル端末１の動作例５を説明する。図１４は、モバイル端末１の動作例５を説明するためのフローチャートである。なお、ユーザによりモバイル端末１にて発呼操作が行われ、音声データ用のチャネルが開設されているものとして説明する。まず、相手と通話している時に、操作部５によって画像メモリ２５に記憶された静止画像ファイルの再生操作があると、この静止画像を画像圧縮伸長処理部１９にて伸長し、伸長した画像データをＬＣＤ３２に表示する（ステップＳ１４０１）。
【０１２４】
そして、電子ペンなどを使用してタッチパネル３３によって、この静止画像中の任意のオブジェクト画像が閉曲線にて囲まれて指定されると（ステップＳ１４０２）、上記に説明した方法でオブジェクト画像の輪郭線を抽出する（ステップＳ１４０３）。そして、その輪郭線の位置データを基に、オブジェクト画像を含む最小面積の矩形領域を抽出する（ステップＳ１４０４）。
【０１２５】
そして、この抽出された矩形領域内でオブジェクト画像の輪郭線の外側にある画素のデータ値を全てゼロに置き換え、オブジェクト以外の部分をゼロで置き換えた矩形画像データを画像圧縮伸長処理部１９へ転送して圧縮処理を行い、この圧縮画像データをメインメモリ２３にＪＰＥＧファイル形式で記憶する（ステップＳ１４０５）。なお、この記憶処理においては、ＪＰＥＧファイルのファイルヘッダに、矩形領域の位置情報を書き込む。
【０１２６】
その後、この静止画像の送信操作が行われると（ステップＳ１４０６肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート要求を出し、H.245実行部４４は、音声チャネルをインアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１４０７）。そして、メインメモリ２３に記憶されたＪＰＥＧファイル形式のオブジェクト画像データをバイナリデータ用のチャネルで送信するが、このオブジェクト画像データを送信している間、G.723.1実行部５０は、動作を停止して音声データの送信を停止する（ステップＳ１４０８）。
【０１２７】
そして、そのオブジェクト画像データの送信が終了すると（ステップＳ１４０９肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート解除要求を出し、H.245実行部４４は、音声チャネルをアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１４１０）。
【０１２８】
そして、G.723.1実行部５０は、動作を再開して音声データの送信を再開し（ステップＳ１４１１）、H.223実行部５１は、画像メモリ２５に記憶されたオリジナル画像ファイルのデータと音声データとを多重化して送信する（ステップＳ１４１２）。すなわち、会話をしながらオリジナル画像ファイルのデータ転送が実行される。
【０１２９】
一方、送信相手のモバイル端末１（静止画像ファイルの受信端末）では、最初に送信されたＪＰＥＧファイル形式のオブジェクト画像データを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＪＰＥＧファイルのファイルヘッダに記録されている矩形領域の位置情報に基づいてＬＣＤ３２に表示する。その後、オリジナル画像ファイルを受信すると画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＬＣＤ３２に表示して表示内容を更新する。
【０１３０】
上述してきたように、動作例５では、操作部５は、表示部４に表示された画像情報から、画像の一部を形成するオブジェクトを指定することとしたので、僅かな時間だけ会話を中断して、会話相手に早急に知らせたいオブジェクトを、早急に会話相手に送信することができる。このため、送信相手は、先に受信したオブジェクトに基づいて後に受信する全体画像の内容を早急に理解することができる。したがって、画像データの内容を考慮した円滑な会話をおこなって、通信時間および通信費用を低減することができる。
【０１３１】
なお、動作例５では、閉曲線によってオブジェクト画像を指定する場合を示したが、本発明はこれに限定されるものではなく、ポイント（点）によってオブジェクト画像を指定することもできる。また、動作例５では、１つのオブジェクトの画像データを多重化に先立って送信する場合を示したが、本発明はこれに限定されるものではなく、複数のオブジェクトの画像データを多重化に先立って送信することもできる。
【０１３２】
また、動作例５では、オリジナル画像ファイルの全体のデータを多重化して送信する場合を示したが、本発明はこれに限定されるものではなく、多重化に先立って送信したオブジェクトの画像データを除外して、オリジナル画像ファイルを送信することもできる。
【０１３３】
（動作例６）
動作例６では、モバイル端末１は、電子ビューファインダ３１に被写体像を表示し、この表示された被写体像から任意の矩形領域を操作指示部２９によって指定して撮影する。そして、モバイル端末１は、被写体の矩形領域内の画像データを、音声データの送信を停止して送信し、その後、被写体の全体（オリジナル）の画像データを、音声データと多重化して送信するよう動作する。
【０１３４】
まず最初に、被写体像から任意の矩形領域を指定して撮影をおこなって、画像データを記憶する手順について説明する。まず、ＣＣＤ１３によって電気信号に変換された被写体画像は、ＣＤＳ回路１４、Ａ／Ｄ変換器１５、デジタル信号処理部１８、およびファインダ表示制御部２６を介して電子ビューファインダ３１に表示される。続いて、操作指示部２９に備えられる「領域指定ボタン」が押下されると、予め決められた大きさの矩形を電子ビューファインダ３１に表示する。なお、図１５は、電子ビューファインダ３１の表示例を示す図である。
【０１３５】
そして、操作指示部２９に備えられた「領域ズームボタン」が押下されると、ファインダ表示制御部２６は、矩形を拡大あるいは縮小して電子ビューファインダ３１に表示する。また、操作指示部２９に備えられた「領域移動ボタン（上下左右の指示ボタン）」が押下されると、ファインダ表示制御部２６は、矩形を指定された方向へ所定距離だけ移動して電子ビューファインダ３１に表示する。
【０１３６】
続いて、操作指示部２９に備えられた「撮影ボタン」が押下されると、デジタル信号処理部１８から出力された被写体画像データを、メインメモリ２３に記憶するとともに、画像圧縮伸長処理部１９にて圧縮処理して画像メモリ２５に保存する。
【０１３７】
そして、電子ビューファインダ３１に表示されていた矩形の位置および大きさの情報に基づいて、矩形の内側の領域の画像データをメインメモリ２３に記憶された被写体画像データから切り出して、この矩形領域内の画像データを画像圧縮伸長処理部１９にて圧縮処理する。そして、圧縮された画像データを、図１２に示したＪＰＥＧファイルヘッダを持つＪＰＥＧファイル形式でメインメモリ２３に記憶する。
【０１３８】
次に、図１６を参照して、モバイル端末１の動作例６を説明する。図１６は、モバイル端末１の動作例６を説明するためのフローチャートである。なお、ユーザによりモバイル端末１にて発呼操作が行われ、音声データ用のチャネルが開設されているものとして説明する。
【０１３９】
まず、相手と通話している時に、操作部５によって、領域指定ボタン、領域ズームボタン、および領域移動ボタンが操作されて被写体中の矩形領域が指定され、撮影ボタンが押されると（ステップＳ１６０１肯定）、デジタル信号処理部１８から出力された被写体画像データを、メインメモリ２３に記憶するとともに、画像圧縮伸長処理部１９にて圧縮処理して画像メモリ２５に保存する（ステップＳ１６０２）。
【０１４０】
そして、電子ビューファインダ３１に表示されていた矩形の位置および大きさの情報に基づいて、矩形の内側の領域の画像データをメインメモリ２３に記憶された被写体画像データから切り出して、この矩形領域内の画像データを画像圧縮伸長処理部１９にて圧縮処理し、圧縮された画像データを、図１２に示した矩形領域の位置情報を含めたＪＰＥＧファイルヘッダを持つＪＰＥＧファイル形式でメインメモリ２３に記憶する（ステップＳ１６０３）。
【０１４１】
そして、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート要求を出し、H.245実行部４４は、音声チャネルをインアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１６０４）。そして、メインメモリ２３に記憶されたＪＰＥＧファイル形式の矩形領域の画像データをバイナリデータ用のチャネルで送信するが、この矩形領域の画像データを送信している間、G.723.1実行部５０は、動作を停止して音声データの送信を停止する（ステップＳ１６０５）。
【０１４２】
そして、この矩形領域の画像データの送信が終了すると（ステップＳ１６０６肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート解除要求を出し、H.245実行部４４は、音声チャネルをアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１６０７）。
【０１４３】
そして、G.723.1実行部５０は、動作を再開して音声データの送信を再開し（ステップＳ１６０８）、H.223実行部５１は、画像メモリ２５に記憶された被写体全体の静止画像ファイルのデータと音声データとを多重化して送信する（ステップＳ１６０９）。すなわち、会話をしながら被写体全体の静止画像ファイルのデータ転送が実行される。
【０１４４】
一方、送信相手のモバイル端末１（静止画像ファイルの受信端末）では、最初に送信された矩形領域の画像データを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＪＰＥＧファイルのファイルヘッダに記録されている矩形領域の位置情報に基づいてＬＣＤ３２に表示する。その後、被写体全体の画像ファイルを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＬＣＤ３２に表示して表示内容を更新する。
【０１４５】
上述してきたように、動作例６では、画像入力部２および操作部５は、表示部４に表示される画像の一部の矩形領域を指定しつつ画像を入力し、制御部７は、この指定入力された一部の矩形領域内の画像を送信することとしたので、僅かな時間だけ会話を中断して、会話相手に早急に知らせたい一部の画像を、入力後直ちに会話相手に送信することができる。このため、送信相手は、先に受信した一部の画像に基づいて後に受信する全体画像の内容を早急に理解することができる。したがって、画像データの内容を考慮した円滑な会話をおこなって、通信時間および通信費用を低減することができる。
【０１４６】
なお、動作例６では、１つの矩形領域の画像データを多重化に先立って送信する場合を示したが、本発明はこれに限定されるものではなく、複数の短形領域の画像データを多重化に先立って送信することもできる。また、動作例６では、オリジナル画像ファイルの全体のデータを多重化して送信する場合を示したが、本発明はこれに限定されるものではなく、多重化に先立って送信した矩形領域の画像データを除外して、オリジナル画像ファイルを送信することもできる。
【０１４７】
（動作例７）
動作例７では、モバイル端末１は、電子ビューファインダ３１に被写体像を表示し、この表示された被写体像から任意のオブジェクト画像を操作部５によって指定して撮影する。そして、モバイル端末１は、このオブジェクト画像を含む矩形領域内の画像データを、音声データの送信を停止して送信し、その後、被写体の全体（オリジナル）の画像データを、音声データと多重化して送信するよう動作する。なお、動作例７において、オブジェクト画像の抽出手順およびオブジェクト画像データの送信手順は、上記した動作例５と同様であるので、その説明を省略する。以下、図１７を参照して、モバイル端末１の動作例７を説明する。
【０１４８】
図１７は、モバイル端末１の動作例７を説明するためのフローチャートである。なお、ユーザによりモバイル端末１にて発呼操作が行われ、音声データ用のチャネルが開設されているものとして説明する。まず、相手と通話している時に、操作部５によって、領域指定ボタン、領域ズームボタン、領域移動ボタンが操作されて被写体中のオブジェクト画像が閉曲線などにより指定され、撮影ボタンが押されると（ステップＳ１７０１肯定）、デジタル信号処理部１８から出力された被写体画像データを、メインメモリ２３に記憶するとともに、画像圧縮伸長処理部１９にて圧縮処理して画像メモリ２５に保存する（ステップＳ１７０２）。
【０１４９】
そして、電子ビューファインダ３１に表示されていた矩形の位置および大きさの情報に基づいて、矩形の内側の領域の画像データをメインメモリ２３に記憶された被写体画像データから切り出して、特開平５−３２４８２９号公報に開示された方法を用いて、その矩形で囲まれた領域内のオブジェクト画像の輪郭線を抽出する（ステップＳ１７０３）。そして、その輪郭線の位置データを基に、オブジェクト画像を含む最小面積の矩形領域を抽出する（ステップＳ１７０４）。
【０１５０】
そして、この抽出された矩形領域内でオブジェクト画像の輪郭線の外側にある画素のデータ値を全てゼロに置き換え、このオブジェクト画像を含む最小面積の矩形領域内の画像データを画像圧縮伸長処理部１９にて圧縮処理し、圧縮された画像データを、図１２に示した矩形領域の位置情報を含めたＪＰＥＧファイルヘッダを持つＪＰＥＧファイル形式でメインメモリ２３に記憶する（ステップＳ１７０５）。
【０１５１】
そして、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート要求を出し、H.245実行部４４は、音声チャネルをインアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１７０６）。そして、メインメモリ２３に記憶されたＪＰＥＧファイル形式の矩形領域の画像データをバイナリデータ用のチャネルで送信するが、この矩形領域の画像データを送信している間、G.723.1実行部５０は、動作を停止して音声データの送信を停止する（ステップＳ１７０７）。
【０１５２】
そして、この矩形領域の画像データの送信が終了すると（ステップＳ１７０８肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート解除要求を出し、H.245実行部４４は、音声チャネルをアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１７０９）。
【０１５３】
そして、G.723.1実行部５０は、動作を再開して音声データの送信を再開し（ステップＳ１７１０）、H.223実行部５１は、画像メモリ２５に記憶された被写体全体の静止画像ファイルのデータと音声データとを多重化して送信する（ステップＳ１７１１）。すなわち、会話をしながら被写体全体の静止画像ファイルのデータ転送が実行される。
【０１５４】
一方、送信相手のモバイル端末１（静止画像ファイルの受信端末）では、最初に送信された矩形領域の画像データを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＪＰＥＧファイルのファイルヘッダに記録されている矩形領域の位置情報に基づいてＬＣＤ３２に表示する。その後、被写体全体の画像ファイルを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＬＣＤ３２に表示して表示内容を更新する。
【０１５５】
上述してきたように、動作例７では、画像入力部２および操作部５は、表示部４に表示される画像を形成するオブジェクトを指定しつつ画像を入力し、制御部７は、この指定入力されたオブジェクトを送信することとしたので、僅かな時間だけ会話を中断して、会話相手に早急に知らせたいオブジェクトを、入力後直ちに会話相手に送信することができる。このため、送信相手は、先に受信したオブジェクトに基づいて後に受信する全体画像の内容を早急に理解することができる。したがって、画像データの内容を考慮した円滑な会話をおこなって、通信時間および通信費用を低減することができる。
【０１５６】
なお、動作例７では、１つのオブジェクトの画像データを多重化に先立って送信する場合を示したが、本発明はこれに限定されるものではなく、複数のオブジェクトの画像データを多重化に先立って送信することもできる。また、動作例７では、オリジナル画像ファイルの全体のデータを多重化して送信する場合を示したが、本発明はこれに限定されるものではなく、多重化に先立って送信したオブジェクトの画像データを除外して、オリジナル画像ファイルを送信することもできる。
【０１５７】
（動作例８）
動作例８では、モバイル端末１は、電子ビューファインダ３１に被写体像を表示し、この電子ビューファインダ３１に中心に位置するオブジェクト画像を指定して撮影する。そして、モバイル端末１は、このオブジェクト画像を含む矩形領域内の画像データを、音声データの送信を停止して送信し、その後、被写体の全体（オリジナル）の画像データを、音声データと多重化して送信するよう動作する。
【０１５８】
なお、動作例８において、オブジェクト画像の抽出手順およびオブジェクト画像データの送信手順は、上記した動作例５と同様であるので、その説明を省略する。以下、図１８を参照して、モバイル端末１の動作例８を説明する。図１８は、モバイル端末１の動作例８を説明するためのフローチャートである。なお、ユーザによりモバイル端末１にて発呼操作が行われ、音声データ用のチャネルが開設されているものとして説明する。
【０１５９】
まず、ファインダ表示制御部２６は、電子ビューファインダ３１に表示する被写体画像データの中心に、例えば十字マークなどを表示する。そして、相手と通話している時に撮影ボタンが押されると（ステップＳ１８０１）、デジタル信号処理部１８から出力された被写体画像データを、メインメモリ２３に記憶するとともに、画像圧縮伸長処理部１９にて圧縮処理して画像メモリ２５に保存する（ステップＳ１８０２）。
【０１６０】
そして、メインメモリ２３に記憶された被写体画像データの中心にあるオブジェクトを抽出する処理をおこなう。すなわち、特開平５−３２４８２９号公報に開示された方法を用いて、電子ビューファインダ３１に表示されていた十字マークを含むオブジェクトの輪郭線を抽出する（ステップＳ１８０３）。そして、その輪郭線の位置データを基に、オブジェクト画像を含む最小面積の矩形領域を抽出する（ステップＳ１８０４）。
【０１６１】
そして、この抽出された矩形領域内でオブジェクト画像の輪郭線の外側にある画素のデータ値を全てゼロに置き換え、このオブジェクト画像を含む最小面積の矩形領域内の画像データを画像圧縮伸長処理部１９にて圧縮処理し、圧縮された画像データを、図１２に示した矩形領域の位置情報を含めたＪＰＥＧファイルヘッダを持つＪＰＥＧファイル形式でメインメモリ２３に記憶する（ステップＳ１８０５）。
【０１６２】
そして、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート要求を出し、H.245実行部４４は、音声チャネルをインアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１８０６）。そして、メインメモリ２３に記憶されたＪＰＥＧファイル形式の矩形領域の画像データをバイナリデータ用のチャネルで送信するが、この矩形領域の画像データを送信している間、G.723.1実行部５０は、動作を停止して音声データの送信を停止する（ステップＳ１８０７）。
【０１６３】
そして、この矩形領域の画像データの送信が終了すると（ステップＳ１８０８肯定）、通信制御アプリケーション４３は、H.245実行部４４へ音声ミュート解除要求を出し、H.245実行部４４は、音声チャネルをアクティブにする情報を含めたMiscellaneousIndicationメッセージを送信する（ステップＳ１８０９）。
【０１６４】
そして、G.723.1実行部５０は、動作を再開して音声データの送信を再開し（ステップＳ１８１０）、H.223実行部５１は、画像メモリ２５に記憶された被写体全体の静止画像ファイルのデータと音声データとを多重化して送信する（ステップＳ１８１１）。すなわち、会話をしながら被写体全体の静止画像ファイルのデータ転送が実行される。
【０１６５】
一方、送信相手のモバイル端末１（静止画像ファイルの受信端末）では、最初に送信された矩形領域の画像データを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＪＰＥＧファイルのファイルヘッダに記録されている矩形領域の位置情報に基づいてＬＣＤ３２に表示する。その後、被写体全体の画像ファイルを受信すると、画像圧縮伸長処理部１９にて伸長処理をおこない、伸長されたデータをＬＣＤ３２に表示して表示内容を更新する。
【０１６６】
上述してきたように、動作例８では、画像入力部２および操作部５は、表示部４に表示される画像の中心に位置するオブジェクトを指定しつつ画像を入力し、制御部７は、この指定入力されたオブジェクトを送信することとしたので、僅かな時間だけ会話を中断して、会話相手に早急に知らせたいオブジェクトを、入力後直ちに会話相手に送信することができる。このため、送信相手は、先に受信したオブジェクトに基づいて後に受信する全体画像の内容を早急に理解することができる。したがって、画像データの内容を考慮した円滑な会話をおこなって、通信時間および通信費用を低減することができる。
【０１６７】
なお、本実施の形態で説明した情報処理方法は、あらかじめ用意されたプログラムをパーソナル・コンピューターやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、ハードディスク、フロッピーディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、上記記録媒体を介して、インターネットなどのネットワークを介して配布することができる。
【０１６８】
また、本実施の形態では、ＰＤＣのデータ通信サービスを利用してモバイル端末１間で通信する場合を説明したが、本発明はこれに限定されるものではなく、ＰＳＴＮ端末間、モバイル端末１とＰＳＴＮ端末間、などで通信することもできる。なお、図３に示したデータ通信プロトコルの構成で、物理レイヤ５３にITU-T勧告V.34モデムなどのアナログ電話回線用のモデムを使用すれば、ＰＳＴＮに接続する通信端末となる。
【０１６９】
【発明の効果】
以上説明したように、本発明によれば、僅かな時間だけ会話を中断して、会話相手に早急に知らせたいオブジェクトを、早急に会話相手に送信することができる。このため、送信相手は、先に受信したオブジェクトに基づいて後に受信する全体画像の内容を早急に理解することができる。したがって、画像データの内容を考慮した円滑な会話をおこなって、通信時間および通信費用を低減することが可能な情報処理装置が得られるという効果を奏する。
【図面の簡単な説明】
【図１】本実施の形態に用いられるモバイル端末の構成を示すブロック図である。
【図２】本実施の形態に用いられるモバイル端末の外観を示す図である。
【図３】データ通信プロトコルの構成を示すブロック図である。
【図４】相手端末と接続して会話ができる通信状態になるまでのシーケンスを示す図である。
【図５】会話ができる通信状態から音声データと画像データとを多重化して送信できる通信状態になるまでのシーケンスを示す図である。
【図６】通信可能状態から通信状態を終了するまでのシーケンスを示す図である。
【図７】モバイル端末の動作例１を説明するためのフローチャートである。
【図８】モバイル端末の動作例２を説明するためのフローチャートである。
【図９】モバイル端末の動作例３を説明するためのフローチャートである。
【図１０】図１に示したＬＣＤにおける画像の表示例を示す図である。
【図１１】モバイル端末の動作例４を説明するためのフローチャートである。
【図１２】ＪＰＥＧファイルのファイルヘッダの構造を示す図である。
【図１３】抽出されたオブジェクト画像と、これを含む最小面積の矩形領域との関係を示す図である。
【図１４】モバイル端末の動作例５を説明するためのフローチャートである。
【図１５】図１に示した電子ビューファインダの表示例を示す図である。
【図１６】モバイル端末の動作例６を説明するためのフローチャートである。
【図１７】モバイル端末の動作例７を説明するためのフローチャートである。
【図１８】モバイル端末の動作例８を説明するためのフローチャートである。
【符号の説明】
１モバイル端末
２画像入力部
３画像処理部
４表示部
５操作部
６通信部
７制御部
２５画像メモリ
３０音声処理部
３８音声入力部
３９音声出力部[0001]
BACKGROUND OF THE INVENTION
This invention Information processing apparatus and information processing method About.
[0002]
[Prior art]
Conventionally, information processing terminals that can send and receive not only voice data but also non-voice data such as text and images using mobile information processing services such as mobile phones and PHS (Personal Handyphone System) have appeared. Information processing terminals equipped with a photographing unit such as a CCD (Charge Coupled Device) are also becoming popular.
[0003]
In such a mobile terminal, audio data and image data are transmitted by sharing a single transmission line, but the audio data and image data are not transmitted so as not to interrupt communication by conversation (transmission and reception of audio data). In general, multiplexing and transmission are performed. Further, in order to efficiently transmit image data having a large amount of data compared to audio data, various transmission techniques (for example, JP-A-8-279835, JP-A-9-261197, JP-A-10-101). 229375 and the like have been proposed. Hereinafter, these conventional techniques will be briefly described.
[0004]
First, Japanese Patent Laid-Open No. 8-279835 discloses a transmission technique for detecting the presence or absence of audio data, that is, a silent period. That is, in this prior art, by detecting the silent period of the voice, during the silent period, the transmission of the voice data (multiplex transmission of the voice data and the image data) is interrupted, and only the image data is transmitted. Sends image data efficiently.
[0005]
Japanese Patent Laid-Open No. 9-261197 discloses a transmission technique for compressing audio data. That is, in this prior art, when image data to be transmitted is large, the audio data is compressed to reduce the transmission bandwidth of the audio data (increase the transmission bandwidth of the image data). Sending efficiently.
[0006]
Japanese Patent Laid-Open No. 10-229375 discloses a transmission technique for selecting whether or not to transmit image data preferentially. That is, in this prior art, when a large amount of image data to be transmitted is accumulated, priority transmission of image data is selected, and when this selection is made, transmission of audio data is interrupted. By transmitting only the image data, the image data is transmitted efficiently.
[0007]
[Problems to be solved by the invention]
However, the above conventional technique has a problem that it takes a long time until the communication partner understands the content of the image data and can smoothly talk when the amount of image data to be transmitted is large. .
[0008]
That is, the prior art disclosed in Japanese Patent Laid-Open No. 8-279835 transmits only image data during a silent period. However, if the surroundings of the speaker are in a noisy environment and no conversation is performed but a sound period is detected, the image data must be multiplexed with the audio data and transmitted. For this reason, when the amount of image data is large, the time until the image data is transmitted to the communication partner becomes long. Therefore, it takes a long time for the communication partner to understand the contents of the image data and to smoothly talk. As a result, the communication time is long and the communication cost is high.
[0009]
In the prior art disclosed in JP-A-9-261197, when the image data to be transmitted is large, the audio data is compressed to increase the transmission bandwidth of the image data. However, when the bandwidth of the transmission path is small, such as PDC (Personal Digital Cellular) of digital cellular phone service, there is a limit to the expansion of the image data transmission bandwidth by compressing the audio signal. For this reason, when the amount of image data is large, the time until the image data is transmitted to the communication partner becomes long. Therefore, like the above-described prior art (the prior art disclosed in Japanese Patent Laid-Open No. 8-279835), it takes a long time for the communication partner to understand the contents of the image data and to smoothly talk. As a result, the communication time is long and the communication cost is high.
[0010]
Further, in the conventional technique disclosed in Japanese Patent Laid-Open No. 10-229375, when the amount of image data is large, priority transmission of image data is selected and only image data is transmitted. However, since only the image data is preferentially transmitted when the amount of image data is large, communication by conversation is interrupted for a long time. In addition, if the amount of image data is large, the time until the image data is transmitted to the communication partner becomes long. Therefore, the conventional technique (the conventional technique disclosed in Japanese Patent Laid-Open No. 8-279835) and Similarly, it takes a long time for the communication partner to understand the contents of the image data and smoothly talk, and as a result, the communication time becomes long and the communication cost is high.
[0011]
By the way, in recent years, as the number of pixels of an image sensor such as a CCD is increased, the amount of image data is also increasing, and the above-described problems of the prior art are more remarkable. In particular, in an information processing terminal including a photographing unit, it is desired that image data captured during a call can be transmitted to a communication partner, and the contents of the image data can be understood quickly and smoothly communicated. However, as described above, with the above-described prior art, it takes a long time for the communication partner to understand the contents of the image data and to smoothly talk, so it is difficult to meet such a demand. It was.
[0012]
SUMMARY OF THE INVENTION In order to solve the above-described problems caused by the conventional technology, the present invention can quickly understand the contents of image data to be transmitted and received and can perform a smooth conversation. And information processing method The purpose is to provide.
[0013]
[Means for Solving the Problems]
In order to solve the above-described problems and achieve the object, an information processing apparatus according to claim 1 is an information processing apparatus that simultaneously transmits audio data and image data using a single transmission line. Display means for displaying an image related to the image data, and an object image forming a part of the image related to the image data displayed on the display means are extracted based on the position data of the contour line of the object image A designation means for designating a rectangular area including the object image; and transmission of the audio data is stopped when the information relating to the object image is designated by the designation means, and the information relating to the object image is transmitted. Sent over the road When the transmission of the information related to the object image specified by the specifying means is completed, the transmission of the audio data is resumed and the information related to the image data is transmitted. And a transmission control means.
[0014]
The invention according to claim 2 2. The information processing apparatus according to claim 1, wherein the information relating to the object image transmitted by the transmission control unit is configured such that all data values of pixels outside the outline of the object image in the rectangular area are zero. This is the replaced rectangular image data. It is characterized by that.
[0015]
An information processing apparatus according to the invention of claim 3 1 or In the invention according to 2, When a transmission operation of information related to the object image designated by the designation unit is performed, the unit includes a unit that outputs a voice mute request, and the transmission control unit receives the voice mute request and receives the voice data. Stop sending It is characterized by that.
[0016]
An information processing apparatus according to the invention of claim 4 3 In the invention described in When the transmission of the information related to the object image designated by the designation unit is completed, the transmission unit includes a unit that outputs a voice mute release request, and the transmission control unit receives the voice mute release request and receives the voice data. Resume sending, It is characterized by that.
[0017]
An information processing method according to a fifth aspect of the invention is an information processing method executed by an information processing apparatus for simultaneously transmitting audio data and image data using a single transmission line, wherein the image data A display step of displaying an image related to the object, and an object image forming a part of the image related to the image data displayed in the display step, the object extracted based on the position data of the contour line of the object image A designation step of designating a rectangular region including an image, and when the information relating to the object image is designated by the designation step, the transmission of the audio data is stopped, and the information relating to the object image is transmitted through the transmission path. Send via When the transmission of the information related to the object image specified in the specifying step is completed, the transmission of the audio data is resumed and the information related to the image data is transmitted. And a transmission control step.
[0018]
Further, information processing according to the invention of claim 6 Method In the invention according to claim 5, The information relating to the object image transmitted in the transmission control step is rectangular image data in which all data values of pixels outside the contour line of the object image are replaced with zero in the rectangular region. It is characterized by that.
[0019]
An information processing according to the invention of claim 7 Method Claim 5 Or 6 In the invention described in Including a step of outputting an audio mute request when an operation of transmitting information related to the object image specified in the specifying step is performed, and the transmission control step receives the audio mute request and receives the audio data Stop sending It is characterized by that.
[0020]
An information processing according to the invention of claim 8 Method Claims 7 In the invention described in Including a step of outputting an audio mute release request when transmission of information relating to the object image designated in the designation step is completed, and the transmission control step receives the audio mute release request and receives the audio data Resume sending, It is characterized by that.
[0034]
DETAILED DESCRIPTION OF THE INVENTION
An information processing apparatus according to the present invention will be described below with reference to the accompanying drawings. And information processing method The preferred embodiment will be described in detail.
[0035]
In the present embodiment, the present invention is connected to a relatively low bit rate line such as PSTN or PDC (Personal Digital Cellular) for mobile phone service, and voice data (information requiring real-time property) and an image are connected. It is assumed that the present invention is applied to a mobile terminal that simultaneously transmits and receives data (information that does not require real-time property).
[0036]
However, the present invention is not limited to the present embodiment. For example, information that requires real-time properties (for example, voice information) such as PDA (Personal Digital Assistants), a TV phone, and a TV conference system, and real-time. The present invention can be applied to any information processing that simultaneously transmits and receives information (for example, image information, text information, music information, etc.) that is not required to be performed.
[0037]
Hereinafter, regarding the embodiments of the present invention, [Configuration example of mobile terminal], [Configuration example of data communication protocol], [Communication example using data communication protocol], and [Operation example of mobile terminal (operation example)] 1 to 8) will be described in order.
[0038]
[Configuration example of mobile terminal]
First, with reference to FIG. 1 and FIG. 2, a schematic configuration of the mobile terminal used in the present embodiment and contents of processing will be described. FIG. 1 is a block diagram showing a configuration of a mobile terminal used in the present embodiment. FIG. 2 is a diagram showing the appearance of the mobile terminal used in the present embodiment. Specifically, FIG. 2 (a) is a front view of the mobile terminal, and FIG. 2 (b) is a mobile terminal. It is a rear view of a terminal. In FIG. 2, illustration of various operation buttons and the like is omitted for convenience.
[0039]
As shown in FIG. 1, the mobile terminal 1 used in the present embodiment includes an image input unit 2, an image processing unit 3, a display unit 4, an image memory 25, an audio input unit 38, and an audio processing unit. 30, an audio output unit 39, an operation unit 5, a communication unit 6, and a control unit 7 are connected via a bus 36 so as to be able to exchange data.
[0040]
Schematically, the mobile terminal 1 used in the present embodiment sends out voice data input by the voice input unit 38, image data input by the image input unit 2, and the like to the transmission path by the communication unit 6. At the same time, audio data and image data sent from the transmission path via the communication unit 6 are output by the audio output unit 39 and the display unit 4.
[0041]
Here, the mobile terminal 1 used in the present embodiment is characterized by transmission control processing in the control unit 7, and specifically, transmission of audio data prior to multiplexed transmission of audio data and image data. Is stopped, and a summary of the image data, a main part of the image data, and the like are transmitted immediately to the transmission partner.
[0042]
Next, with reference to FIG. 1, the specific configuration of each unit and the content of processing in the mobile terminal 1 used in the present embodiment will be described in order. As shown in FIG. 1, the image input unit 2 includes a lens 11, a mechanical mechanism 12, a CCD (Charge Coupled Device) 13, a CDS circuit (Correlated Double Sampling) 14, an A / D A converter 15, a motor driver 16, and a control signal generator 17 are provided.
[0043]
In the image input unit 2, the lens 11 is a lens for forming a subject image on the CCD 13. The mechanical mechanism 12 is a mechanism including a mechanical shutter, an autofocus mechanism, an aperture mechanism, and a filter. The CCD 13 is a circuit that converts an image (subject image) input via the lens 11 and the mechanical mechanism 12 into an electric signal (analog image signal).
[0044]
In the image input unit 2, the CDS circuit 14 is a circuit that reduces noise with respect to the CCD image sensor. The A / D converter 15 is a circuit that converts an analog image signal from the CCD 13 input via the CDS circuit 14 into digital image data. Note that the image data converted by the A / D converter 15 is sent to the image processing unit 3 for various image processing.
[0045]
In the image input unit 2, the motor driver 16 is a drive unit that moves the lens 11 to perform zooming and focusing. The control signal generation unit 17 is a processing unit that generates a signal for controlling the operation timing of the CCD 13, the CDS circuit 14, and the A / D converter 15.
[0046]
As shown in FIG. 1, the image processing unit 3 includes a digital signal processing unit 18 and an image compression / decompression processing unit 19. In this image processing unit 3, the digital signal processing unit 18 divides the digital image data input from the A / D converter 15 into various processes, corrections, and image compression / compression for each color difference (Cb, Cr) and luminance (Y). It is a processing unit that performs data processing for decompression.
[0047]
In the image processing unit 3, the image compression / decompression processing unit 19 applies image data sent from the digital signal processing unit 18 or image data sent from the external mobile terminal 1 or the like via the communication unit 6. On the other hand, it is a processing unit that performs JPEG-compliant encoding and decoding. As the JPEG encoding mode, both a DCT-based sequential mode and a hierarchical mode (hierarchical mode) can be executed.
[0048]
The image memory 25 is a flash memory that stores image data obtained by image processing of the image data input from the image input unit 2 by the image processing unit 3, image data input from the communication unit 6, and the like. As an image format stored in the image memory 25, a JPEG hierarchical mode, FlashPix, or the like can be applied. In the present embodiment, the case where only image data is stored is shown, but it is also possible to store voice data and text data.
[0049]
The voice input unit 38 is for inputting call voice, and the voice output unit 39 is for outputting the voice of the call partner (voice data received from the partner terminal) received via the communication unit 6. In the embodiment, as shown in FIG. 2, it is configured as an earphone microphone.
[0050]
The audio processing unit 30 performs A / D (Analog / Digital) conversion on the audio signal input from the audio input unit 38 (earphone microphone), and encodes the digital audio data in accordance with ITU-T recommendation G.723.1. This is a processing unit that decodes encoded audio data received from the counterpart terminal in accordance with ITU-T recommendation G.723.1, and performs D / A (Digital / Analog) conversion on the decoded audio data.
[0051]
As shown in FIG. 1, the display unit 4 includes a finder display control unit 26, an electronic viewfinder 31, an LCD display control unit 27, and an LCD 32.
In the display unit 4, the finder display control unit 26 synthesizes the subject image data input from the digital signal processing unit 18 and rectangular (graphic) data for indicating an arbitrary area in the electronic image view finder. 31 is a processing unit that performs control for display on the screen 31. The LCD display control unit 27 is a processing unit that performs control for displaying image data, operation menus, and the like stored in the image memory 25 on the LCD 32.
[0052]
As illustrated in FIG. 1, the operation unit 5 includes an operation instruction unit 29, a touch panel 33, and a touch panel control unit 28. In the operation unit 5, the touch panel control unit 28 detects a portion of the touch panel 33 that is touched by a pen tip or a finger (not shown) of the electronic pen and captures the position information. And are in close contact with each other. The operation instruction unit 29 is a user interface including various operation switches for instructing operations such as function selection and photographing instruction, and operations for designating a rectangular area displayed on the electronic viewfinder 31. .
[0053]
As shown in FIG. 1, the communication unit 6 includes a card interface 20, a card adapter 21, and a PC card 37. In the communication unit 6, the card interface 20 is a processing unit that performs an interface operation with a PC card compliant with the PCMCIA (Personal Computer Memory Card International Association) standard.
[0054]
In the communication unit 6, the PC card 37 performs data communication by connecting to a data communication card with a built-in antenna for performing wireless data communication using PDC or PHS of a digital cellular phone service, or by connecting to a PSTN. For example, a memory card for storing image data. The PC card 37 conforms to the PCMCIA standard and is connected to the card adapter 21.
[0055]
As shown in FIG. 1, the control unit 7 includes a CPU 22, a main memory 23, and a ROM 24, and controls the operation of each unit of the mobile terminal 1.
In the control unit 7, the main memory 23 is configured by a DRAM (Dynamic Random Access Memory) and is used as a work area of the CPU 22. Various programs for controlling the mobile terminal 1 are written in the ROM 24 in advance.
[0056]
The battery 35 shown in FIG. 1 is, for example, a nickel metal hydride battery or a lithium battery, and supplies current to the inside of the mobile terminal 1 via the DC-DC converter 34.
[0057]
[Data communication protocol configuration example]
Next, the configuration of the data communication protocol in the mobile terminal 1 used in the present embodiment will be described with reference to FIG. In the present embodiment, the configuration of a data communication protocol when audio data encoded according to ITU-T recommendation G.723.1 and data such as a JPEG file are multiplexed and transmitted will be described. Also, when voice data and data such as files are multiplexed and transmitted using a mobile communication line, provided by mobile communication providers such as PDC data communication service and PHS PIAFS (PHS Internet Access Forum Standard) In this embodiment, the configuration of the data communication protocol when using the data communication service of the PDC will be described.
[0058]
FIG. 3 is a block diagram showing the configuration of the data communication protocol, and more specifically, audio data encoded according to ITU-T recommendation G.723.1 and data such as a JPEG file using the data communication service of PDC. Is a block diagram showing a configuration of a data communication protocol in the case of transmitting and multiplexing.
[0059]
As shown in FIG. 3, the data communication protocol includes a block 40 for performing communication control, a block 41 for transferring binary data, a block 42 for performing speech encoding and decoding of ITU-T recommendation G.723.1, An H.223 execution unit 51, a V.42 execution unit 52, and a physical layer 53 are included. Hereinafter, the specific configuration of each unit and the content of processing will be described in order.
[0060]
In the data communication protocol shown in FIG. 3, the block 40 includes a communication control application 43, an H.245 execution unit 44, a CCSRL (Control Channel Segmentation and Reassembly Layer) 45, and a LAPM execution unit 46. Executes communication control such as connection establishment and release.
[0061]
Specifically, the communication control application 43 executes communication control such as establishment and release of a data communication connection. Further, the H.245 execution unit 44 executes an operation based on the ITU-T recommendation H.245. Further, the CCSRL 45 divides the SDU (Service Data Unit) received from the H.245 execution unit 44 into one or a plurality of PDUs (Protocol Data Units), and one or a plurality of PDUs received from the LAPM execution unit 46 One SDU is generated from The LAPM execution unit 46 executes LAPM (Link Access Procedures for Modems), which is an error correction procedure defined in ITU-T recommendation V.42.
[0062]
In the data communication protocol shown in FIG. 3, a block 41 is composed of a binary data transfer application 47 and an X.225 execution unit 48, and executes transfer of binary data such as a still image file. Specifically, the binary data transfer application 47 executes transfer of binary data such as a still image file using ITU-T recommendation T.434 as a binary file transfer format. In addition, the X.225 execution unit 48 executes a session layer operation in conformity with ITU-T recommendation X.225.
[0063]
Further, in the data communication protocol shown in FIG. 3, the block 42 is composed of an audio I / O 49 and a G.723.1 execution unit 50, and executes voice encoding and decoding of ITU-T recommendation G.723.1. Specifically, the audio I / O 49 corresponds to an earphone microphone, and the G.723.1 execution unit 50 corresponds to the audio processing unit 30. In ITU-T recommendation G.723.1, audio data is encoded at 5.3 Kbit / s or 6.3 Kbit / s.
[0064]
In the data communication protocol shown in FIG. 3, the H.223 execution unit 51 includes an adaptation layer and a multiplexing layer, and executes an operation based on the ITU-T recommendation H.223. Note that ITU-T Recommendation H.223 defines three levels of protocols for mobile communications, with level 1 having the weakest error resistance and level 3 having the strongest error resistance.
[0065]
Specifically, the H.223 level 3 adaptation layer in the H.223 execution unit 51 performs error detection on the communication control data received from the LAPM execution unit 46 and the binary data received from the X.225 execution unit 48. Forward error correction (FEC) and retransmission (ARQ: Automatic ReQuest for reception) are executed. Further, the H.223 multiplexing layer in the H.223 execution unit 51 multiplexes the communication control data, binary data, and audio data received from the H.223 adaptation layer, and also receives them from the V.42 execution unit 52. Communication control data, binary data, and audio data are separated from the multiplexed data and sent to the H.223 adaptation layer.
[0066]
Further, in the data communication protocol shown in FIG. 3, the V.42 execution unit 52 is mounted on the communication PC card 37 and executes an operation based on the ITU-T recommendation V.42, so that a data error occurs. Make corrections. The physical layer 53 is also mounted on the communication PC card 37 and modulates data corresponding to the communication speed.
[0067]
In addition, in the data communication protocol shown in FIG. 3, the “digital type automobile telephone system standard” (standard number RCR STD-27G) which is an ARIB (Association of Radio Industries and Businesses) standard, such as call connection and release. The illustration of the processing unit that executes the compliant operation is omitted. Further, in the above communication method, the audio encoding method can be appropriately switched according to the communication mode. However, in this embodiment, for convenience of description, audio encoding is limited to ITU-T recommendation G.723.1 only. Explained.
[0068]
[Example of communication using data communication protocol]
Next, a communication example using the data communication protocol in the mobile terminal 1 used in the present embodiment will be described with reference to FIGS. In the present embodiment, a case will be described in which a data communication service of PDC is used to communicate with a partner terminal using the data communication protocol shown in FIG.
[0069]
First, the operations of the communication control application 43 and the H.245 execution unit 44 until a communication state in which a conversation can be established by connecting to a partner terminal will be described. FIG. 4 is a diagram illustrating a sequence up to a communication state in which a conversation can be established by connecting to the partner terminal. As shown in the figure, first, a call is connected according to the procedure defined in the ARIB standard RCR STD-27G, and data is transmitted between the V.42 execution unit 52 of the local terminal and the V.42 execution unit 52 of the counterpart terminal When the link connection is established, the H.245 execution unit 44 of the own terminal transmits a TerminalCapabilitySet message, and receives a TerminalCapabilitySetAck that is a response message from the partner terminal, thereby exchanging capabilities between the terminals.
[0070]
Then, the H.245 execution unit 44 of the own terminal transmits a MasterSlaveDetermination message, and when receiving a MasterSlaveDeterminationAck message including master determination information from the other terminal, transmits an MasterSlaveDeterminationAck message including slave determination information, thereby The terminal becomes a master and the partner terminal becomes a slave.
[0071]
Then, the H.245 execution unit 44 of the own terminal opens an audio channel by transmitting an OpenLogicalChannel message including G.723.1 audio as a data type and receiving an OpenLogicalChannelAck message as a response message from the counterpart terminal.
[0072]
Then, the H.245 execution unit 44 of the own terminal transmits a MultiplexEntrySend message, receives a MultiplexEntrySendAck message that is a response message from the counterpart terminal, and determines a multiplexing table entry, thereby executing a voice data communication phase. That is, the state shifts to a state in which a conversation with the communication partner can be made. Note that the primitive between the communication control application 43 and the H.245 execution unit 44 shown in FIG. 4 is defined in ITU-T recommendation H.245.
[0073]
Next, operations of the communication control application 43 and the H.245 execution unit 44 from the communication state in which conversation can be performed to the communication state in which audio data and image data can be multiplexed and transmitted will be described. FIG. 5 is a diagram illustrating a sequence from a communication state in which conversation can be performed to a communication state in which audio data and image data can be multiplexed and transmitted.
[0074]
As shown in FIG. 5, when a request for multiplexing still image data and audio data is transmitted, first, the H.245 execution unit 44 of the own terminal first sends an OpenLogicalChannel message including T.434 data as a data type. And a channel for binary data is opened by receiving an OpenLogicalChannelAck message which is a response message from the partner terminal.
[0075]
Then, the H.245 execution unit 44 of its own terminal transmits a MultiplexEntrySend message, receives a MultiplexEntrySendAck message that is a response message from the counterpart terminal, and determines a multiplexing table entry, thereby obtaining still image data and audio data. It shifts to a state where it can be multiplexed and transmitted. Note that the primitive between the communication control application 43 and the H.245 execution unit 44 shown in FIG. 5 is defined in ITU-T recommendation H.245.
[0076]
Next, operations of the communication control application 43 and the H.245 execution unit 44 from the communicable state to the end of the communication state will be described. FIG. 6 is a diagram illustrating a sequence from the communicable state to the end of the communication state. As shown in the figure, when ending communication, first, the H.245 execution unit 44 of its own terminal transmits a CloseLogicalChannel message to each of the audio channel and the channel for binary data, and the response message CloseLogicalChannelAck The voice channel and the binary data channel are closed by receiving the message.
[0077]
Then, the H.245 execution unit 44 of the own terminal transmits an EndSessionCommand message to notify the partner terminal of the end of communication. Then, after releasing the data link connection between the V.42 execution units 52, the call is released according to the procedure defined in the ARIB standard RCR STD-27G. Note that the EndSession request primitive and EndSession notification primitive shown in FIG. 6 are specific to the present embodiment and are not defined in ITU-T Recommendation H.245.
[0078]
[Operation example of mobile terminal]
Next, with reference to FIGS. 7 to 18, an operation example (operation example 1 to operation example 8) in the mobile terminal 1 used in the present embodiment will be described. In the following operation example 1, the case where image data is transmitted after checking the amount of image data will be described. In operation example 2, image data composed of a plurality of frames having different resolutions will be transmitted. In the operation example 3, a case where image data composed of a plurality of sub-images having different resolutions is transmitted will be described.
[0079]
In the operation example 4, a case where image data is transmitted while a predetermined portion of the displayed image content is designated by a rectangular area will be described. In the operation example 5, a predetermined portion of the displayed image is designated by an object. A case where image data is transmitted will be described. In the operation example 6, a case is described in which a predetermined portion of the subject is photographed while being designated by a rectangular area and image data is transmitted, and in the operation example 7, a predetermined portion of the subject is photographed while being designated by an object. A case of transmitting data will be described. In the operation example 8, a case will be described in which image data is transmitted by shooting while specifying the center portion of the shooting screen by an object.
[0080]
(Operation example 1)
In the operation example 1, the mobile terminal 1 determines whether or not the data amount of the image data exceeds a predetermined amount by the control unit 7, and if not, stops the transmission of the audio data and transmits only the image data. However, if it exceeds, the audio data and the image data are multiplexed and transmitted. FIG. 7 is a flowchart for explaining an operation example 1 of the mobile terminal 1. Hereinafter, an operation example 1 of the mobile terminal 1 will be described with reference to FIG.
[0081]
First, the mobile terminal 1 determines whether or not a call operation has been performed using the operation unit 5 (step S701). When a call operation has been performed (Yes in step S701), the mobile terminal 1 makes a call to the partner terminal. Connection is established, a data link connection is established between the V.42 execution units 52, and a channel for voice data is opened in accordance with the communication sequence shown in FIG. 4 (step S702).
[0082]
When a file to be transmitted is selected from among the still image files stored in the image memory 25 during a call with the other party (Yes in step S703), is the data amount of the file smaller than a predetermined value? It is determined whether or not (step S704). The predetermined value is determined in consideration of a transmission time (a time during which conversation is not possible) when transmission of the voice data is stopped and the data is transmitted.
[0083]
If the amount of data is smaller than a predetermined value (Yes at step S704), the communication control application 43 issues an audio mute request to the H.245 execution unit 44, and the H.245 execution unit 44 A MiscellaneousIndication message including information for inactivating the channel is transmitted (step S705). Here, in the case of the first file transmission after the call is connected (Yes at Step S706), a channel for binary data is opened according to the communication sequence shown in FIG. 5 (Step S707).
[0084]
Then, the designated still image file is transmitted through the channel for binary data, and during this transmission, the G.723.1 execution unit 50 stops the operation and stops the transmission of the audio data (step S708). . When the transmission of the still image file is completed (Yes at Step S709), the communication control application 43 issues an audio mute release request to the H.245 execution unit 44, and the H.245 execution unit 44 activates the audio channel. A MiscellaneousIndication message including the information is transmitted (step S710).
[0085]
Then, the G.723.1 execution unit 50 resumes operation and resumes transmission of audio data (step S711). Note that the binary data channel is left in preparation for the next file transmission. Note that during the above file transfer, that is, when the sound is muted, the LCD 32 displays a message or icon indicating that the sound is muted. Thereby, the convenience for the user can be improved.
[0086]
On the other hand, when the data amount of the selected file is larger than a predetermined value (No at Step S704), the first file transmission after the call is connected (Yes at Step S712) is shown in FIG. A channel for binary data is opened according to the communication sequence (step S713). Then, the designated still image file is transmitted through the channel for binary data, but the H.223 execution unit 51 multiplexes the data of the still image file with the audio data and transmits (step S714). In other words, file transfer is performed while talking.
[0087]
As described above, according to the operation example 1, the control unit 7 determines whether or not the data amount of the image data is smaller than the predetermined value, and when it is determined that the image data is smaller than the predetermined value, When only data is transmitted and it is determined that the value is equal to or greater than a predetermined value, the information obtained by multiplexing the audio data and the image data is transmitted. When the amount is small, the conversation (transmission / reception of audio data requiring real-time performance) is interrupted for a short time, and the image data can be transmitted to the conversation partner immediately. Therefore, the transmission partner can quickly understand the contents of the image data. Therefore, it is possible to perform a smooth conversation in consideration of the contents of the image data and reduce communication time and communication cost.
[0088]
(Operation example 2)
In the operation example 2, the mobile terminal 1 stores image data composed of a plurality of frames having different resolutions in the image memory 25, and audio data is transmitted for transmission of image data up to a predetermined frame of the image data. The transmission of the image data of the remaining frames is performed so as to be multiplexed with the audio data and transmitted.
[0089]
First, the storage format of image data will be described. In the operation example 2, the image memory 25 stores a color still image as a file encoded in a hierarchical mode that is one of JPEG encoding methods. This image file is composed of a plurality of frames having different resolutions. The frame includes a reference reproduction component used for prediction of the next frame and a difference frame in which a difference between the current component and the reference reproduction component is encoded. . For this reason, when this image is reproduced (decoded) and displayed, since the frames are sequentially reproduced from the low resolution frame to the higher resolution frame, a rough image is initially displayed. The display image quality is improved.
[0090]
Therefore, when the image file is transmitted by the mobile terminal 1 to the other mobile terminal, frame data with higher resolution is sequentially transmitted from frame data with lower resolution. For this reason, in the mobile terminal 1 on the receiving side, when the received image data is displayed in real time, a rough image is initially displayed, but the quality of the display image is gradually improved.
[0091]
Next, an operation example 2 of the mobile terminal 1 will be described with reference to FIG. FIG. 8 is a flowchart for explaining an operation example 2 of the mobile terminal 1. In the following description, it is assumed that a call operation is performed on the mobile terminal 1 by the user and a channel for voice data is opened.
[0092]
First, when a file to be transmitted is selected from among the still image files in the hierarchical mode stored in the image memory 25 during a call with the other party (Yes in step S801), the communication control application 43 selects the H. The audio mute request is issued to the 245 execution unit 44, and the H.245 execution unit 44 transmits a MiscellaneousIndication message including information for inactivating the audio channel (step S802).
[0093]
The specified still image file is transmitted through the binary data channel. While transmitting data from the beginning of the file to a predetermined frame, the G.723.1 execution unit 50 stops the operation. Transmission of audio data is stopped (step S803). Note that the predetermined frame is determined in consideration of transmission time (time when conversation is not possible) when transmission of audio data is stopped and data up to that frame is transmitted.
[0094]
When data transmission up to a predetermined frame of the still image file is completed (Yes at step S804), the communication control application 43 issues an audio mute release request to the H.245 execution unit 44, and the H.245 execution unit 44 A Miscellaneous Indication message including information for activating the voice channel is transmitted (step S805). Then, the G.723.1 execution unit 50 resumes the operation and resumes the transmission of audio data (step S806), and the H.223 execution unit 51 multiplexes the remaining frame data and audio data of the still image file. (Step S807). That is, the data transfer of the remaining part of the file is executed while talking.
[0095]
Note that the mobile terminal 1 (still image file receiving terminal) of the transmission partner performs decompression processing by the image compression / decompression processing unit 19 each time each frame of the still image file is received, and displays the decompressed data on the LCD 32. To do.
[0096]
As described above, according to the operation example 2, the control unit 7 transmits image data up to a predetermined hierarchy, and after this transmission, information obtained by multiplexing audio data and image data after the predetermined hierarchy. Therefore, the conversation can be interrupted for a short time, and image data up to a predetermined level can be immediately transmitted to the conversation partner. For this reason, the transmission partner can quickly understand the content of the image data received later based on the image data received up to a predetermined hierarchy. Therefore, it is possible to perform a smooth conversation in consideration of the contents of the image data and reduce communication time and communication cost.
[0097]
(Operation example 3)
In the operation example 3, the mobile terminal 1 stores image data composed of a plurality of sub-images having different resolutions in the image memory 25, and stops transmission of audio data of the lowest resolution image data from this image data. Then, the image data with the highest resolution is transmitted with the audio data.
[0098]
First, the storage format of image data will be described. In the operation example 3, the image memory 25 stores a color still image as Flash Pix. In this Flash Pix, one image object is composed of a plurality of sub-images having different resolutions. Each sub-image is composed of tiles of 64 × 64 pixels, which is the minimum unit of image blocks, and each tile is JPEG-compressed.
[0099]
For example, an image shot at 1024 × 1024 pixels may have sub-images of 512 × 512 pixels, 256 × 256 pixels, 128 × 128 pixels, and 64 × 64 pixels. Among these, 512 × 512 pixels Only the 256 × 256 pixel sub-images are stored in the image memory 25 together with the original image of 1024 × 1024 pixels as separate files.
[0100]
Next, an operation example 3 of the mobile terminal 1 will be described with reference to FIG. FIG. 9 is a flowchart for explaining an operation example 3 of the mobile terminal 1. In the following description, it is assumed that a call operation is performed on the mobile terminal 1 by the user and a channel for voice data is opened.
[0101]
First, when a call is made with the other party, a transmission image is selected from the Flash Pix still images stored in the image memory 25 (Yes in step S901), the communication control application 43 executes H.245. The audio mute request is issued to the unit 44, and the H.245 execution unit 44 transmits a MiscellaneousIndication message including information for inactivating the audio channel (step S902).
[0102]
Then, the lowest resolution sub-image file of the specified still image is transmitted through the channel for binary data. While the sub-image file having the lowest resolution is being transmitted, the G.723.1 execution unit 50 stops the operation and stops the transmission of audio data (step S903). When the transmission of the sub-image file is completed (Yes at step S904), the communication control application 43 issues an audio mute release request to the H.245 execution unit 44, and the H.245 execution unit 44 activates the audio channel. A Miscellaneous Indication message including the information to be transmitted is transmitted (step S905).
[0103]
Then, the G.723.1 execution unit 50 resumes the operation and resumes the transmission of the audio data (step S906), and the H.223 execution unit 51 multiplexes and transmits the original image file data and the audio data. (Step S907). That is, the data transfer of the original image file is executed while having a conversation.
[0104]
On the other hand, when receiving the first transmitted sub-image file, the mobile terminal 1 (the receiving terminal of the still image file) of the transmission partner performs the decompression process in the image compression / decompression processing unit 19 and the decompressed data is sent to the LCD 32. indicate. Thereafter, when the original image file is received, the image compression / decompression processing unit 19 performs decompression processing, displays the decompressed data on the LCD 32, and updates the display contents.
[0105]
As described above, according to the operation example 3, the control unit 7 transmits the image data with the minimum data amount (minimum resolution), and after this transmission, the audio data and the image data with the maximum data amount (maximum resolution) Therefore, it is possible to interrupt the conversation for a short period of time and transmit the image data with the minimum resolution to the conversation partner as soon as possible. For this reason, the transmission partner can quickly understand the content of the highest resolution image data received later based on the lowest resolution image data received earlier. Therefore, it is possible to perform a smooth conversation in consideration of the contents of the image data and reduce communication time and communication cost.
[0106]
(Operation example 4)
In the operation example 4, the mobile terminal 1 displays the image stored in the image memory 25 on the LCD 32, and designates an arbitrary rectangular area of the displayed image content by the touch panel 33. Then, the mobile terminal 1 transmits the image data in the designated rectangular area by stopping the transmission of the audio data, and then transmits the entire (original) image data by multiplexing with the audio data. Operate.
[0107]
FIG. 10 is a diagram illustrating an image display example on the LCD 32, and FIG. 11 is a flowchart for explaining an operation example 4 of the mobile terminal 1. Hereinafter, an operation example 4 of the mobile terminal 1 will be described with reference to FIG. In the following description, it is assumed that a call operation is performed on the mobile terminal 1 by the user and a channel for voice data is opened.
[0108]
First, when there is a reproduction operation of a still image file stored in the image memory 25 by the operation unit 5 while talking with the other party, the still image is decompressed by the image compression / decompression processing unit 19 and the decompressed image data Is displayed on the LCD 32 (step S1101). When an arbitrary rectangular area in the still image is designated by the touch panel 33 using an electronic pen or the like (Yes in step S1102), the image data in the rectangular area is compressed by the image compression / decompression processing unit 19. Then, the compressed image data is stored in the main memory 23 (step S1103).
[0109]
When the operation unit 5 performs this still image transmission operation (Yes in step S1104), the communication control application 43 issues an audio mute request to the H.245 execution unit 44, and the H.245 execution unit 44 A MiscellaneousIndication message including information for inactivating the voice channel is transmitted (step S1105).
[0110]
Then, the image data in the rectangular area stored in the main memory 23 is transmitted through the channel for binary data. While the image data in the rectangular area is transmitted, the G.723.1 execution unit 50 performs the operation. The transmission is stopped and the transmission of the audio data is stopped (step S1106).
[0111]
When the transmission of the image data in the rectangular area is completed (Yes at Step S1107), the communication control application 43 issues an audio mute release request to the H.245 execution unit 44, and the H.245 execution unit 44 A MiscellaneousIndication message including information for activating the message is transmitted (step S1108). Then, the G.723.1 execution unit 50 resumes the operation and resumes the transmission of the audio data (step S1109), and the H.223 execution unit 51 stores the data of the original image file and the audio data stored in the image memory 25. Are multiplexed and transmitted (step S1110). That is, the data transfer of the original image file is executed while having a conversation.
[0112]
On the other hand, when receiving the image data in the rectangular area transmitted first, the mobile terminal 1 (still image file receiving terminal) as the transmission partner performs decompression processing in the image compression / decompression processing unit 19 and decompressed data. Is displayed on the LCD 32. Thereafter, when the original image file is received, the image compression / decompression processing unit 19 performs decompression processing, displays the decompressed data on the LCD 32, and updates the display contents.
[0113]
As described above, according to the operation example 4, since the operation unit 5 designates a part of the image in the rectangular area from the image displayed on the display unit 4, the conversation is interrupted for a short time. Thus, the image in the rectangular area that the conversation partner wants to notify immediately can be transmitted to the conversation partner immediately. For this reason, the transmission partner can quickly understand the contents of the whole image received later based on the image in the short area previously received. Therefore, it is possible to perform a smooth conversation in consideration of the contents of the image data and reduce communication time and communication cost.
[0114]
In the operation example 4, a case where a part of an image is designated by a rectangular area has been shown. However, the present invention is not limited to this and can be designated by an area such as a circle, an ellipse, or a triangle. . In the operation example 4, the image data of one rectangular area is transmitted prior to multiplexing. However, the present invention is not limited to this, and the image data of a plurality of short areas are multiplexed. It can also be sent prior to conversion.
[0115]
In the operation example 4, the entire data of the original image file is multiplexed and transmitted. However, the present invention is not limited to this, and the rectangular area image data transmitted prior to the multiplexing is transmitted. It is also possible to send the original image file by excluding.
[0116]
(Operation example 5)
In the operation example 5, the mobile terminal 1 displays the image stored in the image memory 25 on the LCD 32 and designates an arbitrary object of the displayed image content by the touch panel 33. Then, the mobile terminal 1 transmits the image data in the rectangular area including the designated object by stopping the transmission of the audio data, and transmits the entire (original) image data by multiplexing with the audio data. Works like this.
[0117]
First, extraction of an object image will be described with reference to FIGS. 12 and 13. JPEG compression compresses a rectangular image, but when compressing an object image of an arbitrary shape, the rectangular image including the object image is compressed, and the object image is included in the file header of the JPEG file. A method of putting position information of a rectangular image is generally performed.
[0118]
For example, as a method for extracting the contour line of an object image, there is a method disclosed in Japanese Patent Laid-Open No. 5-324829. This is to extract the contour line of the object image in the region surrounded by the rectangle or the closed curve, and also to extract the contour of the object by moving each point on the closed curve in the direction of expanding the closed curve. A method is also disclosed. Even when this closed curve is a point, the outline of the object image including the point can be extracted by the same method.
[0119]
When the contour line of the object image is extracted by the method disclosed in Japanese Patent Laid-Open No. 5-324829, a rectangular area having the minimum area including the object image is extracted based on the position data of the contour line. Then, all the values of the pixels within the rectangular area and outside the outline are replaced with zero. Then, the position data of the rectangular area having the minimum area including the object image is put in the file header of the JPEG file. FIG. 12 is a diagram showing the structure of the file header of a JPEG file.
[0120]
In FIG. 12, SOI is Start Of Image, which is a marker indicating the start of an image. APP0 is an Application segment, which is a segment of application data. COM is a comment and is a comment segment. DQT is a Define Quantization Table, which is a segment of quantization table data. The APP0 segment includes an application data marker code (2 bytes), an application data segment length (2 bytes), an identifier of horizontal position information in the rectangular area (1 byte) and its data (2 bytes), and a rectangle. It consists of an identifier (1 byte) of position information in the vertical direction of the area and its data (2 bytes).
[0121]
FIG. 13 is a diagram showing the relationship between the extracted object image and the rectangular area having the smallest area including the extracted object image. In the figure, the position of the upper left vertex (point B) of the rectangular area is represented by the horizontal and vertical coordinate points (x, y) from the upper left vertex (point A) of the original image. The unit of this coordinate is a pixel. For example, (x, y) = (100, 200) is a position of 100 pixels in the horizontal direction and 200 pixels in the vertical direction from the point A in FIG.
[0122]
In JPEG encoding, processing is executed for each block of 8 × 8 pixels. Therefore, when the number of pixels in the vertical and horizontal directions of the rectangular area including the object image is not a multiple of 8, Append data with a value of zero to be a multiple of.
That is, as shown in FIG. 13, all the data values of the pixels outside the outline of the object image in the rectangular area are replaced with zero. The size of the rectangular area (the number of vertical and horizontal pixels) is written at a position defined by the JPEG standard, that is, at a predetermined position in a SOF (Start Of Frame) segment.
[0123]
Next, an operation example 5 of the mobile terminal 1 will be described with reference to FIG. FIG. 14 is a flowchart for explaining an operation example 5 of the mobile terminal 1. In the following description, it is assumed that a call operation is performed on the mobile terminal 1 by the user and a channel for voice data is opened. First, when there is a reproduction operation of a still image file stored in the image memory 25 by the operation unit 5 while talking with the other party, the still image is decompressed by the image compression / decompression processing unit 19 and the decompressed image data Is displayed on the LCD 32 (step S1401).
[0124]
When an arbitrary object image in the still image is specified by being enclosed with a closed curve by the touch panel 33 using an electronic pen or the like (step S1402), the contour line of the object image is drawn by the method described above. Extract (step S1403). Then, based on the contour position data, a rectangular area having the minimum area including the object image is extracted (step S1404).
[0125]
Then, all the data values of the pixels outside the outline of the object image in the extracted rectangular area are replaced with zero, and the rectangular image data in which portions other than the object are replaced with zero is transferred to the image compression / decompression processing unit 19. Then, compression processing is performed, and the compressed image data is stored in the main memory 23 in the JPEG file format (step S1405). In this storage process, the position information of the rectangular area is written in the file header of the JPEG file.
[0126]
After that, when this still image transmission operation is performed (Yes at Step S1406), the communication control application 43 issues an audio mute request to the H.245 execution unit 44, and the H.245 execution unit 44 inactivates the audio channel. A MiscellaneousIndication message including the information to be transmitted is transmitted (step S1407). The object image data in the JPEG file format stored in the main memory 23 is transmitted through the binary data channel. While this object image data is being transmitted, the G.723.1 execution unit 50 stops the operation. Then, the transmission of the audio data is stopped (step S1408).
[0127]
When the transmission of the object image data is completed (Yes at step S1409), the communication control application 43 issues an audio mute release request to the H.245 execution unit 44, and the H.245 execution unit 44 activates the audio channel. A Miscellaneous Indication message including the information to be transmitted is transmitted (step S1410).
[0128]
The G.723.1 execution unit 50 resumes the operation and resumes the transmission of the audio data (step S1411), and the H.223 execution unit 51 stores the data and audio data of the original image file stored in the image memory 25. Are multiplexed and transmitted (step S1412). That is, the data transfer of the original image file is executed while having a conversation.
[0129]
On the other hand, when receiving the first JPEG file format object image data received by the mobile terminal 1 (still image file receiving terminal) as the transmission partner, the image compression / decompression processing unit 19 performs decompression processing to decompress the object image data. The data is displayed on the LCD 32 based on the position information of the rectangular area recorded in the file header of the JPEG file. Thereafter, when the original image file is received, the image compression / decompression processing unit 19 performs decompression processing, displays the decompressed data on the LCD 32, and updates the display contents.
[0130]
As described above, in the operation example 5, the operation unit 5 designates the object that forms a part of the image from the image information displayed on the display unit 4, so the conversation is interrupted for a short time. Thus, an object that is desired to be immediately notified to the conversation partner can be quickly transmitted to the conversation partner. For this reason, the transmission partner can quickly understand the contents of the whole image received later based on the previously received object. Therefore, it is possible to perform a smooth conversation in consideration of the contents of the image data and reduce communication time and communication cost.
[0131]
In the operation example 5, the object image is designated by the closed curve. However, the present invention is not limited to this, and the object image can be designated by the point. Further, in the operation example 5, the case where the image data of one object is transmitted prior to multiplexing is shown, but the present invention is not limited to this, and the image data of a plurality of objects is prior to multiplexing. Can also be sent.
[0132]
In the operation example 5, the entire data of the original image file is multiplexed and transmitted. However, the present invention is not limited to this. The image data of the object transmitted prior to multiplexing is not limited to this. The original image file can be transmitted by excluding it.
[0133]
(Operation example 6)
In the operation example 6, the mobile terminal 1 displays a subject image on the electronic viewfinder 31, and captures an image by designating an arbitrary rectangular area from the displayed subject image using the operation instruction unit 29. Then, the mobile terminal 1 transmits the image data in the rectangular area of the subject while stopping the transmission of the audio data, and then transmits the entire (original) image data of the subject multiplexed with the audio data. Operate.
[0134]
First, a procedure for storing an image data by specifying an arbitrary rectangular area from a subject image and performing image capturing will be described. First, the subject image converted into an electrical signal by the CCD 13 is displayed on the electronic viewfinder 31 via the CDS circuit 14, the A / D converter 15, the digital signal processing unit 18, and the finder display control unit 26. Subsequently, when a “region designation button” provided in the operation instruction unit 29 is pressed, a rectangle having a predetermined size is displayed on the electronic viewfinder 31. FIG. 15 is a diagram illustrating a display example of the electronic viewfinder 31.
[0135]
When the “region zoom button” provided in the operation instruction unit 29 is pressed, the finder display control unit 26 enlarges or reduces the rectangle and displays it on the electronic viewfinder 31. When the “region movement button (up / down / left / right instruction button)” provided in the operation instruction unit 29 is pressed, the finder display control unit 26 moves the rectangle in a specified direction by a predetermined distance to move the electronic view. Displayed on the viewfinder 31.
[0136]
Subsequently, when the “shooting button” provided in the operation instruction unit 29 is pressed, the subject image data output from the digital signal processing unit 18 is stored in the main memory 23 and also stored in the image compression / decompression processing unit 19. The image data is compressed and stored in the image memory 25.
[0137]
Then, based on the information on the position and size of the rectangle displayed on the electronic viewfinder 31, the image data of the area inside the rectangle is cut out from the subject image data stored in the main memory 23, and the inside of the rectangle area is extracted. The image compression / decompression processing unit 19 compresses the image data. Then, the compressed image data is stored in the main memory 23 in the JPEG file format having the JPEG file header shown in FIG.
[0138]
Next, an operation example 6 of the mobile terminal 1 will be described with reference to FIG. FIG. 16 is a flowchart for explaining an operation example 6 of the mobile terminal 1. In the following description, it is assumed that a call operation is performed on the mobile terminal 1 by the user and a channel for voice data is opened.
[0139]
First, when talking with the other party, the operation unit 5 operates the area designation button, the area zoom button, and the area movement button to designate a rectangular area in the subject and presses the shooting button (Yes in step S1601). ) The subject image data output from the digital signal processing unit 18 is stored in the main memory 23 and is compressed in the image compression / decompression processing unit 19 and stored in the image memory 25 (step S1602).
[0140]
Then, based on the information on the position and size of the rectangle displayed on the electronic viewfinder 31, the image data of the area inside the rectangle is cut out from the subject image data stored in the main memory 23, and the inside of the rectangle area is extracted. The image data is compressed by the image compression / decompression processing unit 19 and the compressed image data is stored in the main memory 23 in the JPEG file format having the JPEG file header including the position information of the rectangular area shown in FIG. (Step S1603).
[0141]
Then, the communication control application 43 issues a voice mute request to the H.245 execution unit 44, and the H.245 execution unit 44 transmits a MiscellaneousIndication message including information for inactivating the voice channel (step S1604). Then, the image data of the rectangular area in the JPEG file format stored in the main memory 23 is transmitted through the channel for binary data. While transmitting the image data of the rectangular area, the G.723.1 execution unit 50 The operation is stopped and transmission of audio data is stopped (step S1605).
[0142]
When the transmission of the image data in the rectangular area is completed (Yes at Step S1606), the communication control application 43 issues a voice mute release request to the H.245 execution unit 44, and the H.245 execution unit 44 sets the voice channel. A MiscellaneousIndication message including information to be activated is transmitted (step S1607).
[0143]
Then, the G.723.1 execution unit 50 resumes the operation and resumes the transmission of the audio data (step S1608), and the H.223 execution unit 51 stores the still image file data of the entire subject stored in the image memory 25. And audio data are multiplexed and transmitted (step S1609). That is, the data transfer of the still image file of the entire subject is executed while talking.
[0144]
On the other hand, when the mobile terminal 1 (receiving terminal of the still image file) as the transmission partner receives the image data of the rectangular area transmitted first, the image compression / decompression processing unit 19 performs the decompression process, and the decompressed data is received. The information is displayed on the LCD 32 based on the position information of the rectangular area recorded in the file header of the JPEG file. Thereafter, when an image file of the entire subject is received, the image compression / decompression processing unit 19 performs decompression processing, displays the decompressed data on the LCD 32, and updates the display contents.
[0145]
As described above, in the operation example 6, the image input unit 2 and the operation unit 5 input an image while designating a part of the rectangular area of the image displayed on the display unit 4, and the control unit 7 Because we decided to send the specified part of the image in the rectangular area, we interrupted the conversation for a short time and sent the part of the image that we wanted to inform the conversation partner immediately after the input. can do. For this reason, the transmission partner can quickly understand the contents of the entire image received later based on the partial image received earlier. Therefore, it is possible to perform a smooth conversation in consideration of the contents of the image data and reduce communication time and communication cost.
[0146]
The operation example 6 shows a case where image data of one rectangular area is transmitted prior to multiplexing. However, the present invention is not limited to this, and multiple pieces of image data of a short area are multiplexed. It can also be sent prior to conversion. In the operation example 6, the entire data of the original image file is multiplexed and transmitted. However, the present invention is not limited to this, and the rectangular area image data transmitted prior to the multiplexing is transmitted. It is also possible to send the original image file by excluding.
[0147]
(Operation example 7)
In the operation example 7, the mobile terminal 1 displays a subject image on the electronic viewfinder 31 and picks up an arbitrary object image from the displayed subject image using the operation unit 5 and shoots it. Then, the mobile terminal 1 transmits the image data in the rectangular area including the object image by stopping the transmission of the audio data, and then multiplexes the entire (original) image data of the subject with the audio data. Operates to send. In the operation example 7, the object image extraction procedure and the object image data transmission procedure are the same as those in the operation example 5 described above, and thus the description thereof is omitted. Hereinafter, an operation example 7 of the mobile terminal 1 will be described with reference to FIG.
[0148]
FIG. 17 is a flowchart for explaining an operation example 7 of the mobile terminal 1. In the following description, it is assumed that a call operation is performed on the mobile terminal 1 by the user and a channel for voice data is opened. First, when talking with the other party, when the region designation button, the region zoom button, and the region movement button are operated by the operation unit 5 to specify the object image in the subject by a closed curve or the like, and the shooting button is pressed (step In step S1701, the subject image data output from the digital signal processing unit 18 is stored in the main memory 23, compressed by the image compression / decompression processing unit 19, and stored in the image memory 25 (step S1702).
[0149]
Then, based on the information on the position and size of the rectangle displayed on the electronic viewfinder 31, the image data of the area inside the rectangle is cut out from the subject image data stored in the main memory 23, and disclosed in Using the method disclosed in Japanese Patent No. 324829, the outline of the object image in the region surrounded by the rectangle is extracted (step S1703). Then, based on the contour position data, a rectangular area having the minimum area including the object image is extracted (step S1704).
[0150]
Then, all the data values of the pixels outside the contour line of the object image in the extracted rectangular area are replaced with zero, and the image data in the rectangular area having the minimum area including the object image is converted into an image compression / decompression processing unit 19. The compressed image data is stored in the main memory 23 in the JPEG file format having the JPEG file header including the position information of the rectangular area shown in FIG. 12 (step S1705).
[0151]
Then, the communication control application 43 issues an audio mute request to the H.245 execution unit 44, and the H.245 execution unit 44 transmits a MiscellaneousIndication message including information for inactivating the audio channel (step S1706). Then, the image data of the rectangular area in the JPEG file format stored in the main memory 23 is transmitted through the channel for binary data. While transmitting the image data of the rectangular area, the G.723.1 execution unit 50 The operation is stopped and transmission of audio data is stopped (step S1707).
[0152]
When the transmission of the image data of the rectangular area is completed (Yes at Step S1708), the communication control application 43 issues a voice mute release request to the H.245 execution unit 44, and the H.245 execution unit 44 sets the voice channel. A MiscellaneousIndication message including information to be activated is transmitted (step S1709).
[0153]
Then, the G.723.1 execution unit 50 resumes the operation and resumes the transmission of the audio data (step S1710), and the H.223 execution unit 51 stores the still image file data of the entire subject stored in the image memory 25. And audio data are multiplexed and transmitted (step S1711). That is, the data transfer of the still image file of the entire subject is executed while talking.
[0154]
On the other hand, when the mobile terminal 1 (receiving terminal of the still image file) as the transmission partner receives the image data of the rectangular area transmitted first, the image compression / decompression processing unit 19 performs the decompression process, and the decompressed data is received. The information is displayed on the LCD 32 based on the position information of the rectangular area recorded in the file header of the JPEG file. Thereafter, when an image file of the entire subject is received, the image compression / decompression processing unit 19 performs decompression processing, displays the decompressed data on the LCD 32, and updates the display contents.
[0155]
As described above, in the operation example 7, the image input unit 2 and the operation unit 5 input an image while designating an object forming an image displayed on the display unit 4, and the control unit 7 inputs the designation input. Since the object is transmitted, the conversation can be interrupted for a short period of time, and an object to be immediately notified to the conversation partner can be transmitted to the conversation partner immediately after the input. For this reason, the transmission partner can quickly understand the contents of the whole image received later based on the previously received object. Therefore, it is possible to perform a smooth conversation in consideration of the contents of the image data and reduce communication time and communication cost.
[0156]
Although the operation example 7 shows a case where image data of one object is transmitted prior to multiplexing, the present invention is not limited to this, and image data of a plurality of objects is prior to multiplexing. Can also be sent. In the operation example 7, the entire data of the original image file is multiplexed and transmitted. However, the present invention is not limited to this, and the image data of the object transmitted prior to multiplexing is not limited to this. The original image file can be transmitted by excluding it.
[0157]
(Operation example 8)
In the operation example 8, the mobile terminal 1 displays a subject image on the electronic viewfinder 31 and designates and captures an object image located at the center on the electronic viewfinder 31. Then, the mobile terminal 1 transmits the image data in the rectangular area including the object image by stopping the transmission of the audio data, and then multiplexes the entire (original) image data of the subject with the audio data. Operates to send.
[0158]
In the operation example 8, the object image extraction procedure and the object image data transmission procedure are the same as those in the operation example 5 described above, and thus the description thereof is omitted. Hereinafter, an operation example 8 of the mobile terminal 1 will be described with reference to FIG. FIG. 18 is a flowchart for explaining an operation example 8 of the mobile terminal 1. In the following description, it is assumed that a call operation is performed on the mobile terminal 1 by the user and a channel for voice data is opened.
[0159]
First, the finder display control unit 26 displays, for example, a cross mark at the center of the subject image data displayed on the electronic viewfinder 31. When the photographing button is pressed while talking with the other party (step S1801), the subject image data output from the digital signal processing unit 18 is stored in the main memory 23, and the image compression / decompression processing unit 19 performs the processing. The image data is compressed and stored in the image memory 25 (step S1802).
[0160]
Then, processing for extracting the object at the center of the subject image data stored in the main memory 23 is performed. That is, the outline of the object including the cross mark displayed on the electronic viewfinder 31 is extracted using the method disclosed in JP-A-5-324829 (step S1803). Then, based on the contour position data, a rectangular area having the minimum area including the object image is extracted (step S1804).
[0161]
Then, all the data values of the pixels outside the contour line of the object image in the extracted rectangular area are replaced with zero, and the image data in the rectangular area having the minimum area including the object image is converted into an image compression / decompression processing unit 19. The compressed image data is stored in the main memory 23 in the JPEG file format having the JPEG file header including the position information of the rectangular area shown in FIG. 12 (step S1805).
[0162]
Then, the communication control application 43 issues an audio mute request to the H.245 execution unit 44, and the H.245 execution unit 44 transmits a MiscellaneousIndication message including information for inactivating the audio channel (step S1806). Then, the image data of the rectangular area in the JPEG file format stored in the main memory 23 is transmitted through the channel for binary data. While transmitting the image data of the rectangular area, the G.723.1 execution unit 50 The operation is stopped and transmission of audio data is stopped (step S1807).
[0163]
When the transmission of the image data in the rectangular area is completed (Yes at step S1808), the communication control application 43 issues a voice mute release request to the H.245 execution unit 44, and the H.245 execution unit 44 sets the voice channel. A MiscellaneousIndication message including information to be activated is transmitted (step S1809).
[0164]
Then, the G.723.1 execution unit 50 resumes the operation and resumes the transmission of the audio data (step S1810), and the H.223 execution unit 51 stores the still image file data of the entire subject stored in the image memory 25. And audio data are multiplexed and transmitted (step S1811). That is, the data transfer of the still image file of the entire subject is executed while talking.
[0165]
On the other hand, when the mobile terminal 1 (receiving terminal of the still image file) as the transmission partner receives the image data of the rectangular area transmitted first, the image compression / decompression processing unit 19 performs the decompression process, and the decompressed data is received. The information is displayed on the LCD 32 based on the position information of the rectangular area recorded in the file header of the JPEG file. Thereafter, when an image file of the entire subject is received, the image compression / decompression processing unit 19 performs decompression processing, displays the decompressed data on the LCD 32, and updates the display contents.
[0166]
As described above, in the operation example 8, the image input unit 2 and the operation unit 5 input an image while designating an object located at the center of the image displayed on the display unit 4, and the control unit 7 Since the designated input object is transmitted, the conversation can be interrupted for a short time, and an object to be immediately notified to the conversation partner can be transmitted to the conversation partner immediately after the input. For this reason, the transmission partner can quickly understand the contents of the whole image received later based on the previously received object. Therefore, it is possible to perform a smooth conversation in consideration of the contents of the image data and reduce communication time and communication cost.
[0167]
The information processing method described in this embodiment can be realized by executing a program prepared in advance on a computer such as a personal computer or a workstation. This program is recorded on a computer-readable recording medium such as a hard disk, floppy disk, CD-ROM, MO, or DVD, and is executed by being read from the recording medium by the computer. The program can be distributed via the recording medium and a network such as the Internet.
[0168]
In the present embodiment, the case where communication is performed between the mobile terminals 1 using the data communication service of PDC has been described. However, the present invention is not limited to this, and the PSTN terminals, the mobile terminals 1 and Communication between PSTN terminals is also possible. If a modem for an analog telephone line such as an ITU-T recommendation V.34 modem is used for the physical layer 53 in the configuration of the data communication protocol shown in FIG. 3, a communication terminal connected to the PSTN is obtained.
[0169]
【The invention's effect】
As explained above, Book According to the invention, The conversation can be interrupted for a short period of time, and an object to be immediately notified to the conversation partner can be immediately transmitted to the conversation partner. For this reason, the transmission partner can quickly understand the contents of the whole image received later based on the previously received object. Therefore, there is an effect that an information processing apparatus capable of performing a smooth conversation in consideration of the contents of image data and reducing communication time and communication cost can be obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a mobile terminal used in the present embodiment.
FIG. 2 is a diagram illustrating an appearance of a mobile terminal used in the present embodiment.
FIG. 3 is a block diagram showing a configuration of a data communication protocol.
FIG. 4 is a diagram showing a sequence until a communication state is established in which a conversation with a partner terminal is established.
FIG. 5 is a diagram illustrating a sequence from a communication state in which conversation can be performed to a communication state in which audio data and image data are multiplexed and transmitted.
FIG. 6 is a diagram illustrating a sequence from a communicable state to a termination of a communication state.
FIG. 7 is a flowchart for explaining an operation example 1 of the mobile terminal;
FIG. 8 is a flowchart for explaining an operation example 2 of the mobile terminal;
FIG. 9 is a flowchart for explaining an operation example 3 of the mobile terminal;
10 is a diagram showing a display example of an image on the LCD shown in FIG. 1. FIG.
FIG. 11 is a flowchart for explaining an operation example 4 of the mobile terminal;
FIG. 12 is a diagram illustrating a structure of a file header of a JPEG file.
FIG. 13 is a diagram illustrating a relationship between an extracted object image and a rectangular area having the minimum area including the extracted object image.
FIG. 14 is a flowchart for explaining an operation example 5 of the mobile terminal;
15 is a diagram showing a display example of the electronic viewfinder shown in FIG. 1. FIG.
FIG. 16 is a flowchart for explaining an operation example 6 of the mobile terminal;
FIG. 17 is a flowchart for explaining an operation example 7 of the mobile terminal;
FIG. 18 is a flowchart for explaining an operation example 8 of the mobile terminal;
[Explanation of symbols]
1 Mobile terminal
2 Image input section
3 Image processing section
4 display section
5 Operation part
6 Communication Department
7 Control unit
25 Image memory
30 Voice processing part
38 Voice input section
39 Audio output section

Claims

In an information processing apparatus that transmits audio data and image data simultaneously using a single transmission line,
Display means for displaying an image according to the image data;
Designating means for designating an object image forming a part of the image related to the image data displayed on the display means by a rectangular area including the object image extracted based on the position data of the contour line of the object image When,
When the information relating to the object image is designated by the designation means, the transmission of the audio data is stopped, the information relating to the object image is transmitted via the transmission path, and designated by the designation means. When transmission of the information related to the object image ends, transmission control means for restarting transmission of the audio data and transmitting information related to the image data ;
An information processing apparatus comprising:

The information related to the object image transmitted by the transmission control means is rectangular image data in which the pixel data values outside the contour line of the object image are all replaced with zero in the rectangular area.
The information processing apparatus according to claim 1.

A means for outputting an audio mute request when an operation for transmitting information related to the object image designated by the designation means is performed;
When the transmission control unit receives the audio mute request, the transmission control unit stops transmission of the audio data.
The information processing apparatus according to claim 1, wherein the information processing apparatus is an information processing apparatus.

A means for outputting an audio mute release request when transmission of information relating to the object image designated by the designation means is completed;
When the transmission control unit receives the audio mute release request, the transmission control unit resumes transmission of the audio data.
The information processing apparatus according to claim 3.

An information processing method executed by an information processing apparatus that transmits audio data and image data simultaneously using a single transmission line,
A display step of displaying an image according to the image data;
A designation step of designating an object image forming a part of the image related to the image data displayed in the display step in a rectangular area including the object image extracted based on the position data of the contour line of the object image When,
When the information relating to the object image is designated by the designation step, the transmission of the audio data is stopped, the information relating to the object image is transmitted via the transmission path, and designated by the designation step. When transmission of the information related to the object image is completed, a transmission control step of restarting transmission of the audio data and transmitting information related to the image data ;
An information processing method comprising:

The information relating to the object image transmitted in the transmission control step is rectangular image data in which all data values of pixels outside the contour line of the object image are replaced with zero in the rectangular region.
The information processing method according to claim 5.

A step of outputting an audio mute request when an operation of transmitting information related to the object image specified in the specifying step is performed;
When the transmission control step receives the audio mute request, the transmission control step stops transmission of the audio data.
The information processing method according to claim 5 or 6.

A step of outputting an audio mute release request when transmission of information related to the object image specified in the specifying step is completed;
The transmission control step resumes transmission of the audio data upon receiving the audio mute release request.
The information processing method according to claim 7.