JP6766392B2 - 情報処理システム、情報処理端末、その制御方法および制御プログラム - Google Patents

情報処理システム、情報処理端末、その制御方法および制御プログラム Download PDF

Info

Publication number
JP6766392B2
JP6766392B2 JP2016058016A JP2016058016A JP6766392B2 JP 6766392 B2 JP6766392 B2 JP 6766392B2 JP 2016058016 A JP2016058016 A JP 2016058016A JP 2016058016 A JP2016058016 A JP 2016058016A JP 6766392 B2 JP6766392 B2 JP 6766392B2
Authority
JP
Japan
Prior art keywords
information processing
processing terminal
call
rtp packet
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016058016A
Other languages
English (en)
Other versions
JP2017175323A (ja
Inventor
充敬 森崎
充敬 森崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2016058016A priority Critical patent/JP6766392B2/ja
Priority to US16/087,153 priority patent/US10455074B2/en
Priority to PCT/JP2017/001524 priority patent/WO2017163558A1/ja
Publication of JP2017175323A publication Critical patent/JP2017175323A/ja
Application granted granted Critical
Publication of JP6766392B2 publication Critical patent/JP6766392B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M11/00Telephonic communication systems specially adapted for combination with other electrical systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2203/00Aspects of automatic or semi-automatic exchanges
    • H04M2203/25Aspects of automatic or semi-automatic exchanges related to user interface aspects of the telephonic communication service
    • H04M2203/251Aspects of automatic or semi-automatic exchanges related to user interface aspects of the telephonic communication service where a voice mode or a visual mode can be used interchangeably
    • H04M2203/252Aspects of automatic or semi-automatic exchanges related to user interface aspects of the telephonic communication service where a voice mode or a visual mode can be used interchangeably where a voice mode is enhanced with visual information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/74Details of telephonic subscriber devices with voice recognition means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145Handheld terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、情報処理システム、情報処理端末、その制御方法および制御プログラムに関する。
上記技術分野において、特許文献1には、テレビ電話中に静止画を取得する技術が開示されている。
特開平07−312746号公報
しかしながら、上記文献に記載の技術では、通話相手から送られてきた静止画を受け取るのみであり、能動的に所望の画像を撮像することができなかった。
本発明の目的は、上述の課題を解決する技術を提供することにある。
上記目的を達成するため、本発明に係るシステムは、
第1情報処理端末と第2情報処理端末とを含む情報処理システムであって、
前記第1情報処理端末は、
通話のための音声を入力して音声データを生成する第1マイクと、
前記第2情報処理端末を通話相手先端末として特定して、前記第1マイクから取得した通話のための音声データをRTP(Real-time Transport Protocol)パケットとして送信する第1送信手段と、
前記第2情報処理端末から通話のためのRTPパケットを受信する第1受信手段と、
を備え、
前記第2情報処理端末は、
撮像を行ないライブビュー用低解像度画像データ及び静止画用高解像度画像データを生成するカメラと、
通話のための音声を入力して音声データを生成する第2マイクと、
前記第1情報処理端末との通話中に、前記第2マイクから取得した通話のためのRTPパケットを前記第1情報処理端末に送信する第2送信手段と、
前記第1情報処理端末から通話のためのRTPパケットを受信する第2受信手段と、
を備え、
前記第1送信手段は、前記第2情報処理端末との通話中に、前記第2情報処理端末に内蔵されている前記カメラをズーム操作するためのズーム操作コマンドをRTPパケットとして通話のための音声データと共に前記第2情報処理端末に送信し、
前記第2受信手段は、前記ズーム操作コマンドを含むRTPパケットを前記第1情報処理端末から受信して、前記カメラのズーム機能を駆動し
前記第2送信手段は、前記第1情報処理端末との通話中に、前記カメラで撮像して取得した前記ライブビュー用低解像度画像データを、前記第2マイクから取得した前記通話のための音声データと共にRTPパケットとして前記第1情報処理端末に送信し、さらに、前記第2受信手段が前記カメラのシャッターコマンドを含むRTPパケットを受信した場合には、前記静止画用高解像度画像データをRTPパケットとして前記第1情報処理端末に送信する。
上記目的を達成するため、本発明に係る端末は、
通話のための音声を入力して音声データを生成する第1マイクと、
情報処理端末を通話相手先端末として特定して、前記第1マイクから取得した通話のための音声データをRTPパケットとして送信する第1送信手段と、
前記情報処理端末から通話のためのRTPパケットを受信する第1受信手段と、
を備えた他の情報処理端末との間で通信可能であり、
撮像を行ないライブビュー用低解像度画像データ及び静止画用高解像度画像データを生成するカメラと、
音声を入力して音声データを生成する第2マイクと、
前記他の情報処理端末との通話中に、前記第2マイクから取得した前記通話のためのRTPパケットを前記他の情報処理端末に送信する第2送信手段と、
前記他の情報処理端末から通話のためのRTPパケットを受信する第2受信手段と、
を備えた情報処理端末であって、
前記第2受信手段は、前記カメラをズーム操作するための操作コマンドをRTPパケットとして前記他の情報処理端末から前記音声データと共に受信して、前記カメラの操作を行ない、
前記第2送信手段は、前記他の情報処理端末との通話中に、前記カメラで撮像して取得した前記ライブビュー用低解像度画像データを、前記第2マイクから取得した前記通話のための音声データと共にRTPパケットとして前記他の情報処理端末に送信し、さらに、前記第2受信手段が前記カメラのシャッターコマンドを含むRTPパケットを受信した場合には、前記静止画用高解像度画像データを前記他の情報処理端末に送信する。
上記目的を達成するため、本発明に係る方法は、
音声を入力して音声データを生成する第1マイクと、
情報処理端末を通話相手先端末として特定して、前記第1マイクから取得した通話のための音声データをRTPパケットとして送信する第1送信手段と、
前記情報処理端末から通話のためのRTPパケットを受信する第1受信手段と、
を備えた他の情報処理端末との間で通信可能であり、
撮像を行ないライブビュー用低解像度画像データ及び静止画用高解像度画像データを生成するカメラと、
通話のための音声を入力して音声データを生成する第2マイクと、
前記他の情報処理端末との通話中に、前記第2マイクから取得した通話のためのRTPパケットを前記他の情報処理端末に送信する第2送信手段と、
前記他の情報処理端末から通話のためのRTPパケットを受信する第2受信手段と、
を備えた情報処理端末の制御方法であって、
前記カメラをズーム操作するための操作コマンドと、通話のための前記音声データとを含むRTPパケットを前記他の情報処理端末から受信して、前記カメラの操作を行なう遠隔操作ステップと、
前記他の情報処理端末との通話中に、前記カメラで撮像して取得した前記ライブビュー用低解像度画像データを、前記第2マイクから取得した前記通話のための音声データと共にRTPパケットとして前記他の情報処理端末に送信し、さらに、前記カメラのシャッターコマンドを含むRTPパケットを受信した場合には、前記静止画用高解像度画像データをRTPパケットとして前記他の情報処理端末に送信する送信ステップと、
を含む。
上記目的を達成するため、本発明に係るプログラムは、
音声を入力して音声データを生成する第1マイクと、
情報処理端末を通話相手先端末として特定して、前記第1マイクから取得した通話のための音声データをRTPパケットとして送信する第1送信手段と、
前記情報処理端末から通話のためのRTPパケットを受信する第1受信手段と、
を備えた他の情報処理端末との間で通信可能であり、
撮像を行ないライブビュー用低解像度画像データ及び静止画用高解像度画像データを生成するカメラと、
通話のための音声を入力して音声データを生成する第2マイクと、
前記他の情報処理端末との通話中に、前記第2マイクから取得した通話のためのRTPパケットを前記他の情報処理端末に送信する第2送信手段と、
前記他の情報処理端末から通話のためのRTPパケットを受信する第2受信手段と、
を備えた情報処理端末の制御プログラムであって、
前記カメラをズーム操作するための操作コマンドと、通話のための前記音声データとを含むRTPパケットを前記他の情報処理端末から受信して、前記カメラの操作を行なう遠隔操作ステップと、
前記他の情報処理端末との通話中に、前記カメラで撮像して取得した前記ライブビュー用低解像度画像データを、前記第2マイクから取得した前記通話のための音声データと共にRTPパケットとして前記他の情報処理端末に送信し、さらに、前記カメラのシャッターコマンドを含むRTPパケットを受信した場合には、前記静止画用高解像度画像データをRTPパケットとして前記他の情報処理端末に送信する送信ステップと、
を情報処理端末に実行させる。
本発明によれば、通話中に能動的に通話相手の装置を用いて撮像された所望の画像を取得できる。
本発明の第1実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第2実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第2実施形態に係る情報処理システムの表示画像構成を示す図である。 本発明の第2実施形態に係る情報処理システムの信号のやりとりの一例を示す図である。 本発明の第2実施形態に係る情報処理端末での処理の流れを示すフローチャートである。 本発明の第2実施形態に係る情報処理端末での処理の流れを示すフローチャートである。
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
[第1実施形態]
本発明の第1実施形態としての情報処理システム100について、図1を用いて説明する。情報処理システム100は、2つの情報処理端末101、102を含むシステムである。
図1に示すように、情報処理端末101は、マイク111と送信部112と受信部113とを備え、情報処理端末102は、マイク121と送信部122と受信部123とカメラ124とを含む。
マイク111、121は、音声を入力して音声データを生成する。送信部112は、情報処理端末102を通話相手先端末として特定して、マイク111から取得した音声データを送信する。受信部113は、情報処理端末102から音声データを受信する。
送信部122は、情報処理端末101との通話中に、マイク121から取得した音声データを情報処理端末101に送信する。受信部123は、情報処理端末101から音声データを受信する。カメラ124は、撮像を行ない画像データを生成する。
送信部112は、情報処理端末102との通話中に、情報処理端末102に内蔵されているカメラ124を操作するための操作コマンドを音声データと共に情報処理端末102に送信する。
受信部123は、操作コマンドを情報処理端末101から受信して、カメラ124の操作を行なう。送信部122は、情報処理端末101との通話中に、カメラ124で撮像して取得した画像データを、マイク121から取得した音声データと共に情報処理端末101に送信する。
以上の構成によれば、非常に簡単に通話中に相手端末で撮像を行なうことができる。
[第2実施形態]
次に本発明の第2実施形態に係る情報処理システムについて、図2を用いて説明する。図2は、本実施形態に係る情報処理システム200の機能構成を説明するための図である。
情報処理端末201、202は、同じ構成であり、マイク211、221、送信部212、222、受信部213、223の他、カメラ214、224およびタッチパネル215、225を備えている。さらに、情報処理端末201、202は、ストレージ216、226と、プロセッサ217、227を備えている。
プロセッサ217、227は、ストレージ216、226に格納された各種プログラムを実行して各種機能(例えばここではテレビ電話機能)を実現する。
マイク211、221は、音声を入力して音声データを生成する。送信部212は、情報処理端末202を通話相手先端末として特定して、マイク211から取得した音声データを送信する。受信部213は、送信部212から送信された音声データをネットワークを介して受信する。
送信部222は、情報処理端末201との通話中に、マイク221から取得した音声データを情報処理端末201に送信する。受信部223は、情報処理端末201から音声データを受信する。カメラ224は、撮像を行ない画像データを生成する。
送信部212は、情報処理端末202との通話中に、情報処理端末202に内蔵されているカメラ224を操作するための操作コマンドを音声データと共に情報処理端末202に送信する。
受信部223は、操作コマンドを情報処理端末201から受信して、カメラ224の操作を行なう。送信部222は、情報処理端末201との通話中に、カメラ224で撮像して取得した画像データを、マイク221から取得した音声データと共に情報処理端末201に送信する。
これらの情報処理端末201、202は、テレビ電話で相手の顔を見ながら通話することが可能である。通話中にタッチパネル215、225に表示された操作用アイコンとしての遠隔操作ボタン251、261をタップすることにより、相手方端末のカメラを遠隔操作するためのリモートカメラモードに移行する。
図3は、TV通話中にリモートカメラモードに移行した画面を説明するための図面である。情報処理端末201において、遠隔操作ボタン251がタップされると、図3の左側に示すような画面が表示される。
タッチパネル215には、通話中、通話相手先名311、ピクチャインピクチャ画像、マイク制御ボタン313、通話切断ボタン314が表示されている。ピクチャインピクチャ領域312は、自機である情報処理端末201で撮像された画像を表示する。ここでは、カメラ214によって撮像された情報処理端末201のユーザの顔が表示されている。
遠隔操作ボタン251がタップされると、これらのボタンや画像に加えて、カメラ遠隔制御用のボタン群が表示される。ここでは、カメラ遠隔制御用のボタン群として、シャッターボタン315、ズームインボタン316、ズームアウトボタン317、ズーム倍率318、カメラ切り換えボタン319、画像ダウンロードボタン320、その他カメラ制御ボタン321が表示される。
これらのうち、カメラ切り換えボタン319をタップすると、情報処理端末202の駆動カメラが、不図示の背面カメラに切り替わり、ユーザ360から見て、情報処理端末202の背景350がライブビュー撮像される。
撮像された背景350の低解像度画像は、RTP(Real-time Transport Protocol)によって情報処理端末201に送られ、タッチパネル215に大きく表示される。この状態で、ズームインボタン316またはズームアウトボタン317がタップされると、情報処理端末202は、カメラ224のズーム機能を駆動して、情報処理端末201のユーザが希望する倍率で撮像を行なう。その倍率は、ズーム倍率318として表示される。この状態でも情報処理端末201のユーザと情報処理端末202のユーザ360とは通話中であるため、情報処理端末201のユーザは、情報処理端末202のユーザ360に対して、情報処理端末202のカメラをどの方向に向けて欲しいか伝えることができる。
情報処理端末201のユーザが高解像度画像データを所望する画像がライブビューとしてタッチパネル215に表示された状態になると、情報処理端末201のユーザは、シャッターボタン315をタップすればよい。シャッターボタン315がタップされると、情報処理端末202において、背景350の画像が高解像度で撮像され、情報処理端末202内のストレージ226に保存される。ストレージ226に保存された高解像度静止画像データは、ユーザによる画像ダウンロードボタン320のタップにより、情報処理端末202から情報処理端末201に送られストレージ216に保存される。このとき、情報処理端末202は、テレビ電話に用いられるRTPパケットを利用して情報処理端末201に送信するが、その他の方法で、送信してもよい。
その他カメラ制御ボタン321が操作されると、カメラ224による撮像の細かい調整を行なうことができる。例えば、色調、明るさ、ホワイトバランスなど、様々な撮像設定を調整できる。
情報処理端末201および情報処理端末202のストレージ216、226には、GUI(Graphical User Interface)表示モジュールおよびカメラ遠隔操作モジュールを含むテレビ電話アプリケーションプログラムがインストールされ、プロセッサ217、227により実行される。これにより、上述のような表示および機能が実現される。
図4は、2台の情報処理端末201、202の間の信号のやりとりの流れを示すシーケンス図である。
まず、ステップS401において、発信者端末としての情報処理端末201が、情報処理端末202に対して「招待」を送信する。次に、ステップS402において、着信側端末としての情報処理端末202が情報応答「100−試行中」を情報処理端末201に返す。
情報処理端末202が呼び出し処理を行ない、呼び出し音が鳴り始めたら、情報処理端末201に対して「180−呼び出し中」を返す(S404)。情報処理端末202は、ユーザから電話に出る操作(アイコンのタップまたはスライド)を受け付けると、ステップS404において、情報処理端末201に「200−OK」を返す。次にステップS405に進み、情報処理端末201が情報処理端末202に対して「ACK−受信確認」を返す。これにより、セッションが確立される。
セッション中には、ステップS406において実際の会話がRTPパケットを介して送受信され通話が成立する。テレビ電話の場合には、RTPパケットに、音声データおよび動画データ(低解像度ストリーミングデータ)を載せて、情報処理端末201、202の間でデータの送受信を行なう。
ステップS407において、通話中、情報処理端末201が、ユーザ操作に応じてカメラ操作要求パケットをRTPパケットの一部として情報処理端末202に送信する。RTPパケットに、カメラ224の操作コマンドを埋め込み、情報処理端末202では、そのパケットから操作コマンドを解釈して、カメラ224を操作する。情報処理端末202は、最初にカメラ操作要求パケットを受信すると、カメラ224を起動しリモート状態にする。
さらに、情報処理端末201が情報処理端末202にRTPパケットの一部として撮像コマンドを送ると(S408)、情報処理端末202は、カメラ224を制御して高解像度での撮像を行なう。
また、ステップS409において、情報処理端末202は、情報処理端末201からの要求に応じて、撮像された高解像度画像データをRTPで情報処理端末201に送信する。情報処理端末201は、RTPで受信した高解像度画像データを、セッションを維持しつつ表示する。
通話を終了する場合には、ステップS410において、情報処理端末201、202のいずれか一方からBYEリクエストが他方の端末側に送られる。BYEリクエストを受け取った情報処理端末は、ステップS411において相手方の情報処理端末に対して「200−OK」を返し、セッションが終了する。
以上のように、IP電話では、RTPパケットを構成(音声をIPパケット化)して、IPネットワークに音声を送出する。このとき、音声およびカメラ操作コマンドをRTPパケット化する。ただし、本発明は上述したパケットの送受信に限定されるものではなく、カメラ操作コマンドのみのRTPパケットを別途構成してもよいし、全く別の種類のパケットによってカメラ操作および画像データの送受信を行なってもよい。
図5は、情報処理端末201において行なわれるカメラ操作処理の流れを示すフローチャートである。
ステップS501において、通話中であると判断すると、ステップS503において、カメラ224の遠隔操作指示を受け付けたか否か判定する。タッチパネル215に対する遠隔操作指示を受け付けると、ステップS503からステップS505に進み、遠隔操作コマンドを情報処理端末202に送信する。
次にステップS507において、シャッターボタン315がタップされたか判断し、タップされると、ステップS509に進んで、シャッターコマンドを情報処理端末202に送信する。
ステップS511において、画像データのダウンロード操作を受け付けると、ステップS513に進み、情報処理端末202から画像データを受信する。画像データを受信すると、ステップS514において、情報処理端末201は、タッチパネル215に、受信した画像データを表示する。
図6は、情報処理端末202において行なわれるカメラ操作処理の流れを示すフローチャートである。
ステップS601において、通話中であると判断すると、ステップS603において、通話相手からのカメラ操作要求を受け付けたか否か判定する。カメラ操作要求を受け付けると、ステップS605において、カメラ224が既に起動されているか判定し、起動されていなければ、ステップS607に進み、カメラ224を起動する。
次に、ステップS609において、カメラ遠隔操作コマンドを受信すると、ステップS611に進み、プロセッサ227がカメラ224の操作を行なう。
さらにステップS613において、シャッター操作のコマンドを受信すると、ステップS615に進み、高画質で撮像を行ない、高解像度画像データを記憶し、通話相手からの要求に応じて、高解像度画像データを送信する。
以上の構成によれば、非常に簡単に通話中に相手端末で好みの撮像を行なうことができる。
[他の実施形態]
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるWWW(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体(non-transitory computer readable medium)は本発明の範疇に含まれる。

Claims (8)

  1. 第1情報処理端末と第2情報処理端末とを含む情報処理システムであって、
    前記第1情報処理端末は、
    通話のための音声を入力して音声データを生成する第1マイクと、
    前記第2情報処理端末を通話相手先端末として特定して、前記第1マイクから取得した通話のための音声データをRTP(Real-time Transport Protocol)パケットとして送信する第1送信手段と、
    前記第2情報処理端末から通話のためのRTPパケットを受信する第1受信手段と、
    を備え、
    前記第2情報処理端末は、
    撮像を行ないライブビュー用低解像度画像データ及び静止画用高解像度画像データを生成するカメラと、
    通話のための音声を入力して音声データを生成する第2マイクと、
    前記第1情報処理端末との通話中に、前記第2マイクから取得した通話のためのRTPパケットを前記第1情報処理端末に送信する第2送信手段と、
    前記第1情報処理端末から通話のためのRTPパケットを受信する第2受信手段と、
    を備え、
    前記第1送信手段は、前記第2情報処理端末との通話中に、前記第2情報処理端末に内蔵されている前記カメラをズーム操作するためのズーム操作コマンドをRTPパケットとして通話のための音声データと共に前記第2情報処理端末に送信し、
    前記第2受信手段は、前記ズーム操作コマンドを含むRTPパケットを前記第1情報処理端末から受信して、前記カメラのズーム機能を駆動し
    前記第2送信手段は、前記第1情報処理端末との通話中に、前記カメラで撮像して取得した前記ライブビュー用低解像度画像データを、前記第2マイクから取得した前記通話のための音声データと共にRTPパケットとして前記第1情報処理端末に送信し、さらに、前記第2受信手段が前記カメラのシャッターコマンドを含むRTPパケットを受信した場合には、前記静止画用高解像度画像データをRTPパケットとして前記第1情報処理端末に送信する情報処理システム。
  2. 前記第1情報処理端末は、
    通話相手を表わす情報と、
    前記カメラを操作するための操作用アイコンと、
    前記第2送信手段から受信した前記RTPパケットに含まれる前記ライブビュー用低解像度画像データと、
    を表示する表示手段をさらに備えた請求項1に記載の情報処理システム。
  3. 前記第2送信手段は、前記音声データと共に前記カメラで撮像した前記ライブビュー用低解像度画像データRTPパケットとして送信し、
    前記第1受信手段は、前記ライブビュー用低解像度画像データ含むRTPパケットを受信し、
    前記表示手段は、受信した前記RTPパケットに含まれる前記ライブビュー用低解像度画像データを表示することにより、テレビ電話による通話を実現する請求項2に記載の情報処理システム。
  4. 前記操作用アイコンが操作されることにより、
    前記第1送信手段は、前記カメラのズーム倍率を操作するための前記操作コマンドを含むRTPパケットを送信する請求項2または3に記載の情報処理システム。
  5. 前記表示手段は、前記第2送信手段から受信した前記RTPパケットに含まれる前記ライブビュー用低解像度画像データを前記第2情報処理端末との通話中に表示する請求項2、3または4に記載の情報処理システム。
  6. 通話のための音声を入力して音声データを生成する第1マイクと、
    情報処理端末を通話相手先端末として特定して、前記第1マイクから取得した通話のための音声データをRTPパケットとして送信する第1送信手段と、
    前記情報処理端末から通話のためのRTPパケットを受信する第1受信手段と、
    を備えた他の情報処理端末との間で通信可能であり、
    撮像を行ないライブビュー用低解像度画像データ及び静止画用高解像度画像データを生成するカメラと、
    音声を入力して音声データを生成する第2マイクと、
    前記他の情報処理端末との通話中に、前記第2マイクから取得した前記通話のためのRTPパケットを前記他の情報処理端末に送信する第2送信手段と、
    前記他の情報処理端末から通話のためのRTPパケットを受信する第2受信手段と、
    を備えた情報処理端末であって、
    前記第2受信手段は、前記カメラをズーム操作するための操作コマンドをRTPパケットとして前記他の情報処理端末から前記音声データと共に受信して、前記カメラの操作を行ない、
    前記第2送信手段は、前記他の情報処理端末との通話中に、前記カメラで撮像して取得した前記ライブビュー用低解像度画像データを、前記第2マイクから取得した前記通話のための音声データと共にRTPパケットとして前記他の情報処理端末に送信し、さらに、前記第2受信手段が前記カメラのシャッターコマンドを含むRTPパケットを受信した場合には、前記静止画用高解像度画像データを前記他の情報処理端末に送信する情報処理端末。
  7. 音声を入力して音声データを生成する第1マイクと、
    情報処理端末を通話相手先端末として特定して、前記第1マイクから取得した通話のための音声データをRTPパケットとして送信する第1送信手段と、
    前記情報処理端末から通話のためのRTPパケットを受信する第1受信手段と、
    を備えた他の情報処理端末との間で通信可能であり、
    撮像を行ないライブビュー用低解像度画像データ及び静止画用高解像度画像データを生成するカメラと、
    通話のための音声を入力して音声データを生成する第2マイクと、
    前記他の情報処理端末との通話中に、前記第2マイクから取得した通話のためのRTPパケットを前記他の情報処理端末に送信する第2送信手段と、
    前記他の情報処理端末から通話のためのRTPパケットを受信する第2受信手段と、
    を備えた情報処理端末の制御方法であって、
    前記カメラをズーム操作するための操作コマンドと、通話のための前記音声データとを含むRTPパケットを前記他の情報処理端末から受信して、前記カメラの操作を行なう遠隔操作ステップと、
    前記他の情報処理端末との通話中に、前記カメラで撮像して取得した前記ライブビュー用低解像度画像データを、前記第2マイクから取得した前記通話のための音声データと共にRTPパケットとして前記他の情報処理端末に送信し、さらに、前記カメラのシャッターコマンドを含むRTPパケットを受信した場合には、前記静止画用高解像度画像データをRTPパケットとして前記他の情報処理端末に送信する送信ステップと、
    を含む情報処理端末の制御方法。
  8. 音声を入力して音声データを生成する第1マイクと、
    情報処理端末を通話相手先端末として特定して、前記第1マイクから取得した通話のための音声データをRTPパケットとして送信する第1送信手段と、
    前記情報処理端末から通話のためのRTPパケットを受信する第1受信手段と、
    を備えた他の情報処理端末との間で通信可能であり、
    撮像を行ないライブビュー用低解像度画像データ及び静止画用高解像度画像データを生成するカメラと、
    通話のための音声を入力して音声データを生成する第2マイクと、
    前記他の情報処理端末との通話中に、前記第2マイクから取得した通話のためのRTPパケットを前記他の情報処理端末に送信する第2送信手段と、
    前記他の情報処理端末から通話のためのRTPパケットを受信する第2受信手段と、
    を備えた情報処理端末の制御プログラムであって、
    前記カメラをズーム操作するための操作コマンドと、通話のための前記音声データとを含むRTPパケットを前記他の情報処理端末から受信して、前記カメラの操作を行なう遠隔操作ステップと、
    前記他の情報処理端末との通話中に、前記カメラで撮像して取得した前記ライブビュー用低解像度画像データを、前記第2マイクから取得した前記通話のための音声データと共にRTPパケットとして前記他の情報処理端末に送信し、さらに、前記カメラのシャッターコマンドを含むRTPパケットを受信した場合には、前記静止画用高解像度画像データをRTPパケットとして前記他の情報処理端末に送信する送信ステップと、
    を情報処理端末に実行させる制御プログラム。
JP2016058016A 2016-03-23 2016-03-23 情報処理システム、情報処理端末、その制御方法および制御プログラム Active JP6766392B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016058016A JP6766392B2 (ja) 2016-03-23 2016-03-23 情報処理システム、情報処理端末、その制御方法および制御プログラム
US16/087,153 US10455074B2 (en) 2016-03-23 2017-01-18 Information processing system, information processing terminal, and control method and control program of information processing terminal
PCT/JP2017/001524 WO2017163558A1 (ja) 2016-03-23 2017-01-18 情報処理システム、情報処理端末、その制御方法および制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016058016A JP6766392B2 (ja) 2016-03-23 2016-03-23 情報処理システム、情報処理端末、その制御方法および制御プログラム

Publications (2)

Publication Number Publication Date
JP2017175323A JP2017175323A (ja) 2017-09-28
JP6766392B2 true JP6766392B2 (ja) 2020-10-14

Family

ID=59901010

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016058016A Active JP6766392B2 (ja) 2016-03-23 2016-03-23 情報処理システム、情報処理端末、その制御方法および制御プログラム

Country Status (3)

Country Link
US (1) US10455074B2 (ja)
JP (1) JP6766392B2 (ja)
WO (1) WO2017163558A1 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07312746A (ja) 1994-05-18 1995-11-28 Casio Comput Co Ltd テレビ電話装置及びその画像表示方法
KR100404885B1 (ko) * 2001-02-16 2003-11-10 삼성전자주식회사 휴대용 동화상 폰을 이용한 원격감시 장치
JP2005286445A (ja) * 2004-03-29 2005-10-13 Mitsubishi Electric Corp 画像伝送端末、画像伝送端末システム及び端末画像伝送方法
JP2006352661A (ja) * 2005-06-17 2006-12-28 Fujitsu Ltd テレビ電話端末、撮影方法および撮影プログラム
WO2013187033A1 (ja) * 2012-06-12 2013-12-19 日本電気株式会社 制御装置、画像送信方法、及び制御プログラム
US9253439B2 (en) * 2014-02-24 2016-02-02 Cellco Partnership Managing complex video call scenarios in volte calls
JP6343194B2 (ja) 2014-07-08 2018-06-13 キヤノン株式会社 通信装置およびその制御方法、並びにプログラム
KR102509939B1 (ko) * 2015-10-13 2023-03-15 삼성전자 주식회사 전자 장치 및 전자 장치의 영상 인코딩 방법

Also Published As

Publication number Publication date
US10455074B2 (en) 2019-10-22
JP2017175323A (ja) 2017-09-28
US20190104215A1 (en) 2019-04-04
WO2017163558A1 (ja) 2017-09-28

Similar Documents

Publication Publication Date Title
US7715872B2 (en) Video calling method capable of providing video through third display
WO2011126511A4 (en) Establishing a video conference during a phone call
JP2008147877A (ja) 会議システム
US9185345B2 (en) Video conference system and method for performing the same
US8259157B2 (en) Teleconference terminal apparatus and image transmitting method
US8786631B1 (en) System and method for transferring transparency information in a video environment
JP2003299069A (ja) 画像配信方法およびその動作処理を実行するプログラムおよびそのプログラムを記憶した記憶媒体、および画像配信装置および画像受信装置
JP2009159516A (ja) 接続装置および接続方法
KR100989660B1 (ko) 원격 비디오 체인의 제어 방법 및 시스템
JP6766392B2 (ja) 情報処理システム、情報処理端末、その制御方法および制御プログラム
JP2017168977A (ja) 情報処理装置、会議システムおよび情報処理装置の制御方法
JP3726724B2 (ja) テレビ会議システム
JP5141162B2 (ja) テレビ会議システムおよび端末装置
JPH10136246A (ja) カメラ制御システム、及び該システムにおけるカメラ管理装置及び方法、及びカメラ操作装置及び方法、及び記憶媒体
KR20100000547A (ko) 다자간 영상 통화 서비스 제공 방법 및 장치
JP5154020B2 (ja) テレビ電話システム及びテレビ電話端末装置並びにテレビ電話画像表示方法
JP7277173B2 (ja) 動画配信機能を有する撮像装置
KR20190000668A (ko) 영상통화 서비스 제공 방법, 장치 및 컴퓨터 프로그램, 표시 제어 방법, 장치 및 컴퓨터 프로그램
JP2014017642A (ja) 映像通信装置およびそれを用いた映像通信システム
JP2004282785A (ja) 表示制御装置及び表示制御方法
JP2007104273A (ja) メッセージングシステム、サーバ装置およびプログラム
JP2006332968A (ja) テレビ電話装置
JP5729021B2 (ja) ユニファイドコミュニケーション装置、システム、方法及びプログラム
JP2022155136A (ja) 通信装置、制御方法、およびプログラム
JP2008252563A (ja) テレビ電話機能付携帯電話装置およびテレビ電話機能付携帯電話装置の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200831

R150 Certificate of patent or registration of utility model

Ref document number: 6766392

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150