JP5790132B2 - 情報処理装置、情報処理方法、情報処理プログラム - Google Patents

情報処理装置、情報処理方法、情報処理プログラム Download PDF

Info

Publication number
JP5790132B2
JP5790132B2 JP2011103589A JP2011103589A JP5790132B2 JP 5790132 B2 JP5790132 B2 JP 5790132B2 JP 2011103589 A JP2011103589 A JP 2011103589A JP 2011103589 A JP2011103589 A JP 2011103589A JP 5790132 B2 JP5790132 B2 JP 5790132B2
Authority
JP
Japan
Prior art keywords
image
stereoscopic image
stereoscopic
side terminal
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011103589A
Other languages
English (en)
Other versions
JP2012235384A (ja
Inventor
敏郎 大櫃
敏郎 大櫃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2011103589A priority Critical patent/JP5790132B2/ja
Priority to US13/435,979 priority patent/US20120281066A1/en
Priority to KR1020120034232A priority patent/KR101306671B1/ko
Publication of JP2012235384A publication Critical patent/JP2012235384A/ja
Application granted granted Critical
Publication of JP5790132B2 publication Critical patent/JP5790132B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808Management of client data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/64322IP
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/654Transmission by server directed to the client
    • H04N21/6547Transmission by server directed to the client comprising parameters, e.g. for client setup
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • H04N21/25875Management of end-user data involving end-user authentication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/007Aspects relating to detection of stereoscopic image format, e.g. for adaptation to the display format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、情報処理装置、情報処理方法、情報処理プログラムに関する。
インターネットやLAN(Local Area Network)など、IP(Internet Protocol)ネ
ットワークをベースとしたネットワークサービスが普及している。また、ネットワーク回線の大容量化に伴い、通信データ量が多いデータを用いたサービスが提供され始めている。
インターネット等のネットワークを介して、複数のコンピュータ間で、コンピュータに接続されるカメラによって撮影された相手の画像を見ながら会話等をするビデオチャット(画像チャット、動画チャット)というサービスがある。
通常のビデオチャットサービスでは、送信側コンピュータの1つのカメラで撮影された画像が、送信側コンピュータから、ビデオチャットサービスを提供するネットワーク上のサーバに送信される。当該サーバは、受信した画像を、受信側コンピュータに送信する。当該サーバは、通信回線の状況、受信側コンピュータの状況等によって、受信した画像を間引くなどして、受信した画像のデータ量を圧縮することもある。受信側コンピュータは、受信した画像を、受信側コンピュータの表示装置に表示する。また、同様に、受信側コンピュータも、当該サーバを介して、送信側コンピュータに画像を送信して、送信側コンピュータは、受信した画像を、送信側コンピュータの表示装置に表示する。このようにして、送信側コンピュータの利用者、及び、受信側コンピュータの利用者は、互いに、相手側コンピュータから送信される画像を自身側コンピュータの表示装置で視聴できる。
一方、隣接した2つのカメラで撮影された画像の視差を利用して立体視が可能な画像を生成する立体視画像生成装置がある。立体視画像生成装置は、例えば、隣接した2つのカメラで撮影した画像のうち、一方のカメラによる画像を左眼用画像として、他方のカメラによる画像を右眼用画像として、生成して表示する。立体視画像生成装置は、視聴者の左眼に対して左眼用画像を、右眼に対して右眼用画像を表示するようにし、視聴者に立体的な画像を感じさせる。
特開2003−289553号公報 特開2010−62695号公報 特開2004−94639号公報
ビデオチャットサービスで使用される、送信側から受信側に送信される画像は、通常、1つのカメラで撮影された1つの画像(動画像)である。そのため、ビデオチャットサービスを提供するサーバは、1つのカメラで撮影された画像(2次元画像、非立体視画像)を送受信することに対応しており、2つのカメラで撮影された画像(立体視画像)を送受信することには対応していない。一方、立体視画像は、2つの画像(左眼用画像及び右眼用画像)を使用することによって、視聴者に立体感を感じさせる。よって、ビデオチャットサービスを提供するサーバが2つの画像を送受信することに対応していない場合、2つのカメラで撮影された画像を使用する立体視画像(立体画像)を、ビデオチャットで使用
することは困難である。しかし、ビデオチャットサービスを利用する、コンピュータの利用者が、自身が利用するビデオチャットサービスを提供するサーバに、立体視画像に対応させることは難しい。したがって、1つのカメラからの画像(2次元画像、非立体視画像)を送受信するビデオチャットサービスを提供するサーバであっても、当該ビデオチャットサービスにおいて、立体視画像を利用できることが望ましい。
開示の装置は、2次元画像の画像データの通信によって立体視画像を授受する情報処理装置を提供することを課題とする。
開示の装置は、上記課題を解決するために、以下の手段を採用する。
即ち、第1の態様は、
画像データを受信する受信部と、
前記受信部が受信した前記画像データが、立体視用の画像を含む否かを判定する判定部と、
前記判定部が前記画像データが立体視用の画像を含むと判定した場合、前記画像データを立体視画像に変換する変換部と、
前記変換部によって変換された立体視画像を表示する表示部と、
を備える情報処理装置である。
開示の態様は、プログラムが情報処理装置によって実行されることによって実現されてもよい。即ち、開示の構成は、上記した態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録した記録媒体として特定することができる。また、開示の構成は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されてもよい。
開示の実施形態によれば、2次元画像の画像データの通信によって立体視画像を授受する情報処理装置を提供することができる。
図1は、情報処理システムの構成例を示す図である。 図2は、サーバ装置の構成例を示す図である。 図3は、送信側端末の構成例を示す図である。 図4は、利用者テーブルの例を示す図である。 図5は、受信側端末の構成例を示す図である。 図6は、情報処理装置のハードウェア構成例を示す図である。 図7は、情報処理システムの動作シーケンスの例を示す図である。 図8は、送信側端末の動作フローの例を示す図である。 図9は、立体視画像が変換された例を示す図である。 図10は、受信側端末の動作フローの例を示す図である。 図11は、画像データの復号、立体視画像の生成を説明する図である。 図12は、受信側端末の表示装置の表示例(画面例)を示す図である。
以下、図面を参照して実施形態について説明する。実施形態の構成は例示であり、開示の実施形態の構成に限定されない。
ここでは、ビデオチャット(画像チャット)サービスを例として、実施形態を説明する
。開示の構成は、ビデオチャットの他に、テレビ電話、WEB会議、テレビ会議など画像を伴う通信装置、通信システム全般に適用されうる。画像には、動画像が含まれる。
以下の説明では、左眼用画像および右眼用画像が使用されるが、左眼用画像と右眼用画像との間には、優劣はなく、互いに入れ替えることができる。
〔実施形態〕
(構成例)
図1は、本実施形態の情報処理システムの構成例を示す図である。図1の情報処理システム1は、ネットワーク10に接続されたサーバ装置100、送信側端末200、受信側端末300を含む。サーバ装置100は、送信側端末200から送信された画像を、受信側端末300に送信する。送信側端末200は、送信側端末200のカメラで撮影した画像をサーバ装置100に送信する。受信側端末300は、サーバ装置100から受信した画像(映像)を表示装置に表示する。ネットワーク10は、例えば、インターネット、LANである。ネットワーク10は、これらに限定されるものではない。送信側端末200及び受信側端末300は、ネットワーク10及びサーバ装置100を介して、互いに通信可能となる。サーバ装置100、送信側端末200、受信側端末300は、パスワードなどの情報の暗号化、他の装置からの情報の復号化を行う暗号化・復号化機能を有してもよい。
ビデオチャットサービス等において、送信側端末200及び受信側端末300は、相互に、画像を送受信する。ここでは、便宜的に、画像を送信する端末を送信側端末200、画像を受信する端末を受信側端末300としているが、送信側端末200及び受信側端末300は、原則として、同一の構成を有する。即ち、送信側端末200は、受信側端末300に含まれる構成を有し、受信側端末300は、送信側端末200に含まれる構成を有する。送信側端末200は、受信側端末300としても動作し、受信側端末300は、送信側端末200としても動作する。
送信側端末200を操作する利用者及び受信側端末300を操作する利用者は、IDやパスワード等により、サーバ装置100が提供するビデオチャットサービスに対する操作権限を有するとする。
図2は、サーバ装置の構成例を示す図である。サーバ装置100は、送受信部102、制御部104、格納部106を含む。
サーバ装置100は、送信側端末200および受信側端末300に対し、ビデオチャットサービスを提供する。サーバ装置100は、送信側端末200から受信した画像データを受信側端末300に送信する。サーバ装置100は、少なくとも、一方向(例えば、送信側端末200から受信側端末300への方向)に、1つの画像を転送する機能を有する。サーバ装置100は、各端末の利用者を、ビデオチャットサービスの利用者として認証しうる。
送受信部102は、送信側端末200から送信される画像データ、音声データ、文字データ、利用者情報等を受信する。また、送受信部102は、受信側端末300に対して、受信した画像データ、音声データ、文字データ、利用者情報等を送信する。画像データ等は、ストリーミングデータとして送受信されうる。
制御部104は、サーバ装置100の制御、演算を行う。制御部104は、送信側端末200から受信したデータを、受信側端末300に送信する際に、送信側端末200からのデータに含まれる利用者情報に基づいて、格納部106に格納される受信側端末300
のアドレスを抽出する。制御部104は、抽出したアドレスに基づいて、送受信部102に、送信側端末200から受信したデータを、受信側端末300に送信することを指示する。制御部104は、送信側端末200の利用者、受信側端末300の利用者について、ビデオチャットサービスにおけるユーザ認証を行う。
格納部106は、利用者情報と当該利用者が利用する受信側端末300(または、送信側端末200)のアドレスとを対応づけて格納する。また、格納部106は、ビデオチャットサービスの利用者のユーザID及びパスワードを対応づけているアカウントテーブルを格納する。
図3は、送信側端末の構成例を示す図である。送信側端末200は、送受信部202、制御部204、格納部206、入力部208、表示部210を含む。
送受信部202は、送信側端末200の利用者情報、受信側端末300の利用者情報、画像データ等をサーバ装置100に送信する。
制御部204は、送信側端末200の制御、演算を行う。入力部208で取得された画像を、送信用の画像データに変換する。制御部204は、送受信部202に、画像データ等をサーバ装置100に送信するように指示する。
格納部206は、立体視画像を受信できる受信側端末300の利用者情報を含む利用者テーブルT100等が格納される。
図4は、利用者テーブルの例を示す図である。図4の利用者テーブルT100は、「3Dチャットメンバー」及び「UserAgent情報(UA情報)」を対応づけて格納する。3D
チャットメンバーは、立体視画像によるビデオチャットが可能である相手先利用者である。UA情報は、当該相手先利用者の利用者情報及び送信側端末200の立体視画像の送信方式の情報である。利用者情報は、例えば、相手先利用者のビデオチャットサービスにおけるユーザIDである。また、UA情報には、相手先利用者の端末の情報が含まれてもよい。UA情報は、ファイルの圧縮方法、暗号化方法、利用者が所属するグループ名、利用可能な画像の種類、音声の種類等の情報を含んでもよい。「3Dチャットメンバー」の代わりに「チャットメンバー」とし、当該「チャットメンバー」は、立体視画像によるビデオチャットが可能である相手先利用者と、立体視画像によるビデオチャットが不可能である相手先利用者とを含んでもよい。立体視画像によるビデオチャットが不可能である相手先利用者に対しては、通常の2次元画像によるビデオチャットが可能である。この場合、立体視画像によるビデオチャットの可否が判別できるように、例えば、立体視画像によるビデオチャットが可能であるチャットメンバーのユーザ名に特定の記号等が付加されてもよい。
利用者テーブルT100は、サーバ装置100の格納部106に格納されていてもよい。このとき、サーバ装置100は、送信側端末200の利用者を認証した後、送信側端末200に、利用者テーブルT100の情報を送信する。送信側端末100は、受信した利用者テーブルT100の情報を、格納部206に格納する。
入力部208は、2つのカメラ、マイクロフォン、キーボード等を含む。2つのカメラ、マイクロフォン、キーボード等は、それぞれ、送信側端末200に内蔵されていても、送信側端末200に接続されていてもよい。当該2つのカメラは、立体視画像を撮影可能に配置される。当該2つのカメラは、例えば、所定の間隔をおいて、隣接して設置される。
出力部210は、表示装置、スピーカ等を含む。表示装置、スピーカ等は、それぞれ、送信側端末200に内蔵されていても、送信側端末200に接続されていてもよい。
図5は、受信側端末の構成例を示す図である。受信側端末300は、送受信部302、制御部304、格納部306、入力部308、表示部310を含む。
送受信部302は、サーバ装置100から、送信側端末200の利用者情報、受信側端末300の利用者情報、画像データ等を受信する。
制御部304は、受信側端末300の制御、演算を行う。制御部304は、受信した画像信号を、立体視画像に変換し、出力部310で表示させる。制御部304は、判定部、または、変換部として動作し得る。
格納部306は、送信側端末200の利用者情報等が格納される。
入力部308は、キーボード等を含む。キーボード等は、受信側端末300に内蔵されていても、受信側端末300に接続されていてもよい。制御部304及び入力部308は、受付部として動作し得る。
出力部310は、表示装置、スピーカ等を含む。表示装置、スピーカ等は、それぞれ、受信側端末300に内蔵されていても、受信側端末300に接続されていてもよい。当該表示装置は、立体視用の表示装置である。立体視用の表示装置は、視聴者の左眼に対して左眼用画像を、右眼に対して右眼用画像を表示するようにし、視聴者に立体的な画像を感じさせる表示装置である。出力部310は、表示部として動作し得る。
サーバ装置100は、パーソナルコンピュータ(PC、Personal Computer)のような
汎用のコンピュータまたはサーバマシンのような専用のコンピュータを使用して実現可能である。
送信側端末200及び受信側端末300は、PC、ワークステーション(WS、Work Station)、PDA(Personal Digital Assistant)のような専用または汎用のコンピュータ、あるいは、コンピュータを搭載した電子機器を使用して実現可能である。また、送信側端末200及び受信側端末300は、スマートフォン、携帯電話、カーナビゲーション装置のような専用または汎用のコンピュータ、あるいは、コンピュータを搭載した電子機器を使用して実現可能である。
図6は、情報処理装置のハードウェア構成例を示す図である。サーバ装置100、送信側端末200及び受信側端末300は、それぞれ、例えば、図6に示すような情報処理装置1000によって、実現される。
コンピュータ、即ち、情報処理装置1000は、CPU(Central Processing Unit)
1002、メモリ1004、記憶部1006、入力部1008、出力部1010、通信部1012を含む。
情報処理装置1000は、CPU1002が記録部1006に記憶されたプログラムをメモリ1004の作業領域にロードして実行し、プログラムの実行を通じて周辺機器が制御されることによって、所定の目的に合致した機能を実現することができる。
CPU1002は、記憶部1006に格納されるプログラムに従って処理を行う。
メモリ1004は、CPU1002がプログラムやデータをキャッシュしたり作業領域を展開したりする。メモリ1004は、例えば、例えば、RAM(Random Access Memory)やROM(Read Only Memory)を含む。メモリ1004は、主記憶装置である。
記憶部1006は、各種のプログラム及び各種のデータを読み書き自在に記録媒体に格納する。記憶部1006は、例えば、EPROM(Erasable Programmable ROM)、ソリ
ッドステートドライブ(SSD、Solid State Drive)装置、ハードディスクドライブ(
HDD、Hard Disk Drive)装置である。記憶部1006としては、例えば、CD(Compact Disc)ドライブ装置、DVD(Digital Versatile Disk)ドライブ装置、+R/+R
Wドライブ装置、HD DVD(High-Definition Digital Versatile Disk)ドライブ装置、または、BD(Blu-ray Disk)ドライブ装置がある。また、記録媒体としては、例えば、不揮発性半導体メモリ(フラッシュメモリ)を含むシリコンディスク、ハードディスク、CD、DVD、+R/+RW、HD DVD、または、BDがある。CDとしては、CD−R(Recordable)、CD−RW(Rewritable)、CD−ROMがある。DVDとしては、DVD−R、DVD−RAM(Random Access Memory)がある。BDとしては、BD−R、BD−RE(Rewritable)、BD−ROMがある。また、記憶部1006は、リムーバブルメディア、即ち可搬記録媒体を含むことができる。リムーバブルメディアは、例えば、USB(Universal Serial Bus)メモリ、あるいは、CDやDVDのようなディスク記録媒体である。記憶部1006は、二次記憶装置である。
メモリ1004及び記憶部1006は、コンピュータ読み取り可能な記録媒体である。
入力部1008は、ユーザ等からの操作指示等を受け付ける。入力部1008は、キーボード、ポインティングデバイス、ワイヤレスリモコン、マイクロフォン、デジタルスチルカメラ、デジタルビデオカメラ等の入力デバイスである。入力部1008から入力された情報は、CPU1002に通知される。
出力部1010は、CPU1002で処理されるデータやメモリ1004に記憶されるデータを出力する。出力部1010は、CRT(Cathode Ray Tube)ディスプレイ、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、EL(Electroluminescence)パネル、プリンタ、スピーカ等の出力デバイスである。
通信部1012は、外部装置とデータの送受信を行う。通信部1012は、例えば、信号線を介して、外部装置と接続される。外部装置は、例えば、他の情報処理装置、記憶装置である。通信部1012は、例えば、LAN(Local Area Network)インタフェースボードや、無線通信のための無線通信回路である。
情報処理装置1000は、記憶部1006に、オペレーティングシステム、各種プログラム、各種テーブル等を記憶している。
オペレーティングシステムは、ソフトウェアとハードウェアとの仲介、メモリ空間の管理、ファイル管理、プロセスやタスクの管理等を行うソフトウェアである。オペレーティングシステムは、通信インタフェースを含む。通信インタフェースは、通信部1012を介して接続される他の外部装置等とデータのやり取りを行うプログラムである。
サーバ装置100を実現するコンピュータは、プロセッサが二次記憶装置に記憶されているプログラムを主記憶装置にロードして実行することによって、制御部102としての機能を実現する。一方、格納部106は、主記憶装置または二次記憶装置の記憶領域に設けられる。送受信部102は、CPU1002、通信部1012として実現できる。
送信側端末200を実現するコンピュータは、プロセッサが二次記憶装置に記憶されているプログラムを主記憶装置にロードして実行することによって、制御部202としての機能を実現する。一方、格納部206は、主記憶装置または二次記憶装置の記憶領域に設けられる。入力部208、出力部210は、それぞれ、入力部1008、出力部1010として実現されうる。送受信部202は、CPU1002、通信部1012として実現できる。
受信側端末300を実現するコンピュータは、プロセッサが二次記憶装置に記憶されているプログラムを主記憶装置にロードして実行することによって、制御部302としての機能を実現する。一方、格納部306は、主記憶装置または二次記憶装置の記憶領域に設けられる。入力部308、出力部310は、それぞれ、入力部1008、出力部1010として実現されうる。送受信部302は、CPU1002、通信部1012として実現できる。
一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的または個別に実行される処理を含む。
(動作例)
〈全体〉
図7は、本実施形態の情報処理システムの動作シーケンスの例を示す図である。情報処理システム1では、受信側端末300が送信側端末200からの接続を許可することにより、送信側端末200から受信側端末300に、サーバ装置100を介して、立体視画像のデータが送信される。
図7の動作シーケンスは、送信側端末200の利用者が、サーバ装置100におけるビデオチャットサービスの利用者として、サーバ装置100によって認証されることにより、開始される。
サーバ装置100による認証は、例えば、送信側端末200の利用者により入力されたユーザIDとパスワードにより行われる。送信側端末200からサーバ装置100に、ユーザIDとパスワードが送信されると、サーバ装置100の制御部104は、ユーザIDとパスワードとの組み合わせが、格納部106に格納されるアカウントテーブルに存在するか否かを確認する。存在する場合、サーバ装置100の制御部104は、認証OKと判定する。存在しない場合、サーバ装置の制御部104は、認証NGと判定する。このとき、サーバ装置100は、認証結果を、送信側端末200に通知する。サーバ装置100は、受信側端末300の利用者に対しても、同様に認証しうる。
送信側端末200は、「認証OK」との認証結果をサーバ装置100から受信すると、利用者に対して、立体視画像によるビデオチャットが可能な相手先利用者を表示する。立体視画像によるビデオチャットが可能である相手先利用者は、利用者テーブルT100に「3Dチャットメンバー」として格納される。送信側端末200の制御部204は、格納部206に格納される利用者テーブルT100から、「3Dチャットメンバー」を抽出し、表示装置に表示する。送信側端末200は、利用者に、表示された利用者の中から、所望する相手先利用者を選択させる。送信側端末200は、立体視画像によるビデオチャットが可能である相手先利用者、立体視画像によるビデオチャットが不可能である相手先利用者を表示してもよい。送信側端末200は、立体視画像によるビデオチャットが不可能
である相手先利用者に対して、画像を送信する場合は、立体視画像ではなく通常の2次元画像(例えば、1台のカメラで撮影された画像)を送信する。
相手先利用者が選択されると、送信側端末200は、送信側端末200の利用者情報と共に、受信側端末300の利用者情報を、サーバ装置100に、送信する(SQ1001)。送信側端末200の利用者情報は、送信側端末200の情報などを含んでもよい。受信側端末300の利用者情報は、受信側端末300の情報などを含んでもよい。送信側端末200の利用者の情報、または、受信側端末300の利用者情報は、送信側端末200の立体視画像の送信方式の情報を含む。ここでは、一例として、受信側端末300の利用者情報が、送信側端末200の立体視画像の送信方式の情報を含むとする。送信側端末200の利用者情報は、例えば、送信側端末200の利用者のユーザIDである。受信側端末300の利用者情報は、例えば、利用者テーブルT100におけるUserAgent情報(UA情報)である。UA情報は、相手先利用者の情報および送信側端末200の立体視画像の送信方式の情報(送信方式情報)を含む。
サーバ装置100は、送信側端末200から受信した、送信側端末200の利用者情報、及び、受信側端末300の利用者情報を、受信側端末300に送信する(SQ1002)。サーバ装置100は、受信側端末300の利用者情報から、送信先の受信側端末300を特定する。サーバ装置100は、例えば、受信側端末300のアドレスと、受信側端末300の利用者とを対応付けるテーブルにより、送信先の受信側端末300を特定する。当該テーブルは、例えば、サーバ装置100の格納部106に格納される。受信側端末300の利用者情報には、送信側端末200の立体視画像の送信方式の情報が含まれるが、サーバ装置100は、送信側端末200の立体視画像の送信方式の情報が含まれることを認識しなくてもよい。
受信側端末300は、サーバ装置100から、送信側端末200の利用者情報、受信側端末300の利用者情報を受信する。受信側端末300の利用者情報には、送信側端末200の立体視画像の送信方式の情報が含まれる。受信側端末300は、受信側端末300の利用者情報に、送信側端末200の立体視画像の送信方式の情報が含まれていることを認識する。即ち、受信側端末300は、送信側端末200の利用者が立体視画像による通信を求めていることを認識する。
受信側端末300は、受信側端末300の利用者に、送信側端末200の利用者が立体視画像による通信を求めている旨を通知する。受信側端末300の利用者が通信を許可しない場合、受信側端末300は、通信を許可しない旨の情報をサーバ装置100を介して送信側端末200に送信する。このとき、送信側端末200の利用者と受信側端末300の利用者とは、通信できない。
受信側端末300の利用者が通信を許可する場合、受信側端末300は、送信側端末200との通信を許可する旨の情報である接続許可情報を、サーバ装置100に送信する(SQ1003)。サーバ装置100は、受信側端末300から接続許可情報を受信すると、接続許可情報を、送信側端末200に送信する(SQ1004)。
送信側端末200は、受信側端末300からの接続許可情報を受信すると、受信側端末300に向けて、サーバ装置100に、接続許可受信応答を送信する(SQ1005)。サーバ装置100は、接続許可受信応答を受信すると、受信側端末300に、接続許可受信応答を送信する(SQ1006)。受信側端末300は、送信側端末200からの接続許可受信応答を受信すると、送信側端末200から立体視用の画像を含む画像データが送信されてくることを認識する。
送信側端末200は、受信側端末300に接続許可受信応答を送信すると、受信側端末300に送信する立体視画像を用意する。送信側端末200は、受信側端末300に送信する立体視画像を、送信用の画像データに変換する。送信側端末200は、例えば、立体視画像を、1フレーム(1画像)ごとにサイドバイサイド(side-by-side)の画像データ(立体視用の画像を含むデータ)に変換する。送信側端末200は、1つのフレームに、左眼用画像および右眼用画像を含む画像データとなるように変換する。即ち、送信側端末200は、左眼用画像および右眼用画像を、1つの画像データに合成する。合成された画像データは、立体視用の画像を含むデータである。1つのフレームに左眼用画像および右眼用画像を含むことにより、サーバ装置100で、データ圧縮等のためにフレームが間引かれたとしても、送信した画像が、受信側端末300で、立体視画像として再生されうる。合成された画像データは、2次元画像の画像データと同様のデータである。
送信側端末200は、変換された送信用の画像データを、受信側端末300に向けて、サーバ装置100に送信する(SQ1007)。当該画像データは、1つの画面の画像データである。サーバ装置100は、画像データ等を受信すると、受信側端末300に、当該画像データ等を送信する(SQ1008)。送信側端末200又はサーバ装置100は、画像データを、符号化(エンコード)し得る。
受信側端末300は、サーバ装置100から、画像データ等を受信する。受信側端末300は、画像データを復号し、立体視画像を表示できる表示装置に、復号した立体視画像を表示する。また、受信側端末300は、画像データを復号した結果、立体視用の画像を含まないと判断した場合、立体視画像としての表示を行わない。受信側端末300は、画像データと共に、音声データ及び文字データを受信している場合、立体視画像の表示と共に、これらを再生する。
また、立体視画像が動画像である場合、送信側端末200は、順次(例えば、1フレーム毎に)、立体視画像を立体視画像を含む画像データに変換し、受信側端末300に向けて送信する。受信側端末300は、受信した画像データを、順次(例えば、1フレーム毎に)、復号し、表示装置に、立体視画像を表示する。このとき、送信側端末200は、画像データを、ストリーミングデータとして生成し、送信する。また、受信側端末300は、立体視用の画像を含む画像データを、ストリーミングデータとして受信し、再生する。
〈送信側端末〉
図8は、送信側端末の動作フローの例を示す図である。図8の動作フローは、送信側端末200の利用者が、サーバ装置100におけるビデオチャットサービスの利用者として、サーバ装置100によって認証されることにより、開始される。
送信側端末200は、サーバ装置100から認証されると、利用者に対して、立体視画像によるビデオチャットが可能な相手先利用者を表示する。立体視画像によるビデオチャット可能な相手先利用者は、利用者テーブルT100に「3Dチャットメンバー」として格納される。送信側端末200の制御部204は、格納部206に格納される利用者テーブルT100から、「3Dチャットメンバー」を抽出し、表示装置に表示する。送信側端末200は、利用者に、表示された利用者の中から、所望する相手先利用者を選択させる(S101)。図4の利用者テーブルT100の例では、「sidebyside(side-by-side)」が、送信側端末200の立体視画像の送信方式である。利用者テーブルT100は、サーバ装置100から、認証後に、提供されてもよい。サーバ装置100から提供される利用者テーブルT100には、現時点で通信可能な利用者が含まれて、現時点で通信可能でない利用者が含まれていなくてもよい。現時点での通信可能な利用者は、例えば、サーバ装置100に、ビデオチャットサービスの利用者として、現時点で、認証されている利用者である。
相手先利用者が選択されると、送信側端末200の送受信部202は、送信側端末200の利用者情報と共に、通信を所望する相手先利用者の受信側端末300の利用者情報を、サーバ装置100を介して受信側端末300に、送信する(S102)。送信側端末200は、利用者情報等を送信すると、受信側端末300から接続許可が送信されてくるのを待機する。
送信側端末200は、受信側端末300からの通信を許可する旨の接続許可情報を受信する(S103)と、送信側端末200は、接続許可受信応答を生成する。接続許可受信応答は、送信側端末200が、受信側端末300に、接続許可を受信したことを通知する情報である。送信側端末200は、受信側端末300に向けて、接続許可受信応答を送信する(S104)。
送信側端末200は、受信側端末300に接続許可受信応答を送信すると、受信側端末300に送信する立体視画像の準備を開始する(S105)。送信側端末200は、例えば、受信側端末300に送信する立体視画像として、入力部208の2つのカメラで、撮影を開始する。2つのカメラのうち、一方のカメラで撮影された画像は左眼用画像であり、他方のカメラで撮影された画像は右眼用画像である。また、例えば、送信側端末200の利用者によって、格納部206等に格納される立体視画像が、受信側端末300に送信する立体視画像として選択されてもよい。
送信側端末200は、受信側端末300に送信する立体視画像を、送信用画像データに変換する(S106)。送信側端末200は、左眼用画像及び右眼用画像の2つの画像を、1つの送信用画像データに変換する。送信側端末200は、例えば、立体視画像を、1フレームごとにサイドバイサイド(side-by-side)の画像データに変換する。ここで変換された画像データは、サーバ装置100では、1つの画像データとして認識される。送信側端末200は、受信側端末300に、通常の2次元画像(1つのカメラで撮影された画像)を送信する場合、例えば、右眼用画像を画像データとしてもよい。
図9は、立体視画像が変換された例を示す図である。図9の例は、左眼用画像および右眼用画像を含む立体視画像が、サイドバイサイドの1つの画像の画像データに変換された例を示す。変換された画像では、左眼用画像が画像フレームの左半分に、右眼用画像が画像フレームの右半分に配置される。図9における画像が、サイドバイサイドに変換された画像の1フレームである。画像の配置は、図9の例に限定されるものではない。例えば、左眼用画像は画像フレームの左半分全体、右眼用画像は画像フレームの右半分全体であってもよい。
図8に戻って、送信側端末200は、変換された画像データを、受信側端末300に向けて、サーバ装置100に送信する(S107)。送信側端末200は、画像データと共に、音声データ、文字データ等を送信してもよい。音声データは、例えば、カメラによる画像と共に、入力部208のマイクロフォンによって取得された音声データである。画像データおよび音声データには、それぞれ、時刻情報が含まれ、再生時に、同期が取れるようにされる。文字データは、例えば、送信側端末200の利用者によって入力部208のキーボード等により入力された文字情報である。これらの各種データは、受信側端末300において、再生される。
立体視画像が動画像である場合、送信側端末200は、順次(例えば、1フレーム毎に)、立体視画像を立体視用の画像を含む画像データに変換し、受信側端末300に向けて送信する。即ち、この場合、ステップS105以降の処理が繰り返される。
図8の動作フローのようにして、送信側端末200は、受信側端末300に、画像データを送信する。
〈受信側端末〉
図10は、受信側端末の動作フローの例を示す図である。図10の動作フローは、例えば、受信側端末300の利用者が、サーバ装置100におけるビデオチャットサービスの利用者として、サーバ装置100によって認証されることにより、開始される。
受信側端末300は、サーバ装置100から、送信側端末200の利用者情報、受信側端末300の利用者情報を受信する(S201)。受信側端末300は、これらの利用者情報を受信することにより、送信側端末200の利用者が、受信側端末300の利用者との通信を所望していることを認識する。受信側端末300の利用者情報には、送信側端末200の立体視画像の送信方式の情報が含まれる。受信側端末300は、受信側端末300の利用者情報から、送信側端末200の立体視画像の送信方式の情報を抽出する。受信側端末300は、受信側端末300の利用者情報に、送信側端末200の立体視画像の送信方式の情報が含まれていることにより、送信側端末200が当該送信方式により立体視画像を送信しようとしていることを認識する。立体視画像の送信方式は、例えば、「side-by-side」である。立体視画像の送信方式は、「side-by-side」に限定されるものではない。例えば、画面の一列ごとに、左眼用画像、右眼用画像が配置されるようにして、左眼用画像および右眼用画像が合成されてもよい。
受信側端末300は、受信側端末300の利用者に、送信側端末200の利用者が立体視画像による通信を求めている旨を通知する。受信側端末300は、例えば、出力部310の表示装置に、「送信側端末200の利用者が立体視画像による通信を求めている旨」を表示する。受信側端末300は、受信側端末300の利用者に、通信を求めている送信側端末200の利用者との立体視画像による通信を許可するか否かを選択させる。通信を許可しない場合、受信側端末300は、通信を許可しない旨の情報を、サーバ装置100を介して送信側端末200に送信する。このとき、送信側端末200の利用者と受信側端末300の利用者とは、通信できない。
通信を許可する場合、受信側端末300は、送信側端末200との通信を許可する旨の情報である接続許可情報を、サーバ装置100を介して、送信側端末200に送信する(S202)。送信側端末200は、接続許可情報を受信すると、接続許可受信応答を受信側端末300に送信する。接続許可受信応答は、送信側端末200が接続許可情報を受信したことを示す情報である。受信側端末300は、送信側端末200からの接続許可受信応答を受信する(S203)。
受信側端末300は、サーバ装置100からの画像データ等を受信する(S204)。受信側端末300は、例えば、画像データと共に、音声データ、文字データを受信してもよい。画像データおよび音声データには、それぞれ、時刻情報が含まれ、再生時に、同期が取れるようにされる。
受信側端末300は、画像データを復号し、表示装置に表示させる立体視画像の表示データを生成する(S205)。
図11は、画像データの復号、立体視画像の生成を説明する図である。制御部304は、前処理部322、スキャンアドレス生成部324、ビデオメモリコントローラ326、レンダリング処理部328を含む。ビデオメモリ332は、格納部306に含まれる。前処理部322は、判定部として動作しうる。ビデオメモリコントローラ326、レンダリング部328は、変換部として動作しうる。
送受信部302は、画像データを受信すると、画像データを前処理部332に送る。前処理部332は、画像データを復号化(デコード)する。画像データは、送信側端末200又はサーバ装置100によって、符号化(エンコード)されている。
前処理部322は、デコードした画像データから同期信号を抽出し、スキャンアドレス作成部324に送る。同期信号は、画像データと音声データとの同期をとるための信号である。画像と音声との同期が取れないと、画像と音声とを出力した場合に、時間的にずれが生じ、視聴する受信側端末300の利用者に違和感を生じさせる。
前処理部322は、送信側端末200から送信される立体視画像の送信方式を確認する。立体視画像の送信方式は、ステップS201で確認されている。ここでは、立体視画像の送信方式が「sidebyside」であるとする。「sidebyside」では、図9のように、1フレームの画像の左半分に左眼用画像が、右半分に右眼用画像が配置される。
前処理部322は、受信した画像データの画像を抽出する。前処理部322は、当該画像が立体視用の画像を含むか否かを判定する。立体視画像が「sidebyside」である場合、画像の左半分(左眼用画像に相当する部分)と右半分(右眼用画像に相当する部分)とは類似したものとなる。
そこで、前処理部322は、次のようにして、立体視用の画像を含むか否かを判定できる。前処理部322は、立体視画像の送信方式に基づいて、受信した画像を左眼用画像と右眼用画像とに分離する。前処理部322は、抽出した画像の左半分(左眼用画像に相当する部分)と右半分(右眼用画像に相当する部分)とを同じ位置で重ね合わせ、画素値の差分を取る。前処理部322は、画素値の差分の和が所定値未満であれば、当該画像が立体視用の画像を含むと判定できる。
また、左眼用画像と右眼用画像とは、画像に存在する視差の影響で、同じ位置の重ね合わせでは、十分に立体視用の画像を含むか否かを判定できない場合がある。そこで、前処理部322は、次のようにして、立体視用の画像を含むか否かを判定してもよい。前処理部322は、画像の左半分(左眼用画像に相当する部分)と右半分(右眼用画像に相当する部分)とを同じ位置で重ねあわせ、両方の画像における画素値の差分をとる。さらに、前処理部322は、画像の左半分を平行移動させて、同様に、各位置で差分を取る。演算部120は、いずれかの位置で、差分の和が所定値未満である場合、当該画像が立体視用の画像を含むと判定できる。ここで平行移動させる移動量は、所定量未満とする。当該所定量は、左眼用画像と右眼用画像とが、立体視用の画像として認識され得る量とする。立体視用の画像を含む否かの判定は、ここに挙げたものに限定されるものではない。
前処理部322は、画像が立体視用の画像を含むと判定した場合、画像をビデオコントローラ326に送る。ビデオコントローラ326は、画像を左半分(左眼用画像に相当する部分)と右半分(右眼用画像に相当する部分)とに分離し、左半分を左眼用画像、右半分を右眼用画像として、ビデオメモリ332に一時的に格納する。ビデオメモリコントローラ326は、ビデオメモリ332に格納した左眼用画像および右眼用画像を、順次、レンダリング処理部328に送信する。レンダリング処理部328は、左眼用画像及び右眼用画像を、表示装置で立体視画像として表示させるデータとして生成する。
また、前処理部322は、画像が立体視用の画像を含まないと判定した場合、画像をビデオコントローラ326に送る。ビデオコントローラ326は、画像を分離することなく、そのままビデオメモリ332に一時的に格納する。ビデオメモリコントローラ326は、ビデオメモリ332に格納した画像を、順次、レンダリング処理部328に送信する。
レンダリング処理部328は、送信された画像を、表示装置で通常の2次元画像として表示させるデータとして生成する。
スキャンアドレス作成部324は、前処理部322が抽出した同期信号に基づいてスキャンアドレス信号を作成し、ビデオメモリコントローラ326に供給する。ビデオメモリコントローラ326は、同期信号に基づいて、画像を、レンダリング処理部328に送信する。
図10に戻って、受信側端末300は、立体視画像を表示できる表示装置に、制御部304が生成した立体視画像を表示する(S206)。また、受信側端末300は、受信した音声データを復号し、出力部110のスピーカから、復号した音声を出力する。受信端末300は、音声を立体視画像と同期させて、出力する。受信側端末300は、受信した文字データを復号し、復号した文字情報を表示装置に表示する。
また、立体視画像が動画像である場合、受信側端末300は、受信した画像データを、順次(例えば、1フレーム毎に)、復号し、表示装置に、立体視画像を表示する。即ち、この場合、ステップS204以降の処理が繰り返される。
図10の動作フローのようにして、受信側端末300は、画像データを受信して、立体視画像を表示する。また、受信側端末300は、受信した画像データが立体視用画像でない場合、通常の2次元画像として、画像を表示する。
(変形例)
上記の情報処理システム1は、送信側端末200からのデータ等が、サーバ装置100によって複数の受信側端末300に送信されることによって、3つ以上の端末が参加するテレビ会議システム等に適用可能である。また同様に、1つの送信側端末200に対して、複数の受信側端末が存在する映像ストリーミング放送に対しても適用可能である。
また、送信側端末200は、立体視画像の送信方式を送信しなくてもよい。受信側端末300は、ステップS205及び図11で説明したのと同様にようにして、画像データを受信した際に、前処理部322で、画像データが立体視用の画像を含むか否かを判定することができる。このとき、送信されてくる画像データが、「sidebyside」であると仮定してもよい。また、前処理部322は、いくつかの送信方式を仮定して、受信した画像を左眼用画像および右眼用画像に分離し、画像データが立体視用の画像を含むか否かを判定してもよい。このとき、前処理部322は、画像データが、1つの送信方式でも、立体視用の画像を含むと判定されれば、立体視用の画像を含むと判定する。
受信側端末300は、立体視画像を表示装置に表示する際に、受信側端末300の利用者に対し、立体視画像を表示するか否かを選択させてもよい。このとき、受信側端末300は、表示装置に「立体視画像を表示するか否か」を選択させる旨の表示をする。受信側端末300の利用者が立体視画像を表示しないことを選択した場合、受信側端末300は、例えば、画像データから右眼用画像を抽出し、右眼用画像を(立体視画像ではない)通常の画像として表示装置に表示することができる。これにより、利用者が立体視画像の視聴を所望しない場合、立体視画像を表示しないことができる。また、表示装置に「立体画像切替」ボタンを表示し、利用者が「立体視画像」の表示と「2次元画像」の表示とを任意に切り替えられるようにしてもよい。
受信側端末300の前処理部322が、送信された画像データが立体視用の画像を含まないと判断したとき、削除してもよい。
図12は、受信側端末の表示装置の表示例(画面例)を示す図である。図12の例では、表示装置は、画面に、送信側端末200からの画像、自装置(受信側端末300)による画像、文字データ、文字入力領域、及び、「立体視画像切替」ボタンを表示する。受信側端末300の利用者により、「立体視画像切替」ボタンが選択されることにより、「立体視画像」の表示と「2次元画像」の表示とが切り替えられる。ボタンの選択は、入力部308のポインティングデバイス、キーボード等によって、受け付けられ得る。
受信側端末300は、2次元画像の表示の際、例えば、立体視画像の右眼用画像を表示することによって、2次元画像の表示とする。このとき、ビデオメモリコントローラ326は、ビデオメモリ332に格納した右眼用画像を、順次、レンダリング処理部328に送信する。レンダリング処理部328は、右眼用画像を、表示装置で2次元画像として表示させるデータとして生成する。
受信側端末300は、立体視画像を受信した場合であっても、受信側端末300の利用者が、立体視画像の表示を望まない場合、立体視画像を2次元画像として表示をすることができる。
(実施形態の作用効果)
送信側端末200は、受信側端末300に送信する左眼用画像及び右眼用画像を含む立体視画像を準備する。送信側端末200は、左眼用画像及び右眼用画像を1つの画像データ(例えば、サイドバイサイドの画像データ)に変換する。送信側端末200は、変換した画像データを、サーバ装置100を介して、受信側端末300に送信する。サーバ装置100は、送信側端末200から送信された画像データを、1つの画像データとして、受信側端末300に送信する。受信側端末300は、受信した画像データについて、立体視用の画像を含むか否かを判定する。受信側端末300は、立体視用の画像を含む場合、立体視画像に変換して表示装置に表示する。
本実施形態のシステムによれば、サーバ装置100が、立体視画像配信に対応していなくても、送信側端末200と受信側端末との間で、2次元画像の画像データによって、立体視画像の送受信が可能である。即ち、本実施形態のシステムによれば、既存のビデオチャットサービスを提供するサーバ装置100の構成を変更することなく、送信側端末200から受信側端末300に、立体視画像を送信することができる。
〔コンピュータ読み取り可能な記録媒体〕
コンピュータその他の機械、装置(以下、コンピュータ等)に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような媒体内には、CPU、メモリ等のコンピュータを構成する要素を設け、そのCPUにプログラムを実行させてもよい。
また、このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えば、フレキシブルディスク、光磁気ディスク、CD−ROM、CD−R/W、DVD、DAT、8mmテープ、メモリカード等がある。
また、コンピュータ等に固定された記録媒体としてハードディスクドライブやROM等がある。
(付記)
以上の実施形態に関し、さらに以下の付記を開示する。
(付記1)
画像データを受信する受信部と、
前記受信部が受信した前記画像データが、立体視用の画像を含むか否かを判定する判定部と、
前記判定部が前記画像データが立体視用の画像を含むと判定した場合、前記画像データを立体視画像に変換する変換部と、
前記変換部によって変換された立体視画像を表示する表示部と、
を備える情報処理装置。
(付記2)
立体視画像を表示するか否かを受け付ける受付部と、
前記判定部が前記画像データが立体視用の画像を含むと判定し、前記受付部が立体視画像を表示しないと受け付けた場合、前記変換部は、変換した前記立体視画像に含まれる左眼用画像及び右眼用画像のうち一方の画像を抽出し、
前記表示部は、前記変換部が抽出した画像を表示する
付記1に記載の情報処理装置。
(付記3)
前記受信部は、送信方式情報を受信し、
前記変換部は、前記送信方式情報に基づいて、前記画像データを立体視画像に変換する付記1または2に記載の情報処理装置。
(付記4)
コンピュータが、
画像データを受信し、
前記画像データが、立体視用の画像を含むか否かを判定し、
前記画像データが立体視用の画像を含むと判定した場合、前記画像データを立体視画像に変換し、
前記変換された立体視画像を表示装置に表示させることを実行する、
情報処理方法。
(付記5)
前記コンピュータが、さらに、
立体視画像を表示するか否かを受け付け、
前記画像データが立体視用の画像を含むと判定し、立体視画像を表示しないと受け付けた場合、変換した前記立体視画像に含まれる左眼用画像及び右眼用画像のうち一方の画像を抽出し、
前記変換部が抽出した画像を表示することを実行する
付記4に記載の情報処理方法。
(付記6)
前記コンピュータが、さらに、
送信方式情報を受信し、
前記送信方式情報に基づいて、前記画像データを立体視画像に変換することを実行する付記4または5に記載の情報処理方法。
(付記7)
コンピュータが、
画像データを受信し、
前記画像データが、立体視用の画像を含む否かを判定し、
前記画像データが立体視用の画像を含むと判定した場合、前記画像データを立体視画像に変換し、
前記変換された立体視画像を表示装置に表示させることを実行するための、
情報処理プログラム。
(付記8)
前記コンピュータが、さらに、
立体視画像を表示するか否かを受け付け、
前記画像データが立体視用の画像を含むと判定し、立体視画像を表示しないと受け付けた場合、変換した前記立体視画像に含まれる左眼用画像及び右眼用画像のうち一方の画像を抽出し、
前記変換部が抽出した画像を表示することを実行するための
付記7に記載の情報処理プログラム。
(付記9)
前記コンピュータが、さらに、
送信方式情報を受信し、
前記送信方式情報に基づいて、前記画像データを立体視画像に変換することを実行するための付記7または8に記載の情報処理プログラム。
1 情報処理システム
10 ネットワーク
100 サーバ装置
102 送受信部
104 制御部
106 格納部
200 送信側端末
202 送受信部
204 制御部
206 格納部
208 入力部
210 出力部
300 受信側端末
302 送受信部
304 制御部
306 格納部
308 入力部
310 出力部
1000 情報処理装置
1002 CPU
1004 メモリ
1006 記憶部
1008 入力部
1010 出力部
1012 通信部

Claims (5)

  1. 立体視画像の受信可否を含む利用者情報および画像データを受信する受信部と、
    前記利用者情報に基づいて立体視画像の受信が可能であるか否かを判断し、立体視画像の受信が可能であると判断した場合に、前記受信部が受信した前記画像データが、立体視用の画像を含むか否かを判定する判定部と、
    前記判定部が前記画像データが立体視用の画像を含むと判定した場合、前記画像データを立体視画像に変換する変換部と、
    前記画像データまたは前記変換部によって変換された立体視画像を表示する表示部と、を備え
    前記判定部は、前記受信部が受信した前記画像データを左眼用画像と右眼用画像に分離して重ね合わせ、前記左眼用画像と前記右目用画像の一方の画像を他方の画像に対して移動したときの両方の画像における画素値の差分の和が所定値未満であるか否かによって、立体視用の画像を含むか否かを判定する
    情報処理装置。
  2. 立体視画像を表示するか否かを受け付ける受付部と、
    前記判定部が前記画像データが立体視用の画像を含むと判定し、前記受付部が立体視画像を表示しないと受け付けた場合、前記変換部は、変換した前記立体視画像に含まれる左眼用画像及び右眼用画像のうち一方の画像を抽出し、
    前記表示部は、前記変換部が抽出した画像を表示する
    請求項1に記載の情報処理装置。
  3. 前記受信部は、送信方式情報を受信し、
    前記変換部は、前記送信方式情報に基づいて、前記画像データを立体視画像に変換する請求項1または請求項2に記載の情報処理装置。
  4. コンピュータが、
    立体視画像の受信可否を含む利用者情報および画像データを受信し、
    前記利用者情報に基づいて立体視画像の受信が可能であるか否かを判断し、立体視画像の受信が可能であると判断した場合に、前記画像データが、立体視用の画像を含むか否か
    を判定し、
    前記画像データが立体視用の画像を含むと判定した場合、前記画像データを立体視画像に変換し、
    前記画像データまたは前記変換された立体視画像を表示装置に表示させることを実行
    前記画像データが立体視用の画像を含むか否かの判定においては、前記コンピュータが、前記画像データを左眼用画像と右眼用画像に分離して重ね合わせ、前記左眼用画像と前記右目用画像の一方の画像を他方の画像に対して移動したときの両方の画像における画素値の差分の和が所定値未満であるか否かによって、立体視用の画像を含むか否かを判定する
    情報処理方法。
  5. コンピュータが、
    立体視画像の受信可否を含む利用者情報および画像データを受信し、
    前記利用者情報に基づいて立体視画像の受信が可能であるか否かを判断し、立体視画像の受信が可能であると判断した場合に、前記画像データが、立体視用の画像を含む否かを判定し、
    前記画像データが立体視用の画像を含むと判定した場合、前記画像データを立体視画像に変換し、
    前記画像データまたは前記変換された立体視画像を表示装置に表示させることを実行
    前記画像データが立体視用の画像を含むか否かの判定においては、前記コンピュータが、前記画像データを左眼用画像と右眼用画像に分離して重ね合わせ、前記左眼用画像と前記右目用画像の一方の画像を他方の画像に対して移動したときの両方の画像における画素値の差分の和が所定値未満であるか否かによって、立体視用の画像を含むか否かを判定するための
    情報処理プログラム。
JP2011103589A 2011-05-06 2011-05-06 情報処理装置、情報処理方法、情報処理プログラム Expired - Fee Related JP5790132B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011103589A JP5790132B2 (ja) 2011-05-06 2011-05-06 情報処理装置、情報処理方法、情報処理プログラム
US13/435,979 US20120281066A1 (en) 2011-05-06 2012-03-30 Information processing device and information processing method
KR1020120034232A KR101306671B1 (ko) 2011-05-06 2012-04-03 정보 처리 장치, 정보 처리 방법, 및 컴퓨터 판독 가능 기억 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011103589A JP5790132B2 (ja) 2011-05-06 2011-05-06 情報処理装置、情報処理方法、情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2012235384A JP2012235384A (ja) 2012-11-29
JP5790132B2 true JP5790132B2 (ja) 2015-10-07

Family

ID=47089979

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011103589A Expired - Fee Related JP5790132B2 (ja) 2011-05-06 2011-05-06 情報処理装置、情報処理方法、情報処理プログラム

Country Status (3)

Country Link
US (1) US20120281066A1 (ja)
JP (1) JP5790132B2 (ja)
KR (1) KR101306671B1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014025293A2 (en) * 2012-08-08 2014-02-13 Telefonaktiebolaget L M Ericsson (Publ) 3d video communications
US9977495B2 (en) 2014-09-19 2018-05-22 Utherverse Digital Inc. Immersive displays
CN109947240B (zh) * 2019-01-28 2023-05-23 深圳市美丽加科技有限公司 显示控制方法、终端及计算机可读存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257525A (ja) * 1997-03-07 1998-09-25 Sanyo Electric Co Ltd ディジタル放送受信機
KR20000075982A (ko) * 1997-03-07 2000-12-26 다카노 야스아키 디지탈 방송 수신기 및 디스플레이 장치
JPH10257526A (ja) * 1997-03-10 1998-09-25 Sanyo Electric Co Ltd ディジタル放送受信機
US7634531B2 (en) * 2002-01-23 2009-12-15 Ali Abdolsalehi Interactive internet browser based media broadcast
US20030182428A1 (en) * 2002-03-19 2003-09-25 Jiang Li Peer-to-peer (P2P) communication system
JP2004104368A (ja) * 2002-09-06 2004-04-02 Sony Corp 画像データ処理方法、画像データ処理プログラム及び立体画像表示装置
JP4230331B2 (ja) * 2003-10-21 2009-02-25 富士フイルム株式会社 立体視画像生成装置および画像配信サーバ
KR100640487B1 (ko) * 2005-09-08 2006-11-01 삼성전자주식회사 이동 통신 단말기의 화상 통화 서비스 수행 방법
US20080303832A1 (en) * 2007-06-11 2008-12-11 Samsung Electronics Co., Ltd. Method of generating two-dimensional/three-dimensional convertible stereoscopic image bitstream and method and apparatus for displaying the same
US8538134B2 (en) * 2007-10-04 2013-09-17 Samsung Electronics Co., Ltd. Method and apparatus for receiving and generating image data stream including parameters for displaying local three dimensional image
JP5338166B2 (ja) * 2008-07-16 2013-11-13 ソニー株式会社 送信装置、立体画像データ送信方法、受信装置および立体画像データ受信方法
JP2010062695A (ja) * 2008-09-02 2010-03-18 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP4974984B2 (ja) * 2008-09-11 2012-07-11 三菱電機株式会社 映像記録装置及び方法
JP2010169777A (ja) * 2009-01-21 2010-08-05 Sony Corp 画像処理装置、画像処理方法およびプログラム
GB2479410A (en) * 2010-04-09 2011-10-12 Tektronix Uk Ltd Measuring perceived stereoscopic visual depth
JP2011228969A (ja) * 2010-04-21 2011-11-10 Hitachi Consumer Electronics Co Ltd 映像処理装置

Also Published As

Publication number Publication date
KR101306671B1 (ko) 2013-09-10
US20120281066A1 (en) 2012-11-08
KR20120125158A (ko) 2012-11-14
JP2012235384A (ja) 2012-11-29

Similar Documents

Publication Publication Date Title
AU2012337054B2 (en) Transmission management apparatus, program, transmission management system, and transmission management method
JP6260596B2 (ja) 伝送端末、データ伝送方法、及びプログラム
US10656897B2 (en) Communication apparatus, control method therefor, and non-transitory computer-readable storage medium
EP3058694B1 (en) Establishing a secure connection between a master device and a slave device
JP6341023B2 (ja) 端末装置、データ送信方法およびプログラム
JP6566616B2 (ja) 通信装置、その制御方法、およびプログラム
CN105260131A (zh) 内容处理装置及其内容处理方法
JP5790132B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム
EP2883352B1 (en) 3d video communications
JP2011259114A (ja) データ配信装置
JP2014022947A (ja) 立体視映像伝送装置、立体視映像伝送方法及び立体視映像処理装置
JP5817789B2 (ja) 伝送管理装置、プログラム、伝送システムおよび伝送管理方法
JP2018198074A (ja) 通信装置、その制御方法、およびプログラム
JP5811315B2 (ja) 端末、端末用プログラム、及び、情報送信方法
TW201101839A (en) System for encoding video and method, system for decoding video and method, system for displaying video and method
JP5644533B2 (ja) 認証システム、認証方法、及び認証システム用プログラム
JP2019165442A (ja) 通信装置、その制御方法、およびプログラム
JP2011066670A (ja) 画像通信システムおよび送信端末
NZ612651B2 (en) Transmission management apparatus, program, transmission management system, and transmission management method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140819

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150720

R150 Certificate of patent or registration of utility model

Ref document number: 5790132

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees