JPWO2018025458A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JPWO2018025458A1
JPWO2018025458A1 JP2018531744A JP2018531744A JPWO2018025458A1 JP WO2018025458 A1 JPWO2018025458 A1 JP WO2018025458A1 JP 2018531744 A JP2018531744 A JP 2018531744A JP 2018531744 A JP2018531744 A JP 2018531744A JP WO2018025458 A1 JPWO2018025458 A1 JP WO2018025458A1
Authority
JP
Japan
Prior art keywords
image
information
display
face
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018531744A
Other languages
English (en)
Other versions
JP6973394B2 (ja
Inventor
大輔 三木
大輔 三木
厚史 泉原
厚史 泉原
祐介 阪井
祐介 阪井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018025458A1 publication Critical patent/JPWO2018025458A1/ja
Application granted granted Critical
Publication of JP6973394B2 publication Critical patent/JP6973394B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】映像通信でつながる相手があたかも目の前に存在しているような臨場感を与えることが可能な情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】通信接続先と画像の送受信を行う通信部と、前記画像を表示する表示装置の表示サイズおよび設置位置情報と、前記画像から取得した当該画像に映る被写体の距離情報に基づいて、前記画像の表示範囲および位置を制御する制御部と、を備える、情報処理装置。【選択図】図１

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
近年、通信技術の発達により、遠隔地で相手の映像を見ながら会話を行うTV電話システムが提案されている。具体的には、例えば表示装置、カメラ、マイク、およびスピーカが各場所に設けられ、一方の場所で撮影された映像および収音された音声データが、リアルタイムで、他方の場所に設置された表示装置およびスピーカから出力される。各ユーザは、互いにカメラの前に位置し、表示装置に映る相手の姿を見ながら会話を行う。
また、大画面テレビに対するユーザの位置の誘導に関し、例えば下記特許文献１では、テレビ画面に接近する等ユーザが視聴に不敵な位置で視聴することを防止するために、顔認識を行って適切な視聴位置に誘導する方法が記載されている。
特開２０１１−５９５２８号公報
しかしながら、映像通信で相手の姿を見ながら会話ができても、目の前に相手がいるような臨場感を得ることはできなかった。
そこで、本開示では、映像通信でつながる相手があたかも目の前に存在しているような臨場感を与えることが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、通信接続先と画像の送受信を行う通信部と、前記画像を表示する表示装置の表示サイズおよび設置位置情報と、前記画像から取得した当該画像に映る被写体の距離情報に基づいて、前記画像の表示範囲および位置を制御する制御部と、を備える、情報処理装置を提案する。
本開示によれば、プロセッサが、通信接続先と画像の送受信を行うことと、前記画像を表示する表示装置の表示サイズおよび設置位置情報と、前記画像から取得した当該画像に映る被写体の距離情報に基づいて、前記画像の表示範囲および位置を制御することと、を備える、情報処理方法を提案する。
本開示によれば、コンピュータを、通信接続先と画像の送受信を行う通信部と、前記画像を表示する表示装置の表示サイズおよび設置位置情報と、前記画像から取得した当該画像に映る被写体の距離情報に基づいて、前記画像の表示範囲および位置を制御する制御部と、として機能させるための、プログラムを提案する。
以上説明したように本開示によれば、映像通信でつながる相手があたかも目の前に存在しているような臨場感を与えることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態によるコミュニケーションシステムの全体構成を示す図である。 従来の問題点について説明する図である。 本開示の一実施形態による相手映像の表示例について説明する図である。 本実施形態による情報処理装置の構成の一例を示すブロック図である。 本実施形態によるコミュニケーションシステムの動作処理を示すフローチャートである。 本実施形態によるカメラのスペック情報および設置位置情報について説明する図である。 図６に示すカメラにより撮像される画像を示す模式図である。 本実施形態による被写体の顔の距離について説明する図である。 撮像された画像から取得できる顔情報について説明する図である。 本実施形態による年代・性別ごとの距離換算グラフの一例を示す図である。 本実施形態による顔の高さ算出において、カメラと被写体との位置関係を説明する図である。 本実施形態による顔の高さ算出において、撮影された画像から算出される距離情報について説明する図である。 本実施形態による被写体が直立していない場合における顔の高さ算出において、カメラと被写体との位置関係を説明する図である。 本実施形態による被写体が直立していない場合における顔の高さ算出において、撮影された画像から算出される距離情報について説明する図である。 本実施形態による被写体の顔の位置が地面端と等距離にある場合における顔の高さ算出において、カメラと被写体との位置関係を説明する図である。 本実施形態による被写体の顔の位置が地面端と等距離にある場合における顔の高さ算出において、撮影された画像から算出される距離情報について説明する図である。 本実施形態による被写体の顔の位置が地面端よりもカメラに近い位置にある場合における顔の高さ算出において、カメラと被写体との位置関係を説明する図である。 本実施形態による被写体の顔の位置が地面端よりもカメラに近い位置にある場合における顔の高さ算出において、撮影された画像から算出される距離情報について説明する図である。 本実施形態による情報処理装置から受信した画像における表示範囲について説明する図である。 本実施形態によるディスプレイの実寸と表示される表示画像について説明する図である。 本実施形態による撮影側の誘導について説明する図である。 本実施形態による撮影側の誘導例について説明する図である。 本実施形態による撮影側の誘導例について説明する図である。 本実施形態による画像の補完について説明する図である。 本開示の他の実施例によるＣＧ空間内での等身大表示について説明する図である。 本開示の他の実施例による複数空間への配信について説明する図である。 本開示にかかる情報処理装置のハードウェア構成を示した説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態によるコミュニケーションシステムの概要
２．構成
３．動作処理
４．他の実施例
５．ハードウェア構成
６．まとめ
＜＜１．本開示の一実施形態によるコミュニケーションシステムの概要＞＞
本開示の一実施形態によるコミュニケーションシステム１の概要について図１を参照して説明する。図１は、本開示の一実施形態によるコミュニケーションシステム１の全体構成を示す図である。
図１に示すように、情報処理装置１０Ａ、１０Ｂ、１０Ｃがネットワーク２０を介して接続されている。各情報処理装置１０Ａ、１０Ｂ、１０Ｃは、空間Ａ、空間Ｂ、空間Ｃにそれぞれ配置され、各空間を映像・音声・その他の情報チャンネルによって接続し、あたかも各空間がつながっているように感じさせることができる。例えば親と子供が離れて暮らしている際に、互いのリビング空間が窓やドアに相当する表示装置を介してつながっているように見せることを可能とする。互いのリビング空間が接続する場合、ユーザは、相手空間の様子（例えば、子供の様子や親の様子等）を大まかに把握しながら生活することができる。
情報処理装置１０Ａ〜１０Ｃは、双方向通信の同期処理や、空間距離の算出・制御等を行うが、これらの離隔距離の算出・制御等は、処理サーバ３０で行われてもよい。また、図１に示す例ではコミュニケーションシステム１が処理サーバ３０を含む構成となっているが、本開示はこれに限定されず、処理サーバ３０を含まない構成としてもよい。
（背景）
ここで、上述したように、映像通信で相手の姿を見ながら会話ができても、目の前に相手がいるような臨場感を与えることは困難であった。これに対し、例えば相手を小さく表示することで遠くに感じ、大きく表示すると近くに感じることから、表示する大きさを制御して相手との距離感を表現することが考えられる。
しかしながら、このような方法は、人物がカメラと正対していることを前提にしており、また、ディスプレイの位置が規定されていないため、例えば、図２に示すように、ディスプレイ６０が地面付近に配置されていた場合、相手を大きく表示すると、距離感は近くなって目の前にいるようには見えるが、相手が地面に埋まっているように見え、非常に不自然な状態が発生する。
そこで、本実施形態では、ディスプレイの物理的なサイズと設置位置に応じて、相手映像の表示範囲を適切に決定し、映像通信でつながる相手があたかも目の前に存在しているような臨場感を与えることを可能とする。
例えば通信相手の全身が映っている映像を表示する際、図３に示すように、壁に設置された各ディスプレイ１５ａ、１５ｂの物理的なサイズと設置位置に応じて、通信相手の映像をそれぞれ適切な範囲で表示する。情報処理装置１０は、ディスプレイ１５が設置されている位置を、仮想的な立ち位置Ｐｖとして、相手の顔が、地面から適切な高さに位置するよう制御する。図３の左側に示すディスプレイ１５ａは、下辺が地面に接地しているため、通信相手の全身を表示しても違和感なく臨場感を与えることができる。
一方、図３の右側に示すディスプレイ１５ｂは、地面から離れた位置に設置されているため、通信相手の全身映像をそのまま表示してしまうと、宙に浮いてる状態となると共に、等身大表示もできず、臨場感がない。そこで、情報処理装置１０は、仮想的な立ち位置Ｐｖに通信相手が立ったと仮定した場合に適切な高さｈに通信相手の顔が配置されるよう表示範囲を制御することで、通信相手があたかも目の前に存在しているような臨場感を与えることを可能とする。
このように、本実施形態では、特別な距離検出機器で測定した被写体の人物の距離情報を用いることなく、被写体の人物を等身大、最適位置に表示し、接続相手があたかもその場にいるかのような存在感を与えることができる。
以上、本開示の一実施形態によるコミュニケーションシステム１について説明した。続いて、コミュニケーションシステム１に含まれる情報処理装置１０の構成と、コミュニケーションシステム１の動作処理について図面を参照して詳細に説明する。
＜＜２．情報処理装置の構成＞＞
図４は、本実施形態による情報処理装置１０の構成の一例を示すブロック図である。図４に示すように、情報処理装置１０は、制御部１１、カメラ１２、マイクロホン１３、通信部１４、ディスプレイ１５、スピーカ１６、および記憶部１７を有する。
制御部１１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。制御部１１は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１１は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。
また、本実施形態による情報処理装置１０は、画像解析部１１１、算出部１１２、画像生成部１１３、表示制御部１１４、および送信制御部１１５としても機能する。
画像解析部１１１は、通信部１４を介して受信された、接続先の空間の映像の解析を行う。例えば画像解析部１１１は、物体認識、顔検出、顔認識等を行う。
算出部１１２は、画像解析部１１１による解析結果に基づいて、接続先の空間の映像に映る通信相手の各種距離情報を取得する。距離情報の算出に関しては、図９〜図１８を参照して詳細に説明する。
画像生成部１１３は、算出部１１２により算出された通信相手の各種距離情報、接続先空間に設置されているカメラ情報（カメラのスペックおよびカメラの設置位置情報を含む）、ディスプレイ１５の物理的なサイズおよび設置位置（地面からの高さ等）に基づいて、ディスプレイ１５に等身大表示するために適切な範囲を決定し、当該範囲の切り出し、拡大、縮小等を行う。
表示制御部１１４は、ディスプレイ１５からの画像表示制御を行う。例えば表示制御部１１４は、画像生成部１１３から出力された、適切な範囲で切り出された画像を適切な位置に表示するよう制御する。例えば表示制御部１１４は、ディスプレイ１５が設置されている位置を仮想的な立ち位置として、画像に写る人物が実際にそこに立っているように見えるよう、顔の中心位置の表示位置を調整して等身大表示する。
送信制御部１１５は、カメラ１２で撮像した情報処理装置１０が設置されている空間の撮像画像やマイクロホン１３で収音した本空間の音声信号を、接続先空間に設置されている他の情報処理装置１０に通信部１４から送信するよう制御する。
カメラ１２は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。また、本実施形態によるカメラ１２は、空間内を撮像し、撮像画像を取得する。
マイクロホン１３は、空間内の音声や、空間周辺（例えば隣の部屋、廊下、家の外等）の環境音を集音し、音声データを取得する。
通信部１４は、有線／無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部１４は、例えば有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、Ｗｉ−Ｆｉ（Wireless Fidelity、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離／非接触通信等の方式で、外部機器と直接、またはネットワークアクセスポイントを介して無線通信する。本実施形態による通信部１４は、ネットワーク２０を介して他の情報処理装置１０や処理サーバ３０と接続し、データの送受信を行う。
ディスプレイ１５は、通信部１４を介して受信された、接続先の空間の映像を表示する表示装置である。ディスプレイ１５は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機ＥＬ（Electroluminescence）ディスプレイなどであってもよい。
スピーカ１６は、音声データを出力する出力装置である。例えばスピーカ１６は、通信部１４を介して受信された、接続先の空間の音声を出力する。
記憶部１７は、上述した制御部１１が各機能を実行するためのプログラムやパラメータを格納する。また、記憶部１７は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含むストレージ装置により構成される。なお、この記憶部１７は、例えば、Ｆｌａｓｈ ＲＯＭ（又はＦｌａｓｈ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）などの不揮発性メモリ、ハードディスクおよび円盤型磁性体ディスクなどの磁気ディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ−Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）およびＢＤ（Ｂｌｕ−Ｒａｙ Ｄｉｓｃ（登録商標））などの光ディスク、並びに、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスクなどの記憶媒体であってもよい。
＜＜３．動作処理＞＞
続いて、本実施形態によるコミュニケーションシステム１の動作処理について図５を参照して説明する。図５は、本実施形態によるコミュニケーションシステム１の動作処理を示すフローチャートである。ここでは一例として空間Ａに設置された情報処理装置１０Ａと空間Ｂに設置された情報処理装置１０Ｂとが接続し、空間Ａと空間Ｂを繋ぐコミュニケーションシステム１について説明する。
図５に示すように、まず、情報処理装置１０Ｂは、カメラ情報を取得し（ステップＳ１０３）、カメラパラメータを情報処理装置１０Ａに送信する（ステップＳ１０６）。カメラ情報とは、カメラのスペックおよびカメラの設置位置情報を含む。ここで、図６および図７を参照して、カメラと被写体の位置関係について説明する。図６は、本実施形態によるカメラ１２Ｂのスペック情報および設置位置情報について説明する図である。図６上段には、壁に設置されたカメラ１２Ｂと撮像される被写体（ユーザＢ）を横から見た図を示し、図６下段には、カメラ１２ＢとユーザＢを上から見た図を示す。また、図７には、カメラ１２Ｂにより撮像される画像１２１を示す。この場合、カメラ自体のスペックとして、下記の情報が取得される。
・カメラのスペック
地面と水平方向の画角：φC
地面と垂直方向の画角：θC
地面と水平方向の画素数：XP
地面と垂直方向の画素数：YP
また、カメラ１２Ｂが、撮像方向が地面と平行になるよう設置されている場合、情報処理装置１０Ｂは、図６に示すように、カメラ１２Ｂが設置された高さHCGを設置情報として取得する。
次に、情報処理装置１０Ａは、受信したカメラ情報を記憶部１７に記録する（ステップＳ１０９）。
一方、情報処理装置１０Ｂは、カメラ１２Ｂにより撮影を行い（ステップＳ１１２）、撮像画像（映像）を情報処理装置１０Ｂに送信する（ステップＳ１１５）。撮影および送信は継続的にリアルタイムで行われる。
次に、情報処理装置１０Ａは、受信した映像内に顔が含まれているか否かを判断する（ステップＳ１１８）。具体的には、画像解析部１１１により顔検出を行う。
次いで、顔が含まれている場合（ステップＳ１１８／Ｙｅｓ）、情報処理装置１０Ａは、等身大表示が必要であるか否かを判断する（ステップＳ１２１）。等身大表示の要否は、例えばユーザ設定に基づいて、等身大表示機能のＯＮ／ＯＦＦに従って判断される。若しくは、ユーザ行動等に基づいて判断される。例えばユーザＢが掃除中にカメラ１２Ｂの前を通っただけである場合や、ユーザＢがソファに座ってテレビを見ている場合、勉強や仕事に集中している場合等、顔が映ってはいるがユーザＡとの会話を行う状況ではないと判断できる場合、情報処理装置１０Ａは等身大表示を不要と判断する。かかるユーザＢの行動は、例えば画像解析部１１１による解析結果に基づいて認識され得る。
次に、等身大表示が必要であると判断した場合（ステップＳ１２１／Ｙｅｓ）、情報処理装置１０Ａは、被写体の各種距離情報を算出し、表示範囲を決定する（ステップＳ１２４〜Ｓ１３０）。
具体的には、情報処理装置１０Ａは、算出部１１２により、映像に映る被写体（通信相手であるユーザＢ）の顔の距離を算出する（ステップＳ１２４）。ここで、顔の距離算出の一例について、図８〜図１０を参照して説明する。図８は、顔の距離について説明する図である。図８に示すように、本明細書において「顔の距離」とは、カメラ１２ＢからユーザＢの顔までの距離DFである。かかる顔の距離DFは、例えば以下のように算出することが可能である。
図９は、撮像された画像１２１から取得できる顔情報について説明する図である。図９に示すように、画像１２１の横方向をＸ軸と定義し、縦方向をＹ軸と定義する。本実施形態による情報処理装置１０Ａは、画像解析部１１１により画像１２１から顔検出顔認識を行い、以下の情報を得ることができる。
・顔検出および顔認識に得ることができる情報
撮影された画像内の顔中心のx座標：XF
撮影された画像内の顔中心のy座標：YF
撮影された画像内の顔の幅：WF
撮影された画像内の顔の高さ：HF
撮影された顔から推定された年齢：AF
撮影された顔から推定された性別：SF
そして、情報処理装置１０Ａの算出部１１２は、取得した顔のサイズ「HF/WF」と、年齢「AF」と、場合によっては性別「SF」も含めて、予め用意した年代・性別ごとの距離換算グラフを参照して、カメラ１２Ｂからの顔の距離DFを算出する。図１０に、年代・性別ごとの距離換算グラフの一例を示す。図１０に示すように、撮影された顔の大きさとカメラから顔までの距離は比例する。顔の大きさは、概ね年代や性別によって異なるものであるため、図１０に示すように、大人男性、大人女性、および子供の、関係曲線を示す。これにより、算出部１１２は、画像内の被写体の顔の大きさと年代、性別から、被写体のカメラからの距離を算出することができる。なおここで説明した顔の距離の算出方法は一例であって、本開示はこれに限定されない。
続いて、算出部１１２は、被写体の顔の高さを算出する（ステップＳ１１２）。ここで、顔の高さの算出の一例について、図１１および図１２を参照して説明する。図１１は、撮影された画像内の被写体の顔の地面からの高さ算出について説明する図である。図１２は、顔の高さ算出において、撮影された画像から取得できる距離情報について説明する図である。
算出部１１２は、上記ステップＳ１０９で取得したカメラ情報に基づいて、撮影された画像の一番手前の地面端G0のカメラ１２Ｂからの距離dCG0を下記の式１により求める。
Figure 2018025458
また、算出部１１２は、カメラ１２Ｂからの距離DFにおける、カメラ１２Ｂに映る画像の縦の実寸の長さhPと、横の実寸の長さwPを、それぞれ下記式２、式３により求める。
Figure 2018025458
Figure 2018025458
さらに、算出部１１２は、DF> dCG0の時（すなわち、カメラ１２Ｂから被写体までの距離が、カメラ１２Ｂから撮影された画像の一番手前の地面端G0までの距離より長い場合）、G0から人の顔までの距離dFG0は、下記式４により求められる。
Figure 2018025458
したがって、相似比から、図１１に示すhGPの長さは、下記式５で示される。
Figure 2018025458
また、撮影された画像内の顔の座標から、図１１に示すhFPの長さは、下記式６で示される。
Figure 2018025458
従って、図１１のhFGで示す、地面からの顔の高さは、下記式７で求められる。
Figure 2018025458
以上説明したように、本実施形態によれば、情報処理装置１０Ａは、カメラ１２Ｂのスペック情報、設置位置情報、およびカメラ１２Ｂで撮像された画像の解析結果に基づいて、被写体（通信相手であるユーザＢ）の地面からの顔の実際の高さを算出することができる。
なお、被写体が直立していない体勢であっても、顔が検出され、カメラ１２Ｂから顔までの距離DFが算出されれば、地面から顔までの高さｈFGを求めることは可能である。ここで、図１３および図１４に、被写体が直立していない場合について説明する図を示す。図１３は、被写体が直立していない場合における顔の高さ算出において、カメラと被写体との位置関係を説明する図である。図１４は、被写体が直立していない場合における顔の高さ算出において、撮影された画像から算出される距離情報について説明する図である。
この場合、図１４に示す地面から顔の高さｈFGは、上記式１〜式７を用いて同様に求められる。
また、カメラ１２Ｂから顔の位置が、カメラ１２Ｂにより撮影される画像の一番手前の地面端G0と等距離にあった場合、すなわちカメラ１２Ｂから顔の距離DF＝dCG0の場合、dFG0 =0、hGP =0となる。ここで、図１５および図１６に、被写体の顔の位置が地面端と等距離にある場合について説明する図を示す。図１５は、被写体の顔の位置が地面端と等距離にある場合における顔の高さ算出において、カメラと被写体との位置関係を説明する図である。図１６は、被写体の顔の位置が地面端と等距離にある場合における顔の高さ算出において、撮影された画像から算出される距離情報について説明する図である。図１５および図１６に示すように、被写体がカメラ１２Ｂにより撮影される画像の一番手前の地面端に立っている場合（距離DF＝dCG0）、dFG0 =0、hGP =0となる。したがって、算出部１１２は、下記式８を用いて、地面から顔の高さｈFGを算出する。
Figure 2018025458
さらに、被写体の顔の位置が、カメラ１２Ｂにより撮影される画像の一番手前の地面端G0よりもカメラ１２Ｂに近い位置にあった場合、カメラ１２Ｂから顔の距離DF<dCG0となる。ここで、図１７および図１８に、被写体の顔の位置が地面端よりもカメラ１２Ｂに近い位置にある場合について説明する図を示す。図１７は、被写体の顔の位置が地面端よりもカメラ１２Ｂに近い位置にある場合における顔の高さ算出において、カメラと被写体との位置関係を説明する図である。図１８は、被写体の顔の位置が地面端よりもカメラ１２Ｂに近い位置にある場合における顔の高さ算出において、撮影された画像から算出される距離情報について説明する図である。図１７および図１８に示すように、被写体がカメラ１２Ｂにより撮影される画像の一番手前の地面端より手前に立っている場合（距離DF<dCG0）、dFG0は、下記式９で示される。
Figure 2018025458
したがって、図１７、図１８に示すhGPも下記の式１０で示される。
Figure 2018025458
これにより、算出部１１２は、下記式１１を用いて、地面から顔の高さhFGを算出する。
Figure 2018025458
以上説明したように、被写体がカメラ１２Ｂに対してどの距離に立っていても、地面からの顔の高さhFGを算出することができる。
続いて、図５に示すように、情報処理装置１０Ａの画像生成部１１３は、算出部１１２により算出された地面から顔の高さhFGと、ディスプレイ１５Ａの物理的なサイズ、および設置位置情報（ディスプレイの下辺と地面との距離）に基づいて、受信した画像からディスプレイ１５Ａに表示する範囲を適切に決定する（ステップＳ１３０）。ここで、図１９および図２０を参照して、ディスプレイ１５Ａに表示する表示範囲の決定について説明する。図１９は、情報処理装置１０Ｂから受信した画像１２１における表示範囲２２について説明する図である。図２０は、ディスプレイ１５Ａの実寸と表示される表示画像について説明する図である。
図２０に示すディスプレイ１５Ａの縦横の長さ（垂直方向の長さ：HD、ディスプレイの水平方向の長さ：WD）、および下辺と地面との距離HDGは、予めディスプレイ１５Ａのサイズ情報および設置位置情報として得られる。
これらのサイズ情報および設置位置情報と、上記ステップＳ１２７で算出した被写体の地面から顔までの距離hFGに基づいて、ディスプレイ１５Ａの適切な位置に適切な画像を表示（より具体的には、被写体の顔を、実際の地面からの高さと同じ高さで表示）するために、図１９に示すように、撮影画像の左上画素dT(xT,yT)と右下画素dB(xB,yB)の座標を算出し、表示範囲２２を決定する。
具体的には、まず、画像生成部１１３は、dTとdBのy座標を算出する。ここで、物理距離としてhFG（被写体の身長）が与えられるので、顔の中心と画面上辺との距離hTFは、下記式１２により求められる。
Figure 2018025458
かかる物理距離は、撮影画像の画素数に直すと、
Figure 2018025458
となるため、dTのy座標yTは、
Figure 2018025458
となる。
また、同様に、dBのy座標yBは、
Figure 2018025458
となる。
次に、dTとdBのx座標を求める。具体的には、例えば表示画面中央に顔が位置するよう、それぞれ下記式１３、式１４で求められる。
Figure 2018025458
Figure 2018025458
以上説明したように、画像生成部１１３は、撮影画像の左上画素dT(xT,yT)と右下画素dB(xB,yB)の座標を算出し、撮影画像の切り出す範囲を決定する。このようにして切り出した表示画像をディスプレイ１５Ａに表示することで、図２０に示すように、通信相手のユーザＢが、ディスプレイ１５Ａが設置されている位置（仮想的な立ち位置Ｐｖ）に実際にいるように見える。
続いて、図５に示すように、決定した表示範囲２２に顔が入っているか否かを判断する（ステップＳ１３３）。
顔が入っていない場合、情報処理装置１０Ａは、情報処理装置１０Ｂに表示範囲２２に顔が入るようユーザＢを音声やテキスト等で誘導する誘導情報を送信する（ステップＳ１３６）。すなわち、ディスプレイ１５Ａのサイズおよび設置位置に応じて被写体を等身大で表示するよう表示範囲を決定した結果、例えば図２１の左側に示すように、ディスプレイ１５Ａに相手の顔が入らない場合がある。この場合、情報処理装置１０Ａは、撮影側に顔が映っていないことを通知し、図２１の右側に示すように、適切な撮影位置に動くよう被写体を誘導することが可能である。
次に、情報処理装置１０Ｂは、誘導情報に基づいて、ディスプレイ１５Ｂに誘導メッセージの表示等を行う（ステップＳ１３９）。情報処理装置１０Ａと情報処理装置１０Ｂは、双方向通信を行っており、各空間において、カメラ１２およびディスプレイ１５が設置されているため、撮影側のディスプレイ１５Ｂに誘導メッセージを表示することも可能である。ここで、図２２および図２３を参照して、本実施形態による撮影側の誘導例について説明する。図２２および図２３は、本実施形態による撮影側の誘導例について説明する図である。
図２２の上段に示すように、例えば撮影側のディスプレイ１５Ｂに「顔が表示エリアから外れています。もう少し下に移動してください」といった誘導メッセージ３１を表示してもよい。撮影側のディスプレイ１５Ｂには、双方向通信のため相手側のユーザＡの撮像画像がリアルタイムに表示されている。かかる画面上に、誘導メッセージ３１が表示されることで、ユーザＢは自身の顔がユーザＡ側の表示エリアに入るよう移動することができる。また、図２２の下段に示すように、撮影側のカメラ１２Ｂで撮影されているユーザＢの画像３２をリアルタイムで撮影側のディスプレイ１５Ｂに表示し、画像３２に、相手側で表示されているエリアを示す表示エリア表示３３を重畳表示してもよい。これにより、ユーザＢに対して相手側（ユーザＡ側）での表示エリアを可視化して誘導することが可能となる。
また、図２３の上段に示すように、会話を妨げない画面周辺などの部分に、ユーザＢが適切な位置にいる時は青、不適切な位置にいる時は赤などのフレーム３４を表示して通知してもよい。また、図２３の下段に示すように、「顔が表示エリアから外れています。もう少し下に移動してください。」等の音声３５で誘導する方法も可能である。なお、音声メッセージでフィードバックせずに、適切な位置にいる時と、不適切な位置にいる時で異なる効果音やＢＧＭを流して通知することも可能である。例えば、適切な範囲に入った時には「ポーン」と音を鳴らし、不適切な領域にいる時は「ポッポッポッ」と音を鳴り続けるようにしてもよい。
そして、図５に示すように、表示範囲に顔が入っていると判断されると（ステップＳ１３３／Ｙｅｓ）、情報処理装置１０の画像生成部１１３は、決定された表示範囲の画像が足りているか否かの判断を行う（ステップＳ１３６）。
表示範囲の画像が足りていない場合（ステップＳ１３６／Ｎｏ）、画像生成部１１３は、足りない領域を補完する（ステップＳ１３９）。上述したように適切な表示範囲を決定した結果、ディスプレイ１５Ａの表示範囲の一部に画像情報がない場合が生じることも考えられるためである。以下、図２４を参照して具体的に説明する。
図２４は、画像の補完について説明する図である。図２４の左に示すように、相手側から受信した画像１２６のうち、被写体の顔の中心位置を調整して等身大表示するよう調整した結果、ディスプレイ１５Ａに表示する範囲２３のうち、画像情報が足りない部分３６が生じる場合がある。例えば被写体がカメラに近付き過ぎた場合等に図２４左に示すように足りない部分３６が生じる場合がある。この場合、画像生成部１１３は、図２４の右に示すように、足りない部分の画像情報を補完する。補完画像３７の生成方法は特に限定しないが、例えば過去の画像や、現画像から予測して生成することが可能である。
そして、図５に示すように、表示制御部１１４は、ディスプレイ１５Ａに、決定された表示範囲の画像を表示する（ステップＳ１４２）。
なお、受信した画像に顔が含まれていない場合（ステップＳ１１８／Ｎｏ）、また、等身大表示の必要性がないと判断された場合（ステップＳ１２１／Ｎｏ）、表示制御部１１４は、受信した画像をそのままディスプレイ１５Ａに表示する（ステップＳ１４２）。
以上、本実施形態による情報処理装置１０の動作処理について説明した。なお図５に示す例では、説明の都合上、情報処理装置１０Ｂから情報処理装置１０Ａへ撮像画像を送信する一方向の処理を説明しているが、本実施形態によるコミュニケーションシステム１は、双方向通信であって、上述した処理を、接続する情報処理装置１０間においてそれぞれ同様に行われ得る。
また、上述した動作処理では撮像画像（映像）の送信について主に説明しているが、併せて被写体の音声情報も送信され得る。
＜＜４．他の実施例＞＞
＜４−１．ＣＧ空間への重畳＞
以上説明した実施形態の他、情報処理装置１０は、例えば撮像画像から人物部分を切り出してＣＧ（Computer Graphics）空間へ重畳して表示してもよい。以下、図２５を参照して説明する。
図２５は、本開示の他の実施例によるＣＧ空間内での等身大表示について説明する図である。図２５に示すように、ディスプレイ１５ＡにＣＧ空間を表示している場合に、通信先から受信した撮像画像から切り出した人物（被写体）２４を、例えばＣＧ空間内の窓２５やドアと同じ場所に立っていると仮定し、人物２４を等身大表示する。
具体的には、情報処理装置１０は、上述した実施形態と同様に、受信した画像および撮影側のカメラ情報から、人物２４の地面から顔までの実際の高さを取得し、図２５に示すように、ＣＧ空間内の窓２５やドアと同じ場所を仮想的な立ち位置Ｐｖとして等身大表示する。
＜４−２．複数地点への配信＞
また、本開示の他の実施例として、情報処理装置１０が複数の地点（空間）へ映像を配信することも可能である。図２６は、複数空間への配信について説明する図である。
図２６に示すように、例えば空間Ｂで撮影した映像１２７を、情報処理装置１０Ｂにより、空間Ａおよび空間Ｃにそれぞれ配信してもよい。空間Ａのディスプレイ１５Ａと空間Ｂのディスプレイ１５Ｃは、図２６に示すように物理的なサイズと設置位置が異なるが、映像１２７の加工（表示範囲の決定、足りない画像の補完等）はそれぞれ受信側の情報処理装置１０Ａ、１０Ｃで行われるため（図５に示すステップＳ１１８〜Ｓ１４２参照）、受信側の環境に併せて適切に等身大表示することが可能である。
＜＜５．ハードウェア構成＞＞
以上、本開示の実施形態を説明した。上述した情報処理装置１０の処理は、ソフトウェアと、以下に説明する情報処理装置１００のハードウェアとの協働により実現されてもよい。
図２７は、本開示に係る情報処理装置１００のハードウェア構成を示した説明図である。図２７に示したように、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４６と、ブリッジ１４８と、バス１５０と、インターフェース１５２と、入力装置１５４と、出力装置１５６と、ストレージ装置１５８と、ドライブ１６０と、接続ポート１６２と、通信装置１６４とを備える。
ＣＰＵ１４２は、演算処理装置および制御装置として機能し、各種プログラムと協働して情報処理装置１０の画像解析部１１１、算出部１１２、画像生成部１１３、表示制御部１１４、および送信制御部１１５の動作を実現する。また、ＣＰＵ１４２は、マイクロプロセッサであってもよい。ＲＯＭ１４４は、ＣＰＵ１４２が使用するプログラムまたは演算パラメータ等を記憶する。ＲＡＭ１４６は、ＣＰＵ１４２の実行にいて使用するプログラムまたは実行において適宜変化するパラメータ等を一時記憶する。ＲＯＭ１４４およびＲＡＭ１４６により、情報処理システム内の記憶部１７の一部を実現する。ＣＰＵ１４２、ＲＯＭ１４４およびＲＡＭ１４６は、ＣＰＵバスなどから構成される内部バスにより相互に接続されている。
入力装置１５４は、情報処理装置１０のカメラ１２、マイクロホン１３や、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが情報を入力するための入力手段、およびカメラの撮像またはユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１４２に出力する入力制御回路などから構成されている。情報処理装置１００のユーザは、入力装置１５４を操作することにより、情報処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置１５６は、例えば、情報処理装置１０のディスプレイ１５の一例として、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ランプなどの装置からの出力を行う。また、出力装置１５６は、情報処理装置１０のスピーカ１６の一例として、スピーカやヘッドフォンなどの音声出力を行う。
ストレージ装置１５８は、データ格納用の装置である。ストレージ装置１５８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置１５８は、ＣＰＵ１４２が実行するプログラムや各種データを格納する。
ドライブ１６０は、記憶媒体用リーダライタであり、情報処理装置１００に内蔵、あるいは外付けされる。ドライブ１６０は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ１４４に出力する。また、ドライブ１６０は、リムーバブル記憶媒体に情報を書込むこともできる。
接続ポート１６２は、例えば、情報処理装置１００の外部の情報処理装置または周辺機器と接続するためのバスである。また、接続ポート１６２は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）であってもよい。
通信装置１６４は、情報処理装置１０の通信部１４の一例として、例えば、ネットワークに接続するための通信デバイスで構成された通信インターフェースである。また、通信装置１６４は、赤外線通信対応装置であっても、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
＜＜６．まとめ＞＞
上述したように、本開示の実施形態によるコミュニケーションシステム１では、映像通信でつながる相手があたかも目の前に存在しているような臨場感を与えることが可能となる。
具体的には、映像の撮影をする際に、カメラ情報（カメラスペックと設置位置情報）を相手側に送信する。受信側では、ディスプレイの物理的なサイズおよび設置位置情報を予め把握しておき、受信した映像に映る人物の顔のサイズから人物の実際の距離を推定し、当該人物の顔の地面からの高さを算出する。そして、受信側では、壁等に設置されたディスプレイの位置を仮想的な立ち位置として当該人物の顔の表示位置を調整し、適切な範囲で切り出した映像を、必要に応じて拡大、縮小、補完等して等身大表示する。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述した情報処理装置１０、または処理サーバ３０に内蔵されるＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）等のハードウェアに、情報処理装置１０、または処理サーバ３０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、上述した実施形態では、受信した画像から被写体（通信相手）の顔の地面からの実際の高さを算出して表示範囲を決定しているが、これは一例であって、本実施形態は、被写体の所定の身体部位の地面からの実際の高さを算出して、等身大表示するよう表示範囲を決定するようにしてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
（１）
通信接続先と画像の送受信を行う通信部と、
前記画像を表示する表示装置の表示サイズおよび設置位置情報と、前記画像から取得した当該画像に映る被写体の距離情報に基づいて、前記画像の表示範囲および位置を制御する制御部と、
を備える、情報処理装置。
（２）
前記設置位置情報は、前記表示装置の地面からの高さ情報を含み、
前記制御部は、前記被写体の距離情報として地面から顔までの実際の高さを算出し、前記表示装置と略同じ位置に立っていると仮定し、前記被写体を等身大表示するよう制御する、前記（１）に記載の情報処理装置。
（３）
前記制御部は、前記表示装置と略同じ位置に立っていると仮定した場合に、実際の高さと同じ位置に前記被写体の顔が位置するよう前記画像の表示範囲を決定する、前記（２）に記載の情報処理装置。
（４）
前記制御部は、前記被写体の地面から顔までの高さを、前記画像に映る顔の大きさおよび被写体の年代に基づいて推定される前記通信接続先におけるカメラから被写体までの距離と、前記カメラのスペック情報に基づいて算出する、前記（２）または（３）のいずれか１項に記載の情報処理装置。
（５）
前記制御部は、画像に映る顔の大きさとカメラから顔までの距離の関係を示す、被写体の年代および／または性別によって異なる関係曲線に基づいて、前記カメラから被写体までの距離を推定する、前記（４）に記載の情報処理装置。
（６）
前記カメラのスペック情報は、地面と垂直方向の画角情報および地面と垂直方向の画角情報を含む、前記（４）に記載の情報処理装置。
（７）
前記制御部は、前記決定した表示範囲に顔が入っていない場合、前記通信接続先に表示範囲から顔が外れていることを通知するよう制御する、前記（３）に記載の情報処理装置。
（８）
前記制御部は、前記通信接続先に対して、前記表示範囲に顔が入るよう誘導する通知を行う、前記（７）に記載の情報処理装置。
（９）
前記制御部は、前記決定した表示範囲に画像情報が足りない部分がある場合、当該足りない部分の画像を補完する、前記（３）に記載の情報処理装置。
（１０）
プロセッサが、
通信接続先と画像の送受信を行うことと、
前記画像を表示する表示装置の表示サイズおよび設置位置情報と、前記画像から取得した当該画像に映る被写体の距離情報に基づいて、前記画像の表示範囲および位置を制御することと、
を備える、情報処理方法。
（１１）
コンピュータを、
通信接続先と画像の送受信を行う通信部と、
前記画像を表示する表示装置の表示サイズおよび設置位置情報と、前記画像から取得した当該画像に映る被写体の距離情報に基づいて、前記画像の表示範囲および位置を制御する制御部と、
として機能させるための、プログラム。
１ コミュニケーションシステム
１０ 情報処理装置
１１ 制御部
１２ カメラ
１３ マイクロホン
１４ 通信部
１５ ディスプレイ
１６ スピーカ
１７ 記憶部
２０ ネットワーク
３０ 処理サーバ

Claims (11)

  1. 通信接続先と画像の送受信を行う通信部と、
    前記画像を表示する表示装置の表示サイズおよび設置位置情報と、前記画像から取得した当該画像に映る被写体の距離情報に基づいて、前記画像の表示範囲および位置を制御する制御部と、
    を備える、情報処理装置。
  2. 前記設置位置情報は、前記表示装置の地面からの高さ情報を含み、
    前記制御部は、前記被写体の距離情報として地面から顔までの実際の高さを算出し、前記表示装置と略同じ位置に立っていると仮定し、前記被写体を等身大表示するよう制御する、請求項１に記載の情報処理装置。
  3. 前記制御部は、前記表示装置と略同じ位置に立っていると仮定した場合に、実際の高さと同じ位置に前記被写体の顔が位置するよう前記画像の表示範囲を決定する、請求項２に記載の情報処理装置。
  4. 前記制御部は、前記被写体の地面から顔までの高さを、前記画像に映る顔の大きさおよび被写体の年代に基づいて推定される前記通信接続先におけるカメラから被写体までの距離と、前記カメラのスペック情報に基づいて算出する、請求項２に記載の情報処理装置。
  5. 前記制御部は、画像に映る顔の大きさとカメラから顔までの距離の関係を示す、被写体の年代および／または性別によって異なる関係曲線に基づいて、前記カメラから被写体までの距離を推定する、請求項４に記載の情報処理装置。
  6. 前記カメラのスペック情報は、地面と垂直方向の画角情報および地面と垂直方向の画角情報を含む、請求項４に記載の情報処理装置。
  7. 前記制御部は、前記決定した表示範囲に顔が入っていない場合、前記通信接続先に表示範囲から顔が外れていることを通知するよう制御する、請求項３に記載の情報処理装置。
  8. 前記制御部は、前記通信接続先に対して、前記表示範囲に顔が入るよう誘導する通知を行う、請求項７に記載の情報処理装置。
  9. 前記制御部は、前記決定した表示範囲に画像情報が足りない部分がある場合、当該足りない部分の画像を補完する、請求項３に記載の情報処理装置。
  10. プロセッサが、
    通信接続先と画像の送受信を行うことと、
    前記画像を表示する表示装置の表示サイズおよび設置位置情報と、前記画像から取得した当該画像に映る被写体の距離情報に基づいて、前記画像の表示範囲および位置を制御することと、
    を備える、情報処理方法。
  11. コンピュータを、
    通信接続先と画像の送受信を行う通信部と、
    前記画像を表示する表示装置の表示サイズおよび設置位置情報と、前記画像から取得した当該画像に映る被写体の距離情報に基づいて、前記画像の表示範囲および位置を制御する制御部と、
    として機能させるための、プログラム。
JP2018531744A 2016-08-01 2017-04-25 情報処理装置、情報処理方法、およびプログラム Active JP6973394B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016151268 2016-08-01
JP2016151268 2016-08-01
PCT/JP2017/016435 WO2018025458A1 (ja) 2016-08-01 2017-04-25 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2018025458A1 true JPWO2018025458A1 (ja) 2019-05-30
JP6973394B2 JP6973394B2 (ja) 2021-11-24

Family

ID=61073052

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018531744A Active JP6973394B2 (ja) 2016-08-01 2017-04-25 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US11082660B2 (ja)
EP (1) EP3493533B1 (ja)
JP (1) JP6973394B2 (ja)
CN (1) CN109479115B (ja)
WO (1) WO2018025458A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202018006448U1 (de) 2017-08-17 2020-10-14 Google Llc Skalieren eines Bilds eines Gesichts eines Sprechers basierend auf dem Abstand eines Gesichts und einer Grösse einer Anzeige
KR102399809B1 (ko) * 2017-10-31 2022-05-19 엘지전자 주식회사 전자 장치 및 그 제어 방법
US11089265B2 (en) 2018-04-17 2021-08-10 Microsoft Technology Licensing, Llc Telepresence devices operation methods
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
JP2020008929A (ja) * 2018-07-03 2020-01-16 富士ゼロックス株式会社 身長算出システム、情報処理装置およびプログラム
JP2020043507A (ja) * 2018-09-12 2020-03-19 シャープ株式会社 映像表示装置、映像処理装置
US11082659B2 (en) 2019-07-18 2021-08-03 Microsoft Technology Licensing, Llc Light field camera modules and light field camera module arrays
US11064154B2 (en) 2019-07-18 2021-07-13 Microsoft Technology Licensing, Llc Device pose detection and pose-related image capture and processing for light field based telepresence communications
US11270464B2 (en) 2019-07-18 2022-03-08 Microsoft Technology Licensing, Llc Dynamic detection and correction of light field camera array miscalibration
US11553123B2 (en) 2019-07-18 2023-01-10 Microsoft Technology Licensing, Llc Dynamic detection and correction of light field camera array miscalibration
JP2023137370A (ja) * 2022-03-18 2023-09-29 セイコーエプソン株式会社 表示方法、及び表示システム
WO2024062002A2 (en) * 2022-09-22 2024-03-28 Abusizz Ag System and method for visualizing a person's face

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008005122A (ja) * 2006-06-21 2008-01-10 Konica Minolta Holdings Inc 双方向通信システム及び双方向通信方法並びに制御プログラム
WO2010070820A1 (ja) * 2008-12-17 2010-06-24 パナソニック株式会社 画像通信装置及び画像通信方法
JP2011113206A (ja) * 2009-11-25 2011-06-09 Nippon Telegr & Teleph Corp <Ntt> 映像コミュニケーションシステム、及び映像コミュニケーション方法
JP2015075877A (ja) * 2013-10-08 2015-04-20 シャープ株式会社 撮影システム

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080266326A1 (en) * 2007-04-25 2008-10-30 Ati Technologies Ulc Automatic image reorientation
US8174555B2 (en) * 2007-05-30 2012-05-08 Eastman Kodak Company Portable video communication system
US8154578B2 (en) * 2007-05-31 2012-04-10 Eastman Kodak Company Multi-camera residential communication system
US8089549B2 (en) * 2007-09-19 2012-01-03 Ricoh Company, Ltd. Imaging apparatus capable of detecting and displaying information with respect to an incline thereof
JP2010218544A (ja) * 2009-02-23 2010-09-30 Canon Inc 表示装置
JP5398341B2 (ja) * 2009-05-11 2014-01-29 キヤノン株式会社 物体認識装置及び物体認識方法
JP2011023886A (ja) 2009-07-14 2011-02-03 Panasonic Corp テレビ会議装置及び映像表示処理方法
JP5418093B2 (ja) 2009-09-11 2014-02-19 ソニー株式会社 表示装置および制御方法
US20110096137A1 (en) 2009-10-27 2011-04-28 Mary Baker Audiovisual Feedback To Users Of Video Conferencing Applications
US8570402B2 (en) * 2010-02-05 2013-10-29 Canon Kabushiki Kaisha Imaging apparatus for obtaining a user-intended image when orientation of the imaging apparatus changes in applying a special effect that changes the image quality in a set direction
SE535205C2 (sv) * 2010-06-03 2012-05-22 Erik Eskilsson Studio och konferenssystem för videokonferens
US8896655B2 (en) * 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US9628755B2 (en) 2010-10-14 2017-04-18 Microsoft Technology Licensing, Llc Automatically tracking user movement in a video chat application
JP6058257B2 (ja) * 2011-07-06 2017-01-11 アイキューブド研究所株式会社 画像出力装置、画像出力方法、およびプログラム
JP5884421B2 (ja) * 2011-11-14 2016-03-15 ソニー株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
WO2013146269A1 (ja) * 2012-03-29 2013-10-03 シャープ株式会社 画像撮像装置、画像処理方法およびプログラム
US9154738B2 (en) * 2012-06-07 2015-10-06 Panasonic Intellectual Property Management Co., Ltd. Communication device and communication system
JP2014077994A (ja) * 2012-09-20 2014-05-01 Canon Inc 画像表示装置、その制御方法および制御プログラム並びに撮像装置
JP2014089521A (ja) * 2012-10-29 2014-05-15 Toshiba Corp 検出装置、映像表示システムおよび検出方法
JP2014095853A (ja) * 2012-11-12 2014-05-22 Casio Comput Co Ltd 画像処理装置、投影装置、画像処理方法及びプログラム
CN103051859B (zh) * 2012-12-05 2015-12-02 安科智慧城市技术（中国）有限公司 一种显示脸部影像的系统和方法
US9485459B2 (en) * 2012-12-14 2016-11-01 Biscotti Inc. Virtual window
JP6192940B2 (ja) * 2013-01-23 2017-09-06 オリンパス株式会社 撮影機器及び連携撮影方法
US9232183B2 (en) * 2013-04-19 2016-01-05 At&T Intellectual Property I, Lp System and method for providing separate communication zones in a large format videoconference
JP6436430B2 (ja) * 2014-05-16 2018-12-12 パナソニックＩｐマネジメント株式会社 画像撮影表示装置および画像撮影表示装置の動作方法
WO2015194075A1 (ja) * 2014-06-18 2015-12-23 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP6433209B2 (ja) * 2014-09-18 2018-12-05 大和ハウス工業株式会社 対話用通信システム及び対話用通信方法
JP6551416B2 (ja) * 2014-11-07 2019-07-31 ソニー株式会社 情報処理システム、記憶媒体、および制御方法
US9906772B2 (en) * 2014-11-24 2018-02-27 Mediatek Inc. Method for performing multi-camera capturing control of an electronic device, and associated apparatus
WO2016111561A1 (en) * 2015-01-07 2016-07-14 Samsung Electronics Co., Ltd. Display device and operating method thereof
EP3246659B1 (en) * 2015-02-11 2022-04-06 Huawei Technologies Co., Ltd. Method and device for measuring size of object
US9690103B2 (en) * 2015-02-16 2017-06-27 Philip Lyren Display an image during a communication
JP2016213677A (ja) * 2015-05-08 2016-12-15 キヤノン株式会社 遠隔コミュニケーションシステム、その制御方法、及びプログラム
JP2016213674A (ja) * 2015-05-08 2016-12-15 キヤノン株式会社 表示制御システム、表示制御装置、表示制御方法、及びプログラム
US9699405B2 (en) * 2015-07-14 2017-07-04 Google Inc. Immersive teleconferencing with translucent video stream
JP6587489B2 (ja) * 2015-10-07 2019-10-09 キヤノン株式会社 画像処理装置、画像処理方法および画像処理システム
KR20170064242A (ko) * 2015-12-01 2017-06-09 삼성전자주식회사 영상통화를 제공하는 전자 장치 및 방법
EP3207823A1 (en) * 2016-02-16 2017-08-23 Braun GmbH Interactive system setup concept

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008005122A (ja) * 2006-06-21 2008-01-10 Konica Minolta Holdings Inc 双方向通信システム及び双方向通信方法並びに制御プログラム
WO2010070820A1 (ja) * 2008-12-17 2010-06-24 パナソニック株式会社 画像通信装置及び画像通信方法
JP2011113206A (ja) * 2009-11-25 2011-06-09 Nippon Telegr & Teleph Corp <Ntt> 映像コミュニケーションシステム、及び映像コミュニケーション方法
JP2015075877A (ja) * 2013-10-08 2015-04-20 シャープ株式会社 撮影システム

Also Published As

Publication number Publication date
CN109479115B (zh) 2021-01-12
US11082660B2 (en) 2021-08-03
WO2018025458A1 (ja) 2018-02-08
CN109479115A (zh) 2019-03-15
US20190313055A1 (en) 2019-10-10
EP3493533A1 (en) 2019-06-05
EP3493533A4 (en) 2019-08-14
EP3493533B1 (en) 2024-04-03
JP6973394B2 (ja) 2021-11-24

Similar Documents

Publication Publication Date Title
JP6973394B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2018068689A1 (zh) 音量调节方法及装置
KR101541561B1 (ko) 유저 인터페이스 장치, 유저 인터페이스 방법, 및 기록 매체
JP6574937B2 (ja) 通信システム、制御方法、および記憶媒体
JP5286371B2 (ja) 情報表示装置及び情報表示方法
US8994831B2 (en) Image pickup control apparatus, image pickup control method and computer readable medium for changing an image pickup mode
JP6229314B2 (ja) 情報処理装置、表示制御方法及びプログラム
US11398041B2 (en) Image processing apparatus and method
WO2011102232A1 (ja) 電子機器、撮像装置、画像再生方法、画像再生プログラム、画像再生プログラムを記録した記録媒体および画像再生装置
US10063773B2 (en) Photographing apparatus, photographing method and computer-readable storage medium storing photographing program of photographing apparatus
KR101514061B1 (ko) 노인 관리용 무선 카메라 장치 및 이를 통한 노인 관리 시스템
JP6091669B2 (ja) 撮像装置、撮像アシスト方法及び撮像アシストプログラムを記録した記録媒体
JP6250297B2 (ja) 音声入力装置、および画像表示装置
JP2016213677A (ja) 遠隔コミュニケーションシステム、その制御方法、及びプログラム
JPWO2019039119A1 (ja) 情報処理装置、情報処理方法、およびプログラム
RU2635873C2 (ru) Способ и устройство для отображения информации кадрирования
JP2016213674A (ja) 表示制御システム、表示制御装置、表示制御方法、及びプログラム
JPWO2019026919A1 (ja) 画像処理システム、画像処理方法、及びプログラム
JP6631166B2 (ja) 撮影装置、プログラム及び撮影方法
US11323684B2 (en) Apparatus, system, and method of processing image data to be relayed
WO2021237744A1 (zh) 拍摄方法及装置
WO2019138682A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2021069045A (ja) 表示制御装置、表示制御方法、プログラムおよび記憶媒体
JP7434825B2 (ja) 中継装置、通信システム、通信方法、及びプログラム
JP2024003395A (ja) 撮影装置、画像処理方法、通信システム及びプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200401

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211018

R151 Written notification of patent or utility model registration

Ref document number: 6973394

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151