JPWO2018142705A1 - 情報処理装置、および情報処理方法 - Google Patents

情報処理装置、および情報処理方法 Download PDF

Info

Publication number
JPWO2018142705A1
JPWO2018142705A1 JP2018565944A JP2018565944A JPWO2018142705A1 JP WO2018142705 A1 JPWO2018142705 A1 JP WO2018142705A1 JP 2018565944 A JP2018565944 A JP 2018565944A JP 2018565944 A JP2018565944 A JP 2018565944A JP WO2018142705 A1 JPWO2018142705 A1 JP WO2018142705A1
Authority
JP
Japan
Prior art keywords
imaging
information processing
imaging device
information
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018565944A
Other languages
English (en)
Other versions
JP7215173B2 (ja
Inventor
伸穂 池田
広志 池田
秀幸 佐藤
優太 中尾
靖二郎 稲葉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018142705A1 publication Critical patent/JPWO2018142705A1/ja
Application granted granted Critical
Publication of JP7215173B2 publication Critical patent/JP7215173B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

撮像装置に撮像させる領域を規定する領域情報と、配置されている撮像装置に関する情報とに基づいて、領域と撮像装置との関係に関する通知を行う処理部を備える、情報処理装置が、提供される。【選択図】図5

Description

本開示は、情報処理装置、および情報処理方法に関する。
撮像装置の傾きを通知する技術が開発されている。撮像装置に設定されているモードに適した傾きガイド表示を行う技術としては、例えば下記の特許文献1に記載の技術が挙げられる。
特開2008−17036号公報
スポーツを例に挙げると、テニスや、バスケット、バレーボール、サッカー、卓球などのスポーツの中継を行うために、スポーツが行われる領域(3次元空間)を、撮像装置で撮像することが、行われている。
ここで、上記のようなスポーツでは、選手の位置およびボールの位置が、テニスコートや、バスケットコート、バレーボールコート、サッカーグラウンド、卓球台が配置されている場所などを、大きく外れて動きまわることがある。また、上記のようなスポーツを撮像するための撮像装置の配置は、選手およびボールが存在しない状態で実施されるケースが多い。
そのため、スポーツが行われているときに選手やボールが撮像されるように撮像装置を配置すること、すなわち、上記スポーツが行われる領域が撮像されるように撮像装置を配置することは、困難なものとなっている。さらに、撮像の対象となるスポーツを知らない者が撮像装置を配置する場合には、配置の難易度は、さらに上がる。
本開示では、撮像装置の配置を補助することが可能な、新規かつ改良された情報処理装置、および情報処理方法を提案する。
本開示によれば、撮像装置に撮像させる領域を規定する領域情報と、配置されている撮像装置に関する情報とに基づいて、上記領域と上記撮像装置との関係に関する通知を行う処理部を備える、情報処理装置が、提供される。
また、本開示によれば、撮像装置に撮像させる領域を規定する領域情報と、配置されている撮像装置に関する情報とに基づいて、上記領域と上記撮像装置との関係に関する通知を行うステップを有する、情報処理装置により実行される情報処理方法が、提供される。
本開示によれば、撮像装置の配置を補助することができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
本実施形態に係る情報処理方法が適用される情報処理システムの一例を示す説明図である。 本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。 本実施形態に係る情報処理システムを構成する撮像装置が配置される3次元空間の一例を示す説明図である。 本実施形態に係る情報処理方法に係る処理の一例を示す流れ図である。 本実施形態に係る領域情報の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、下記に示す順序で説明を行う。
1.本実施形態に係る情報処理方法
2.本実施形態に係るプログラム
(本実施形態に係る情報処理方法)
以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げる。本実施形態に係る情報処理装置の構成の一例については、本実施形態に係る情報処理方法に係る処理の一例の説明と共に、説明する。
また、以下では、本実施形態に係る情報処理方法が、テニスや、バスケット、バレーボール、卓球などのスポーツが行われる領域を、撮像装置で撮像する場合に適用される例を、主に説明する。
なお、本実施形態に係る情報処理方法が適用される例は、スポーツが行われる領域を撮像装置で撮像する例に限られない。例えば、本実施形態に係る情報処理方法は、防犯の対象となる領域を撮像装置で撮像する場合など、任意の所定の領域(3次元空間)を撮像装置で撮像する場合に、適用することが可能である。
[1]本実施形態に係る情報処理方法の概要
上述したように、スポーツが行われているときに選手やボールが撮像されるように撮像装置を配置することは、困難なものとなっている。
そこで、本実施形態に係る情報処理装置は、配置されている撮像装置について、当該撮像装置に撮像させる領域と当該撮像装置との関係に関する通知を行う。
本実施形態に係る撮像装置に撮像させる領域と撮像装置との関係に関する通知とは、例えば後述する例に示すように、撮像装置を配置する者による撮像装置の配置を補助するための通知である。以下では、本実施形態に係る撮像装置に撮像させる領域と撮像装置との関係に関する通知を、「撮像装置の関係に関する通知」または単に「関係に関する通知」と示す場合がある。
本実施形態に係る情報処理装置は、例えば、領域情報と、配置されている撮像装置に関する情報とに基づいて、撮像装置の関係に関する通知を行う。
本実施形態に係る領域情報とは、撮像装置に撮像させる領域を規定するデータである。本実施形態に係る情報処理装置は、領域情報に基づいて、撮像装置に撮像させる領域を特定する。
撮像装置に撮像させる領域としては、例えば、上記のようなスポーツが行われる領域が挙げられる。なお、撮像装置に撮像させる領域は、上記のようなスポーツが行われる領域に限られず、例えば上述したように、防犯の対象となる領域であってもよい。
撮像装置に撮像させる領域がスポーツが行われる領域である場合、領域情報が規定する領域は、スポーツごとに規定される。つまり、領域情報が規定する領域には、例えば、スポーツの種類に応じた領域が含まれる。また、撮像装置に撮像させる領域が防犯の対象となる領域である場合、例えばマップを示すマップ情報などに基づいて領域が規定される。
領域情報が規定する領域がスポーツごとに規定される場合のように、領域情報が複数存在する場合、本実施形態に係る情報処理装置は、複数の領域情報の中から設定された領域情報が規定する領域に基づいて、撮像装置の関係に関する通知を行う。
より具体的には、本実施形態に係る情報処理装置は、例えば、検出された所定の設定操作に対応する領域情報を設定し、設定された領域情報が規定する領域に基づいて、撮像装置の関係に関する通知を行う。本実施形態に係る所定の設定操作としては、例えば、操作部(後述する)を用いた操作や、リモートコントローラなどの外部の操作デバイスを用いた操作、ジェスチャによる操作、音声による操作のうちの1または2以上などが、挙げられる。
領域情報が規定する領域がスポーツごとに規定される場合、撮像装置を配置する者は、操作部(後述する)を用いた操作などによってスポーツを設定する。撮像装置を配置する者は、例えば、表示画面に表示されるスポーツの種類を選択する操作を行うことによって、スポーツを設定する。
本実施形態に係る情報処理装置は、例えば、上記のような設定操作により設定されたスポーツに対応する領域情報を、記憶部(図示せず)などの記録媒体から読み出すことによって、スポーツに対応する領域情報を設定する。そして、本実施形態に係る情報処理装置は、設定された領域情報が規定する領域に基づいて、撮像装置の関係に関する通知を行う。以下では、上記のような設定操作により設定されたスポーツに対応する領域情報が規定する領域を、「設定されたスポーツに対応する領域」と示す場合がある。
上記のように、設定されたスポーツに対応する領域に基づいて、撮像装置の関係に関する通知が行われることによって、設定されたスポーツに対応する撮像装置の配置の補助が、実現される。
本実施形態に係る領域情報の一例、および領域情報を用いた処理の一例については、後述する。
また、本実施形態に係る撮像装置に関する情報は、例えば、配置されている撮像装置の配置状態を示すデータである。本実施形態に係る撮像装置に関する情報は、例えば、撮像装置の位置と、撮像装置の姿勢と、撮像装置のパラメータとを示す。撮像装置のパラメータとしては、例えば、焦点距離やレンズ光軸方向の歪などの撮像装置の内部状態を表すパラメータが、挙げられる。
本実施形態に係る情報処理装置は、例えば、撮像装置により撮像された撮像画像に基づいて、撮像装置の位置、撮像装置の姿勢、および撮像装置のパラメータをそれぞれ推定する。そして、本実施形態に係る情報処理装置は、推定された撮像装置の位置、撮像装置の姿勢、および撮像装置のパラメータそれぞれを示す撮像装置に関する情報に基づいて、撮像装置の関係に関する通知を行う。撮像装置に関する情報は、撮像装置の位置、撮像装置の姿勢、および撮像装置のパラメータを示すデータであってもよいし、撮像装置の位置を示すデータ、撮像装置の姿勢を示すデータ、および撮像装置のパラメータを示すデータを含むデータ群であってもよい。
なお、本実施形態に係る情報処理装置は、本実施形態に係る情報処理装置の外部装置において推定された撮像装置の位置、撮像装置の姿勢、および撮像装置のパラメータそれぞれを示す、撮像装置に関する情報に基づいて、撮像装置の関係に関する通知を行ってもよい。
撮像装置に関する情報を用いた処理の一例については、後述する。
本実施形態に係る情報処理装置は、表示画面に通知内容を表示させることによる視覚的な方法による通知、スピーカなどの音声出力デバイスに通知内容を示す音声を出力させることによる聴覚的な通知、あるいは、これらの組み合わせなどによって、撮像装置の関係に関する通知を行う。
本実施形態に係る関係に関する通知としては、例えば、下記の(a)に示す通知と、下記の(b)に示す通知との一方または双方が、挙げられる。
(a)関係に関する通知の第1の例
本実施形態に係る情報処理装置は、関係に関する通知として、上記スポーツが行われる領域のような、撮像装置に撮像させる領域に対する撮像装置の状態の通知を行う。
ここで、撮像装置に撮像させる領域は、領域情報に基づき特定される。
また、本実施形態に係る領域に対する撮像装置の状態は、例えば、撮像装置に撮像させる領域に対する撮像装置の撮像範囲で表される。つまり、本実施形態に係る情報処理装置は、撮像装置に撮像させる領域に対する撮像装置の状態の通知として、当該領域に対する撮像装置の撮像範囲の通知を行う。
なお、上記“撮像装置に撮像させる領域に対する撮像装置の撮像範囲で表される領域に対する撮像装置の状態”は、“撮像装置に撮像させる領域に対する撮像装置の配置の状態”と言い換えることが可能である。つまり、本実施形態に係る情報処理装置は、撮像装置に撮像させる領域に対する撮像装置の状態の通知として、当該領域に対する撮像装置の配置の通知を行う。
第1の例に係る関係に関する通知が行われることによって、撮像装置を配置する者は、撮像装置に撮像させる領域と撮像装置の撮像範囲との関係を、把握することができる。そのため、撮像装置を配置する者は、より容易に、撮像装置の配置をより適した配置に変更することができる。
よって、第1の例に係る関係に関する通知が行われることによって、撮像装置を配置する者による撮像装置の配置を補助することができる。第1の例に係る関係に関する通知の具体例については、後述する。
(b)関係に関する通知の第2の例
本実施形態に係る情報処理装置は、関係に関する通知として、撮像装置の配置の変更を補助する通知を行う。
ここで、本実施形態に係る撮像装置の配置の変更を補助する通知としては、撮像装置に撮像させる領域が撮像装置の撮像範囲に含まれるように撮像装置の配置を変更させる通知が、挙げられる。
また、本実施形態に係る情報処理装置が複数の撮像装置を処理対象とする場合、すなわち、本実施形態に係る情報処理装置が複数の撮像装置それぞれにおける関係に関する通知を行う場合、本実施形態に係る情報処理装置は、さらに、撮像装置に撮像させる領域において複数の撮像装置の撮像範囲が重複する領域がより大きくなるように撮像装置の配置を変更させる通知を、行う。“複数の撮像装置の撮像範囲が重複する領域がより大きくなるように撮像装置の配置を変更させる通知”の例としては、後述する“複数の撮像装置の情報を集約した結果が所定の状態を満たすように、撮像装置の配置の変更を補助する通知”が、挙げられる。ここで、上記に示す複数の撮像装置の撮像範囲が重複する領域がより大きくなるようにすることは、撮像装置の配置の変更における第1の制約に係る条件に該当する。
また、本実施形態に係る情報処理装置が複数の撮像装置それぞれにおける関係に関する通知を行う場合、本実施形態に係る情報処理装置は、さらに、複数の撮像装置の有効撮像距離を満たすように、撮像装置の配置を変更させる通知を行ってもよい。本実施形態に係る撮像装置の有効撮像距離としては、例えば“撮像装置が焦点を合わせて被写体を撮像することが可能な被写体までの距離など、撮像装置が正常に被写体を撮像することが可能な被写体までの距離”が挙げられる。また、本実施形態に係る撮像装置の有効撮像距離は、例えば“撮像装置により撮像された撮像画像に含まれる被写体の大きさが、画像認識などの所定の画像処理によって被写体を特定できる程度の大きさとなるように撮像することが可能な、被写体までの限界距離”であってもよい。本実施形態に係る撮像装置の有効撮像距離は、例えば、撮像装置のパラメータから推定される。つまり、本実施形態に係る情報処理装置による通知により撮像装置の配置が変更された結果、複数の撮像装置それぞれは、撮像装置に撮像させる領域内に存在する被写体を、十分な性能が得られるように撮像することが可能である。ここで、上記に示す複数の撮像装置の有効撮像距離を満たすことは、撮像装置の配置の変更における第2の制約に係る条件に該当する。
本実施形態に係る情報処理装置は、例えば、第1の制約に係る条件と第2の制約に係る条件とのいずれか一方を満たすように撮像装置の配置を変更させる通知を行う。また、本実施形態に係る情報処理装置は、例えば、第1の制約に係る条件および第2の制約に係る条件を満たす範囲で撮像装置の配置を変更させる通知を行ってもよい。一例を挙げると、本実施形態に係る情報処理装置は、例えば、有効撮像距離と重複する領域の面積をパラメータとする評価関数などの、所定の評価関数に基づいて評価値が最大となる配置(最適化が図られた配置)を算出し、算出された配置となるように撮像装置の配置を変更させる通知を行う。
なお、本実施形態に係る撮像装置の配置の変更における制約に係る条件は、上記第1の制約に係る条件と上記第2の制約に係る条件とに限られない。例えば、本実施形態に係る情報処理装置は、撮像装置を遠ざける方向と撮像装置を近づける方向とのように、互いにトレードオフの関係にある2つ以上の制約などを対象とする所定の評価関数を設定して、撮像装置の配置の最適化を図ることが可能である。
より具体的には、本実施形態に係る情報処理装置は、撮像装置の配置の変更を補助する通知として、撮像装置の画角、向き、および位置のうちの1または2以上を変更させる通知を行う。
本実施形態に係る情報処理装置は、例えば、撮像装置に関する情報が示す撮像装置の位置に基づいて、撮像装置に撮像させる領域に対する撮像装置の位置を特定する。また、本実施形態に係る情報処理装置は、例えば、撮像装置に関する情報が示す撮像装置の姿勢に基づいて、撮像装置に撮像させる領域に対する撮像装置の向き(当該領域に対する撮像装置の姿勢)とを特定する。また、本実施形態に係る情報処理装置は、例えば、撮像装置に関する情報が示す撮像装置のパラメータに基づいて、撮像装置の画角を特定する。そして、本実施形態に係る情報処理装置は、例えば、“特定された撮像装置の画角、向き、および位置のうちの1または2以上を、撮像装置に撮像させる領域の撮像に適するように変更させる通知”を、行う。本実施形態に係る撮像装置に撮像させる領域の撮像に適するように変更させる通知の一例としては、例えば、後述する“複数の撮像装置の情報を集約した結果が所定の状態を満たすように、撮像装置の配置の変更を補助する通知”が、挙げられる。
ここで、本実施形態に係る情報処理装置は、例えば、撮像装置の画角、向き、および位置の変更の仕方を、設定された順序で通知する。本実施形態に係る情報処理装置は、例えば、画角、向き、位置の順序で、各項目の変更の仕方を通知する。本実施形態に係る情報処理装置は、例えば、各項目の変更の仕方を、設定された時間ごとにローテーションして通知する。
また、本実施形態に係る情報処理装置は、撮像装置の画角、向き、および位置のうちの2以上の変更の仕方を、同時に通知してもよい。撮像装置の画角、向き、および位置の全てを同時に通知しない場合、本実施形態に係る情報処理装置は、上記設定された順序で通知する場合と同様に、設定された時間ごとにローテーションして通知する。
第2の例に係る関係に関する通知が行われることによって、撮像装置を配置する者は、通知内容に従って撮像装置の配置を変更することができる。そのため、撮像装置を配置する者は、より容易に、撮像装置の配置をより適した配置に変更することができる。
よって、第2の例に係る関係に関する通知が行われることによって、撮像装置を配置する者による撮像装置の配置を補助することができる。第2の例に係る関係に関する通知の具体例については、後述する。
本実施形態に係る情報処理装置は、関係に関する通知として、例えば、上記(a)に示す第1の例に係る関係に関する通知と、上記(b)に示す第2の例に係る関係に関する通知との一方または双方を、行う。
したがって、本実施形態に係る情報処理装置は、撮像装置の配置を補助することができる。
なお、本実施形態に係る関係に関する通知は、上記(a)に示す第1の例に係る関係に関する通知と、上記(b)に示す第2の例に係る関係に関する通知とに限られない。例えば、本実施形態に係る関係に関する通知の他の例としては、後述する“撮像装置の配置が完了した旨の通知”が、挙げられる。
[2]本実施形態に係る情報処理方法に係る処理の一例
次に、上述した本実施形態に係る情報処理方法に係る処理の一例を、本実施形態に係る情報処理方法が適用される情報処理システムの一例を示しつつ説明する。
[2−1]本実施形態に係る情報処理システムの構成の一例
図1は、本実施形態に係る情報処理方法が適用される情報処理システム1000の一例を示す説明図である。情報処理システム1000は、例えば、情報処理装置100と、撮像装置200A、200B、200Cとを有する。以下では、撮像装置200A、200B、200Cのうちの1つを指して、または、撮像装置200A、200B、200Cを総称して、「撮像装置200」と示す場合がある。また、以下では、撮像装置を「カメラ」と示す場合がある。
情報処理装置100と撮像装置200とは、例えば、ネットワーク300を介して無線または有線で接続され、ネットワーク300を介した通信によって、通信を行う。本実施形態に係るネットワーク300としては、例えば、LAN(Local Area Network)やWAN(Wide Area Network)などの有線ネットワーク、WLAN(Wireless Local Area Network)などの無線ネットワーク、あるいは、TCP/IP(Transmission Control Protocol/Internet Protocol)などの通信プロトコルを用いたインターネットなどが挙げられる。なお、本実施形態に係る情報処理システムでは、情報処理装置100と撮像装置200とは、ネットワーク300を介さずに、直接的に通信を行うことも可能である。
なお、本実施形態に係る情報処理システムの構成は、図1に示す例に限られない。
例えば、図1では3つの撮像装置200を有する構成を示しているが、本実施形態に係る情報処理システムは、1つの撮像装置200、2つの撮像装置、あるいは、4つ以上の撮像装置200を有する構成であってもよい。つまり、本実施形態に係る情報処理システムは、1または2以上の撮像装置200を有しうる。
また、本実施形態に係る情報処理システムは、情報処理装置100と撮像装置200との間の通信を中継する中継装置(図示せず)を、さらに有していてもよい。また、本実施形態に係る情報処理システムにおいて、中継装置(図示せず)は、例えば、画像データなどの様々なデータを集約する機能と、様々なデータを分配する機能とを有する、データ集約・分配装置の役目を果たしていてもよい。中継装置(図示せず)としては、例えばルータなどが挙げられる。
[2−1−1]情報処理装置100
情報処理装置100は、上述した本実施形態に係る情報処理方法に係る処理を行う装置である。
図2は、本実施形態に係る情報処理装置100の構成の一例を示すブロック図である。情報処理装置100は、例えば、通信部102と、制御部104とを備える。
また、情報処理装置100は、例えば、ROM(Read Only Memory。図示せず)や、RAM(Random Access Memory。図示せず)、記憶部(図示せず)、情報処理装置100の使用者が操作可能な操作部(図示せず)、様々な画面を表示画面に表示する表示部(図示せず)などを備えていてもよい。情報処理装置100は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
ROM(図示せず)は、制御部104が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部104により実行されるプログラムなどを一時的に記憶する。
記憶部(図示せず)は、情報処理装置100が備える記憶手段であり、例えば、領域情報などの本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなどの、様々なデータを記憶する。ここで、記憶部(図示せず)としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記憶部(図示せず)は、情報処理装置100から着脱可能であってもよい。
操作部(図示せず)としては、後述する操作入力デバイスが挙げられる。また、表示部(図示せず)としては、後述する表示デバイスが挙げられる。
[情報処理装置100のハードウェア構成例]
図3は、本実施形態に係る情報処理装置100のハードウェア構成の一例を示す説明図である。情報処理装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、通信インタフェース164とを備える。また、情報処理装置100は、例えば、データの伝送路としてのバス166で各構成要素間を接続する。また、情報処理装置100は、例えば、情報処理装置100が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。
MPU150は、例えば、MPU(Micro Processing Unit)などの演算回路で構成される、1または2以上のプロセッサや、各種処理回路などで構成され、情報処理装置100全体を制御する制御部104として機能する。また、MPU150は、情報処理装置100において、例えば、後述する処理部110の役目を果たす。なお、処理部110は、専用の(または汎用の)回路(例えば、MPU150とは別体のプロセッサなど)で構成されていてもよい。
ROM152は、MPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。RAM154は、例えば、MPU150により実行されるプログラムなどを一時的に記憶する。
記録媒体156は、記憶部(図示せず)として機能し、例えば、領域情報などの本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなどの、様々なデータを記憶する。ここで、記録媒体156としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体156は、情報処理装置100から着脱可能であってもよい。
入出力インタフェース158は、例えば、操作入力デバイス160や、表示デバイス162を接続する。操作入力デバイス160は、操作部(図示せず)として機能し、また、表示デバイス162は、表示部(図示せず)として機能する。ここで、入出力インタフェース158としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路などが挙げられる。
また、操作入力デバイス160は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。操作入力デバイス160としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクタ、あるいは、これらの組み合わせなどが挙げられる。
また、表示デバイス162は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。表示デバイス162としては、例えば、液晶ディスプレイ(Liquid Crystal Display)や有機ELディスプレイ(Organic Electro-Luminescence Display。または、OLEDディスプレイ(Organic Light Emitting Diode Display)ともよばれる。)などが挙げられる。
なお、入出力インタフェース158が、情報処理装置100の外部の操作入力デバイス(例えば、キーボードやマウスなど)や外部の表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス162は、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。
通信インタフェース164は、情報処理装置100が備える通信手段であり、ネットワーク300を介して(あるいは、直接的に)、撮像装置200などの外部装置と、無線または有線で通信を行うための通信部102として機能する。ここで、通信インタフェース164としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11ポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)などが挙げられる。また、通信インタフェース164は、ネットワーク300に対応する任意の構成であってもよい。
情報処理装置100は、例えば図3に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置100のハードウェア構成は、図3に示す構成に限られない。
例えば、情報処理装置100は、接続されている外部の通信デバイスを介して外部装置などと通信を行う場合には、通信インタフェース164を備えていなくてもよい。また、通信インタフェース164は、複数の通信方式によって、1または2以上の外部装置などと通信を行うことが可能な構成であってもよい。
また、情報処理装置100は、例えば、撮像デバイスをさらに備えていてもよい。情報処理装置100が撮像デバイスを備える場合、当該撮像デバイスは、撮像により撮像画像(動画像または静止画像)を生成する撮像部(図示せず)として機能する。
また、情報処理装置100は、例えば、スピーカなどの音声出力デバイスをさらに備えていてもよい。
また、情報処理装置100は、例えば、記録媒体156や、操作入力デバイス160、表示デバイス162を備えない構成をとることが可能である。
また、情報処理装置100は、例えば、後述する情報処理装置100の適用例に応じた構成をとることが可能である。
また、例えば、図3に示す構成(または変形例に係る構成)の一部または全部は、1、または2以上のIC(Integrated Circuit)で実現されてもよい。
再度図2を参照して、情報処理装置100の構成の一例について説明する。通信部102は、情報処理装置100が備える通信手段であり、ネットワーク300を介して(あるいは、直接的に)、撮像装置200などの外部装置と、無線または有線で通信を行う。また、通信部102は、例えば制御部104により通信が制御される。
ここで、通信部102としては、例えば、通信アンテナおよびRF回路や、LAN端子および送受信回路などが挙げられるが、通信部102の構成は、上記に限られない。例えば、通信部102は、USB端子および送受信回路などの通信を行うことが可能な任意の規格に対応する構成や、ネットワーク300を介して外部装置と通信可能な任意の構成をとることができる。また、通信部102は、複数の通信方式によって、1または2以上の外部装置などと通信を行うことが可能な構成であってもよい。
制御部104は、例えばMPUなどで構成され、情報処理装置100全体を制御する役目を果たす。また、制御部104は、例えば、処理部110を有し、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
処理部110は、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。処理部110は、例えは、領域情報と撮像装置に関する情報とに基づいて、撮像装置の関係に関する通知を行う。処理部110は、関係に関する通知として、例えば、上記(a)に示す第1の例に係る関係に関する通知と、上記(b)に示す第2の例に係る関係に関する通知との一方または双方を、行う。
情報処理装置100は、例えば図2に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。したがって、情報処理装置100は、例えば図2に示す構成によって、撮像装置の配置を補助することができる。
また、例えば図2に示す構成によって、情報処理装置100は、本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。
なお、本実施形態に係る情報処理装置の構成は、図2に示す構成に限られない。
例えば、本実施形態に係る情報処理装置は、図2に示す処理部110を、制御部104とは個別に備える(例えば、別の処理回路で実現する)ことができる。
また、本実施形態に係る情報処理方法に係る処理を実現するための構成は、図2に示す構成に限られず、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。
また、例えば、通信部102と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合には、本実施形態に係る情報処理装置は、通信部102を備えていなくてもよい。
[2−1−2]撮像装置200
撮像装置200は、例えばスポーツが行われる領域を撮像するように配置される撮像装置であり、撮像により撮像画像(動画像または静止画像)を生成する。
撮像装置200は、例えば、レンズ/撮像素子と信号処理回路とを含んで構成される。レンズ/撮像素子は、例えば、光学系のレンズと、CMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、AGC(Automatic Gain Control)回路やADC(Analog to Digital Converter)を備え、撮像素子により生成されたアナログ信号をデジタル信号(画像データ)に変換する。また、信号処理回路は、例えばRAW現像に係る各種処理を行う。さらに、信号処理回路は、例えば、White Balance補正処理や、色調補正処理、ガンマ補正処理、YCbCr変換処理、エッジ強調処理など各種信号処理を行ってもよい。さらに、撮像装置200では、信号処理回路の演算リソースを利用して、任意の画像処理を行うことが可能であってもよい。
また、撮像装置200は、例えば、通信デバイスを備え、または、外部の通信デバイスが接続される。撮像装置200は、備えている通信デバイス、または、接続されている外部の通信デバイスによって、ネットワーク300を介して(あるいは、直接的に)、情報処理装置100などの外部装置と、無線または有線で通信を行う。
また、撮像装置200は、表示デバイスを備えていてもよいし、外部の表示デバイスが接続されていてもよい。
なお、撮像装置200の構成は、上記に示す例に限られず、後述する撮像装置200の適用例に応じた構成をとることが可能である。
[2−2]本実施形態に係る情報処理方法に係る処理の一例
図1に示す情報処理システム1000を例に挙げて、本実施形態に係る情報処理方法に係る処理の一例について、説明する。
図4は、本実施形態に係る情報処理システム1000を構成する撮像装置200が配置される3次元空間の一例を示す説明図である。図4では、撮像装置200が配置される3次元空間が、バレーボールコートを含む体育館である例を示している。
また、以下では、図4に示す体育館に撮像装置200が配置される場合、すなわち、本実施形態に係る情報処理方法がスポーツが行われる領域の撮像に適用される場合を、例に挙げて、本実施形態に係る情報処理方法に係る処理の一例を説明する。
上述したように、スポーツを撮像するための撮像装置の配置は、選手およびボールが存在しない状態で実施されるケースが多い。より具体的には、撮像装置によるスポーツの撮像は、例えば、“機材準備”、“撮像装置の配置”、“配置された撮像装置によるテスト撮像”、“配置された撮像装置による本撮像”、“機材の撤収”という流れで、行われる。本実施形態に係る情報処理方法は、例えば、上記の流れにおける“撮像装置の配置”段階に適用される。
図5は、本実施形態に係る情報処理方法に係る処理の一例を示す流れ図である。図5は、撮像装置200が仮に配置された後、配置を完了するまでの処理の一例を示している。
情報処理装置100は、スポーツに対応する領域情報を設定する(S100)。例えば、図4に示す体育館に撮像装置200が配置される場合、ステップS100では、バレーボール(スポーツの一例)に対応する領域情報が、設定される。
情報処理装置100は、例えば、記憶部(図示せず)などの記録媒体から、検出された設定操作に対応する領域情報を読み出すことによって、スポーツに対応する領域情報を設定する。また、情報処理装置100は、記録媒体から読み出した領域情報を、撮像装置200それぞれに対して送信する。
なお、領域情報は、情報処理システム1000を構成する撮像装置200の一部または全部が、それぞれ記憶していてもよいし、情報処理システム1000を構成する一部または全部の装置が、分散して記憶していてもよい。
図6は、本実施形態に係る領域情報の一例を説明するための説明図である。図6では、スポーツごとに領域情報が記録されているテーブル(またはデータベース)の一例を示している。
図6のAに示す“コート”は、各スポーツが行われるコートまたはグランドの領域を規定するデータである。また、図6のBに示す“選手レンジ”は、各スポーツの選手が移動しうる領域を規定するデータである。また、図6のCに示す“ボールレンジ”は、各スポーツで使用されるボールが動きうる領域を規定するデータである。
図6のAに示す“コート”、図6のBに示す“選手レンジ”、および図6のCに示す“ボールレンジ”それぞれが示す領域は、例えば、コートまたはグラウンドに設定された所定の位置を原点としたときの距離(水平方向、垂直方向、および奥行方向それぞれの距離)で表される。図6のAに示す“コート”、図6のBに示す“選手レンジ”、および図6のCに示す“ボールレンジ”それぞれは、コートまたはグラウンドのある隅の位置を原点とし、距離を単位[メートル]で表した例を示している。なお、上記所定の位置は、コートまたはグラウンドにおける隅の位置に限られない。例えば、上記所定の位置は、コートまたはグラウンドにおける中心位置であってもよい。上記所定の位置が上記中心位置である場合、コートまたはグラウンドを対称なものとして処理することによって、図6のAに示す“コート”、図6のBに示す“選手レンジ”、および図6のCに示す“ボールレンジ”それぞれが示す領域を特定することが可能である。
ここで、図6のAに示す“コート”、図6のBに示す“選手レンジ”、および図6のCに示す“ボールレンジ”それぞれが示すデータが、領域情報の一例に該当する。
また、例えば図6のD、図6のEに示すように、スポーツごとに領域情報が記録されているテーブルには、対象のスポーツの領域を撮像するために必要な最低カメラ台数を示す“最低カメラ台数”と、使用される撮像装置における有効な撮像距離を示す“カメラ有効距離”とが、含まれていてもよい。ここで、図6のDに示す“最低カメラ台数”および図6のEに示す“カメラ有効距離”それぞれは、例えば、撮像装置の焦点距離や画サイズなどに依存して変動する。ここで、上記“カメラ有効距離”は、上述した撮像装置の有効撮像距離に該当する。
再度図5を参照して、本実施形態に係る情報処理方法に係る処理の一例について説明する。情報処理装置100は、選手・ボールレンジを取得する(S102)。ここで、ステップS102において取得される選手・ボールレンジは、本実施形態に係る撮像装置に撮像させる領域の一例に、該当する。
情報処理装置100は、例えば、ステップS100において設定された領域情報に基づいて、選手・ボールレンジを求める演算を行うことによって、選手・ボールレンジを取得する。選手・ボールレンジを求める演算としては、例えば、図6のAに示す“コート”が示す領域、図6のBに示す“選手レンジ”が示す領域、および図6のCに示す“ボールレンジ”が示す領域を含む、最小の領域を求める演算が、挙げられる。
なお、情報処理装置100が選手・ボールレンジを取得する方法は、上記に示す例に限られない。例えば、情報処理装置100は、撮像装置200において行われた選手・ボールレンジを求める演算の結果を、当該撮像装置200から通信により取得することによって、選手・ボールレンジを取得することも、可能である。
図7は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、図5のステップS102において取得される選手・ボールレンジの一例を示している。
例えば、図4に示す体育館に撮像装置200が配置される場合、ステップS100では、図7において符号Rで示されるように、選手・ボールレンジが設定される。以下では、図7において符号Rで示されるような、図5のステップS102において取得される選手・ボールレンジを、「選手・ボールレンジR」と示す。
再度図5を参照して、本実施形態に係る情報処理方法に係る処理の一例について説明する。情報処理装置100は、撮像装置200の位置、向き、パラメータを取得する(S104)。
情報処理装置100は、例えば、撮像装置200それぞれから取得される撮像画像から検出される特徴量と、設定されているスポーツ固有の情報に規定されている特徴量とを対応付けることによって、撮像装置200それぞれの位置と向きとを取得する。スポーツ固有の情報に規定されている特徴量としては、例えば“互いの位置関係が既知である、コートにおける複数の所定の位置”などが、挙げられる。スポーツがバレーボールである場合における、上記コートにおける複数の所定の位置の具体例としては、例えば、コートの四隅の位置、ラインが交わる位置、ネット上の位置、ネットを支える支柱の位置などが、挙げられる。
情報処理装置100は、例えば撮像画像から所定の位置を検出する画像処理を行うことによって、撮像画像から特徴量を得る。そして、情報処理装置100は、例えば、撮像画像から検出される特徴量とスポーツ固有の情報に規定されている特徴量とをパターンマッチングする。情報処理装置100は、例えば上記のようなパターンマッチングを行うことによって、スポーツ固有の情報が示すコートに対する撮像装置200の位置を、推定することができる。また、情報処理装置100は、例えば上記のようなパターンマッチングを行うことによって、スポーツ固有の情報が示すコートに対する撮像装置200の姿勢を推定して、コートに対する撮像装置200の向きを推定することができる。
なお、撮像画像に基づく撮像装置200の位置、向きの推定方法は、上記に示す例にかぎられない。情報処理装置100は、Structure from Motionを利用する方法などの、撮像画像に基づき撮像装置200の位置、向きを推定することが可能な、任意の処理を行ってもよい。
また、情報処理装置100は、例えば、撮像画像から検出される特徴量とスポーツ固有の情報に規定されている特徴量とに基づいて、撮像装置200のパラメータを推定する。情報処理装置100は、カメラのキャリブレーションとよばれる技術を用いることによって、撮像装置200のパラメータを推定することができる。一例を挙げると、情報処理装置100は、例えば、画像処理ライブラリであるOpenCVが提供しているcalibrateCameraを用いることによって、撮像装置200のパラメータを推定する。
例えばステップS104において推定された撮像装置200の位置、撮像装置200の向き、および撮像装置200のパラメータそれぞれを示すデータは、撮像装置に関する情報の一例に該当する。
再度図5を参照して、本実施形態に係る情報処理方法に係る処理の一例について説明する。情報処理装置100は、ステップS102において取得された選手・ボールレンジRを、撮像装置200それぞれの撮像画像に投影する(S106)。
図8は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、ある撮像装置200において撮像画像に対して図5のステップS106において選手・ボールレンジRが投影された撮像画像の一例を、示している。
情報処理装置100は、例えば、図8に示すような選手・ボールレンジRが投影された撮像画像を、表示画面に表示させる。選手・ボールレンジRが投影された撮像画像が表示される表示画面としては、例えば、投影前の撮像画像を撮像した撮像装置200が備える表示デバイス(または、接続されている外部の表示デバイス)が、挙げられる。また、選手・ボールレンジRが投影された撮像画像が表示される表示画面は、情報処理装置100が備える表示部(図示せず)の表示画面など、撮像装置200を配置する者が確認することが可能な、任意の表示デバイスの表示画面であってもよい。
上記のように、選手・ボールレンジRが投影された撮像画像が表示画面に表示されることによって、撮像装置200を配置する者は、選手・ボールレンジR(撮像装置200に撮像させる領域の一例)と撮像装置200の撮像範囲との関係を、視覚的に把握することができる。つまり、情報処理装置100が、選手・ボールレンジRが投影された撮像画像を表示画面に表示させることは、上記(a)に示す第1の例に係る関係に関する通知の一例に該当する。
再度図5を参照して、本実施形態に係る情報処理方法に係る処理の一例について説明する。情報処理装置100は、配置対象の全ての撮像装置200が処理されたか否かを判定する(S108)。配置対象の全ての撮像装置200としては、例えば、情報処理システム1000を構成する全ての撮像装置200が、挙げられる。
情報処理装置100は、例えば、配置対象の全ての撮像装置200の位置が推定されている場合に、全ての撮像装置200が処理されたと判定する。
ステップS108において全ての撮像装置200が処理されたと判定されない場合には、情報処理装置100は、ステップS104からの処理を繰り返す。
また、ステップS108において全ての撮像装置200が処理されたと判定された場合には、情報処理装置100は、複数の撮像装置200の情報を集約する(S110)。
図9は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、図5のステップS110において撮像装置200A、200B、200Cの情報が集約された結果の一例を示している。ここで、図9では、視認性を挙げるためなどの理由により、選手・ボールレンジRを平面で表している。なお、選手・ボールレンジRを3次元空間で表した上で、図9と同様の集約を行うことが可能であることは、言うまでもない。
図9に示す“0Cam”は、選手・ボールレンジRのうち、撮像装置200A、200B、200Cのいずれの撮像装置200からも撮像されていない領域を示している。また、図9に示す“1Cam”は、選手・ボールレンジRのうち、撮像装置200A、200B、200Cのうちの1つの撮像装置200のみで撮像されている領域を示している。また、図9に示す“2Cam”は、選手・ボールレンジRのうち、撮像装置200A、200B、200Cのうちの2つの撮像装置200で撮像されている領域を示している。そして、図9に示す“3Cam”は、選手・ボールレンジRのうち、撮像装置200A、200B、200Cの全てで撮像されている領域を示している。つまり、図9に示す例は、選手・ボールレンジRが、撮像装置200の撮像範囲が重複している状態に応じて、4つの領域に分類される例を示している。
なお、複数の撮像装置200の情報を集約した結果は、図9に示す例に限られない。例えば、撮像装置200の撮像範囲が重複している状態に応じて、選手・ボールレンジRが、良好な領域と、良好ではない領域(悪い領域)という2種類の領域に分類されてもよい。一例を挙げると、図9に示す“2Cam”および“3Cam”の領域が、良好な領域に分類され、“0Cam”および“1Cam”の領域が、良好ではない領域に分類される。
また、ステップS110において、情報処理装置100は、例えば、図9に示すような複数の撮像装置200の情報を集約した結果を示す画像を、表示画面に表示させてもよい。複数の撮像装置200の情報を集約した結果を示す画像が表示画面に表示される場合、選手・ボールレンジRが分類された領域は、例えば領域ごとに色分けされることなどによって、別な領域であると視覚的に認識されるような加工がなされる。
複数の撮像装置200の情報を集約した結果を示す画像が表示される表示画面としては、例えば、投影前の撮像画像を撮像した撮像装置200が備える表示デバイス(または、接続されている外部の表示デバイス)が、挙げられる。また、複数の撮像装置200の情報を集約した結果を示す画像が表示される表示画面は、情報処理装置100が備える表示部(図示せず)の表示画面など、撮像装置200を配置する者が確認することが可能な、任意の表示デバイスの表示画面であってもよい。
上記のように、複数の撮像装置200の情報を集約した結果を示す画像が表示画面に表示されることによって、撮像装置200を配置する者は、選手・ボールレンジR(撮像装置200に撮像させる領域の一例)と撮像装置200の撮像範囲との関係を、視覚的に把握することができる。つまり、情報処理装置100が、複数の撮像装置200の情報を集約した結果を示す画像を表示画面に表示させることは、上記(a)に示す第1の例に係る関係に関する通知の一例に該当する。
なお、複数の撮像装置200の情報を集約した結果を示す画像は、図9に示す例に限られない。
例えば、情報処理装置100は、図9に示すような選手・ボールレンジRが分類された領域が重畳された撮像画像を、表示画面に表示させてもよい。情報処理装置100は、例えば投影変換によって、撮像装置200それぞれにより撮像された撮像画像に、選手・ボールレンジRが分類された領域を重畳させる。
図10は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、複数の撮像装置200の情報を集約した結果を示す画像の他の例を示している。
図10に示すように、情報処理装置100は、撮像装置200ごとに、選手・ボールレンジRに対する撮像装置200の撮像範囲を示す画像を、表示画面に表示させることも可能である。
例えば、“選手・ボールレンジRが分類された領域が重畳された撮像画像を、表示画面に表示させること”、または、“図10に示すような選手・ボールレンジRに対する撮像装置200の撮像範囲を示す画像を、表示画面に表示させること”によって、複数の撮像装置200の情報を集約した結果を、撮像装置200ごとに確認することが可能な仕組みが、実現される。
再度図5を参照して、本実施形態に係る情報処理方法に係る処理の一例について説明する。情報処理装置100は、撮像装置200の配置案を提案する(S112)。情報処理装置100は、例えば上記(b)に示す第2の例に係る関係に関する通知を行うことによって、撮像装置200の配置案を提案する。
図11は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、図9に示す複数の撮像装置200の情報を集約した結果を示す画像に対する配置の提案の一例を示している。
図11に示すように、情報処理装置100は、撮像装置200の画角、角度、および位置のうちの1または2以上を変更させる通知を行う。図11に示す撮像装置200の角度の変更は、撮像装置200の向きの変更に該当する。
ここで、図9に示す複数の撮像装置200の情報を集約した結果を示す画像は、選手・ボールレンジRが平面で表されている例である。よって、図11では、“情報処理装置100が、撮像装置200の平面方向の角度(向き)をに変更させる通知を行い、また、撮像装置200の平面方向の位置を変更させる通知を行う例”を、示している。なお、複数の撮像装置200の情報を集約した結果を示す画像において、選手・ボールレンジRが3次元空間で表される場合、情報処理装置100は、平面方向の角度と垂直方向の角度との一方または双方を、変更させてもよい。また、選手・ボールレンジRが3次元空間で表される場合、情報処理装置100は、平面方向の位置と垂直方向の位置との一方または双方を、変更させてもよい。
上述したように、情報処理装置100は、例えば、撮像装置200の画角、角度(向き)、および位置の変更の仕方を、設定された順序で通知する。また、情報処理装置100は、例えば、撮像装置200の画角、角度(向き)、および位置のうちの2以上の変更の仕方を、同時に通知してもよい。
なお、図11では、1つの撮像装置200に対して配置案が提案されている状態を示しているが、情報処理装置100は、配置対象の全ての撮像装置200それぞれに対して、または、配置対象の撮像装置200のうちの一部の撮像装置200に対して、配置案を提案する。
上記のように、配置対象の撮像装置200に対して配置案が提案されることによって、撮像装置200を配置する者は、提案された配置案(通知内容)に従って撮像装置200の配置を変更することができる。そのため、撮像装置200を配置する者は、より容易に、撮像装置200の配置をより適した配置に変更することができる。
再度図5を参照して、本実施形態に係る情報処理方法に係る処理の一例について説明する。情報処理装置100は、配置対象の撮像装置200の配置が完了したか否かを判定する(S114)。
情報処理装置100は、例えば、複数の撮像装置200の情報を集約した結果が、設定された所定の状態を満たしているか否かを判定する。そして、情報処理装置100は、複数の撮像装置200の情報を集約した結果が上記所定の状態を満たしていると判定された場合に、撮像装置200の配置が完了したと判定する。
図12は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、複数の撮像装置200の情報を集約した結果が上記所定の状態を満たしている場合の一例を示している。
設定された所定の状態としては、例えば図12に示すように、選手・ボールレンジR全体が配置対象の全ての撮像装置200で撮像される状態(すなわち、選手・ボールレンジR全体が、“3Cam”の領域である状態)が、挙げられる。
なお、本実施形態に係る所定の状態の例は、上記に示す例に限られない。例えば、所定の状態は、選手・ボールレンジR全体が上述した良好な領域にある状態であってもよい。つまり、本実施形態に係る所定の状態としては、例えば、選手・ボールレンジR全体が撮像装置200の撮像範囲に含まれ、かつ、複数の撮像装置200の撮像範囲が重複する領域がより大きくなるような状態が、設定される。
上記のように、選手・ボールレンジR全体が撮像装置200の撮像範囲に含まれ、かつ、複数の撮像装置200の撮像範囲が重複する領域がより大きくなるような状態が、所定の状態として設定されることによって、配置された撮像装置200によって、精度が高く、かつ安定した選手およびボールのトラッキングを、実現することが可能となる。
また、所定の状態は、予め設定された固定の状態であってもよいし、情報処理装置100のユーザなどの操作に基づき変更することが可能な、可変の状態であってもよい。
再度図5を参照して、本実施形態に係る情報処理方法に係る処理の一例について説明する。ステップS114において撮像装置200の配置が完了したと判定されない場合、情報処理装置100は、ステップS104からの処理を繰り返す。
また、ステップS114において撮像装置200の配置が完了したと判定された場合には、情報処理装置100は、図5に示す処理を完了する。
なお、撮像装置200の配置が完了したと判定された場合、情報処理装置100は、撮像装置200の配置が完了した旨の通知を、撮像装置200を配置する者に対して行ってもよい。撮像装置200の配置が完了した旨の通知としては、配置が完了したことを示す画像や文字などの表示画面に表示させる視覚的な通知、配置が完了したことを示す音声を音声出力デバイスに出力させることによる聴覚的な通知、あるいは、これらの組み合わせなどが、挙げられる。
情報処理装置100が、上記のような撮像装置200の配置が完了した旨の通知を行うことによって、撮像装置200を配置する者は、配置対象の撮像装置200の配置が完了したことを、当該通知によって認識することができる。よって、上記のような撮像装置200の配置が完了した旨の通知が行われることによって、撮像装置200を配置する者による撮像装置200の配置を補助することができる。つまり、上記のような撮像装置200の配置が完了した旨の通知は、本実施形態に係る撮像装置の関係に関する通知の一例に該当する。
例えば図5に示す処理が行われることによって、図4に示す体育館への撮像装置200の配置が、実現される。
ここで、図5を参照して説明した処理では、例えば、“選手・ボールレンジRが投影された撮像画像を表示画面に表示させること”、“複数の撮像装置200の情報を集約した結果を示す画像を表示画面に表示させること”、および“撮像装置200の配置案を提案すること”などによって、関係に関する通知が行われる。
したがって、例えば図5に示す処理が行われることによって、撮像装置200を配置する者による撮像装置200の配置を補助することができる。
また、情報処理装置100は、複数の撮像装置200の情報を集約した結果が所定の状態を満たすように、撮像装置200の配置の変更を補助する通知を行う。
ここで、所定の状態としては、例えば、“選手・ボールレンジR全体が配置対象の全ての撮像装置200で撮像される状態”や、“選手・ボールレンジR全体が上述した良好な領域にある状態”のように、複数の撮像装置200の撮像範囲が重複する領域がより大きくなるような状態が、設定される。
よって、撮像装置200を配置する者は、配置された撮像装置200による選手およびボールのトラッキングが、精度が高く、かつ安定して行われるように、配置対象の撮像装置200を配置することができる。
なお、本実施形態に係る情報処理方法に係る処理の例が、図5に示す例に限られないことは、言うまでもない。
[3]本実施形態に係る情報処理システムを構成する各装置の適用例
以上、本実施形態に係る情報処理システムの構成要素として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、“PC(Personal Computer)やサーバなどのコンピュータ”や、“タブレット型の装置”、“ゲーム機”、“デジタルスチルカメラやデジタルビデオカメラなどのカメラ”など、本実施形態に係る情報処理方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ICに適用することもできる。
また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続(または各装置間の通信)を前提とした処理システムに適用されてもよい。本実施形態に係る情報処理方法に係る処理が行われる処理システムの一例としては、例えば“処理システムを構成する一の装置によって本実施形態に係る情報処理方法に係る処理の一部の処理が行われ、処理システムを構成する他の装置によって本実施形態に係る情報処理方法に係る処理の当該一部の処理以外の処理が行われるシステム”などが、挙げられる。
また、本実施形態に係る情報処理システムの構成要素として、撮像装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、“デジタルスチルカメラやデジタルビデオカメラなどのカメラ”や、“スマートホンや携帯電話などの撮像を行うことが可能な通信装置”、“撮像を行うことが可能なタブレット型の装置”、“撮像を行うことが可能なゲーム機”など、撮像機能を有する任意の装置が、挙げられる。また、上述したように、本実施形態に係る情報処理システムでは、本実施形態に係る情報処理装置が撮像装置の役目を果たしてもよい。
(本実施形態に係るプログラム)
コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラム(例えば、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム)が、コンピュータシステムにおいてプロセッサなどにより実行されることによって、撮像装置の配置を補助することができる。ここで、本実施形態に係るコンピュータシステムとしては、単体のコンピュータ、または、複数のコンピュータが挙げられる。本実施形態に係るコンピュータシステムによって、本実施形態に係る情報処理方法に係る一連の処理が行われる。
また、コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータシステムにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
撮像装置に撮像させる領域を規定する領域情報と、配置されている撮像装置に関する情報とに基づいて、前記領域と前記撮像装置との関係に関する通知を行う処理部を備える、情報処理装置。
(2)
前記処理部は、前記関係に関する通知として、前記領域に対する前記撮像装置の状態の通知を行う、(1)に記載の情報処理装置。
(3)
前記処理部は、前記領域に対する前記撮像装置の状態の通知として、前記領域に対する前記撮像装置の撮像範囲の通知を行う、(2)に記載の情報処理装置。
(4)
前記処理部は、前記領域に対する前記撮像装置の状態の通知として、前記領域に対する前記撮像装置の配置の通知を行う、(2)に記載の情報処理装置。
(5)
前記処理部は、前記関係に関する通知として、前記撮像装置の配置の変更を補助する通知を行う、(1)〜(4)のいずれか1つに記載の情報処理装置。
(6)
前記処理部は、前記撮像装置の配置の変更を補助する通知として、前記領域が前記撮像装置の撮像範囲に含まれるように前記撮像装置の配置を変更させる通知を、行う、(5)に記載の情報処理装置。
(7)
前記処理部は、さらに、前記領域において複数の前記撮像装置の撮像範囲が重複する領域がより大きくなるように前記撮像装置の配置を変更させる通知を行う、(6)に記載の情報処理装置。
(8)
前記処理部は、さらに、複数の前記撮像装置の有効撮像距離を満たすように、前記撮像装置の配置を変更させる通知を行う、(7)に記載の情報処理装置。
(9)
前記処理部は、前記撮像装置の配置の変更を補助する通知として、前記撮像装置の画角、向き、および位置のうちの1または2以上を変更させる通知を行う、(5)〜(8)のいずれか1つに記載の情報処理装置。
(10)
前記処理部は、前記画角、前記向き、および前記位置の変更の仕方を、設定された順序で通知する、(9)に記載の情報処理装置。
(11)
前記処理部は、前記画角、前記向き、および前記位置のうちの2以上の変更の仕方を、同時に通知する、(9)に記載の情報処理装置。
(12)
前記処理部は、複数の前記領域情報の中から設定された前記領域情報が規定する前記領域に基づいて、前記撮像装置の関係に関する通知を行う、(1)〜(11)のいずれか1つに記載の情報処理装置。
(13)
前記処理部は、検出された所定の設定操作に対応する前記領域情報を設定する、(12)に記載の情報処理装置。
(14)
前記領域情報が規定する領域には、スポーツの種類に応じた領域が含まれる、(1)〜(13)のいずれか1つに記載の情報処理装置。
(15)
前記撮像装置に関する情報は、前記撮像装置の位置と、前記撮像装置の姿勢と、前記撮像装置のパラメータとを示す、(1)〜(14)のいずれか1つに記載の情報処理装置。
(16)
前記処理部は、
前記撮像装置により撮像された撮像画像に基づいて、前記撮像装置の位置と、前記撮像装置の姿勢と、前記撮像装置のパラメータとを推定し、
推定された前記撮像装置の位置、前記撮像装置の姿勢、および前記撮像装置のパラメータを示す前記撮像装置に関する情報に基づいて、前記撮像装置の関係に関する通知を行う、(15)に記載の情報処理装置。
(17)
撮像装置に撮像させる領域を規定する領域情報と、配置されている撮像装置に関する情報とに基づいて、前記領域と前記撮像装置との関係に関する通知を行うステップを有する、情報処理装置により実行される情報処理方法。
(18)
前記通知を行うステップでは、前記関係に関する通知として、前記領域に対する前記撮像装置の状態の通知が行われる、(17)に記載の情報処理方法。
(19)
前記通知を行うステップでは、前記関係に関する通知として、前記撮像装置の配置の変更を補助する通知が行われる、(17)または(18)に記載の情報処理方法。
(20)
前記領域情報には、複数の領域が規定され、
前記通知を行うステップでは、複数の前記領域の中から設定された前記領域に基づいて、前記撮像装置の関係に関する通知が行われる、(17)〜(19)のいずれか1つに記載の情報処理方法。
100 情報処理装置
102 通信部
104 制御部
110 処理部
200、200A、200B、200C 撮像装置
300 ネットワーク
1000 情報処理システム

Claims (20)

  1. 撮像装置に撮像させる領域を規定する領域情報と、配置されている撮像装置に関する情報とに基づいて、前記領域と前記撮像装置との関係に関する通知を行う処理部を備える、情報処理装置。
  2. 前記処理部は、前記関係に関する通知として、前記領域に対する前記撮像装置の状態の通知を行う、請求項1に記載の情報処理装置。
  3. 前記処理部は、前記領域に対する前記撮像装置の状態の通知として、前記領域に対する前記撮像装置の撮像範囲の通知を行う、請求項2に記載の情報処理装置。
  4. 前記処理部は、前記領域に対する前記撮像装置の状態の通知として、前記領域に対する前記撮像装置の配置の通知を行う、請求項2に記載の情報処理装置。
  5. 前記処理部は、前記関係に関する通知として、前記撮像装置の配置の変更を補助する通知を行う、請求項1に記載の情報処理装置。
  6. 前記処理部は、前記撮像装置の配置の変更を補助する通知として、前記領域が前記撮像装置の撮像範囲に含まれるように前記撮像装置の配置を変更させる通知を、行う、請求項5に記載の情報処理装置。
  7. 前記処理部は、さらに、前記領域において複数の前記撮像装置の撮像範囲が重複する領域がより大きくなるように前記撮像装置の配置を変更させる通知を行う、請求項6に記載の情報処理装置。
  8. 前記処理部は、さらに、複数の前記撮像装置の有効撮像距離を満たすように、前記撮像装置の配置を変更させる通知を行う、請求項7に記載の情報処理装置。
  9. 前記処理部は、前記撮像装置の配置の変更を補助する通知として、前記撮像装置の画角、向き、および位置のうちの1または2以上を変更させる通知を行う、請求項5に記載の情報処理装置。
  10. 前記処理部は、前記画角、前記向き、および前記位置の変更の仕方を、設定された順序で通知する、請求項9に記載の情報処理装置。
  11. 前記処理部は、前記画角、前記向き、および前記位置のうちの2以上の変更の仕方を、同時に通知する、請求項9に記載の情報処理装置。
  12. 前記処理部は、複数の前記領域情報の中から設定された前記領域情報が規定する前記領域に基づいて、前記撮像装置の関係に関する通知を行う、請求項1に記載の情報処理装置。
  13. 前記処理部は、検出された所定の設定操作に対応する前記領域情報を設定する、請求項12に記載の情報処理装置。
  14. 前記領域情報が規定する領域には、スポーツの種類に応じた領域が含まれる、請求項1に記載の情報処理装置。
  15. 前記撮像装置に関する情報は、前記撮像装置の位置と、前記撮像装置の姿勢と、前記撮像装置のパラメータとを示す、請求項1に記載の情報処理装置。
  16. 前記処理部は、
    前記撮像装置により撮像された撮像画像に基づいて、前記撮像装置の位置と、前記撮像装置の姿勢と、前記撮像装置のパラメータとを推定し、
    推定された前記撮像装置の位置、前記撮像装置の姿勢、および前記撮像装置のパラメータを示す前記撮像装置に関する情報に基づいて、前記撮像装置の関係に関する通知を行う、請求項15に記載の情報処理装置。
  17. 撮像装置に撮像させる領域を規定する領域情報と、配置されている撮像装置に関する情報とに基づいて、前記領域と前記撮像装置との関係に関する通知を行うステップを有する、情報処理装置により実行される情報処理方法。
  18. 前記通知を行うステップでは、前記関係に関する通知として、前記領域に対する前記撮像装置の状態の通知が行われる、請求項17に記載の情報処理方法。
  19. 前記通知を行うステップでは、前記関係に関する通知として、前記撮像装置の配置の変更を補助する通知が行われる、請求項17に記載の情報処理方法。
  20. 前記領域情報には、複数の領域が規定され、
    前記通知を行うステップでは、複数の前記領域の中から設定された前記領域に基づいて、前記撮像装置の関係に関する通知が行われる、請求項17に記載の情報処理方法。
JP2018565944A 2017-02-02 2017-11-07 情報処理装置、および情報処理方法 Active JP7215173B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017017480 2017-02-02
JP2017017480 2017-02-02
PCT/JP2017/040128 WO2018142705A1 (ja) 2017-02-02 2017-11-07 情報処理装置、および情報処理方法

Publications (2)

Publication Number Publication Date
JPWO2018142705A1 true JPWO2018142705A1 (ja) 2019-11-21
JP7215173B2 JP7215173B2 (ja) 2023-01-31

Family

ID=63040421

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018565944A Active JP7215173B2 (ja) 2017-02-02 2017-11-07 情報処理装置、および情報処理方法

Country Status (5)

Country Link
US (1) US20190387179A1 (ja)
EP (1) EP3579547A4 (ja)
JP (1) JP7215173B2 (ja)
CN (1) CN110226324B (ja)
WO (1) WO2018142705A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021002889A (ja) * 2020-10-09 2021-01-07 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135765A (ja) * 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP2009302785A (ja) * 2008-06-11 2009-12-24 Sony Corp 情報処理装置、撮像システム、再生制御方法、録画制御方法、及びプログラム
US20100157020A1 (en) * 2008-12-22 2010-06-24 Electronics And Telecommunications Research Institute Multiple camera controlling and image storing apparatus for synchronized multiple image acquisition and method thereof
WO2014027567A1 (ja) * 2012-08-15 2014-02-20 日本電気株式会社 画像処理システム、画像処理方法、及びプログラム
JP2016014837A (ja) * 2014-07-03 2016-01-28 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2016017121A1 (ja) * 2014-07-28 2016-02-04 パナソニックIpマネジメント株式会社 拡張現実表示システム、端末装置および拡張現実表示方法
JP2016123004A (ja) * 2014-12-25 2016-07-07 三菱電機株式会社 撮像装置の設置支援装置、撮像装置の設置支援方法および映像記録再生装置
WO2016174942A1 (ja) * 2015-04-28 2016-11-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US20160381301A1 (en) * 2015-06-23 2016-12-29 The Lightco Inc. Methods and apparatus for implementing zoom using one or more moveable camera modules

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4557929B2 (ja) 2006-07-04 2010-10-06 キヤノン株式会社 撮像装置、撮像装置の制御方法、及びコンピュータプログラム
JP4663700B2 (ja) * 2007-09-28 2011-04-06 富士フイルム株式会社 撮影装置、及び撮影方法
JP2011205345A (ja) * 2010-03-25 2011-10-13 Nec Casio Mobile Communications Ltd 撮像装置及びプログラム
TWI584647B (zh) * 2012-07-12 2017-05-21 Chi Lin Hong A method and apparatus for preventing defocusing
US9731714B2 (en) * 2014-06-25 2017-08-15 Fujitsu Ten Limited Vehicle apparatus
CN104123732B (zh) * 2014-07-14 2017-06-16 中国科学院信息工程研究所 一种基于多摄像头的在线目标跟踪方法及系统
CN104796612B (zh) * 2015-04-20 2017-12-19 河南弘金电子科技有限公司 高清雷达联动跟踪控制摄像系统及联动跟踪方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135765A (ja) * 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP2009302785A (ja) * 2008-06-11 2009-12-24 Sony Corp 情報処理装置、撮像システム、再生制御方法、録画制御方法、及びプログラム
US20100157020A1 (en) * 2008-12-22 2010-06-24 Electronics And Telecommunications Research Institute Multiple camera controlling and image storing apparatus for synchronized multiple image acquisition and method thereof
WO2014027567A1 (ja) * 2012-08-15 2014-02-20 日本電気株式会社 画像処理システム、画像処理方法、及びプログラム
JP2016014837A (ja) * 2014-07-03 2016-01-28 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2016017121A1 (ja) * 2014-07-28 2016-02-04 パナソニックIpマネジメント株式会社 拡張現実表示システム、端末装置および拡張現実表示方法
JP2016123004A (ja) * 2014-12-25 2016-07-07 三菱電機株式会社 撮像装置の設置支援装置、撮像装置の設置支援方法および映像記録再生装置
WO2016174942A1 (ja) * 2015-04-28 2016-11-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US20160381301A1 (en) * 2015-06-23 2016-12-29 The Lightco Inc. Methods and apparatus for implementing zoom using one or more moveable camera modules

Also Published As

Publication number Publication date
CN110226324A (zh) 2019-09-10
CN110226324B (zh) 2021-12-14
EP3579547A1 (en) 2019-12-11
WO2018142705A1 (ja) 2018-08-09
JP7215173B2 (ja) 2023-01-31
EP3579547A4 (en) 2020-12-02
US20190387179A1 (en) 2019-12-19

Similar Documents

Publication Publication Date Title
TWI672628B (zh) 影像處理裝置、方法以及電腦可讀取的記錄媒體
US9704028B2 (en) Image processing apparatus and program
JP6299492B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN108702445A (zh) 一种图像显示方法及电子设备
US20140267592A1 (en) Method for capturing image and electronic device thereof
JP6547739B2 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2017094317A1 (ja) 制御装置、制御方法、およびプログラム
JP6720966B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2018142705A1 (ja) 情報処理装置、および情報処理方法
JP6593922B2 (ja) 画像監視システム
JP6447521B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN102905057A (zh) 图像处理设备、图像处理方法和程序
US20120306911A1 (en) Display control apparatus, display control method, and program
WO2018135095A1 (ja) 情報処理装置、情報処理方法、および情報処理システム
WO2016129154A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN103489464A (zh) 效果控制装置、效果控制方法和程序
US20200045234A1 (en) Image display method, image display system and virtual window
JPWO2019187493A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN110800313A (zh) 信息处理设备和信息处理方法
JP2013037462A (ja) 情報処理装置、および情報処理方法
Kraft Real time baseball augmented reality
CN106250711A (zh) 一种用于医疗显示的光标移动方法、装置和医疗设备
JP2017208699A (ja) 制御装置、制御方法、およびプログラム
JP6258486B2 (ja) 電子機器、方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230102

R151 Written notification of patent or utility model registration

Ref document number: 7215173

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151