JP6450890B2 - 画像提供システム、画像提供方法、およびプログラム - Google Patents

画像提供システム、画像提供方法、およびプログラム Download PDF

Info

Publication number
JP6450890B2
JP6450890B2 JP2018525873A JP2018525873A JP6450890B2 JP 6450890 B2 JP6450890 B2 JP 6450890B2 JP 2018525873 A JP2018525873 A JP 2018525873A JP 2018525873 A JP2018525873 A JP 2018525873A JP 6450890 B2 JP6450890 B2 JP 6450890B2
Authority
JP
Japan
Prior art keywords
user terminal
captured
image
user
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018525873A
Other languages
English (en)
Other versions
JPWO2018008101A1 (ja
Inventor
俊二 菅谷
俊二 菅谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Application granted granted Critical
Publication of JP6450890B2 publication Critical patent/JP6450890B2/ja
Publication of JPWO2018008101A1 publication Critical patent/JPWO2018008101A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02Viewing or reading apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、画像提供システム、画像提供方法、およびプログラムに関する。
撮像された画像を提供する技術の1つとして、例えば特許文献1に記載された仕組みがある。この仕組みでは、作業者端末によって撮像された作業現場の画像を、作業チェックリストとともに現場集中監視者端末に表示する、これにより、監視者は作業状況を遠隔で確認することが可能となる。
特開2016−115027号公報
特許文献1に記載の技術では、現場集中監視者端末において監視者(ユーザ)が閲覧したい作業現場を選択するために、作業現場A、作業現場B・・・といった選択肢から所望するものを手作業で選ぶというような操作が必要となる。このため、例えば監視者(ユーザ)自身が、閲覧したい場所と作業現場の名称とを対応付けて暗記しておくなどの負担がかかる。
これに対し、本発明は、ユーザが閲覧したい画像の選択を支援する仕組みを提供する。
課題を解決する手段
本発明は、複数の撮像装置のうち少なくともいずれか1の撮像装置を、ユーザ端末により撮影された画像に応じて選択する選択手段と、前記選択手段により選択された撮像装置によって撮像された撮像画像をユーザ端末において表示する表示手段とを備える画像提供システムを提供する。
前記選択手段は、前記ユーザ端末により撮影された画像に含まれる撮像装置を選択するようにしてもよい。
前記選択手段は、前記ユーザ端末により撮影された画像に複数の撮像装置が含まれる場合には、当該画像における前記撮像装置の位置に応じて、いずれか1の撮像装置を選択するようにしてもよい。
前記選択手段は、前記ユーザ端末により撮影された画像の少なくとも一部を撮像する撮像装置を選択するようにしてもよい。
前記選択手段は、前記ユーザ端末により撮影された画像に含まれておらず、当該画像の撮影方向に存在する撮像装置を選択するようにしてもよい。
前記表示手段は、前記選択手段により選択された撮像装置によって撮像された撮像画像をユーザ端末において表示し始めた後は、前記ユーザ端末により撮影された画像に関わらず、前記撮像画像を表示し続けるようにしてもよい。
前記選択手段により選択された撮像装置を遠隔制御する遠隔制御手段を備えてもよい。
前記遠隔制御手段は、前記ユーザ端末において表示された撮像画像を閲覧する前記ユーザの頭部又は眼の動きに応じて前記撮像装置を遠隔制御してもよい。
前記表示手段は、透過性のある表示板において、当該表示板を透過して見える撮像装置に対応する位置に、当該撮像装置によって撮像された撮像画像を表示するようにしてもよい。
また、本発明は、複数の撮像装置のうち少なくともいずれか1の撮像装置を、ユーザ端末により撮影された画像に応じて選択する選択ステップと、前記選択ステップにおいて選択された撮像装置によって撮像された撮像画像をユーザ端末において表示する表示ステップとを備える画像提供方法を提供する。
また、本発明は、1以上のコンピュータに、複数の撮像装置のうち少なくともいずれか1の撮像装置を、ユーザ端末により撮影された画像に応じて選択する選択ステップと、前記選択ステップにおいて選択された撮像装置によって撮像された撮像画像をユーザ端末において表示する表示ステップとを実行させるためのプログラムを提供する。
本発明によれば、ユーザが閲覧したい画像の選択を支援することができる。
一実施形態に係る画像提供システム1の概要を例示する図。 画像提供システム1の機能構成を例示する図。 サーバ10のハードウェア構成を例示する図。 記憶手段12に記憶される情報を例示する図。 ユーザ端末20のハードウェア構成を例示する図。 ユーザ端末20の外観を例示する図。 撮像画像データの表示に関する動作を例示するシーケンスチャート。 ユーザ端末20によって撮影された結果を例示する図。 ユーザ端末20に表示される画像を例示する図。 ユーザ端末20によって撮影された結果を例示する図。 ユーザ端末20に表示される画像を例示する図。 ユーザの視界においてユーザ端末20に表示される画像を重畳した例を示す図。 ユーザ端末20に表示される画像を例示する図。 ユーザの視界においてユーザ端末20に表示される画像を重畳した例を示す図。 変形例4に係る画像提供システム1の機能構成を例示する図。
1…画像提供システム、2…カメラ、10…サーバ、11…画像取得手段、12…記憶手段、13…選択手段、14…提供手段、15…遠隔制御手段、20…ユーザ端末、21…受け付け手段、22…要求手段、23…受信手段、24…表示手段、25…撮影手段、90…ネットワーク、101…CPU、102…RAM、103…ROM、104…補助記憶装置、105…通信IF、201…CPU、202…RAM、203…ROM、204…補助記憶装置、205…通信IF、206…入力装置、207…表示装置、2071…表示板、2072…投影装置、208…センサ、209…カメラ、A…撮影画像、B…表示画像、U…ユーザ
1.構成
図1は、本発明の一実施形態に係る画像提供システム1の概要を例示する図である。画像提供システム1は、各所に配置された複数のカメラのうち、ユーザの視界の範囲内にあるカメラを選択し、選択されたカメラにより撮像された画像をユーザに提供する。画像を表示するために用いられるユーザ端末は、例えばユーザの頭部に装着可能なメガネ型のウェアラブル端末である。このユーザ端末を装着したユーザの顔の向きの方向に存在するカメラが、ユーザの視界の範囲内にあるカメラとして選択される。ユーザは、自身が閲覧したい空間を撮像していると思われるカメラを見るだけで、そのカメラによって撮像された空間の画像を閲覧することが可能となる。
図1に示すように、画像提供システム1は、ネットワーク90を介して複数のカメラ2に接続される。カメラ2は画像を撮像する撮像装置であり、屋内または屋外に設置されている。カメラ2は、設置場所の周辺を継続的に撮像しており、撮像された画像を出力する。この画像は、実施形態では動画だが、静止画でもよい。以下では、カメラ2により撮像された画像を、「撮像画像」といい、撮像画像のデータを「撮像画像データ」という。ネットワーク90はカメラ2、サーバ10、およびユーザ端末20を接続するものであればどのようなネットワークでもよい。ネットワーク2は、例えば、インターネット、LAN(Local Area Network)、またはWAN(Wide Area Network)、若しくはこれらの組み合わせであり、有線区間又は無線区間を含んでいてもよい。なお、ユーザ端末20は複数あってもよい。
画像提供システム1は、サーバ10およびユーザ端末20を有する。サーバ10は、複数のカメラ2から出力された撮像画像のうち、少なくともいずれか1のカメラ2から出力された撮像画像をユーザ端末20に提供する。ユーザ端末20は、画像提供システム1のクライアントとして機能する装置であり、ユーザからの指示の受け付け、ユーザの視界に相当する空間の撮影、およびユーザに対する画像の表示を行う。ユーザ端末20に表示される画像の閲覧目的は特に限定されず、どのようなものであってもよいが、例えばカメラ2によって撮像された空間で作業が行われている場合には、その作業に対する監視、観察、支援或いは補助などが主な目的となる。
図2は、画像提供システム1の機能構成を例示する図である。画像提供システム1は、画像取得手段11、記憶手段12、選択手段13、提供手段14、受け付け手段21、要求手段22、受信手段23、表示手段24および撮影手段25を有する。この例では、画像提供システム1において、画像取得手段11、記憶手段12、選択手段13、および提供手段14がサーバ10に実装されており、受け付け手段21、要求手段22、受信手段23、表示手段24および撮影手段25がユーザ端末20に実装されている。
画像取得手段11は、カメラ2により撮像された撮像画像を、ネットワーク90を介して取得する。記憶手段12は、撮像画像データを含む各種情報を記憶する。受け付け手段21は、ユーザから撮像画像を要求する指示を受け付ける。撮影手段25は、ユーザの視界に相当する空間を撮影する。要求手段22は、受け付け手段21により受け付けられた指示に応じて、撮像画像の要求をサーバ10に送信する。この要求には、撮影手段25が撮影した結果に応じた情報(ここでは撮影画像)が含まれる。選択手段13は、複数のカメラ2のうち少なくともいずれか1のカメラ2を、ユーザ端末20がユーザの視界を撮影した結果に応じて選択する。より具体的には、選択手段13は、ユーザ端末20により撮影された撮影画像に含まれるカメラ2を選択する。提供手段14は、選択手段13により選択されたカメラ2の撮像画像データをユーザ端末20に提供する。受信手段23は、提供手段14により提供された撮像画像データを受信する。表示手段24は、受信手段23により受信された撮像画像データをユーザ端末20において表示する。
図3は、サーバ10のハードウェア構成を例示する図である。サーバ10は、CPU(Central Processing Unit)101、RAM(Random Access Memory)102、ROM(Read Only Memory)103、補助記憶装置104、および通信IF105を有するコンピュータ装置である。CPU101は、各種の演算を行うプロセッサである。RAM102は、CPU101がプログラムを実行する際のワークエリアとして機能する揮発性メモリである。ROM103は、例えばサーバ10の起動に用いられるプログラムおよびデータを記憶した不揮発性メモリである。補助記憶装置104は、各種のプログラムおよびデータを記憶する不揮発性の記憶装置であり、例えばHDD(Hard Disk Drive)およびSSD(Solid State Drive)を含む。通信IF105は、所定の通信規格に従ってネットワーク90を介した通信を行うためのインターフェースである。
この例において、補助記憶装置104は、コンピュータ装置を画像提供システム1におけるサーバとして機能させるためのプログラム(以下「サーバプログラム」という)を記憶する。CPU101がサーバプログラムを実行することにより、図2に示される機能が実装される。サーバプログラムを実行しているCPU101は、画像取得手段11、選択手段13、および提供手段14の一例である。補助記憶装置104は、記憶手段12の一例である。
図4は、記憶手段12に記憶される情報を例示する図である。記憶手段12には、カメラ識別子、位置情報および撮像画像データ識別子が対応付けて記憶される。カメラ識別子は、カメラ2を識別するための情報である。位置情報は、そのカメラ2が設置されている位置を示す情報である。位置情報は、図4の例では、カメラ2の位置の緯度および経度と、そのカメラ2の高さ(地上からの高さ)とを含む。撮像画像データ識別子は、各カメラ2によって撮像された画像を表す撮像画像データを識別するための情報であり、この例では、撮像画像データのファイル名である。
図5は、ユーザ端末20のハードウェア構成を例示する図である。ユーザ端末20は、CPU201、RAM202、ROM203、補助記憶装置204、通信IF205、入力装置206、表示装置207、センサ装置208およびカメラ209を有するコンピュータ装置である。CPU201は、各種の演算を行うプロセッサである。RAM202は、CPU201がプログラムを実行する際のワークエリアとして機能する揮発性メモリである。ROM203は、例えばユーザ端末20の起動に用いられるプログラムおよびデータを記憶した不揮発性メモリである。補助記憶装置204は、各種のプログラムおよびデータを記憶する不揮発性の記憶装置であり、例えばHDDおよびSSDの少なくとも一方を含む。通信IF205は、所定の通信規格に従ってネットワーク90を介した通信を行うためのインターフェースである。この通信規格は、無線通信の規格であってもよいし、有線通信の規格であってもよい。入力装置206は、ユーザがCPU201に対し指示や情報を入力するための装置であり、例えば、タッチセンサー、キー、ボタン、およびマイクロフォンの少なくとも1つを含む。表示装置207は、情報を表示する装置であり、例えばLCD(Liquid Crystal Display)を含む。センサ208は、ユーザ端末20の位置と、ユーザ端末30を装着するユーザの顔の向きとをセンシングするための手段であり、例えばGPS(Global Positioning System)などの測位装置と、例えばジャイロセンサおよび地磁気センサなどの向き検出装置とを含む。カメラ209は、ユーザの顔が向いている方向の空間、つまりユーザの視界に相当する空間を撮影する。
この例において、補助記憶装置204は、コンピュータ装置を画像提供システム1におけるクライアントとして機能させるためのプログラム(以下「クライアントプログラム」という)を記憶する。CPU201がクライアントプログラムを実行することにより、図2に示される機能が実装される。クライアントプログラムを実行しているCPU201は、受け付け手段21および要求手段22の一例である。通信IF205は、受信手段23の一例である。表示装置207は、表示手段24の一例である。撮影装置209は撮影手段25の一例である。センサ208は要求手段22の一例である。
図6は、ユーザ端末20の外観を例示する図である。ユーザ端末20はメガネ型の、いわゆるウェアラブル端末である。ユーザ端末20は、ユーザUの頭部、より具体的にはユーザUの片目の近傍に装着される。表示装置207は、表示板2071および投影装置2072を含む。表示板2071は光を透過する透過性のある板部材であり、投射装置2072から投影された画像が表示板2071に投影表示される。ユーザUは、自身の目の前の空間を表示板2071を透過した状態で見るとともに、表示板2071に表示されている画像を見ることができる。即ち、ユーザUは、自身の目の前の空間を見るときはその空間に眼の焦点を合わせればよいし、表示板2071に表示されている画像を閲覧するときは表示板2071の位置に眼の焦点を合わせればよい。なお、表示装置207は、透過性の表示板2071に投影装置2072から投影する表示装置に限らず、例えばユーザUの眼に対して表示面が設けられた小型の液晶ディスプレイなど、その他の表示装置であってもよい。カメラ209は、ユーザ端末20がユーザUの顔に装着されたときにユーザUの眼の近傍となる位置に配置されており、ユーザUの視界とほぼ一致する空間を撮影する。このカメラ209によって撮影された画像は、サーバ10の選択手段13がカメラ2を選択するために用いられる。
2.動作
図7は、一実施形態に係る画像提供システム1の動作を例示するシーケンスチャートである。各々のカメラ2は、撮像画像データをリアルタイムで継続的にサーバ10に送信する。この撮像画像データは、撮像画像を示すデータそのものに加え、この撮像画像を撮像したカメラ2に関する属性情報、例えばカメラ識別子を含む。ステップS11において、サーバ10の画像取得手段11は、各カメラ2から撮像画像データを取得する。ここで、撮像画像を取得するとは、ネットワーク90を介して撮像画像データを取得し、取得した撮像画像データを少なくとも一時的に記憶手段12に記憶することをいう。この例で、カメラ2は撮像画像データを継続的に出力するので、画像取得手段11は撮像画像データを継続的に取得する。
一方、ユーザは、ユーザ端末20を頭部に装着した状態で、自身の見たい空間があれば、複数のカメラ2のうち、その空間に対する各カメラ2のレンズの向きや距離の関係から、その空間を撮像していると思われるカメラ2をおおよそ特定し、そのカメラ2のほうを見る。図8は、このときのユーザの視界Aを例示する図である。ここでは、ユーザが見たいのは作業者100の作業状態であり、その作業者の周囲の空間をカメラ2が撮像しているとする。このような視界の状態で受け付け手段21に対し画像を要求する操作を行うと、ステップS11において、ユーザ端末20の受け付け手段21はその操作を受け付ける。この操作に応じて、ステップS12で、撮影手段25は、ユーザの視界Aに相当する空間を撮影し、その撮影データを生成する。次に、ステップS13において、要求手段22は、センサ208によってセンシングされたユーザ端末20の位置及び向きを取得し、ステップS14において、その位置及び向きと撮影データとを含む要求をサーバ10に送信する。
ステップS15において、サーバ10の選択手段13は、上記要求を受信すると、ユーザ端末20により撮影された画像に含まれるカメラ2を選択する。具体的には、選択手段13は、上記要求に含まれるユーザ端末20の位置及び向きに基づいて、ユーザ端末20により撮影された空間の範囲を割り出す。次に、選択手段13は、撮影データが示す画像からパターンマッチング等の画像認識技術によりカメラ2に相当する画像を抽出し、その画像におけるカメラ2の位置を特定する。そして、選択手段13は、撮影された空間の範囲におけるカメラ2の位置と、補助記憶装置104に記憶されている各カメラ2の位置情報とを比較し、所定の誤差の範囲内で位置が一致するカメラ2を選択する。そして、ステップS16において、提供手段14は、選択されたカメラ2に対応する撮像画像データを、撮像画像データ識別子に基づいて記憶手段12から読み出し、ステップS17において、この撮像画像データをユーザ端末20に送信する。
ステップS18において、ユーザ端末20の表示手段24は、受信手段23によって受信された撮像画像データに応じた画像を表示する。図9は、このときユーザ端末20に表示される画像を例示する図である。図示のように、選択されたカメラ2の視点から見た作業者100の作業状態が画像として表示される。これにより、ユーザは、自身の位置からは見えない角度から撮像された作業者の作業状態をより詳細に見ることが可能となる。このため、ユーザは、例えば作業者の作業に対する監視、観察、支援或いは補助などが容易となる。
なお、ステップS11で画像要求の操作が受け付けられて、ステップS15でカメラ2の選択が確定すると、選択手段13は同じカメラ2を選択し続ける。よって、ユーザ端末20の表示手段24は、選択手段13により選択されたカメラ2の撮像画像を表示し始めると、その後は、ユーザ端末20により撮影される結果に関わらず、上記で選択されたカメラ2の撮像画像を表示し続ける。従って、ユーザが顔の向きを変えて自らの視界からカメラ2を外したとしても、ユーザ端末20に表示される空間の範囲が変更されることはない。ここで、ユーザがさらに別の空間を見たい場合には、その空間を撮像していると思われるカメラ2のほうを見て、再び画像を要求する操作を行う。これにより、ステップS11から上述の処理が繰り返され、新たなカメラ2が選択される。
本実施形態によれば、ユーザが閲覧したい画像の選択を支援することができる。つまり、ユーザは、自らの視界によって直観的にカメラを選択し、そのカメラにより撮像された画像を見ることが可能となる。
3.変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち2つ以上のものが組み合わせて用いられてもよい。
3−1.変形例1
実施形態において、選択手段13は、ユーザ端末20により撮影された画像に含まれるカメラ2を選択していた。ここで、カメラ2の選択方法は、実施形態の例に限定されず、複数のカメラ2のうち少なくともいずれか1のカメラ2を、ユーザ端末20がユーザの視界を撮影した結果に応じて選択するものであればよい。例えば各カメラ2の筐体に、カメラ識別子を示すバーコードや文字列、図形などが貼付(表示)されており、選択手段13が、ユーザ端末20により撮影された画像に含まれているカメラ識別子に基づいてカメラ2を選択してもよい。また、各カメラ2の形状や色などが異なっており、これにより、各カメラ2を識別可能な場合には、選択手段13は、ユーザ端末20により撮影された画像に含まれているカメラ2の形状や色と、予め記憶手段12に記憶されているカメラ2の形状や色とに基づいて、ユーザの視界に含まれるカメラ2を選択してもよい。これらの場合、ユーザ端末20のセンサ208は不要となる。
また、実施形態では、ユーザは、見たい空間を撮像していると思われるカメラ2を視界に入れることで、その空間の画像を表示させていたが、そうではなくて、見たい空間そのものの方向を見ることで、その空間の画像をユーザ端末20に表示させるようにしてもよい。図10は、この変形例に係るユーザの視界Aを例示する図である。ここで、ユーザが見たいのは作業者100の作業状態であり、その作業者の周囲の空間をカメラ2が撮像しているとする。ただし、ユーザはそのカメラ2を視界に入れなくても、見たい空間そのものの方向を見ればよい。このため、図10において破線で示したカメラ2は、例えばユーザの視界外にある。このような視界の状態でユーザが画像を要求する操作を行うと、図7のステップS11において、受け付け手段21はその操作を受け付ける。この操作に応じて、ステップS12で撮影手段25は、ユーザの視界Aに相当する空間を撮影し、その撮影データを生成する。次に、ステップS13において、要求手段22は、センサ208を用いてユーザ端末20の位置及び向きを取得し、ステップS14において、その位置及び向きと撮影データとを含む要求をサーバ10に送信する。ステップS15において、サーバ10の選択手段13は、上記要求に含まれるユーザ端末20の位置及び向きに基づいて、撮影された空間の範囲を割り出す。次に、選択手段13は、撮影データが示す画像からパターンマッチング等の画像認識技術によりその画像中の固定物(例えば作業台や照明装置など)を抽出し、その画像中における固定物の位置を特定する。補助記憶装置104(記憶手段12)には各固定物の位置情報があらかじめ記憶されており、さらにその固定物がある空間を撮像しているカメラ2のカメラ識別子が対応づけられて記憶されている。選択手段13は、撮影された空間の範囲における固定物の位置と、補助記憶装置104(記憶手段12)に記憶されている各固定物の位置情報とを比較し、所定の誤差の範囲内で位置が一致する固定物を特定する。そして、選択手段13は、特定した固定物に対応するカメラ識別子によりカメラ2を選択する。そして、ステップS16において、提供手段14は、選択されたカメラ2に対応する撮像画像データを記憶手段12から読み出し、ステップS17において、この撮像画像データをユーザ端末20に送信する。図11は、このとき表示される画像Bを例示する図である。図示のように、カメラ2の視点から見た作業者100の作業状態が画像として表示される。この画像は、ユーザ端末20により撮影された空間(図10)の少なくとも一部と重複する空間を撮像した画像である。このようにすれば、ユーザは見たい空間そのものを自らの視界に入れることで、その空間を、ユーザの視点とは別の視点から見ることが可能となる。以上のように、選択手段13は、ユーザ端末20により撮影された空間の少なくとも一部と重複する空間を撮像するカメラ2を選択するようにしてもよい。
また、前述したバーコードなどのカメラ識別子が、例えば作業者の衣類や帽子、作業対象物或いは上記固定物に貼付(表示)されており、選択手段13が、ユーザ端末20により撮影された画像に含まれているカメラ識別子に基づいてカメラ2を選択するようにしてもよい。この場合、ユーザ端末20のセンサ208は不要となる。
3−2.変形例2
ユーザ端末20により撮影された画像に複数のカメラ2が含まれる場合には、次のようにしてもよい。
例えば、選択手段13は、ユーザ端末により撮影された画像に複数のカメラ2が含まれる場合には、当該画像における各々のカメラ2の位置に応じて、少なくともいずれか1のカメラ2を選択する。具体的には、ユーザ端末20により撮影された画像に複数のカメラ2が含まれる場合において、例えば当該画像の中心(つまりユーザの視線の中心)という特定の位置に近いほうにあるカメラ2を選択する。この特定の位置は、画像の中心以外に、任意に決められる。
また、ユーザから表示板2071を透過して見えるカメラ2に対応する位置に、当該カメラ2によって撮像された撮像画像を表示してもよい。具体的には、図12に示すように、表示手段24は、ユーザの視界Aにおける各カメラ2の近傍に、これらカメラ2による撮像画像g1,g2をいわゆるサムネイル画像として小さく表示する。そして、いずれか一方のカメラ2(ここでは撮像画像g1に対応するカメラ2)がユーザの操作により指定されると、図13に示すように、ユーザ端末20には撮像画像g1の拡大画像が表示される。
具体的な処理の流れは次のとおりである。図7のステップS12で撮影手段25は、ユーザの視界Aに相当する空間を撮影し、その撮影データを生成する。ステップS13において、要求手段22は、センサ208を用いてユーザ端末20の位置及び向きを取得し、ステップS14において、その位置及び向きと撮影データとを含む要求をサーバ10に送信する。ステップS15において、サーバ10の選択手段13は、上記要求に含まれるユーザ端末20の位置及び向きに基づいて、撮影された空間の範囲を割り出す。次に、選択手段13は、撮影データが示す画像から画像認識技術によりカメラ2を抽出し、その画像中におけるカメラ2の位置を特定する。そして、選択手段13は、撮影された空間の範囲におけるカメラ2の位置と、補助記憶装置104に記憶されている各カメラ2の位置情報とを比較し、所定の誤差の範囲内で位置が一致するカメラ2(ここでは複数のカメラ2)を選択する。そして、ステップS16において、提供手段14は、選択されたカメラ2に対応する撮像画像データを記憶手段12から読み出し、上記撮影画像におけるカメラ2の位置情報とともに、撮像画像データをユーザ端末20に送信する。ステップS18において、ユーザ端末20の表示手段24は、受信手段23によって受信された撮像画像データを、ユーザの視界において各カメラ2の位置の下方となる領域に表示する。ユーザがユーザ端末20においていずれかのカメラ2を指定すると、提供手段14は、選択されたカメラ2に対応する撮像画像データを記憶手段12から読み出し、この撮像画像データをユーザ端末20に送信する。ユーザ端末20の表示手段24は、受信手段23によって受信された撮像画像データを表示する。
3−3.変形例3
ユーザが所在する部屋とは異なる部屋にあり、ユーザから直接は見えないカメラ2の撮像画像を表示するようにしてもよい。つまり、選択手段13は、ユーザ端末20により撮影された画像には含まれていないがユーザ端末20による撮影方向に存在するカメラ2を選択するようにしてもよい。図14は、ユーザの視界Aにおいてユーザが所在する部屋にあるカメラ2Aが見えており、さらに、隣の部屋にあるカメラ2Bが表示されている例である。この場合、図7のステップS12で撮影手段25は、ユーザの視界Aに相当する空間を撮影し、その撮影データを生成する。ステップS13において、要求手段22は、センサ208を用いてユーザ端末20の位置及び向きを取得し、ステップS14において、その位置及び向きと撮影データとを含む要求をサーバ10に送信する。ステップS15において、選択手段13は、上記要求に含まれるユーザ端末20の位置及び向きに基づいて、撮影された空間の範囲を割り出す。次に、選択手段13は、撮影データが示す画像から画像認識技術によりカメラ2を抽出し、その画像中におけるカメラ2の位置を特定する。そして、選択手段13は、撮影された空間の範囲におけるカメラ2の位置と、補助記憶装置104に記憶されている各カメラ2の位置情報とを比較し、所定の誤差の範囲内で位置が一致するカメラ2(ここではカメラ2A)を選択する。さらに、選択手段13は、撮影された空間の範囲と、ユーザ端末20の位置及び向きから、ユーザ端末20による撮影方向に存在する全てのカメラ(ここでは隣の部屋にあるカメラ2B)を選択し、その撮影方向におけるカメラ2Bの位置を特定する。そして、提供手段14は、選択されたカメラ2Bの位置情報をユーザ端末20に送信する。ユーザ端末20の表示手段24は、カメラ2Bが存在するであろう位置に、カメラ2Bの外観を模した破線画像を表示する(図14)。ユーザがユーザ端末20においてこのカメラ2Bを指定すると、提供手段14は、選択されたカメラ2に対応する撮像画像データを記憶手段12から読み出し、この撮像画像データをユーザ端末20に送信する。ユーザ端末20の表示手段24は、受信手段23によって受信された撮像画像データを表示する。
3−4.変形例4
選択手段13により選択されたカメラ2を、ユーザ端末20において表示された撮像画像を閲覧するユーザの動きに応じて遠隔制御する遠隔制御手段を備えてもよい。特にユーザ端末20がユーザの頭部に装着されるウェアラブル端末である場合は、遠隔制御手段は、ユーザ端末20において表示された撮像画像を閲覧するユーザの頭部又は眼の動きに応じてカメラを遠隔制御する。図15は、変形例4に係る画像提供システム1の機能構成を例示する図である。画像提供システム1は、図2に例示した機能に加えて、遠隔制御手段15を有する。サーバ10のCPU101が遠隔制御手段15の一例である。カメラ2が選択された後に、ユーザは撮像画像を見て、例えば撮像画像の右下のほうをさらに閲覧したいと考えたときは、その閲覧したほうを向くように頭部を右下に向ける。要求手段22は、ユーザの頭部の動きを示す情報として、センサ208を用いてユーザ端末20の位置及び向きを取得し、その位置及び向きと撮影データとを含む要求をサーバ10に送信する。サーバ10の遠隔制御手段15は、その位置及び向きに応じてカメラ2の姿勢制御装置を駆動してカメラ2の撮像方向を画像中心から見て右下方向に移動させる。このようにすれば、ユーザがカメラ2の撮像空間を直観的に変更することが可能となる。
3−5.他の変形例
カメラ2は、実施形態で例示したものに限定されない。カメラ2は、特定の位置に固定されたものではなく、ユーザにより携帯される装置、例えばスマートフォンやデジタルカメラであってもよいし、ドローンと呼ばれる移動体に搭載されたものであってもよい。
ユーザ端末20はウェアラブル端末に限らず、例えばスマートフォンやデジタルカメラであってもよいし、ドローンと呼ばれる移動体に搭載されたものであっであってもよい。
センサ208が備える測位装置と向き検出装置は、実施形態で例示したGPS、ジャイロセンサおよび方位センサに限らず、ユーザ端末20の測位と向き検出を行う装置であればどのようなものでもよい。
ユーザ端末20において、表示手段24は、撮像画像データとは別の情報を、撮像画像データとともに表示してもよい。この情報は、作業者に関連する情報や作業者の作業に関連する情報であってもよく、具体的には、作業者の氏名や作業名であってもよい。
図2で例示した機能構成の一部は省略されてもよい。例えば、記憶手段12は、画像提供システム1とは別の外部のサーバにより提供されてもよい。また、サーバ10およびユーザ端末20における機能の分担は図2で例示したものに限定されない。実施形態においてはサーバ10に実装されていた機能の一部を、ユーザ端末20に実装してもよい。また、物理的に複数の装置からなるサーバ群が、画像提供システム1におけるサーバ10として機能してもよい。
CPU101およびCPU201等により実行されるプログラムは、光ディスク、磁気ディスク、半導体メモリなどの記憶媒体により提供されてもよいし、インターネット等の通信回線を介してダウンロードされてもよい。また、これらのプログラムは、実施形態で説明したすべてのステップを実行させるものでなくてもよい。なお、サーバプログラムおよびクライアントプログラムの組は、サーバ装置およびクライアント端末を画像提供システムとして機能させるためのプログラム群の一例である。

Claims (8)

  1. ユーザ端末が撮影した空間の範囲を割り出し、複数の撮像装置のうち、割り出された前記空間の範囲の少なくとも一部と重複する空間を撮像する撮像装置を選択する選択手段と、
    前記選択手段により選択された撮像装置によって撮像された撮像画像を前記ユーザ端末において表示する表示手段と
    を備える画像提供システム。
  2. 前記選択手段は、ユーザ端末が撮影した空間の範囲における固定物の位置と、記憶されている当該固定物の位置とを比較し、所定の誤差の範囲内で位置が一致する固定物に対応する識別子により前記撮像装置を選択する
    請求項1記載の画像提供システム。
  3. 前記表示手段は、前記選択手段により選択された撮像装置によって撮像された撮像画像をユーザ端末において表示し始めた後は、前記ユーザ端末により撮影される結果に関わらず、当該撮像画像を表示し続ける
    請求項1に記載の画像提供システム。
  4. 前記選択手段により選択された撮像装置を、前記ユーザ端末において表示された撮像画像を閲覧するユーザの動きに応じて遠隔制御する遠隔制御手段を備える
    請求項1に記載の画像提供システム。
  5. 前記ユーザ端末はユーザの頭部に装着されるウェアラブル端末であり、
    前記遠隔制御手段は、前記ユーザ端末において表示された撮像画像を閲覧する前記ユーザの頭部又は眼の動きに応じて前記撮像装置を遠隔制御する
    請求項4に記載の画像提供システム。
  6. 前記表示手段は、透過性の表示板を有し、前記ユーザから当該表示板を透過して見える前記撮像装置に対応する位置に、当該撮像装置によって撮像された撮像画像を表示する
    請求項1に記載の画像提供システム。
  7. ユーザ端末が撮影した空間の範囲を割り出し、複数の撮像装置のうち、割り出された前記空間の範囲の少なくとも一部と重複する空間を撮像する撮像装置を選択する選択ステップと、
    前記選択ステップにおいて選択された撮像装置によって撮像された撮像画像を前記ユーザ端末において表示する表示ステップと
    を備える画像提供方法。
  8. 1以上のコンピュータに、
    ユーザ端末が撮影した空間の範囲を割り出し、複数の撮像装置のうち、割り出された前記空間の範囲の少なくとも一部と重複する空間を撮像する撮像装置を選択する選択ステップと、
    前記選択ステップにおいて選択された撮像装置によって撮像された撮像画像を前記ユーザ端末において表示する表示ステップと
    を実行させるためのプログラム。
JP2018525873A 2016-07-06 2016-07-06 画像提供システム、画像提供方法、およびプログラム Active JP6450890B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/069970 WO2018008101A1 (ja) 2016-07-06 2016-07-06 画像提供システム、画像提供方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP6450890B2 true JP6450890B2 (ja) 2019-01-09
JPWO2018008101A1 JPWO2018008101A1 (ja) 2019-01-17

Family

ID=60912096

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018525873A Active JP6450890B2 (ja) 2016-07-06 2016-07-06 画像提供システム、画像提供方法、およびプログラム

Country Status (3)

Country Link
US (1) US20190124298A1 (ja)
JP (1) JP6450890B2 (ja)
WO (1) WO2018008101A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022254518A1 (ja) * 2021-05-31 2022-12-08 日本電信電話株式会社 遠隔操作装置、遠隔操作プログラム及び非一時的記録媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004128997A (ja) * 2002-10-04 2004-04-22 Nippon Telegr & Teleph Corp <Ntt> 映像遠隔制御装置,映像遠隔制御方法,映像遠隔制御プログラムおよび映像遠隔制御プログラムを記録した記録媒体
WO2008087974A1 (ja) * 2007-01-16 2008-07-24 Panasonic Corporation データ処理装置、方法、記録媒体
JP2014066927A (ja) * 2012-09-26 2014-04-17 Seiko Epson Corp 映像表示システムおよび頭部装着型表示装置
WO2016006287A1 (ja) * 2014-07-09 2016-01-14 ソニー株式会社 情報処理装置、記憶媒体、および制御方法
JP2016082466A (ja) * 2014-10-20 2016-05-16 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030053658A1 (en) * 2001-06-29 2003-03-20 Honeywell International Inc. Surveillance system and methods regarding same
JP4568009B2 (ja) * 2003-04-22 2010-10-27 パナソニック株式会社 カメラ連携による監視装置
US7880766B2 (en) * 2004-02-03 2011-02-01 Panasonic Corporation Detection area adjustment apparatus
CN102088551A (zh) * 2009-12-03 2011-06-08 鸿富锦精密工业(深圳)有限公司 摄影机调整系统及方法
US9153195B2 (en) * 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
US10156898B2 (en) * 2013-11-05 2018-12-18 LiveStage, Inc. Multi vantage point player with wearable display
US20150277118A1 (en) * 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US20150206173A1 (en) * 2014-01-21 2015-07-23 Osterhout Group, Inc. Eye imaging in head worn computing
US10015864B2 (en) * 2014-09-08 2018-07-03 Philips Lighting Holding B.V. Lighting preference arbitration
US9880634B2 (en) * 2015-03-20 2018-01-30 Optim Corporation Gesture input apparatus, gesture input method, and program for wearable terminal
US20170270362A1 (en) * 2016-03-18 2017-09-21 Daqri, Llc Responsive Augmented Content
US10248863B2 (en) * 2016-06-15 2019-04-02 International Business Machines Corporation Augemented video analytics for testing internet of things (IoT) devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004128997A (ja) * 2002-10-04 2004-04-22 Nippon Telegr & Teleph Corp <Ntt> 映像遠隔制御装置,映像遠隔制御方法,映像遠隔制御プログラムおよび映像遠隔制御プログラムを記録した記録媒体
WO2008087974A1 (ja) * 2007-01-16 2008-07-24 Panasonic Corporation データ処理装置、方法、記録媒体
JP2014066927A (ja) * 2012-09-26 2014-04-17 Seiko Epson Corp 映像表示システムおよび頭部装着型表示装置
WO2016006287A1 (ja) * 2014-07-09 2016-01-14 ソニー株式会社 情報処理装置、記憶媒体、および制御方法
JP2016082466A (ja) * 2014-10-20 2016-05-16 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム

Also Published As

Publication number Publication date
US20190124298A1 (en) 2019-04-25
JPWO2018008101A1 (ja) 2019-01-17
WO2018008101A1 (ja) 2018-01-11

Similar Documents

Publication Publication Date Title
JP4547040B1 (ja) 表示画像切替装置及び表示画像切替方法
JP5967473B2 (ja) 撮像装置及び撮像システム
US20140368716A1 (en) Imaging apparatus
US20140267775A1 (en) Camera in a Headframe for Object Tracking
WO2016030878A1 (en) Self-image augmentation
JP2013013063A (ja) 撮像装置及び撮像システム
EP3460745B1 (en) Spherical content editing method and electronic device supporting same
EP3076660B1 (en) Method and apparatus for displaying framing information
JP2013013062A (ja) 撮像装置及び撮像システム
JP2009176262A (ja) 写真マッピング方法及びシステム、並びにプログラム及び記憶媒体
WO2015159775A1 (ja) 画像処理装置、通信システム及び通信方法並びに撮像装置
KR101555428B1 (ko) 전문가 배경 영상데이터를 이용한 영상 촬영 시스템 및 방법
JP5007631B2 (ja) 電子カメラ
JPWO2018025825A1 (ja) 撮像システム
JP6450890B2 (ja) 画像提供システム、画像提供方法、およびプログラム
JP6546705B2 (ja) 遠隔制御システム、遠隔制御方法、およびプログラム
JP2013021473A (ja) 情報処理装置、情報取得方法およびコンピュータプログラム
CN113302908A (zh) 控制方法、手持云台、系统及计算机可读存储介质
JP5003358B2 (ja) 表示装置、電子カメラおよび制御プログラム
JP2018074420A (ja) 表示装置、表示システム及び表示装置の制御方法
JP2016192096A (ja) 物体認識選択装置、物体認識選択方法及びプログラム
JP2016062336A (ja) 動作指示システム、動作指示方法、装着端末、および、動作指示管理サーバ
JP6689492B2 (ja) 端末装置、データ処理システム及びプログラム
JP6412743B2 (ja) 撮影支援装置、撮影支援システム、撮影支援方法及び撮影支援プログラム
JP2015019215A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20180903

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180903

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180928

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20181129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181210

R150 Certificate of patent or registration of utility model

Ref document number: 6450890

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250