JP6270619B2 - 表示装置、撮像装置、撮像システム、表示方法、撮像方法、表示プログラム、及び撮像プログラム - Google Patents

表示装置、撮像装置、撮像システム、表示方法、撮像方法、表示プログラム、及び撮像プログラム Download PDF

Info

Publication number
JP6270619B2
JP6270619B2 JP2014100480A JP2014100480A JP6270619B2 JP 6270619 B2 JP6270619 B2 JP 6270619B2 JP 2014100480 A JP2014100480 A JP 2014100480A JP 2014100480 A JP2014100480 A JP 2014100480A JP 6270619 B2 JP6270619 B2 JP 6270619B2
Authority
JP
Japan
Prior art keywords
display
unit
imaging
display device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014100480A
Other languages
English (en)
Other versions
JP2015220488A (ja
Inventor
佐藤 明伸
明伸 佐藤
宏樹 網野
宏樹 網野
敬 濱田
敬 濱田
由貴 佐藤
由貴 佐藤
野中 修
修 野中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2014100480A priority Critical patent/JP6270619B2/ja
Publication of JP2015220488A publication Critical patent/JP2015220488A/ja
Application granted granted Critical
Publication of JP6270619B2 publication Critical patent/JP6270619B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Studio Devices (AREA)

Description

本発明は、表示装置、撮像装置、撮像システム、表示方法、撮像方法、表示プログラム、及び撮像プログラムに関する。
近年、携帯電話等の表示装置において、デジタルカメラ等の撮像装置にて撮像された画像データを、通信技術を用いて、順次、取得する技術が知られている(例えば、特許文献1参照)。
特許文献1に記載の技術は、表示装置により撮像装置を遠隔操作する技術である。
具体的に、特許文献1に記載の技術では、表示装置は、撮像装置から送信された画像データを順次、受信し、当該画像データに対応するライブビュー画像を順次、表示する。表示装置のユーザは、表示装置に表示されたライブビュー画像を確認しながら、撮像装置に撮影を実行させたいタイミングで表示装置に対して撮影操作を実行する。この撮影操作により表示装置から撮影指示が撮像装置に送信される。撮像装置は、当該撮影指示を受信した後、被写体を撮像して撮影画像データを生成し、当該撮影画像データを表示装置に送信する。
特開2003−250079号公報
しかしながら、特許文献1に記載の技術では、表示装置のユーザが撮像装置を利用して自身を被写体に含めて撮影を行う場合には、以下に示す問題がある。
例えば、表示装置のユーザは、当該撮影により得られる撮影画像に表示装置が映り込むことが嫌な場合には、撮影画像に表示装置が映り込まないように、当該撮影画像に映り込む自身の顔(目)から離れた位置に表示装置を位置付ける。このように自身の顔から離れた位置に表示装置を位置付けた場合には、表示装置に表示されたライブビュー画像の見え方が小さくなる。このため、表示装置のユーザは、当該ライブビュー画像を確認し難いものとなり、最適なタイミングで表示装置に対して撮影操作を実行することができない。すなわち、利便性の向上が図れない、という問題がある。
本発明は、上記に鑑みてなされたものであって、利便性の向上が図れる表示装置、撮像装置、撮像システム、表示方法、撮像方法、表示プログラム、及び撮像プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る表示装置は、画像を表示する表示装置において、外部の撮像装置との間で通信を行う表示側通信部と、前記表示側通信部を介して、前記撮像装置にて撮像された第1画像データを前記撮像装置から受信する表示側通信制御部と、画像を表示する表示部と、前記表示側通信部を介して前記撮像装置から受信した前記第1画像データに対応する第1画像を前記表示部に表示させる表示制御部と、ユーザ操作を受け付ける操作受付部と、前記第1画像が前記表示部に表示されている状態で、前記操作受付部が前記撮像装置の撮影者による前記第1画像の一部の領域を指定する第1のユーザ操作を受け付けた場合に、当該一部の領域に関する領域情報を生成する領域情報生成部と、当該表示装置と前記撮影者との位置関係を判定する関係判定部とを備え、前記表示制御部は、前記関係判定部にて前記位置関係が変化したと判定された場合に、前記第1画像における前記領域情報に基づく一部の領域の指定画像を前記表示部に拡大表示させることを特徴とする。
また、本発明に係る撮像システムは、上述した表示装置と、前記表示装置との間で通信を行う撮像装置とを備えることを特徴とする。
また、本発明に係る撮像装置は、被写体を撮像する撮像装置において、被写体を撮像して第1画像データを生成する本体側撮像部と、外部の表示装置との間で通信を行う本体側通信部と、前記本体側通信部を介して、前記第1画像データを前記表示装置に送信するとともに、前記第1画像データに対応する第1画像の一部の領域に関する領域情報を前記表示装置から受信する本体側通信制御部と、前記表示装置と当該撮像装置の撮影者との位置関係を判定する関係判定部と、前記関係判定部にて前記位置関係が変化したと判定された場合に、前記第1画像データに対応する前記第1画像から前記領域情報に基づく一部の領域の指定画像を抽出し、前記指定画像に対応する指定画像データを生成する画像抽出部とを備え、前記本体側通信制御部は、前記本体側通信部を介して、前記指定画像データを前記表示装置に送信することを特徴とする。
また、本発明に係る撮像システムは、上述した撮像装置と、前記撮像装置との間で通信を行う表示装置とを備えることを特徴とする。
また、本発明に係る表示方法は、画像を表示する表示装置が行う表示方法において、外部の撮像装置から受信した第1画像データに対応する第1画像を表示する第1表示ステップと、前記第1画像を表示している状態で、前記撮像装置の撮影者による前記第1画像の一部の領域を指定する第1のユーザ操作を受け付けた場合に、当該一部の領域に関する領域情報を生成する領域情報生成ステップと、前記表示装置と前記撮影者との位置関係を判定する関係判定ステップと、前記関係判定ステップにて前記位置関係が変化したと判定した場合に、前記第1画像における前記領域情報に基づく一部の領域の指定画像を拡大表示する第2表示ステップとを含むことを特徴とする。
また、本発明に係る表示プログラムは、上述した表示方法を表示装置に実行させることを特徴とする。
また、本発明に係る撮像方法は、被写体を撮像する撮像装置が行う撮像方法において、被写体を撮像して第1画像データを生成する撮像ステップと、前記第1画像データを外部の表示装置に送信するとともに、前記第1画像データに対応する第1画像の一部の領域に関する領域情報を前記表示装置から受信する第1通信ステップと、前記表示装置と前記撮像装置の撮影者との位置関係を判定する関係判定ステップと、前記関係判定ステップにて前記位置関係が変化したと判定した場合に、前記第1画像データに対応する前記第1画像から前記領域情報に基づく一部の領域の指定画像を抽出し、前記指定画像に対応する指定画像データを生成する画像抽出ステップと、前記指定画像データを前記表示装置に送信する第2通信ステップとを含むことを特徴とする。
また、本発明に係る撮像プログラムは、上述した撮像方法を撮像装置に実行させることを特徴とする。
本発明に係る表示装置は、ライブビュー画像等の第1画像を表示している状態で、撮影者による第1のユーザ操作を受け付けた場合に、当該第1のユーザ操作に応じて指定された第1画像の一部の領域に関する領域情報を生成する。また、表示装置は、当該表示装置と撮影者との位置関係を判定する。例えば、表示装置は、撮像装置の撮影者が当該表示装置に表示された第1画像を確認しながら第1のユーザ操作を行った後、自身の顔から離れた位置に当該表示装置を位置付けると、当該表示装置と撮影者との位置関係が変化したと判定する。そして、表示装置は、第1画像における領域情報に基づく一部の領域の指定画像を拡大表示する。
このため、撮影者が撮像装置及び表示装置を利用して自身を被写体に含めて撮影を行う際、撮影画像に表示装置が映り込まないように自身の顔から離れた位置に表示装置を位置付けた場合であっても、自身で指定した領域の指定画像が表示装置に拡大表示される。すなわち、撮影者は、当該指定画像を確認しながら最適なタイミングで表示装置に対して撮影操作を実行することが可能となる。したがって、本発明に係る表示装置によれば、利便性の向上が図れる、という効果を奏する。
本発明に係る撮像装置は、上述した表示装置とともに利用される撮像装置であるため、上述した表示装置と同様の効果を奏する。
本発明に係る撮像システムは、上述した表示装置や、上述した撮像装置を備えるため、上述した表示装置及び撮像装置と同様の効果を奏する。
本発明に係る表示方法は、上述した表示装置が行う方法であるため、上述した表示装置と同様の効果を奏する。
本発明に係る表示プログラムは、上述した表示装置にて実行されるプログラムであるため、上述した表示装置と同様の効果を奏する。
本発明に係る撮像方法は、上述した撮像装置が行う方法であるため、上述した撮像装置と同様の効果を奏する。
本発明に係る撮像プログラムは、上述した撮像装置にて実行されるプログラムであるため、上述した撮像装置と同様の効果を奏する。
図1は、本発明の実施の形態1に係る撮像システムの構成を模式的に示す図である。 図2は、図1に示した撮像システムの構成を示すブロック図である。 図3は、図1に示した撮像システムの使用態様の一例を示す図である。 図4は、図1に示した撮像システムの使用態様の一例を示す図である。 図5は、図1及び図2に示した撮像装置の動作を示すフローチャートである。 図6は、図1及び図2に示した表示装置の動作を示すフローチャートである。 図7は、図6に示した位置関係判定処理(ステップS214)を示すフローチャートである。 図8は、図6に示した撮影操作判定処理(ステップS219)を示すフローチャートである。 図9は、本発明の実施の形態2に係る撮像システムの構成を示すブロック図である。 図10は、図9に示した撮像装置の動作を示すフローチャートである。 図11は、図9に示した表示装置の動作を示すフローチャートである。 図12は、本発明の実施の形態3に係る撮像システムの構成を示すブロック図である。 図13は、図12に示した撮像装置の動作を示すフローチャートである。 図14は、図12に示した表示装置の動作を示すフローチャートである。 図15は、本発明の実施の形態4に係る撮像システムの構成を示すブロック図である。 図16は、図15に示した撮像システムの使用態様の一例を示す図である。 図17は、図15に示した撮像システムの使用態様の一例を示す図である。 図18は、図15に示した表示装置の動作を示すフローチャートである。 図19は、図15に示した表示装置の動作を示すフローチャートである。 図20は、本発明の実施の形態1〜4の変形例を示す図である。 図21は、本発明の実施の形態1〜4の変形例を示す図である。
以下に、図面を参照して、本発明を実施するための形態(以下、実施の形態)について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
(実施の形態1)
〔撮像システムの概略構成〕
図1は、本発明の実施の形態1に係る撮像システム1の構成を模式的に示す図である。図2は、撮像システム1の構成を示すブロック図である。
撮像システム1は、図1または図2に示すように、無線通信により互いに情報の送受信を可能に接続する撮像装置2及び表示装置3と、アタッチメント4(図1)とを備え、表示装置3により撮像装置2を遠隔操作するシステムである。
なお、撮像システム1としては、無線通信に限られず、有線通信により互いに情報の送受信を可能に撮像装置2及び表示装置3を接続した構成としても構わない。
アタッチメント4は、撮像装置2及び表示装置3を機械的に接続する部材である。
より具体的に、アタッチメント4は、図1に示すように、表示装置3の背面に装着される。また、アタッチメント4には、平面視で円形状を有し、撮像装置2が嵌め込まれる取付用孔4Aが設けられている。
そして、アタッチメント4を介して撮像装置2及び表示装置3が機械的に接続された状態では、撮像システム1の全体形状は、デジタルカメラをイメージする形状となる。
なお、撮像システム1としては、アタッチメント4を備えた構成に限られず、アタッチメント4を省略した構成としても構わない。
〔撮像装置の構成〕
以下では、撮像装置2の構成として、本発明の要部を主に説明する。
撮像装置2は、図2に示すように、光学系21と、駆動部22と、位置検出部23と、操作部24と、本体側時計部25と、本体側撮像部26と、本体側メモリ部27と、本体側記録部28と、本体側通信部29と、本体側制御部30とを備える。そして、これら各部材21〜30は、全体略円筒形状を有するレンズ鏡筒20(図1)内部に収納される。すなわち、撮像装置2の全体形状は、図1に示すように、所謂交換レンズの全体形状と略同様の形状を有する。
光学系21は、所定の視野領域から光を集光し、この集光した光を、本体側撮像部26を構成する撮像素子(図示略)の撮像面に結像する。この光学系21は、図2に示すように、ズームレンズ211と、フォーカスレンズ212とを備える。
ズームレンズ211は、一または複数のレンズを用いて構成され、図2に破線で示した光軸に沿って移動することにより、光学系21のズーム倍率を変更する。
フォーカスレンズ212は、一または複数のレンズを用いて構成され、図2に破線で示した光軸に沿って移動することにより、光学系21のピント位置及び焦点距離を変更する。
駆動部22は、本体側制御部30による制御の下、光学系21を構成する各レンズ211,212を光軸に沿って移動させる。この駆動部22は、図2に示すように、ズーム駆動部221と、フォーカス駆動部222とを備える。
ズーム駆動部221は、ステッピングモータやDCモータ等を用いて構成され、ズームレンズ211を光軸に沿って移動させる。
フォーカス駆動部222は、ステッピングモータやDCモータ等を用いて構成され、フォーカスレンズ212を光軸に沿って移動させる。
位置検出部23は、光学系21を構成する各レンズ211,212の光軸上の位置を検出する。この位置検出部23は、図2に示すように、ズーム位置検出部231と、フォーカス位置検出部232とを備える。
ズーム位置検出部231は、フォトインタラプタ等を用いて構成され、ズーム駆動部221にて駆動されたズームレンズ211の光軸上の位置を検出する。
具体的には、ズーム位置検出部231は、ズーム駆動部221に含まれる駆動用モータの回転量をパルス数に変換し、変換したパルス数に基づいて、無限遠を基準とする基準位置からのズームレンズ211の光軸上の位置を検出する。
フォーカス位置検出部232は、フォトインタラプタ等を用いて構成され、ズーム位置検出部231と同様の方法により、フォーカス駆動部222にて駆動されたフォーカスレンズ212の光軸上の位置を検出する。
操作部24は、レンズ鏡筒20の周囲に設けられる操作リング、レンズ鏡筒20の外面に設けられるボタンやスイッチ等であり、光学系21内のズームレンズ211やフォーカスレンズ212の光軸上の位置の変更操作や、被写体の撮像を指示する撮影操作等のユーザ操作を受け付ける。そして、操作部24は、当該ユーザ操作に応じた指示信号を本体側制御部30に出力する。
本体側時計部25は、計時機能の他、本体側撮像部26にて撮像された日時に関する日時情報(以下、第1タイムスタンプと記載)を生成する機能を有する。そして、本体側時計部25にて生成された第1タイムスタンプは、本体側制御部30に出力される。
なお、タイムスタンプの生成については、機器で厳密な時刻合わせをする必要があるとは限らず、撮影時に他の機器と通信して取得するような応用が可能であることは言うまでもない。以下で記載するタイムスタンプについても同様である。
本体側撮像部26は、本体側制御部30による制御の下、被写体を撮像して画像データを生成する。この本体側撮像部26は、光学系21が結像した被写体像を受光して電気信号に変換するCCD(Charge Coupled Device)等の撮像素子、当該撮像素子からの電気信号(アナログ信号)に対して信号処理(A/D変換等)を行うことによりデジタルの画像データを生成する信号処理部等を用いて構成される。そして、本体側撮像部26にて順次、生成された画像データ(以下、ライブビュー画像データと記載)は、本体側制御部30による制御の下、当該ライブビュー画像データが生成された日時に関する第1タイムスタンプが付加されて、順次、本体側メモリ部27に記憶される。また、カメラユーザによる撮像装置2(操作部24)や表示装置3への撮影操作に応じて本体側撮像部26にて生成された画像データ(以下、撮影画像データと記載)は、当該撮影画像データが生成された日時に関する第1タイムスタンプが付加されて、本体側記録部28に記録される。
そして、ライブビュー画像データ及び撮影画像データは、本発明に係る第1画像データに相当する。
本体側メモリ部27は、本体側撮像部26にて生成されたライブビュー画像データ(第1タイムスタンプを含む)を順次、記憶する。
本体側記録部28は、本体側制御部30が実行する各種プログラム(撮像プログラムを含む)や、光学系21の倍率、焦点距離、画角、収差及びF値(明るさ)等の光学系21の特性に関する特性情報等を記録する。また、本体側記録部28は、カメラユーザによる撮像装置2(操作部24)や表示装置3への撮影操作に応じて、本体側制御部30による制御の下、本体側撮像部26にて生成された撮影画像データ(第1タイムスタンプを含む)を記録する。
本体側通信部29は、本体側制御部30による制御の下、表示装置3との間で通信に必要な信号を含む各種データの無線通信を行うための通信インターフェースである。
本実施の形態1では、当該無線通信の通信方式として、Wi−Fi(Wireless Fidelity)(登録商標)を採用している。なお、当該無線通信の通信方式としては、Wi−Fi(登録商標)の他、WiMAX(Worldwide Interoperability for Microwave Access)(登録商標)等、他の通信方式を採用しても構わない。
例えば、Wi−Fi(登録商標)の場合、ローカルネットワークを想定し、機器の役割として、アクセスポイント、ステーションの関係があり、概略の接続処理としては、アクセスポイントが構築している無線ネットワークに、ステーションが接続する関係となる。
大まかな接続シーケンスとしては、(Step1)アクセスポイントは、無線ネットワークを構築し、自分のネットワーク識別子(SSID)を報知する、(Step2)ステーションは、報知されているネットワーク識別子(SSID)を検索し、所望のネットワーク(アクセスポイント)に接続する、というStep1,2を踏み、多くの機器とのネットワークを想定するので、カバー範囲が広く、干渉の問題を考慮しながら厳密な識別ステップを踏むことになる。このため、接続確立に時間が掛かることがある。ただし、データ通信は、アクセスポイント、ステーションそれぞれのタイミングでデータの送受信が可能である。ここでは、撮像装置2をアクセスポイント、表示装置3をステーションと考えればよい。なお、この関係は逆でもよい。10メガビット/秒以上という速度で通信することができるので画像も高速で送信することができる。
本体側制御部30は、CPU(Central Processing Unit)等を用いて構成され、操作部24からの指示信号や、本体側通信部29を介して入力される表示装置3からの指示信号に応じて撮像装置2全体の動作を制御する。この本体側制御部30は、図2に示すように、本体側通信制御部301と、本体側撮像制御部302と、画像抽出部303とを備える。
本体側通信制御部301は、本体側通信部29を介して、表示装置3との間でWi−Fi(登録商標)等の通信方式による通信接続を確立する。そして、本体側通信制御部301は、本体側記録部28に記録された特性情報、位置検出部23が検出したズームレンズ211及びフォーカスレンズ212の各位置に関するレンズ位置情報、本体側メモリ部27に記憶された最新のライブビュー画像データ(第1タイムスタンプを含む)及び最新の指定画像データ(第1タイムスタンプを含む)、本体側記録部28に記録された最新の撮影画像データ(第1タイムスタンプを含む)を表示装置3に送信する。ここで、「最新」とは、タイムスタンプに基づく日時上、最新という意味である(以下、同様)。また、本体側通信制御部301は、本体側通信部29を介して、表示装置3から、撮影指示、光学系21の動作指示、ライブビュー画像データに対応するライブビュー画像内の一部の領域に関する領域情報、当該ライブビュー画像内の一部の領域に相当する指定画像の送信を要求する指定画像送信指示を受信する。
本体側撮像制御部302は、本体側撮像部26に被写体を撮像させ、本体側撮像部26にて生成されたライブビュー画像データに当該ライブビュー画像データが生成された日時に関する第1タイムスタンプを付加して、順次、本体側メモリ部27に記憶する。また、本体側撮像制御部302は、カメラユーザによる操作部24や表示装置3への撮影操作に応じて、本体側撮像部26に被写体を撮像させ、本体側撮像部26にて生成された撮影画像データに当該撮影画像データが生成された日時に関する第1タイムスタンプを付加して、本体側記録部28に記録する。
画像抽出部303は、本体側通信部29を介して領域情報及び指定画像送信指示を受信した場合に、本体側メモリ部27に記憶された最新のライブビュー画像データを順次、読み出す。また、画像抽出部303は、当該ライブビュー画像データに対応するライブビュー画像から、領域情報に基づく一部の領域に相当する指定画像を順次、抽出する。そして、画像抽出部303は、当該抽出した指定画像に対応する指定画像データに当該指定画像の抽出に用いたライブビュー画像データの第1タイムスタンプを付加して、順次、本体側メモリ部27に記憶する。
〔表示装置の構成〕
以下では、表示装置3の構成として、本発明の要部を主に説明する。
表示装置3は、例えば、デジタルカメラ、デジタルビデオカメラ、または携帯電話やタブレット型携帯機器等として構成される。この表示装置3は、図2に示すように、入力部31と、表示部32と、表示側時計部33と、表示側撮像部34と、音声データ生成部35と、表示側メモリ部36と、表示側記録部37と、表示側通信部38と、表示側制御部39とを備える。
入力部31は、ユーザ操作を受け付けるボタン、スイッチ、タッチパネル等を用いて構成され、当該ユーザ操作に応じた指示信号を表示側制御部39に出力する。
そして、入力部31は、本発明に係る操作受付部としての機能を有する。
表示部32は、液晶または有機EL(Electro Luminescence)等からなる表示パネルを用いて構成され、表示装置3の前面(図3参照)に設けられる。そして、表示部32は、表示側制御部39による制御の下、所定の画像を表示する。
表示側時計部33は、計時機能の他、表示側撮像部34にて撮像された日時や、音声データ生成部35にて音声が取得された日時に関する日時情報(以下、第2タイムスタンプと記載)を生成する機能を有する。そして、表示側時計部33にて生成された第2タイムスタンプは、表示側制御部39に出力される。
表示側撮像部34は、表示装置3の前面(図3参照)に設けられる。そして、表示側撮像部34は、表示側制御部39による制御の下、被写体を撮像して画像データ(以下、インカメラ画像データと記載)を生成する。この表示側撮像部34は、被写体像を結像する光学系341(図3参照)、光学系341が結像した被写体像を受光して電気信号に変換するCCD等の撮像素子(図示略)、当該撮像素子からの電気信号(アナログ信号)に対して信号処理(A/D変換等)を行うことによりデジタルの画像データを生成する信号処理部等を用いて構成される。そして、表示側撮像部34にて生成されたインカメラ画像データは、表示側制御部39による制御の下、当該インカメラ画像データが生成された日時に関する第2タイムスタンプが付加されて、表示側メモリ部36または表示側記録部37に記憶または記録される。
音声データ生成部35は、図2に示すように、音声入力部351と、音声処理部352とを備える。
音声入力部351は、音声を入力して電気信号に変換するマイクロフォンを用いて構成され、表示装置3の前面(図3参照)に設けられる。
音声処理部352は、表示側制御部39による制御の下、音声入力部351にて変換された電気信号に標本化及び量子化を施してA/D変換を行うことにより音声データを生成する。そして、音声処理部352にて生成された音声データは、表示側制御部39による制御の下、当該音声データが生成された日時に関する第2タイムスタンプが付加されて、表示側メモリ部36に記憶される。
表示側メモリ部36は、表示側撮像部34にて撮像されたインカメラ画像データ(第2タイムスタンプを含む)、音声データ生成部35にて生成された音声データ(第2タイムスタンプを含む)、及び表示側通信部38を介して撮像装置2から受信した情報を記憶する。
表示側記録部37は、図2に示すように、プログラム記録部371と、画像データ記録部372とを備える。
プログラム記録部371は、表示側制御部39が実行する各種プログラム(表示プログラムを含む)、及びプログラムの実行中に使用される各種データ等を記録する。
画像データ記録部372は、撮像装置2にて生成された撮影画像データ(第1タイムスタンプを含む)、及び表示側撮像部34にて生成されたインカメラ画像データ(第2タイムスタンプを含む)を記録する。
また、表示側記録部37には、撮像装置2と通信を行うために必要な撮像装置2の通信仕様情報が記録されている。
表示側通信部38は、表示側制御部39による制御の下、撮像装置2との間で通信に必要な信号を含む各種データの無線通信をWi−Fi(登録商標)等の通信方式により行うための通信インターフェースである。
表示側制御部39は、CPU等を用いて構成され、入力部31からの指示信号等に応じて表示装置3を構成する各部に対応する指示やデータの転送等を行って表示装置3の動作を統括的に制御する。この表示側制御部39は、図2に示すように、表示側通信制御部391と、表示制御部392と、表示側撮像制御部393と、領域情報生成部394と、関係判定部395とを備える。
表示側通信制御部391は、カメラユーザによる入力部31への操作により表示装置3がカメラ通信モード(撮像装置2を利用して被写体像を撮影するモード)に設定されている場合に、以下の処理を実行する。
具体的に、表示側通信制御部391は、表示側記録部37に記録された撮像装置2の通信仕様情報に基づいて、表示側通信部38を介して、撮像装置2との間でWi−Fi(登録商標)等の通信方式による通信接続を確立する。そして、表示側通信制御部391は、表示側通信部38を介して、撮像装置2から特性情報、レンズ位置情報、ライブビュー画像データ(第1タイムスタンプを含む)、撮影画像データ(第1タイムスタンプを含む)、及び指定画像データ(第1タイムスタンプを含む)等を受信する。また、表示側通信制御部391は、表示部32にライブビュー画像が表示されている状態で、カメラユーザにより入力部31に対してライブビュー画像の一部の領域を指定する領域指定操作(第1のユーザ操作)がなされた場合に、表示側通信部38を介して、領域情報生成部394にて生成された領域情報を撮像装置2に送信する。さらに、表示側通信制御部391は、関係判定部395にて表示装置3とカメラユーザとの位置関係が変化したと判定された場合に、表示側通信部38を介して、ライブビュー画像内における領域情報に基づく一部の領域に相当する指定画像の送信を要求する指定画像送信指示を撮像装置2に送信する。そして、表示側通信制御部391は、撮像装置2から指定画像データ(第1タイムスタンプを含む)が転送された場合に、当該指定画像データを表示側メモリ部36に記憶させる。
表示制御部392は、表示部32の動作を制御し、表示側メモリ部36に記憶されたライブビュー画像データや指定画像データに対応する各画像(ライブビュー画像(第1画像)、指定画像)、画像データ記録部372に記録された撮影画像データに対応する撮影画像、及び各種モードの選択を促す初期画面等を表示部32に表示させる。
表示側撮像制御部393は、表示装置3が「カメラ通信モード」に設定されている場合には、以下の処理を実行する。
具体的に、表示側撮像制御部393は、カメラユーザにより撮影操作が行われたか否かを判定する「撮影操作判定処理」を実行する。そして、表示側撮像制御部393は、撮影操作が行われたと判定した場合に、表示側通信部38を介して、撮影を行う旨の撮影指示(当該撮影により得られた撮影画像データの転送要求も含む)を撮像装置2に送信する。また、表示側撮像制御部393は、撮像装置2から撮影画像データ(第1タイムスタンプを含む)が転送された場合に、当該撮影画像データを画像データ記録部372に記録する。
なお、「撮影操作判定処理」の詳細については、後述する表示装置3の動作を説明する際に説明する。
また、表示側撮像制御部393は、カメラユーザによる入力部3への光学系21を動作(ズームレンズ211、フォーカスレンズ212の光軸上の位置を変更)させる操作に応じて、表示側通信部38を介して、光学系21の動作指示を撮像装置2に送信する。
一方、表示側撮像制御部393は、カメラユーザによる入力部31への操作により表示装置3が通常撮影モード(表示側撮像部34を利用して被写体を撮影するモード)に設定されている場合には、以下の処理を実行する。
具体的に、表示側撮像制御部393は、表示装置3のユーザによる入力部31への撮影操作に応じて、表示側撮像部34に被写体を撮像させ、表示側撮像部34にて生成されたインカメラ画像データに当該インカメラ画像データが生成された日時に関する第2タイムスタンプを付加して、画像データ記録部372に記録する。
領域情報生成部394は、表示装置3が「カメラ通信モード」に設定されている場合に、以下の処理を実行する。
具体的に、領域情報生成部394は、表示部32にライブビュー画像が表示されている状態で、カメラユーザによる入力部31への領域指定操作に応じて、当該指定された領域に関する領域情報(ライブビュー画像内での領域の位置を示す座標(画素位置)等)を生成する。そして、領域情報生成部394は、当該生成した領域情報を表示側メモリ部36に記憶する。
関係判定部395は、表示側撮像部34にて生成されたインカメラ画像データや、音声データ生成部35にて生成された音声データ等に基づいて、表示装置3とカメラユーザとの位置関係が変化したか否かを判定する「位置関係判定処理」を実行する。
なお、「位置関係判定処理」の詳細については、後述する表示装置3の動作を説明する際に説明する。
〔撮像システムの動作〕
次に、上述した撮像システム1の動作について説明する。
図3及び図4は、撮像システム1の使用態様の一例を示す図である。具体的に、図3は、カメラユーザXが撮像システム1を利用して被写体Y,Zを撮影する前に、撮像装置2を三脚5で固定し、表示装置3に表示されている画像を見ながら構図を設定している状況を示している。図4は、カメラユーザXが構図を設定(図3)した後、表示装置3を持って被写体Y,Zの側に行き、自身も被写体に含めて撮影を行う状況を示している。ここで、表示装置3は、撮像装置2の撮影範囲外に置かれている。
以下、撮像システム1の動作として、撮像装置2の動作、及び表示装置3の動作を順に説明する。
〔撮像装置の動作〕
図5は、撮像装置2の動作を示すフローチャートである。
カメラユーザによる操作部24への操作によって撮像装置2の電源がオンになる(ステップS101:Yes)と、本体側撮像制御部302は、本体側撮像部26に撮像を開始させる(ステップS102)。本体側撮像部26にて生成されたライブビュー画像データ(第1タイムスタンプを含む)は、順次、本体側メモリ部27に記憶される。
続いて、本体側通信制御部301は、本体側通信部29を介して表示装置3との間でWi−Fi(登録商標)等の通信方式による通信接続を確立しているか否かを判断する(ステップS103)。
表示装置3との間で通信接続を確立していないと判断された場合(ステップS103:No)には、撮像装置2は、ステップS112に移行する。
一方、表示装置3との間で通信接続を確立していると判断した場合(ステップS103:Yes)には、本体側通信制御部301は、本体側通信部29を介して、表示装置3から指定画像送信指示を受信したか否かを判断する(ステップS104)。
指定画像送信指示を受信していないと判断した場合(ステップS104:No)には、本体側通信制御部301は、本体側通信部29を介して、本体側メモリ部27に記憶された最新のライブビュー画像データ(第1タイムスタンプを含む)を表示装置3に送信する(ステップS105)。
続いて、本体側通信制御部301は、本体側通信部29を介して、表示装置3から領域情報を受信したか否かを判断する(ステップS106)。
領域情報を受信していないと判断された場合(ステップS106:No)には、撮像装置2は、ステップS111に移行する。
一方、領域情報を受信したと判断した場合(ステップS106:Yes)には、本体側通信制御部301は、当該領域情報を本体側メモリ部27に記憶する(ステップS107)。ここで、本体側メモリ部27に既に従前の領域情報が記憶されている場合には、当該領域情報は、ステップS106で受信した最新の領域情報に更新される。
ステップS104で指定画像送信指示を受信したと判断した場合(ステップS104:Yes)には、本体側通信制御部301は、本体側通信部29を介して表示装置3から領域情報を受信済であるか否か(本体側メモリ部27に領域情報が記憶されているか否か)を判断する(ステップS108)。
領域情報を未だ受信していないと判断された場合(ステップS108:No)には、撮像装置2は、ステップS111に移行する。
一方、領域情報を既に受信していると判断された場合(ステップS108:Yes)には、画像抽出部303は、本体側メモリ部27に記憶された最新のライブビュー画像データ及び領域情報を読み出す。そして、画像抽出部303は、当該読み出した最新のライブビュー画像データに対応するライブビュー画像から、当該読み出した領域情報に基づく一部の領域に相当する指定画像を抽出する(ステップS109)。当該抽出された指定画像に対応する指定画像データは、当該指定画像の抽出に用いられたライブビュー画像データの第1タイムスタンプが付加されて本体側メモリ部27に記憶される。
続いて、本体側通信制御部301は、本体側通信部29を介して、本体側メモリ部27に記憶された最新の指定画像データ(第1タイムスタンプを含む)を表示装置3に送信する(ステップS110)。
ステップS110の後、本体側通信制御部301は、本体側通信部29を介して、表示装置3から撮影指示を受信したか否かを判断する(ステップS111)。なお、ステップS106で領域情報を受信していないと判断された場合(ステップS106:No)、ステップS107の後、及びステップS108で領域情報を未だ受信していないと判断された場合(ステップS108:No)でも同様のステップS111が実行される。
撮影指示を受信していないと判断された場合(ステップS111:No)には、本体側撮像制御部302は、カメラユーザによる操作部24への撮影操作があったか否かを判断する(ステップS112)。なお、ステップS103で表示装置3との間で通信接続を確立していないと判断された場合(ステップS103:No)でも同様のステップS112が実行される。
一方、撮影指示を受信したと判断された場合(ステップS111:Yes)には、本体側撮像制御部302は、本体側撮像部26に撮像を行わせる(ステップS113)。なお、ステップS112で撮影操作があったと判断された場合(ステップS112:Yes)でも同様のステップS113が実行される。また、ステップS112で撮影操作がないと判断された場合(ステップS112:No)には、撮像装置2は、ステップS101に戻る。
ステップS113の後、本体側撮像制御部302は、当該ステップS113での撮像により生成された撮影画像データを本体側記録部28に記録する(ステップS114)。
続いて、本体側通信制御部301は、ステップS103と同様に、表示装置3との間で通信接続を確立しているか否かを判断する(ステップS115)。
表示装置3との間で通信接続を確立していると判断した場合(ステップS115:Yes)には、本体側通信制御部301は、本体側通信部29を介して、本体側記録部28に記録された最新の撮影画像データ(第1タイムスタンプを含む)を表示装置3に送信する(ステップS116)。この後、撮像装置2は、ステップS101に戻る。
一方、表示装置3との間で通信接続を確立していないと判断された場合(ステップS115:No)には、撮像装置2は、ステップS101に戻る。そして、図5では図示を省略したが、本体側通信制御部301は、ステップS116で送信する予定であった撮影画像データ(第1タイムスタンプを含む)を、表示装置3との間で通信接続を確立した段階で、表示装置3に送信する。
〔表示装置の動作〕
図6は、表示装置3の動作を示すフローチャートである。
なお、以下では、表示装置3は、「カメラ通信モード」に設定されているものとする。
カメラユーザによる入力部31への操作によって表示装置3の電源がオンになる(ステップS201:Yes)と、表示側通信制御部391は、表示側通信部38を介して、撮像装置2との間で通信接続を開始する(ステップS202)。
続いて、表示側通信制御部391は、表示側通信部38を介して撮像装置2との間で通信接続を確立したか否かを判断する(ステップS203)。
撮像装置2との間で通信接続を確立していないと判断された場合(ステップS203:No)には、表示装置3は、ステップS201に戻る。
一方、撮像装置2との間で通信接続を確立したと判断した場合(ステップS203:Yes)には、表示側通信制御部391は、表示側通信部38を介して、撮像装置2からライブビュー画像データ(第1タイムスタンプを含む)を受信したか否かを判断する(ステップS204)。
ライブビュー画像データを受信していないと判断された場合(ステップS204:No)には、表示装置3は、ステップS217に移行する。
一方、ライブビュー画像データを受信したと判断した場合(ステップS204:Yes)には、表示側通信制御部391は、当該受信したライブビュー画像データ(第1タイムスタンプを含む)を表示側メモリ部36に記憶する。そして、表示制御部392は、表示側メモリ部36に記憶された最新のライブビュー画像データに対応するライブビュー画像を表示部32に表示させる(ステップS205:第1表示ステップ)。
例えば、表示制御部392は、ステップS205において、図3に示す画面W1を表示部32に表示させる。
この画面W1には、図3に示すように、最新のライブビュー画像データに対応するライブビュー画像W100と、指定画像の送信を要求する操作を受け付ける操作アイコンA1とが表示されている。
そして、カメラユーザXは、図3に示すように、当該画面W1のライブビュー画像W100を確認しながら、撮影する際の構図を設定することとなる。
続いて、表示側制御部39は、カメラユーザによる入力部31への領域指定操作があったか否かを判断する(ステップS206)。
領域指定操作がないと判断された場合(ステップS206:No)には、表示装置3は、ステップS214(位置関係判定処理)に移行する。
一方、領域指定操作があったと判断した場合(ステップS206:Yes)には、表示側制御部39は、以下の処理(ステップS207〜S213)を実行する。
ここで、ステップS207〜S213を説明する前に、図3を例に、カメラユーザが行う領域指定操作について説明する。
カメラユーザXは、ライブビュー画像W100を確認しながら撮影する際の構図を設定した後、撮影する際に重要となる領域をタッチパネル(入力部31)へのピンチ操作(領域指定操作)により指定する(図3の例では、ライブビュー画像W100中、被写体Yの顔に相当する領域Ar1と、被写体Zの顔に相当する領域Ar2が指定)。また、図3の例では、カメラユーザXは、領域指定操作を行いながら、言葉(「ここが重要」という言葉)を発している。
以上のような領域指定操作が行われることで、表示側制御部39は、ステップS206において、領域指定操作があったと判断する。
ステップS206で領域指定操作があったと判断された場合(ステップS206:Yes)には、関係判定部395は、後述する「位置関係判定処理(ステップS214)」を行うために必要な情報を取得する(ステップS207〜S210)。
具体的に、関係判定部395は、表示側撮像部34に被写体(図3の例では、カメラユーザX)を撮像(インカメラ撮像)させる(ステップS207)。そして、関係判定部395は、表示側撮像部34にて生成されたインカメラ画像データ(以下、第1インカメラ画像データと記載)を表示側メモリ部36に記憶する(ステップS208)。ここで、表示側メモリ部36に既に従前の第1インカメラ画像データが記憶されている場合には、当該第1インカメラ画像データは、ステップS208で記憶された最新の第1インカメラ画像データに更新される。
続いて、関係判定部395は、音声処理部352を一定期間、動作させ、音声データ(以下、第1音声データと記載)を生成させる(ステップS209)。そして、関係判定部395は、音声処理部352にて生成された第1音声データ(図3の例では、カメラユーザXにより発せられた言葉「ここが重要」に応じた音声データ)を表示側メモリ部36に記憶する(ステップS210)。
続いて、領域情報生成部394は、ステップS206で領域指定操作により指定された領域に関する領域情報(ライブビュー画像内での領域の位置を示す座標(画素位置)等)を生成し(ステップS211:領域情報生成ステップ)、当該生成した領域情報を表示側メモリ部36に記憶する(ステップS212)。ここで、表示側メモリ部36に既に従前の領域情報が記憶されている場合には、当該領域情報は、ステップS212で記憶した最新の領域情報に更新される。そして、表示側通信制御部391は、表示側通信部38を介して、表示側メモリ部36に記憶された領域情報を撮像装置2に送信する(ステップS213)。
なお、図6では、説明の便宜上、ステップS207,S208の後にステップS209,S210を実行し、ステップS209,S210の後にステップS211〜S213を実行する手順で図示しているが、実際には、ステップS207,S208と、ステップS209,S210と、ステップS211〜S213とは、並行して略同時に行われるものである。
続いて、関係判定部395は、以下に示す「位置関係判定処理」を実行する(ステップS214:関係判定ステップ)。なお、ステップS206で領域指定操作がないと判断された場合(ステップS206:No)でも同様のステップS214が実行される。
図7は、位置関係判定処理(ステップS214)を示すフローチャートである。
関係判定部395は、カメラユーザによる入力部31への手動操作(図3の例では、タッチパネル(入力部31)への操作により、操作アイコンA1がタッチ)があったか否かを判断する(ステップS214A)。
手動操作があったと判断した場合(ステップS214A:Yes)には、関係判定部395は、表示装置3とカメラユーザとの位置関係が変化したと判定する(ステップS214B)。この後、表示装置3は、図6に示したメインルーチンに戻る。
一方、手動操作がないと判断した場合(ステップS214A:No)には、関係判定部395は、表示側メモリ部36に記憶された第1インカメラ画像データ及び最新のライブビュー画像データを読み出す。そして、関係判定部395は、ライブビュー画像データに、第1インカメラ画像データに含まれる被写体像(図3の例では、カメラユーザXに相当する被写体像)と同一の被写体像が含まれているか否か(撮影者に相当する被写体像が含まれているか否か)を判断する(ステップS214C)。
例えば、図4では、カメラユーザXは、構図を設定(図3)した後、被写体Y,Zの側(撮像装置2の撮影範囲内)に移動している。すなわち、撮像装置2にて生成されたライブビュー画像データには、カメラユーザX(撮影者)に相当する被写体像が含まれることとなる。このため、関係判定部395は、撮影者に相当する被写体像が含まれていると判断し(ステップS214C:Yes)、ステップS214Bで表示装置3とカメラユーザとの位置関係が変化したと判定する。
一方、撮影者に相当する被写体像が含まれていないと判断した場合(ステップS214C:No)には、関係判定部395は、表示側撮像部34に被写体を撮像(インカメラ撮像)させる(ステップS214D)。そして、関係判定部395は、表示側撮像部34にて生成されたインカメラ画像データ(以下、第2インカメラ画像データと記載)を表示側メモリ部36に記憶する。
続いて、関係判定部395は、表示側メモリ部36に記憶された第1,第2インカメラ画像データにそれぞれ対応する第1,第2インカメラ画像を比較し、被写体像に変化があったか否か(インカメラ画像に変化があったか否か)を判断する(ステップS214E)。
例えば、図4では、カメラユーザXは、構図を設定(図3)した後、表示装置3を持って被写体Y,Zの側に移動し、当該表示装置3の前面(表示側撮像部34の光学系341が設けられた面)を自身に向けて当該表示装置3を地面に置いている。すなわち、表示装置3にて生成された第2インカメラ画像データには、カメラユーザXの他、被写体Y,Zに相当する被写体像が含まれ、カメラユーザXに相当する被写体像のみが含まれた第1インカメラ画像データとは異なるものとなる。このため、関係判定部395は、インカメラ画像に変化があったと判断し(ステップS214E:Yes)、ステップS214Bで表示装置3とカメラユーザとの位置関係が変化したと判定する。
一方、インカメラ画像に変化がないと判断した場合(ステップS214E:No)には、関係判定部395は、音声処理部352を一定期間、動作させ、音声データ(以下、第2音声データと記載)を生成させる(ステップS214F)。そして、関係判定部395は、音声処理部352にて生成された第2音声データを表示側メモリ部36に記憶する。
続いて、関係判定部395は、表示側メモリ部36に記憶された第1,第2音声データに基づく各音声(カメラユーザが発した音声)の信号レベルを比較し、第2音声データに基づく音声の信号レベルが第1音声データに基づく音声の信号レベルに対して低下したか否かを判断する(ステップS214G)。
例えば、図4では、カメラユーザXは、構図を設定(図3)した後、表示装置3を持って被写体Y,Zの側に移動し、自身から離れた位置に当該表示装置3を置いている。一方で、カメラユーザXは、構図を設定している際には、図3に示すように、表示装置3を手に持っており、当該表示装置3に近接した状態である。すなわち、図4の状態で表示装置3にて生成された第2音声データに基づく音声(カメラユーザXが発した音声)の信号レベルは、図3の状態で表示装置3にて生成された第1音声データに基づく音声(カメラユーザXが発した音声「ここが重要」)の信号レベルよりも低下したものとなる。このため、関係判定部395は、音声の信号レベルが低下したと判断し(ステップS214G:Yes)、ステップS214Bで表示装置3とカメラユーザとの位置関係が変化したと判定する。
一方、音声の信号レベルが低下していないと判断した場合(ステップS214G:No)には、表示装置3とカメラユーザとの位置関係が変化していないと判定する(ステップS214H)。この後、表示装置3は、図6に示したメインルーチンに戻る。
図6に戻って、「位置関係判定処理(ステップS214)」で表示装置3とカメラユーザとの位置関係が変化していないと判定された場合(ステップS214:No(ステップS214H))には、表示装置3は、ステップS219(撮影操作判定処理)に移行する。
一方、「位置関係判定処理(ステップS214)」で表示装置3とカメラユーザとの位置関係が変化したと判定された場合(ステップS214:Yes(ステップS214B))には、表示側撮像制御部393は、カメラユーザにより入力部31に対して領域指定操作が既に実施されたか否か(表示側メモリ部36に領域情報が記憶されているか否か)を判断する(ステップS215)。
領域指定操作が未だ実施されていないと判断された場合(ステップS215:No)には、表示装置3は、ステップS219(撮影操作判定処理)に移行する。
一方、領域指定操作が既に実施されたと判断した場合(ステップS215:Yes)には、表示側通信制御部391は、表示側通信部38を介して、撮像装置2に指定画像送信指示を送信する(ステップS216)。この後、表示装置3は、ステップS219(撮影操作判定処理)に移行する。
ステップS204でライブビュー画像データを受信していないと判断した場合(ステップS204:No)には、表示側通信制御部391は、表示側通信部38を介して、撮像装置2から指定画像データ(第1タイムスタンプを含む)を受信したか否かを判断する(ステップS217)。
指定画像データを受信していないと判断された場合(ステップS217:No)には、表示装置3は、ステップS219(撮影操作判定処理)に移行する。
一方、指定画像データを受信したと判断した場合(ステップS217:Yes)には、表示側通信制御部391は、当該受信した指定画像データ(第1タイムスタンプを含む)を表示側メモリ部36に記憶する。そして、表示制御部392は、表示側メモリ部36に記憶された最新の指定画像データに対応する指定画像を表示部32に拡大表示させる(ステップS218:第2表示ステップ)。この後、表示装置3は、ステップS219(撮影操作判定処理)に移行する。
例えば、表示制御部392は、ステップS218において、図4に示す画面W2を表示部32に表示させる。
この画面W2には、図4に示すように、領域指定操作で指定された第1領域Ar1(図3)に相当する第1指定画像W101と、領域指定操作で指定された第2領域Ar2(図3)に相当する第2指定画像W102とが表示されている。
そして、カメラユーザXは、図4に示すように、第1,第2指定画像W101,W102により、被写体Y,Zの各顔を確認しながら、撮影操作を行うこととなる。
ステップS218の後、表示側撮像制御部393は、以下に示す「撮影操作判定処理」を実行する(ステップS219)。なお、ステップS214で表示装置3とカメラユーザとの位置関係が変化していないと判定された場合(ステップS214:No(ステップS214H)、ステップS215で領域指定操作が未だ実施されていないと判断された場合(ステップS215:No)、ステップS216の後、及びステップS217で指定画像データを受信していないと判断された場合(ステップS217:No)でも同様のステップS219が実行される。
図8は、撮影操作判定処理(ステップS219)を示すフローチャートである。
表示側撮像制御部393は、カメラユーザによる入力部31への撮影を指示する手動操作(例えば、ボタンやスイッチの押下、タッチパネルへのタッチ等)があったか否かを判断する(ステップS219A)。
手動操作があったと判断した場合(ステップS219A:Yes)には、表示側撮像制御部393は、撮影操作があったと判定する(ステップS219B)。この後、表示装置3は、図6に示したメインルーチンに戻る。
一方、手動操作がないと判断した場合(ステップS219A:No)には、表示側撮像制御部393は、表示側メモリ部36に記憶された第1インカメラ画像データ及び最新のライブビュー画像データを読み出す。そして、表示側撮像制御部393は、ライブビュー画像データに、第1インカメラ画像データに含まれる被写体像(図3の例では、カメラユーザXに相当する被写体像)と同一の被写体像が含まれているか否か(撮影者に相当する被写体像が含まれているか否か)を判断する(ステップS219C)。
撮影者に相当する被写体像が含まれていないと判断された場合(ステップS219C:No)には、表示装置3は、ステップS219Eに移行する。
例えば、図4では、上述したように、撮像装置2にて生成されたライブビュー画像データには、カメラユーザX(撮影者)に相当する被写体像が含まれている。このため、表示側撮像制御部393は、撮影者に相当する被写体像が含まれていると判断し(ステップS219C:Yes)、ライブビュー画像データに含まれる撮影者に相当する被写体像が特定のジェスチャー(例えば、手の指で行うOKサインやピースサイン等のジェスチャー)を行っているか否かを判断する(ステップS219D)。
特定のジェスチャーを行っていると判断した場合(ステップS219D:Yes)には、表示側撮像制御部393は、ステップS219Bで撮影操作があったと判定する。
一方、特定のジェスチャーを行っていないと判断した場合(ステップS219D:No)には、表示側撮像制御部393は、音声処理部352を一定期間、動作させ、音声データを生成させる(ステップS219E)。そして、表示側撮像制御部393は、音声処理部352にて生成された音声データを表示側メモリ部36に記憶する。
続いて、表示側撮像制御部393は、表示側メモリ部36に記憶された音声データに特定の音声(例えば、「撮影」や「チーズ」等の音声)が含まれているか否かを判断する(ステップS219F)。
特定の音声が含まれていると判断した場合(ステップS219F:Yes)には、表示側撮像制御部393は、ステップS219Bで撮影操作があったと判定する。
一方、特定の音声が含まれていないと判断した場合(ステップS219F:No)には、表示側撮像制御部393は、撮影操作がないと判定する(ステップS219G)。この後、表示装置3は、図6に示したメインルーチンに戻る。
図6に戻って、ステップS219で撮影操作がないと判定された場合(ステップS219:No(ステップS219G))には、表示装置3は、ステップS201に戻る。
一方、ステップS219で撮影操作があったと判定した場合(ステップS219:Yes(ステップS219B))には、表示側撮像制御部393は、表示側通信部38を介して撮影指示(撮影により得られた撮影画像データの転送要求を含む)を撮像装置2に送信するとともに、撮像装置2から転送された撮影画像データ(第1タイムスタンプを含む)を画像データ記録部372に記録する(ステップS220)。
続いて、表示制御部392は、画像データ記録部372に記録された最新の撮影画像データに対応する撮影画像を表示部32に表示させる(ステップS221)。この後、表示装置3は、ステップS201に戻る。
以上説明した図6〜図8に示したフローが本発明に係る表示方法に相当する。
以上説明した本実施の形態1に係る撮像システム1では、表示装置3は、ライブビュー画像を表示している状態で、撮影者(カメラユーザ)による領域指定操作(第1のユーザ操作)を受け付けた場合に、当該領域指定操作に応じて指定されたライブビュー画像の一部の領域に関する領域情報を生成する。また、表示装置3は、カメラユーザが表示装置3に対して領域指定操作を行い、自身の顔から離れた位置に当該表示装置3を位置付けると、当該表示装置3とカメラユーザとの位置関係が変化したと判定する。そして、表示装置3は、ライブビュー画像における領域情報に基づく一部の領域の指定画像(図4の例では、被写体Y,Zの顔が拡大表示された第1,第2指定画像W101,W102)を拡大表示する。
このため、カメラユーザが撮像装置2及び表示装置3を利用して自身を被写体に含めて撮影を行う際、撮影画像に表示装置3が映り込まないように自身の顔から離れた位置に表示装置3を位置付けた場合であっても、自身で指定した領域の指定画像が表示装置3に拡大表示される。すなわち、カメラユーザは、当該指定画像を確認しながら最適なタイミング(図4の例では、被写体Y,Zが撮像装置2を向いているタイミングや、被写体Y,Zが目を閉じていないタイミング等)で表示装置3に対して撮影操作を実行することが可能となる。したがって、本実施の形態1に係る撮像システム1によれば、利便性の向上が図れる、という効果を奏する。
特に、カメラユーザは、表示装置3を確認しながら撮影操作を実行するため、撮影画像中のカメラユーザ(被写体像)がカメラ目線(撮像装置2への目線)となることがない。
また、本実施の形態1に係る表示装置3は、第1インカメラ画像データに含まれる被写体像と同一の被写体像がライブビュー画像データに含まれている場合、インカメラ画像に変化があった場合、及びカメラユーザが発した音声の信号レベルが低下した場合に、当該表示装置3とカメラユーザとの位置関係が変化したと判定する。
このため、画像データや音声データを利用して、表示装置3とカメラユーザとの位置関係の変化を効果的に判定することができる。
(実施の形態1の変形例)
上述した実施の形態1では、「位置関係判定処理(ステップS214)」として、第1インカメラ画像データに含まれる被写体像と同一の被写体像がライブビュー画像データに含まれているか否かの判定(ステップS214C)、インカメラ画像に変化があったか否かの判定(ステップS214D,S214E)、及びカメラユーザが発した音声の信号レベルが低下したか否かの判定(ステップS214F,S214G)の3つの判定を実行していたが、これに限られない。例えば、「位置関係判定処理」としては、当該3つの判定のうちいずれかの判定のみを実行する処理としても構わない。
上述した実施の形態1において、第1インカメラ画像データ及び第1音声データについては、上述した実施の形態1で説明したタイミング(ステップS207,S209)で取得する構成に限られず、予め取得しておく、すなわち、表示側記録部37に予め記録しておくように構成しても構わない。
(実施の形態2)
次に、本発明の実施の形態2について説明する。
以下の説明では、上述した実施の形態1と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
本実施の形態2に係る撮像システムでは、上述した実施の形態1で説明した撮像システム1に対して、表示装置3が実行していた「位置関係判定処理」を撮像装置2が実行するように構成されている。
〔撮像システムの構成〕
図9は、本実施の形態2に係る撮像システム1Aを示すブロック図である。
以下、本実施の形態2に係る撮像システム1Aを構成する撮像装置2A及び表示装置3Aの構成を順に説明する。
〔撮像装置の構成〕
本実施の形態2に係る撮像装置2Aは、上述した実施の形態1で説明した撮像装置2(図2)に対して、本体側制御部30の一部の機能が変更されている。
具体的に、本実施の形態2に係る撮像装置2Aを構成する本体側制御部30Aは、図9に示すように、上述した実施の形態1で説明した本体側制御部30に対して、本体側撮像制御部302及び画像抽出部303を備える他、本体側通信制御部301の一部の機能を変更した本体側通信制御部301Aと、関係判定部304とを備える。
本体側通信制御部301Aは、上述した実施の形態1で説明した本体側通信制御部301と同様の機能の他、本体側通信部29を介して、表示装置3Aから第1インカメラ画像データを受信する機能を有する。
関係判定部304は、上述した実施の形態1で説明した関係判定部395と略同様の機能を有する。
〔表示装置の構成〕
本実施の形態2に係る表示装置3Aは、上述した実施の形態1で説明した表示装置3(図2)に対して、音声データ生成部35が省略されているとともに(図9)、表示側制御部39の一部の機能が変更されている。
具体的に、本実施の形態2に係る表示装置3Aを構成する表示側制御部39Aは、図9に示すように、上述した実施の形態1で説明した表示側制御部39に対して、関係判定部395が省略され、表示制御部392、表示側撮像制御部393、及び領域情報生成部394を備える他、表示側通信制御部391の一部の機能を変更した表示側通信制御部391Aを備える。
表示側通信制御部391Aは、上述した実施の形態1で説明した表示側通信制御部391に対して、表示側通信部38を介して、指定画像送信指示を撮像装置2に送信する機能が省略されているとともに、表示側メモリ部36に記憶された第1インカメラ画像データを撮像装置2Aに送信する機能が追加されている。
〔撮像システムの動作〕
次に、本実施の形態2に係る撮像システム1Aの動作について説明する。
以下、本実施の形態2に係る撮像システム1Aを構成する撮像装置2A及び表示装置3Aの各動作を順に説明する。
〔撮像装置の動作〕
図10は、撮像装置2Aの動作を示すフローチャートである。
本実施の形態2に係る撮像装置2Aの動作は、図10に示すように、上述した実施の形態1で説明した撮像装置2の動作(図5)に対して、ステップS104を省略し、ステップS117〜S119を追加した点が異なるのみである。このため、以下では、ステップS117〜S119のみを説明する。
ステップS117は、ステップS103で表示装置3Aとの間で通信接続を確立していると判断された場合(ステップS103:Yes)に実行される。
具体的に、関係判定部304は、ステップS117において、以下に示す「位置関係判定処理」を実行する。
すなわち、関係判定部304は、後述するステップS118,S119にて撮像装置2Aから受信し表示側メモリ部36に記憶された第1インカメラ画像データを読み出すとともに、表示側メモリ部36に記憶された最新のライブビュー画像データを読み出す。また、関係判定部304は、上述した実施の形態1で説明したステップS214Cと同様に、ライブビュー画像データに、第1インカメラ画像データに含まれる被写体像と同一の被写体像が含まれているか否か(撮影者に相当する被写体像が含まれているか否か)を判断する。
そして、関係判定部304は、撮影者に相当する被写体像が含まれていると判断した場合には、表示装置3Aとカメラユーザとの位置関係が変化したと判定する(ステップS117:Yes)。この後、表示装置3Aは、ステップS108に移行する。
一方、関係判定部304は、撮影者に相当する被写体像が含まれていないと判断した場合には、表示装置3Aとカメラユーザとの位置関係が変化していないと判定する(ステップS117:No)。この後、表示装置3Aは、ステップS105に移行する。
ステップS118は、ステップS107の後に実行される。
具体的に、本体側通信制御部301Aは、ステップS118において、本体側通信部29を介して、表示装置3Aから第1インカメラ画像データを受信したか否かを判断する。
第1インカメラ画像データを受信していないと判断された場合(ステップS118:No)には、撮像装置2Aは、ステップS111に移行する。
一方、第1インカメラ画像データを受信したと判断した場合(ステップS118:Yes)には、本体側通信制御部301Aは、当該第1インカメラ画像データを本体側メモリ部27に記憶する(ステップS119)。ここで、本体側メモリ部27に既に従前の第1インカメラ画像データが記憶されている場合には、当該第1インカメラ画像データは、ステップS119で受信した最新の第1インカメラ画像データに更新される。この後、撮像装置2Aは、ステップS111に移行する。
以上説明した図10に示したフローが本発明に係る撮像方法に相当する。すなわち、ステップS102は、本発明に係る撮像ステップに相当する。ステップS105〜S107は、本発明に係る第1通信ステップに相当する。ステップS117は、本発明に係る関係判定ステップに相当する。ステップS109は、本発明に係る画像抽出ステップに相当する。ステップS110は、本発明に係る第2通信ステップに相当する。
〔表示装置の動作〕
図11は、表示装置3Aの動作を示すフローチャートである。
本実施の形態2に係る表示装置3Aの動作は、図11に示すように、上述した実施の形態1で説明した表示装置3の動作(図6)に対して、ステップS209,S210,S214〜S216を省略し、ステップS222を追加した点が異なるのみである。このため、以下では、ステップS222のみを説明する。
ステップS222は、表示側制御部39AにてステップS207,S208が実行された後に、実行される。
具体的に、表示側通信制御部391Aは、ステップS222において、表示側通信部38を介して、表示側メモリ部36に記憶された第1インカメラ画像データを撮像装置2Aに送信する。この後、表示装置3Aは、ステップS211に移行する。
以上説明した本実施の形態2に係る撮像システム1Aのように「位置関係判定処理」を撮像装置2Aが実行するように構成した場合であっても、上述した実施の形態1と同様の効果を奏する。
(実施の形態2の変形例)
上述した実施の形態2では、「位置関係判定処理(ステップS117)」として、第1インカメラ画像データに含まれる被写体像と同一の被写体像がライブビュー画像データに含まれているか否かの判定のみを実行していたが、これに限られない。例えば、「位置関係判定処理」として、上述した実施の形態1で説明したように、インカメラ画像に変化があったか否かの判定や、カメラユーザが発した音声の信号レベルが低下したか否かの判定を実行しても構わない。
(実施の形態3)
次に、本発明の実施の形態3について説明する。
以下の説明では、上述した実施の形態1と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
本実施の形態3に係る撮像システムでは、上述した実施の形態1で説明した撮像システム1に対して、撮像装置2が実行していた指定画像を抽出する機能を表示装置3が実行するように構成されている。
〔撮像システムの構成〕
図12は、本実施の形態3に係る撮像システム1Bを示すブロック図である。
以下、本実施の形態3に係る撮像システム1Bを構成する撮像装置2B及び表示装置3Bの構成を順に説明する。
〔撮像装置の構成〕
本実施の形態3に係る撮像装置2Bは、上述した実施の形態1で説明した撮像装置2(図2)に対して、本体側制御部30の一部の機能が変更されている。
具体的に、本実施の形態3に係る撮像装置2Bを構成する本体側制御部30Bは、図12に示すように、上述した実施の形態1で説明した本体側制御部30に対して、画像抽出部303が省略され、本体側撮像制御部302を備える他、本体側通信制御部301の一部の機能を変更した本体側通信制御部301Bを備える。
本体側通信制御部301Bは、上述した実施の形態1で説明した本体側通信制御部301に対して、本体側通信部29を介して、指定画像データを撮像装置2に送信する機能、領域情報及び指定画像送信指示を撮像装置2から受信する機能が省略されている。
〔表示装置の構成〕
本実施の形態3に係る表示装置3Bは、上述した実施の形態1で説明した表示装置3(図2)に対して、表示側制御部39Bの一部の機能が変更されている。
具体的に、本実施の形態3に係る表示装置3Bを構成する表示側制御部39Bは、図12に示すように、上述した実施の形態1で説明した表示側制御部39Bに対して、表示制御部392、表示側撮像制御部393、領域情報生成部394、及び関係判定部395を備える他、画像抽出部396と、表示側通信制御部391の一部の機能を変更した表示側通信制御部391Bを備える。
表示側通信制御部391Bは、上述した実施の形態1で説明した表示側通信制御部391に対して、表示側通信部38を介して、指定画像データを撮像装置2Bから受信する機能、並びに、撮像装置2Bに領域情報及び指定画像送信要求を送信する機能が省略されている。
画像抽出部396は、上述した実施の形態1で説明した画像抽出部303と略同様の機能を有する。
〔撮像システムの動作〕
次に、本実施の形態3に係る撮像システム1Bの動作について説明する。
以下、本実施の形態3に係る撮像システム1Bを構成する撮像装置2B及び表示装置3Bの各動作を順に説明する。
〔撮像装置の動作〕
図13は、撮像装置2Bの動作を示すフローチャートである。
本実施の形態3に係る撮像装置2Bの動作は、図13に示すように、上述した実施の形態1で説明した撮像装置2の動作(図5)に対して、ステップS104,S106〜S110を省略した点が異なるのみである。
なお、ステップS104,S106〜S110の省略に伴い、ステップS103で表示装置3Aとの間で通信接続が確立していると判断された場合(ステップS103:Yes)には、撮像装置2Aは、ステップS105に移行する。そして、ステップS105の後、撮像装置2Aは、ステップS111に移行する。
また、ステップS103で表示装置3Aとの間で通信接続が確立していないと判断された場合(ステップS103:No)には、撮像装置2Aは、ステップS112に移行する。
〔表示装置の動作〕
図14は、表示装置3Bの動作を示すフローチャートである。
本実施の形態4に係る表示装置3Bの動作は、図14に示すように、上述した実施の形態1で説明した表示装置3の動作(図6)に対して、ステップS213,S216,S217を省略し、ステップS223を追加した点が異なるのみである。このため、以下では、ステップS223のみを説明する。
なお、ステップS213,S216,S217の省略に伴い、ステップS204でライブビュー画像データを受信していないと判断された場合(ステップS204:No)には、表示装置3Bは、ステップS214に移行する。なお、表示装置3Bは、ステップS212の後にも、ステップS214に移行する。
ステップS223は、ステップS215で領域指定操作が既に実施されたと判断された場合(ステップS215:Yes)に実行される。
具体的に、画像抽出部396は、ステップS223において、表示側メモリ部36に記憶された最新のライブビュー画像データ及び領域情報を読み出す。そして、画像抽出部396は、当該読み出した最新のライブビュー画像データに対応するライブビュー画像から、当該読み出した領域情報に基づく一部の領域に相当する指定画像を抽出する。当該抽出された指定画像に対応する指定画像データは、当該指定画像の抽出に用いられたライブビュー画像データの第1タイムスタンプが付加されて表示側メモリ部36に記憶される。この後、表示装置3Bは、ステップS218に移行する。
以上説明した本実施の形態3に係る撮像システム1Bのように表示装置3Bが指定画像を抽出するように構成した場合であっても、上述した実施の形態1と同様の効果を奏する。
(実施の形態4)
次に、本発明の実施の形態4について説明する。
以下の説明では、上述した実施の形態1,3と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
本実施の形態4に係る撮像システムでは、上述した実施の形態1で説明した撮像システム1に対して、表示装置が互いに通信可能に複数、設けられ、いずれかの表示装置にて指定画像を表示するように構成されている。
〔撮像システムの構成〕
図15は、本実施の形態4に係る撮像システム1Cを示すブロック図である。
以下、本実施の形態4に係る撮像システム1Cを構成する撮像装置2C及び複数(本実施の形態4では、2つ)の表示装置3C1,3C2の構成を順に説明する。
〔撮像装置の構成〕
本実施の形態4に係る撮像装置2Cは、上述した実施の形態3で説明した撮像装置2B(図12)に対して、本体側制御部30Bの一部の機能が変更されている。
具体的に、本実施の形態3に係る撮像装置2Cを構成する本体側制御部30Cは、図15に示すように、上述した実施の形態1で説明した本体側制御部30Bに対して、本体側撮像制御部302を備える他、本体側通信制御部301Bの一部の機能を変更した本体側通信制御部301Cを備える。
本体側通信制御部301Cは、上述した実施の形態3で説明した本体側通信制御部301Bと同様の機能の他、本体側通信部29を介して、全ての表示装置3C1,3C2とそれぞれ通信接続を確立する機能を有する。そして、本体側通信制御部301Cは、全ての表示装置3C1,3C2とそれぞれ通信接続を確立した場合には、当該全ての表示装置3C1,3C2に対して、ライブビュー画像データをそれぞれ送信する。また、本体側通信制御部301Cは、撮影画像データについては、当該全ての表示装置3C1,3C2のうち、撮影指示を送信した送信元の表示装置に送信する。
〔表示装置の構成〕
本実施の形態4に係る表示装置3C1,3C2は、同一の構成を有する。このため、以下では、表示装置3C1の構成について説明する。
本実施の形態4に係る表示装置3C1は、上述した実施の形態3で説明した表示装置3B(図12)に対して、表示側制御部39Bの一部の機能が変更されている。
具体的に、本実施の形態4に係る表示装置3C1を構成する表示側制御部39Cは、図15に示すように、上述した実施の形態3で説明した表示側制御部39Bに対して、表示側通信制御部391B、表示制御部392、表示側撮像制御部393、領域情報生成部394、関係判定部395、及び画像抽出部396の一部の機能を変更した表示側通信制御部391C、表示制御部392C、表示側撮像制御部393C、領域情報生成部394C、関係判定部395C、及び画像抽出部396Cを備える。
表示側通信制御部391Cは、カメラユーザによる入力部31への操作により自身の表示装置3C1が通常通信モード(撮像装置2及び1つの表示装置3C1を利用して被写体像を撮影するモード)に設定されている場合には、上述した実施の形態3で説明した表示側通信制御部391Bがカメラ通信モード時に実行する処理と同様の処理を実行する。
一方、表示側通信制御部391Cは、カメラユーザによる入力部31への操作により自身の表示装置3C1が別機器使用モード(撮像装置2及び2つの表示装置3C1,3C2を利用して被写体像を撮影するモード)に設定されている場合には、上述した通常通信モード時に実行する処理と同様の処理を実行する他、以下の処理を実行する。
すなわち、表示側通信制御部391Cは、表示側記録部37に記録された他の表示装置3C2の通信仕様情報に基づいて、表示側通信部38を介して、他の表示装置3C2との間でWi−Fi(登録商標)等の通信方式による通信接続を確立する。そして、表示側通信制御部391Cは、カメラユーザによる入力部31への操作により自身の表示装置3C1が指定画像を表示する機器(指定画像表示機器)に設定されている場合に、表示側通信部38を介して、他の表示装置3C2にて生成された領域情報を当該他の表示装置3C2から受信する。一方、表示側通信制御部391Cは、カメラユーザによる入力部31への操作により自身の表示装置3C1が指定画像表示機器に設定されていない(以下、指定画像非表示機器と記載)場合に、表示側通信部38を介して、領域情報生成部394にて生成された領域情報を他の表示装置3C2に送信する。
表示制御部392Cは、自身の表示装置3C1が「通常通信モード」に設定されている場合には、上述した実施の形態3で説明した表示制御部392がカメラ通信モード時に実行する処理と同様の処理を実行する。
また、表示制御部392Cは、自身の表示装置3C1が「別機器使用モード」で「指定画像表示機器」に設定されている場合には、上述した通常通信モード時に実行する処理のうち、ライブビュー画像及び撮影画像の表示処理を実行せずに、指定画像及び初期画面の表示処理を実行する。一方、表示制御部392Cは、自身の表示装置3C1が「別機器使用モード」で「指定画像非表示機器」に設定されている場合には、上述した通常通信モード時に実行する処理のうち、指定画像の表示処理を実行せずに、ライブビュー画像、撮影画像、及び初期画面の表示処理を実行する。
表示側撮像制御部393C、領域情報生成部394C、及び関係判定部395Cは、自身の表示装置3C1が「通常通信モード」に設定されている場合、及び自身の表示装置3C1が「別機器使用モード」で「指定画像非表示機器」に設定されている場合に、上述した実施の形態3で説明した表示側撮像制御部393B、領域情報生成部394、及び関係判定部395がカメラ通信モード時に実行する各処理とそれぞれ同様の処理を実行する。すなわち、表示側撮像制御部393C、領域情報生成部394C、及び関係判定部395Cは、自身の表示装置3C1が「別機器使用モード」で「指定画像表示機器」に設定されている場合には、当該処理を実行しない。
画像抽出部396Cは、自身の表示装置3C1が「通常通信モード」に設定されている場合、及び自身の表示装置3C1が「別機器使用モード」で「指定画像表示機器」に設定されている場合に、上述した実施の形態3で説明した画像抽出部396がカメラ通信モード時に実行する処理と同様の処理を実行する。すなわち、画像抽出部396Cは、自身の表示装置3C1が「別機器使用モード」で「指定画像非表示機器」に設定されている場合には、当該処理を実行しない。
〔撮像システムの動作〕
次に、本実施の形態4に係る撮像システム1Cの動作について説明する。
図16及び図17は、撮像システム1Cの使用態様の一例を示す図である。具体的に、図16は、図3に対応し、カメラユーザXが撮像システム1Cを利用して被写体Y,Zを撮影する前に、撮像装置2C及び表示装置3C1を三脚5で固定し、表示装置3C1に表示されている画像を見ながら構図を設定している状況を示している。図17は、図4に対応し、カメラユーザXが構図を設定(図16)した後、表示装置3C2に表示された指定画像を確認しながら、カメラユーザX、被写体Y,Zを被写体として撮影を行う状況を示している。ここで、表示装置3C2は、撮像装置2Cの撮影範囲外に置かれている。また、図16及び図17において、表示装置3C1は「別機器使用モード」で「指定画像非表示機器」に設定され、表示装置3C2は「別機器使用モード」で「指定画像表示機器」に設定されている。
なお、撮像装置2Cの動作は、上述した実施の形態3で説明した撮像装置2Bの動作と略同様である。また、2つの表示装置3C1,3C2の各動作は、同一である。このため、以下では、表示装置3C1の動作のみを説明する。
〔表示装置の動作〕
図18及び図19は、表示装置3C1の動作を示すフローチャートである。
本実施の形態4に係る表示装置3C1の動作は、図18及び図19に示すように、上述した実施の形態3で説明した表示装置3Bの動作(図14)に対して、ステップS224〜S256を追加した点が異なるのみである。このため、以下では、ステップS224〜S256のみを説明する。
ステップS224は、ステップS201で表示装置3の電源がオンになった場合(ステップS201:Yes)に実行される。
具体的に、表示制御部392Cは、ステップS224において、各種モード(通常通信モード及び別機器使用モード)の選択を促す初期画面を表示部32に表示させる。
続いて、表示側制御部39Cは、カメラユーザによる入力部31への操作により、「通常通信モード」が選択されたか否かを判断する(ステップS225)。
「通常通信モード」が選択されたと判断された場合(ステップS225:Yes)には、表示装置3C1は、ステップS202に移行する。
一方、「通常通信モード」が選択されていないと判断された場合(ステップS225:No)には、表示装置3C1は、ステップS227に移行する。
ステップS226は、ステップS221の後、または、ステップS219で撮影操作がないと判定された場合(ステップS219:No(ステップS219G))に実行される。
具体的に、表示側制御部39Cは、ステップS226において、カメラユーザによる入力部31への初期画面の表示操作があったか否かを判断する。
初期画面の表示操作があったと判断された場合(ステップS226:Yes)には、表示装置3C1は、ステップS201に戻り、ステップS224で初期画面を表示する。
一方、初期画面の表示操作がないと判断された場合(ステップS226:No)には、表示装置3C1は、ステップS202に戻り、既に設定されたモード(通常通信モード)を継続する。なお、ステップS203で撮像装置2Cとの間で通信接続が確立していないと判断された場合(ステップS203:No)も同様に、表示装置3C1は、ステップS202に戻る。
ステップS227は、ステップS225で「通常通信モード」が選択されていないと判断された場合(ステップS225:No)に実行される。
具体的に、表示側制御部39Cは、ステップS227において、カメラユーザによる入力部31への操作により、「別機器使用モード」が選択されたか否かを判断する。
「別機器使用モード」が選択されていないと判断された場合(ステップS227:No)には、表示装置3C1は、ステップS201に戻る。
一方、「別機器使用モード」が選択されたと判断された場合(ステップS227:Yes)には、表示側制御部39Cは、カメラユーザによる入力部31への操作により、表示装置3C1が「指定画像表示機器」に設定されたか否かを判断する(ステップS228)。
「指定画像非表示機器」に設定されたと判断された場合(ステップS228:No)には、表示装置3C1は、通常通信モード時でのステップS202〜S212,S214,S215と同様のステップS229〜S241を実行する。
ステップS241で領域指定操作が未だ実施されていないと判断された場合(ステップS241:No)には、表示装置3C1は、ステップS244に移行する。
一方、ステップS241で領域指定操作が既に実施されたと判断された場合(ステップS241:Yes)には、表示側通信制御部391Cは、表示側通信部38を介して、他の表示装置3C2との間で通信接続を開始し、当該通信接続を確立する(ステップS242)。
続いて、表示側通信制御部391Cは、表示側通信部38を介して、表示側メモリ部36に記憶された領域情報を撮像装置2Cに送信する(ステップS243)。
続いて、表示装置3C1は、通常通信モード時でのステップS219〜S221,S226と同様のステップS244〜S246,S247を実行する。
初期画面の表示操作があったと判断された場合(ステップS247:Yes)には、表示装置3C1は、ステップS201に戻り、ステップS224で初期画面を表示する。
一方、初期画面の表示操作がないと判断された場合(ステップS247:No)には、表示装置3C1は、ステップS229に戻り、既に設定されたモード(別機器使用モード)を継続する。なお、ステップS230で撮像装置2Cとの間で通信接続が確立していないと判断された場合(ステップS230:No)も同様に、表示装置3C1は、ステップS229に戻る。
ステップS248は、ステップS228で「指定画像表示機器」に設定されたと判断された場合(ステップS228:Yes)に実行される。
具体的に、表示側通信制御部391Cは、ステップS248において、表示側通信部38を介して、撮像装置2C及び他の表示装置3C2との間で通信接続を開始する。
続いて、表示側通信制御部391Cは、表示側通信部38を介して撮像装置2Cとの間で通信接続を確立したか否かを判断する(ステップS249)。
撮像装置2Cとの間で通信接続を確立していないと判断された場合(ステップS249:No)には、表示装置3C1は、ステップS248に戻る。
一方、撮像装置2Cとの間で通信接続を確立したと判断した場合(ステップS249:Yes)には、表示側通信制御部391Cは、表示側通信部38を介して、撮像装置2Cからライブビュー画像データ(第1タイムスタンプを含む)を受信したか否かを判断する(ステップS250)。
ライブビュー画像データを受信していないと判断された場合(ステップS250:No)には、表示装置3C1は、ステップS248に戻る。
一方、ライブビュー画像データを受信したと判断した場合(ステップS250:Yes)には、表示側通信制御部391Cは、表示側通信部38を介して他の表示装置3C2との間で通信接続を確立したか否かを判断する(ステップS251)。
他の表示装置3C2との間で通信接続を確立していないと判断された場合(ステップS251:No)には、表示装置3C1は、ステップS248に戻る。
一方、他の表示装置3C2との間で通信接続を確立したと判断した場合(ステップS251:Yes)には、表示側通信制御部391Cは、表示側通信部38を介して、他の表示装置3C2から領域情報を受信したか否かを判断する(ステップS252)。
領域情報を受信していないと判断された場合(ステップS252:No)には、表示装置2C1は、ステップS248に戻る。
一方、領域情報を受信したと判断した場合(ステップS252:Yes)には、表示側通信制御部391Cは、当該領域情報を表示側メモリ部36に記憶する(ステップS253)。ここで、表示側メモリ部36に既に従前の領域情報が記憶されている場合には、当該領域情報は、ステップS253で受信した最新の領域情報に更新される。
続いて、表示装置3C1は、通常通信モード時でのステップS223,S218と同様のステップS254,S255を実行する。
続いて、表示側制御部39Cは、カメラユーザによる入力部31への初期画面の表示操作があったか否かを判断する(ステップS256)。
初期画面の表示操作があったと判断された場合(ステップS256:Yes)には、表示装置3C1は、ステップS201に戻り、ステップS224で初期画面を表示する。
一方、初期画面の表示操作がないと判断された場合(ステップS256:No)には、表示装置3C1は、ステップS248に戻り、既に設定されたモード(別機器使用モード)を継続する。
図16及び図17の例では、表示装置3C1は、「別機器使用モード」で「指定画像非表示機器」に設定されている。このため、表示装置3C1は、図17に示すように、当該表示装置3C1とカメラユーザXとの位置関係が変化した場合(図16に示した状況から図17に示した状況への変化)であっても、指定画像を表示することはない。
一方、表示装置3C2は、「別機器使用モード」で「指定画像表示機器」に設定されている。このため、表示装置3C2は、図17に示すように、表示装置3C1とカメラユーザXとの位置関係が変化した場合には、カメラユーザXによる表示装置3C1への領域指定操作に応じた一部の領域Ar1,Ar2(図16)に相当する指定画像W101,W102を表示することとなる。
上述した本実施の形態4に係る撮像システム1Cによれば、上述した実施の形態1,3と同様の効果の他、以下の効果を奏する。
すなわち、本実施の形態4に係る撮像システム1Cでは、表示装置3C1,3C2が互いに通信可能に複数、設けられ、いずれかの表示装置にて指定画像を表示する。
このため、カメラユーザは、アタッチメント4を利用して撮像装置2Cと表示装置3C1を一体化した状態で構図を設定(例えば、図16に示した状態)した後、自身を被写体に含めて撮影を行う際、表示装置3C2から指定画像を確認すればよく、アタッチメント4から表示装置3C1を取り外す必要がない。このため、利便性の向上がさらに図れる。
(その他の実施の形態)
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態1〜4によってのみ限定されるべきものではない。
図20及び図21は、本実施の形態1〜4の変形例を示す図である。
上述した実施の形態1〜4では、表示装置3,3A,3B,3C1,3C2は、指定画像を拡大表示する際、当該指定画像のみを画面内に表示(図4の例では、指定画像W101,W102のみを画面W2に表示)していたが、これに限られない。例えば、図20及び図21に示す表示装置3D(撮像システム1D)のように、領域指定操作により指定された領域Ar1(図20)に相当する指定画像W101(図21)をライブビュー画像W100に重畳した画面W3(図21)を表示するように構成しても構わない。
このように構成すると、カメラユーザXとは異なる別の撮影者Vに撮影を任せた場合であっても、当該撮影者Vは、画面W3により構図を確認しながら、カメラユーザXが重要と判断した領域の指定画像W101も確認することができる。したがって、撮影者Vは、最適なタイミングで撮影操作を行うことができる。すなわち、別の撮影者Vに撮影を任せた場合であっても、カメラユーザXは、自身の望む撮影画像を得ることができる。
また、処理フローは、上述した実施の形態1〜4で説明したフローチャートにおける処理の順序に限られず、矛盾のない範囲で変更しても構わない。
さらに、本明細書においてフローチャートを用いて説明した処理のアルゴリズムは、プログラムとして記述することが可能である。このようなプログラムは、コンピュータ内部の記録部に記録してもよいし、コンピュータ読み取り可能な記録媒体に記録してもよい。プログラムの記録部または記録媒体への記録は、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。
上述した実施の形態1〜4、図20及び図21に示した変形例では、撮像装置2,2A〜2Cと表示装置3,3A,3B,3C1,3Dとを別体で構成していたが、これに限られず、撮像装置2,2A〜2Cの機能と表示装置3,3A,3B,3C1,3Dの機能とを一体化した表示装置として構成しても構わない。また、上述した実施の形態1〜4、図20及び図21に示した変形例には、以下に示す付記項に記載の発明も含まれるものである。ここで、関係判定部395,395Cは、付記項3に記載のユーザ画像判定部としての機能を有する。また、領域情報生成部394,394Cは、付記項4に記載の判定部としての機能を有する。
[付記項1]
画像を表示する表示装置において、
撮像部と、
画像を表示する表示部と、
ユーザ操作を受け付ける操作受付部と、
前記撮像部にて撮像された第1画像データに対応する第1画像が前記表示部に表示されている状態で、前記操作受付部が前記第1画像の一部の領域を指定する第1のユーザ操作を受け付けた場合に、当該一部の領域に関する領域情報を生成する領域情報生成部と、
前記第1画像における前記領域情報に基づく一部の領域の指定画像を前記表示部に拡大表示させる表示制御部とを備える
ことを特徴とする表示装置。
[付記項2]
前記拡大表示は、
ユーザと当該表示装置との位置によって切り替わる
ことを特徴とする付記項1に記載の表示装置。
[付記項3]
画像を表示する表示装置において、
画像を表示する表示部と、
前記表示部を観察するユーザの画像をモニタ可能なユーザ画像判定部と、
前記ユーザ画像判定部による判定結果に基づいて、前記表示部の表示態様を変更可能な表示制御部とを備える
ことを特徴とする表示装置。
[付記項4]
前記ユーザによる前記表示部上の指定操作を判定する判定部を有し、
前記表示制御部は、
前記判定部による判定結果に基づいて、表示画像の一部を拡大表示可能な表示態様に変更する
ことを特徴とする付記項3に記載の表示装置。
[付記項5]
画像を表示する表示装置において、
撮像部と、
画像を表示する表示部と、
ユーザ操作を受け付ける操作受付部と、
前記撮像部にて撮像された第1画像データに対応する第1画像が前記表示部に表示されている状態で、前記操作受付部が前記第1画像の一部の領域を指定する第1のユーザ操作を受け付けた場合に、当該一部の領域に関する領域情報を生成する領域情報生成部と、
当該表示装置と撮影者との位置関係を判定する関係判定部と、
前記関係判定部にて前記位置関係が変化したと判定された場合に、前記第1画像における前記領域情報に基づく一部の領域の指定画像を前記表示部に拡大表示させる表示制御部とを備える
ことを特徴とする表示装置。
1,1A〜1D・・・撮像システム;2,2A〜2C・・・撮像装置;3,3A,3B,3C1,3C2,3D・・・表示装置;4・・・アタッチメント;4A・・・取付用孔;5・・・三脚;20・・・レンズ鏡筒;21・・・光学系;22・・・駆動部;23・・・位置検出部;24・・・操作部;25・・・本体側時計部;26・・・本体側撮像部;27・・・本体側メモリ部;28・・・本体側記録部;29・・・本体側通信部;30,30A〜30C・・・本体側制御部;31・・・入力部;32・・・表示部;33・・・表示側時計部;34・・・表示側撮像部;35・・・音声データ生成部;36・・・表示側メモリ部;37・・・表示側記録部;38・・・表示側通信部;39,39A〜39C・・・表示側制御部;211・・・ズームレンズ;212・・・フォーカスレンズ;221・・・ズーム駆動部;222・・・フォーカス駆動部;231・・・ズーム位置検出部;232・・・フォーカス位置検出部;301,301A〜301C・・・本体側通信制御部;302・・・本体側撮像制御部;303・・・画像抽出部;304・・・関係判定部;341・・・光学系;351・・・音声入力部;352・・・音声処理部;371・・・プログラム記録部;372・・・画像データ記録部;391,391A〜391C・・・表示側通信制御部;392,392C・・・表示制御部;393,393C・・・表示側撮像制御部;394,394C・・・領域情報生成部;395,395C・・・関係判定部;396,396C・・・画像抽出部;A1・・・操作アイコン;Ar1,Ar2・・・領域;V・・・別の撮影者;W1〜W3・・・画面;W100・・・ライブビュー画像;W101,W102・・・指定画像;X・・・カメラユーザ;Y,Z・・・被写体

Claims (17)

  1. 画像を表示する表示装置において、
    外部の撮像装置との間で通信を行う表示側通信部と、
    前記表示側通信部を介して、前記撮像装置にて撮像された第1画像データを前記撮像装置から受信する表示側通信制御部と、
    画像を表示する表示部と、
    前記表示側通信部を介して前記撮像装置から受信した前記第1画像データに対応する第1画像を前記表示部に表示させる表示制御部と、
    ユーザ操作を受け付ける操作受付部と、
    前記第1画像が前記表示部に表示されている状態で、前記操作受付部が前記撮像装置の撮影者による前記第1画像の一部の領域を指定する第1のユーザ操作を受け付けた場合に、当該一部の領域に関する領域情報を生成する領域情報生成部と、
    当該表示装置と前記撮影者との位置関係を判定する関係判定部とを備え、
    前記表示制御部は、
    前記関係判定部にて前記位置関係が変化したと判定された場合に、前記第1画像における前記領域情報に基づく一部の領域の指定画像を前記表示部に拡大表示させる
    ことを特徴とする表示装置。
  2. 前記撮影者を被写体として撮像し、インカメラ画像データを生成する表示側撮像部を備え、
    前記関係判定部は、
    前記表示側撮像部にて生成された前記インカメラ画像データに基づいて、前記位置関係が変化したか否かを判定する
    ことを特徴とする請求項1に記載の表示装置。
  3. 前記関係判定部は、
    前記表示側通信部を介して前記撮像装置から受信した前記第1画像データに、前記操作受付部が前記第1のユーザ操作を受け付けた際に前記表示側撮像部にて生成された前記インカメラ画像データに含まれる前記撮影者に相当する被写体像が含まれている場合に、前記位置関係が変化したと判定する
    ことを特徴とする請求項2に記載の表示装置。
  4. 前記関係判定部は、
    前記操作受付部が前記第1のユーザ操作を受け付けた際に前記表示側撮像部にて生成された第1の前記インカメラ画像データと、前記操作受付部が前記第1のユーザ操作を受け付けた後に前記表示側撮像部にて生成された第2の前記インカメラ画像データとを比較して、前記位置関係が変化したか否かを判定する
    ことを特徴とする請求項2に記載の表示装置。
  5. 入力した音声に基づいて、音声データを生成する音声データ生成部を備え、
    前記関係判定部は、
    前記音声データ生成部にて生成された前記音声データに基づいて、前記位置関係が変化したか否かを判定する
    ことを特徴とする請求項1に記載の表示装置。
  6. 前記関係判定部は、
    前記操作受付部が前記第1のユーザ操作を受け付けた際に前記音声データ生成部にて生成された第1の前記音声データと、前記操作受付部が前記第1のユーザ操作を受け付けた後に前記音声データ生成部にて生成された第2の前記音声データとを比較して、前記位置関係が変化したか否かを判定する
    ことを特徴とする請求項5に記載の表示装置。
  7. 前記表示側通信制御部は、
    前記操作受付部が前記第1のユーザ操作を受け付けた場合に、前記表示側通信部を介して、前記領域情報を前記撮像装置に送信し、
    前記関係判定部にて前記位置関係が変化したと判定された場合に、前記表示側通信部を介して、前記撮像装置に前記指定画像に対応する指定画像データの送信を要求する指定画像送信指示を送信するとともに、当該指定画像データを受信し、
    前記表示制御部は、
    前記表示側通信部を介して前記撮像装置から受信した前記指定画像データに対応する前記指定画像を前記表示部に拡大表示させる
    ことを特徴とする請求項1〜6のいずれか一つに記載の表示装置。
  8. 前記関係判定部にて前記位置関係が変化したと判定された場合に、前記第1画像データに対応する前記第1画像から前記領域情報に基づく一部の領域の前記指定画像を抽出する画像抽出部を備え、
    前記表示制御部は、
    前記画像抽出部にて抽出された前記指定画像を前記表示部に拡大表示させる
    ことを特徴とする請求項1〜6のいずれか一つに記載の表示装置。
  9. 当該表示装置は、
    複数、設けられ、
    複数の前記表示装置は、
    互いに情報を送受信可能に接続し、いずれかの前記表示装置にて前記指定画像を拡大表示する
    ことを特徴とする請求項1〜8のいずれか一つに記載の表示装置。
  10. 請求項1〜9のいずれか一つに記載の表示装置と、
    前記表示装置との間で通信を行う撮像装置とを備える
    ことを特徴とする撮像システム。
  11. 被写体を撮像する撮像装置において、
    被写体を撮像して第1画像データを生成する本体側撮像部と、
    外部の表示装置との間で通信を行う本体側通信部と、
    前記本体側通信部を介して、前記第1画像データを前記表示装置に送信するとともに、前記第1画像データに対応する第1画像の一部の領域に関する領域情報を前記表示装置から受信する本体側通信制御部と、
    前記表示装置と当該撮像装置の撮影者との位置関係を判定する関係判定部と、
    前記関係判定部にて前記位置関係が変化したと判定された場合に、前記第1画像データに対応する前記第1画像から前記領域情報に基づく一部の領域の指定画像を抽出し、前記指定画像に対応する指定画像データを生成する画像抽出部とを備え、
    前記本体側通信制御部は、
    前記本体側通信部を介して、前記指定画像データを前記表示装置に送信する
    ことを特徴とする撮像装置。
  12. 前記本体側通信制御部は、
    前記本体側通信部を介して、前記撮影者を被写体像に含むインカメラ画像データを前記表示装置から受信し、
    前記関係判定部は、
    前記第1画像データに、前記インカメラ画像データに含まれる前記被写体像に相当する被写体像が含まれている場合に、前記位置関係が変化したと判定する
    ことを特徴とする請求項11に記載の撮像装置。
  13. 請求項11または12に記載の撮像装置と、
    前記撮像装置との間で通信を行う表示装置とを備える
    ことを特徴とする撮像システム。
  14. 画像を表示する表示装置が行う表示方法において、
    外部の撮像装置から受信した第1画像データに対応する第1画像を表示する第1表示ステップと、
    前記第1画像を表示している状態で、前記撮像装置の撮影者による前記第1画像の一部の領域を指定する第1のユーザ操作を受け付けた場合に、当該一部の領域に関する領域情報を生成する領域情報生成ステップと、
    前記表示装置と前記撮影者との位置関係を判定する関係判定ステップと、
    前記関係判定ステップにて前記位置関係が変化したと判定した場合に、前記第1画像における前記領域情報に基づく一部の領域の指定画像を拡大表示する第2表示ステップとを含む
    ことを特徴とする表示方法。
  15. 請求項14に記載の表示方法を表示装置に実行させる
    ことを特徴とする表示プログラム。
  16. 被写体を撮像する撮像装置が行う撮像方法において、
    被写体を撮像して第1画像データを生成する撮像ステップと、
    前記第1画像データを外部の表示装置に送信するとともに、前記第1画像データに対応する第1画像の一部の領域に関する領域情報を前記表示装置から受信する第1通信ステップと、
    前記表示装置と前記撮像装置の撮影者との位置関係を判定する関係判定ステップと、
    前記関係判定ステップにて前記位置関係が変化したと判定した場合に、前記第1画像データに対応する前記第1画像から前記領域情報に基づく一部の領域の指定画像を抽出し、前記指定画像に対応する指定画像データを生成する画像抽出ステップと、
    前記指定画像データを前記表示装置に送信する第2通信ステップとを含む
    ことを特徴とする撮像方法。
  17. 請求項16に記載の撮像方法を撮像装置に実行させる
    ことを特徴とする撮像プログラム。
JP2014100480A 2014-05-14 2014-05-14 表示装置、撮像装置、撮像システム、表示方法、撮像方法、表示プログラム、及び撮像プログラム Active JP6270619B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014100480A JP6270619B2 (ja) 2014-05-14 2014-05-14 表示装置、撮像装置、撮像システム、表示方法、撮像方法、表示プログラム、及び撮像プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014100480A JP6270619B2 (ja) 2014-05-14 2014-05-14 表示装置、撮像装置、撮像システム、表示方法、撮像方法、表示プログラム、及び撮像プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017249746A Division JP2018101979A (ja) 2017-12-26 2017-12-26 表示装置、表示方法、及び表示プログラム

Publications (2)

Publication Number Publication Date
JP2015220488A JP2015220488A (ja) 2015-12-07
JP6270619B2 true JP6270619B2 (ja) 2018-01-31

Family

ID=54779587

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014100480A Active JP6270619B2 (ja) 2014-05-14 2014-05-14 表示装置、撮像装置、撮像システム、表示方法、撮像方法、表示プログラム、及び撮像プログラム

Country Status (1)

Country Link
JP (1) JP6270619B2 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0572608A (ja) * 1991-09-11 1993-03-26 Kyocera Corp カメラとそのリモ−トコントロ−ラ
JP3956710B2 (ja) * 2002-01-30 2007-08-08 株式会社ニコン 画像処理装置及び画像処理方法
JP2008294954A (ja) * 2007-05-28 2008-12-04 Nikon Corp カメラシステム及び遠隔操作装置
JP2011211391A (ja) * 2010-03-29 2011-10-20 Nikon Corp 撮影依頼端末、撮像装置、撮影依頼端末の制御プログラムおよび撮像装置の制御プログラム
JP2014060500A (ja) * 2012-09-14 2014-04-03 Canon Inc 表示制御装置、撮像装置

Also Published As

Publication number Publication date
JP2015220488A (ja) 2015-12-07

Similar Documents

Publication Publication Date Title
US10375296B2 (en) Methods apparatuses, and storage mediums for adjusting camera shooting angle
KR101675247B1 (ko) 촬영 제어 방법, 장치, 프로그램 및 저장매체
US20170091551A1 (en) Method and apparatus for controlling electronic device
KR101733582B1 (ko) 라우터 설정 인터페이스 표시 방법, 장치, 프로그램 및 기록매체
US9742995B2 (en) Receiver-controlled panoramic view video share
TWI656794B (zh) 對焦方法、裝置、電腦可讀儲存媒體和終端
EP2985994B1 (en) Method and apparatus for backing up videos and medium
EP2991336A1 (en) Image capturing method and apparatus
EP3125152B1 (en) Method and device for collecting sounds corresponding to surveillance images
KR20160086752A (ko) 기기 네트워킹 방법, 장치, 프로그램 및 기록매체
US20160255521A1 (en) Method and apparatus for testing a smart device
CN107959795B (zh) 一种信息采集方法、设备和计算机可读存储介质
US20170063758A1 (en) Method, device, terminal, and router for sending message
KR101684203B1 (ko) 스트림 미디어 데이터를 방송하기 위한 방법 및 장치
EP3113071A1 (en) Method and device for acquiring iris image
JP6481225B2 (ja) 情報端末装置、情報支援方法及び情報支援プログラム
JP6351356B2 (ja) 携帯機器、画像供給装置、画像表示装置、撮像システム、画像表示システム、画像取得方法、画像供給方法、画像表示方法、画像取得プログラム、画像供給プログラム、及び画像表示プログラム
JP6370056B2 (ja) 撮像装置、通信機器、及び撮像方法
EP3026876A1 (en) Method for acquiring recommending information, terminal and server
CN114009003A (zh) 图像采集方法、装置、设备及存储介质
CN106341602A (zh) 全景图像的生成方法及装置
JP2017069618A (ja) 電子機器及び撮像方法
US20170339513A1 (en) Detecting method and apparatus, and storage medium
CN105959594A (zh) 摄影设备的测光方法及装置
US20160295118A1 (en) Method and apparatus for displaying framing information

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171226

R150 Certificate of patent or registration of utility model

Ref document number: 6270619

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250