JP6250696B2 - ネットワーク環境における画像取込みデバイス - Google Patents

ネットワーク環境における画像取込みデバイス Download PDF

Info

Publication number
JP6250696B2
JP6250696B2 JP2015546485A JP2015546485A JP6250696B2 JP 6250696 B2 JP6250696 B2 JP 6250696B2 JP 2015546485 A JP2015546485 A JP 2015546485A JP 2015546485 A JP2015546485 A JP 2015546485A JP 6250696 B2 JP6250696 B2 JP 6250696B2
Authority
JP
Japan
Prior art keywords
image capture
capture device
illumination
image
lighting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015546485A
Other languages
English (en)
Other versions
JP2016503253A (ja
JP2016503253A5 (ja
Inventor
ガネシュ、シュリラム
フォルタンプーア、ババク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2016503253A publication Critical patent/JP2016503253A/ja
Publication of JP2016503253A5 publication Critical patent/JP2016503253A5/ja
Application granted granted Critical
Publication of JP6250696B2 publication Critical patent/JP6250696B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Stroboscope Apparatuses (AREA)

Description

[0001]本実施形態は撮像デバイスに関し、詳細にはネットワーク環境で画像取込みデバイスを使用するための方法および装置に関する。
[0002]ディジタル撮像機能が、ディジタルカメラ、タブレットコンピュータおよびモバイルフォンを含む広範なデバイスに組み込まれている。ディジタル撮像デバイスまたは画像取込みシステムは、静止画像やビデオを取り込むデバイスを含むような1枚または複数枚のディジタル画像の取込みが可能な任意のデバイスを指し示すことが可能である。このようなデバイスは目標の画像シーンや対象を照らすことを目的としてフラッシュ照明技術を利用するのが一般的である。多くのディジタル撮像デバイスは、そのデバイス本体内に内蔵された組込み式のフラッシュを有しており、また一部のものは遠隔式のフラッシュ照明デバイスの制御を可能とし得る。
[0003]撮像デバイスとディジタル処理技術を一体化することによって、より強力かつ使用が容易な写真製品が可能となるとともに、デバイスによる画像データの取込みおよび強調、さらにはネットワークへの接続が可能となった。たとえばディジタル撮像技術は、ワイヤレスネットワーク接続も有するモバイルフォン、ラップトップまたはタブレットコンピュータなどのモバイルコンピューティングデバイスに組み込まれることがあり、またディジタルカメラにもワイヤレス通信が設けられることがある。既存の方式では、目標のシーンや対象の照明を内蔵式または遠隔式のフラッシュ照明デバイスに対する制御を通じて実現している。しかしこのようなデバイスは、目標の画像シーンや対象の環境内に存在する照明デバイスを検知および制御する能力を欠いている。
[0004]一実施形態では、画像取込みのために暗くするまたはオフにされるようにカメラの箇所の近くの照明が選択されることがあり、また対象の近くの照明がカメラのオートフォーカスレンズ位置に基づいてオンにされるまたは明るくされるように選択されることがある。ある種の実施形態では、照明パラメータの計算において、対象の前方にあり対象の方向に向けられることが好ましい対象の近傍の照明であるキーライト、またさらには背景にある影を満たすために使用し得る1つのフィルライト(fill lights)または複数のフィルライトを使用することがある。いくつかの実施形態は、その室内の照明のすべてを使用しないことがあり、かついくつかの照明をオフにすることがある。
[0005]対象のカメラユーザに対して計算された照明パラメータと一緒にプレビューが表示されることがあり、また同じ対象について代替の照明パラメータと一緒に追加のプレビューが提示されることがある。たとえば、代替の照明パラメータがキーライトやフィルライト、ムード照明、全照明、減衰照明、その他を伴ったプロ用の照明であることがある。
[0006]ユーザはこのプレビューから1組の照明パラメータを選択することができ得る。カメラは、組込み式ワイヤレスネットワークを介して電球に接続するとともに、ユーザ選択に従ってパラメータを調整することがある。一実施形態では照明は、たとえばフラッシュの場合のように画像取込みの継続時間にわたって単に一時的に調整されている。別の実施形態では、計算された照明パラメータが、ビデオ取込みの継続時間などある長い時間にわたって持続されることがある。本明細書に記載した技法は、カメラフラッシュの不使用を通じてカメラ電池の節約という恩恵を提供し、またさらには単点型フラッシュと比較してより微細な対象照明を提供する。
[0007]環境照明をワイヤレス式に制御するように構成された画像取込みデバイスの一実施形態を示す図。 [0008]ネットワーク環境における画像取込みシステムの一実施形態を示す図。 [0009]環境照明をワイヤレス式に制御するように構成された画像取込みデバイスの一実施形態を示すブロック図。 [0010]一実施形態に従った画像取込み環境照明制御プロセスを示す図。 [0011]一実施形態に従った照明パラメータ計算プロセスを示す図。
[0012]本明細書に記載した画像照明システムの実施形態は、目標の画像シーンや対象を照らすために環境内にすでに存在する照明デバイスにアクセスしかつこれを制御するために環境内のワイヤレスネットワークを利用する。たとえば、住宅や他の建物内で画像を取り込むときに、写真撮影対象に影響を及ぼす局所的な照明環境を生成するようないくつかの異なる照明が存在することがある。本明細書に開示したディジタル撮像デバイスの実施形態は、対象の近くの照明に関する多種多様な特性(照明の箇所および輝度など)にアクセスするために住宅や建物内にあるワイヤレスネットワークを使用することがあり、またさらに対象の画像を取り込む際の希望に従って局所的照明環境を調整するためにもワイヤレスネットワークを使用することがある。
[0013]ワイヤレス技術の応用に関する最近の開発によって、屋内設置のシステムおよびデバイスに対するネットワーク構成および制御が可能となった。たとえば住宅内には多数の電気的システム(たとえば、照明スイッチ、テレビ、ラジオ、その他)、機械的システム(たとえば、窓、ドア、ドアロック、その他)、通信システム(たとえば、セキュリティシステム、ローカルエリアネットワーク(LAN)、その他)、およびエンターテインメントシステム(たとえば、テレビ、ホームシアターシステム、その他)が存在することがあり、また接続対応住宅はこれらのシステムのすべてに関する集中式の制御を可能とすることがある。
[0014]接続対応住宅では、AllJoin(商標)近接ベースピアツーピア(P2P)システム(Qualcomm Innovation Center,Inc、San Diego、CA)などの組込み式ワイヤレスネットワークが機器類やデバイスを、これら機器類やデバイスに関する情報を互いにおよび/またはユーザに提供することが可能なインターフェースに接続している。この情報は、本明細書に記載したようにカメラや他の画像取込みデバイスに送信されることがある。いくつかの実施形態ではカメラは、住宅にある機器類やデバイスの監視および制御のために使用されるスマートフォンデバイス内に含まれることがある。
[0015]住宅の電球または住宅内のある部屋の電球は、ディジタル撮像デバイスに対してたとえばP2Pシステムを用いてワイヤレス接続が可能であることがある。ディジタル撮像デバイスが接続対応のどこかの部屋に入ると、そのディジタル撮像デバイスはその室内の電球に接続するとともに、これら接続対応の電球の多種多様なパラメータに関するデータを取得することがある。この電球はディジタル撮像デバイスに対して、これらのパラメータを表すデータ(たとえば利用されている電球のタイプ、光源の箇所、光源の方向、および電球の輝度やフラッシュ機能)を送信することがある。
[0016]ディジタル撮像デバイスを対象の画像を取り込むために対象にフォーカスさせると、ディジタル撮像デバイスは高品質の画像を作成するような照明パラメータを計算することができ得る。カメラは、この計算の中に室内の任意の電球に関する箇所、フラッシュ機能および輝度機能などのパラメータを表すデータを含むことがあり、またディジタル撮像デバイスおよび/または対象の箇所に対して電球の箇所を関連させることがある。対象の箇所は、ディジタル撮像デバイスからの対象の概略の距離を計算するような多種多様な方法によって(たとえば、ディジタル撮像デバイスのオートフォーカスレンズ位置によって)決定されることがある。対象の箇所を計算するためには、カメラが向いている方向も使用されることがある。対象が動くと、ディジタル撮像デバイスのレンズが移動する対象をトラッキングするとともに、新たな対象箇所データを決定することができ得る。計算された照明パラメータは、この新たな箇所データに基づいて動的に調整されることがある。
[0017]本明細書に記載したネットワーク環境における画像取込みデバイスの実施形態は、より良好な画像を作成するために照光デバイスに接続するとともに照光デバイスの設定を調整するように構成され得る画像取込みデバイスを提供する。この画像取込みデバイスは内蔵式フラッシュを包含することがあるが、さらに写真向けの最適な照明設定を生成するために接続対応の任意の照明を調整または制御するように構成されることもある。これによって画像取込みデバイスはより良好な写真を作成するとともに、さらにフラッシュの使用が少なくなるためにより良好な電池寿命を有することが可能となり得る。
[0018]一実施形態では画像取込みデバイスはユーザに対して、最適な照明設定を生成するように照明を手動式に制御可能とすることがあり、または画像取込みデバイスがより良好な写真またはビデオを作成するために近傍の接続対応の照明を制御し得るような自動モードを含むことがある。
[0019]別の実施形態では画像取込みデバイスは、グレア(glare)の量を低減するために照明を制御可能とすることがある。この実施形態では本システムは、どの照明が対象のバックライトとなっているか(すなわち、画像センサ上にグレアを形成させているか)を検知し、次いでグレアの量を低減するようにこの照明の輝度を調整することになる。
[0020]本システムの別の実施形態は、ワイヤレスネットワークを通じて室内の各照明のタイプを読み取り、次いでその照明のタイプに基づいて照明を制御する画像取込みデバイスである。たとえば蛍光照明などのいくつかの照明は、白熱光照明と比べてオンにするのにより長い時間がかかる。したがってカメラは、対象の位置に基づいて、照明Aがキーライトとなること、照明Bがフィルライトとなること、かつ照明Cがバックライトとなることを先ず決定するために室内の照明と通信する。しかし照明のタイプに応じて本システムは、これらをカメラのシャッタが開放されたときに各照明が適正に照らされて正しい輝度を有するように異なる時点でオンにすることが必要となる。
[0021]さらに別の実施形態は、照明が確実に画像取込みデバイスに関する適正な色温度を有するように室内の照明を調整することが可能なシステムである。周知のように、異なるタイプの照明は、異なる色温度(すなわち、輝度および色かぶり)を有する。ある照明は青っぽい色合いを有する一方、別のものはより黄色がかった光を出す。本発明の態様の1つは、対象が同じ色温度で照らされるように室内で指定の照明を適正に照らすことである。これによれば、カメラパイプラインの自動ホワイトバランスフェーズが最小化されるとともに、画像がより自然に見えるようになる。
[0022]当業者であればこれらの実施形態がハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組合せの形で実装され得ることを理解されよう。当業者であれば、情報および信号が多種多様な異なる技術および技法のいずれかを使用して表され得ることを理解されよう。たとえば上記の全体を通じて参照され得るデータ、命令、コマンド、情報、信号、ビット、記号およびチップは、電圧、電流、電磁波、磁気的な場または粒子、光学的な場または粒子、あるいはこれらの任意の組合せによって表されることができ得る。
[0023]以下の説明では、これらの例の完全な理解が提供されるように具体的な詳細が与えられている。しかし、これらの例がこれらの具体的な詳細を伴わずに実施されることがあることを当業者であれば理解されよう。たとえば、電気的な構成要素/デバイスは、これらの例が不必要な詳細で不明瞭にならないようにしてブロック図に示されることがある。他の例では、これらの例をさらに説明するためにこのような構成要素、他の構造および技法が詳細に示されることがある。
[0024]さらにこれらの例が、フローチャートの形で示されたプロセスとして、流れ図として、有限状態図として、構造図としてまたはブロック図として記述されることがあることに留意されたい。フローチャートは逐次型プロセスとして動作を記述することがあるが、これらの動作の多くは並列にまたは同時に実行することができ得るとともに、このプロセスは反復することができ得る。さらに、動作の順序は再編成することができ得る。プロセスはその動作が完了したときに終了される。プロセスは、方法、関数、手続き、サブルーチン、サブプログラム、その他に対応することがある。プロセスがソフトウェア関数に対応する場合、その終了は呼出し側の関数または主関数に対するその関数の戻り値に対応する。
[0025]ここで図1を参照すると、ワイヤレス照明制御を備えた例示的な画像取込みデバイスについてここでさらに詳細に記述されることになる。図1に示したように画像取込みデバイス100は、取り込まれようとする画像のプレビューを表示することができ得るディスプレイ110を含む。取り込まれようとする画像は対象140を含むことがあり、またさらに第1のフロアランプ120と、天井ライト122と、第2のフロアランプ124と、を含むことがある。ディスプレイ110上では、第1のフロアランプ120などの照光デバイスが、照光デバイス番号130によって番号付けされることがある。照光デバイス番号130は、ユーザによる照光デバイスのパラメータの手動式の制御を可能にするために有益となり得る。
[0026]図示した画像取込みデバイス100はディジタルカメラであるが、当業者であれば、これが単に例証を目的としたものであること、ならびにビデオレコーダ、ウェブカメラ、携帯電話、スマートフォン、ポータブルメディアプレーヤ、パーソナルディジタルアシスタント、ラップトップまたはタブレットコンピュータ(ただし、これらに限らない)を含む可搬式またはモバイル式のコンピュータに組み込まれたカメラなどの多種多様な画像取込みデバイスにおいてディスプレイ110を利用でき得ることを理解されよう。画像取込みデバイス100は、ディジタルビデオカメラ、ディジタル静止画像カメラ、またはこの両方の組合せなどのディジタルカメラとすることがある。画像取込みデバイス100は、スタンドアロンカメラなどのスタンドアロンデバイスとすることや、ワイヤレス通信デバイスなどの別の多目的デバイスに組み込まれることがある。たとえば画像取込みデバイス100は、携帯電話や他のワイヤレス通信デバイスとすることがある。
[0027]画像取込みデバイス100は、ワイヤレスローカルエリアネットワーク(WLAN)やワイヤレスワイドエリアネットワーク(WWAN)などの1つまたは複数のワイヤレスネットワークにアクセスするように構成されたネットワーク化モジュールを含むことがある。いくつかの実施形態ではネットワーク化モジュールは、近接ベースのP2Pワイヤレスネットワークおよび/またはアドホックワイヤレスネットワークに接続するように構成されることがある。これらのネットワークのうちの1つまたはいくつかによって接続対応住宅が形成されることがある。このような接続対応住宅は、機器類やデバイスをこれら機器類やデバイスに関する情報を互いにおよび/またはユーザに提供することが可能なインターフェースに接続することが可能なAllJoin近接ベースのP2Pシステム(Qualcomm Innovation Center,Inc)などの組込み式ワイヤレスネットワークを使用することがある。これらの1つまたは複数のワイヤレスネットワークは、ある箇所にある複数の照光デバイスのうちの1つに関する情報を画像取込みデバイス100に提供するために使用されることがある。たとえば画像取込みデバイス100は、住宅、オフィスまたは他の箇所内の1つまたは複数の照光デバイスに関する情報を包含するワイヤレスネットワークにアクセスするように構成されることがある。照光デバイスに関する情報は、照光デバイスについての箇所と、輝度と、電球タイプと、可能な調整設定と、を含むことがある。たとえば照光デバイスのパラメータは、デバイスの箇所と、その色と、電球のタイプと、その輝度(たとえば、ルーメン単位)と、その輝度を調整でき得る範囲(たとえば、100段階の輝度設定のうちの1つに調整でき得るかどうか、または照明を単にオンとオフにでき得るだけか)と、を含むことがある。画像取込みデバイス100はまた、1つまたは複数の照光デバイスを制御するように構成されることがある。たとえば画像取込みデバイス100は、1つまたは複数の照光デバイスをオンまたはオフにするように構成されることがあり、また調節可能な輝度レベルを有し得る照光デバイスの輝度を調整するように構成されることがある。
[0028]画像取込みデバイス100は、取り込まれようとする画像内に入り込み得るように配置された照光デバイス120、122、124を認識し特定するように構成されることがある。たとえば画像取込みデバイス100は、ディスプレイ110上に表示された照光デバイスを特定しかつ番号付けするように構成されることがある。画像取込みデバイス100はさらに、画像内に包含されることはあり得ないがその光が可能性として少なくとも一部が画像を照らすことがあり得るような近くにある他の照光デバイスを認識し特定するように構成されることがある。たとえば画像取込みデバイス100は、それ自体が向いている方向を認識すること、および対象140の上方、後方または前方にあり得る照光デバイスを特定することを行うように構成されることがある。画像取込みデバイス100は、画像センサを含むことがあるとともに、その照光デバイスが現在オンにされているかオフにされているかによらず画像内に包含される照光デバイスあるいは画像に影響を及ぼし得る照光デバイスを認識するように構成されることがある。
[0029]図2Aは、ネットワーク環境における画像取込みシステムの一実施形態を示している。この実施形態では、いくつかのユーザシステム210がネットワークに接続されることがある。これらのユーザシステム210はたとえば、画像取込みデバイス100、パーソナルコンピュータ、ならびに電話機、タブレットおよび他のコンピューティングデバイスを含むハンドヘルド型コンピューティングデバイスなどの画像取込みデバイスを含むことがある。これらのユーザシステム210の各々はネットワーク220に接続するように構成されることがある。このネットワーク220は任意の数の形態をとることができ得る。たとえばこのネットワークをWLANネットワークとすることがある。このネットワークは、単一のルータまたはハブデバイスの周りに集中させることがあり、または非集中式のネットワークとすることがある。このネットワークは、中央サーバを含むことがあり、またはデバイスによるネットワークを経由した互いの直接通信を可能にするためにP2Pネットワーク化技術を使用することがある。
[0030]ネットワーク220は、ネットワーク環境230に接続されることがある。いくつかの実施形態ではネットワーク環境230は物理的箇所を意味することがあり、またこの物理的箇所内に包含された1つまたは複数のデバイスを含むことがある。たとえばネットワーク環境230は、住宅内のいくつかのデバイスがネットワーク環境230に接続されている接続対応住宅を意味することがある。ネットワーク環境230は環境ネットワーク化モジュール231を含むことがある。環境ネットワーク化モジュール231は、認可されたユーザだけがネットワーク環境230内に包含されたデバイスおよびシステム232にアクセスしかつこれを制御でき得るように保証するために、アクセス制限フィーチャを包含することがある。この環境ネットワーク化モジュール231は、デバイスおよびシステム制御モジュール234に接続されることがある。デバイスおよびシステム制御モジュール234は、ネットワーク環境230の一部である多種多様なデバイスおよびシステム232の制御を可能とさせ得る。たとえばデバイスおよびシステム制御モジュール234はユーザシステム210に対して、ネットワーク220への接続およびネットワーク環境230内に包含された様々なデバイスおよびシステム232の制御を可能とさせ得る。
[0031]ネットワーク環境230のデバイスおよびシステム232は、存在させ得る任意の数のデバイスおよびシステム232を含むことがある。ネットワーク環境230は、接続対応住宅環境を含むことがある。接続対応住宅は、多数の電気的システム(たとえば、照明スイッチ、テレビ、ラジオ、その他)、機械的システム(たとえば、窓、ドア、ドアロック、その他)、通信システム(たとえば、セキュリティシステム、ローカルエリアネットワーク(LAN)、その他)、およびエンターテインメントシステム(たとえば、テレビ、ホームシアターシステム、その他)を含む住宅内のいくつかのシステムに対する集中式の制御を可能とさせ得るとともに、接続対応住宅はこれらのシステムのすべてに対する集中式の制御を可能とさせ得る。
[0032]ネットワーク環境230はまた、環境デバイスデータ記憶235を含むことがある。環境デバイスデータ記憶235は、ネットワーク環境230内に包含されたデバイスおよびシステム232に関連するデータを保存することがある。たとえば環境デバイスデータ記憶235は、ネットワーク環境230内の環境照明構成要素233に関する情報を包含することがある。この情報はたとえば、環境照明構成要素233の数と、その電球のタイプと、その輝度と、その可能な構成および設定と、その箇所と、を含むことがある。ネットワーク環境230内のデバイスおよびシステム232に関する情報は、ネットワーク220に接続されかつ環境ネットワーク化モジュール231によって認可されたユーザシステムに対して利用可能とさせることがある。この情報は、画像取込みデバイス100などのユーザシステム210による環境照明構成要素233などのデバイスおよびシステム232の調整および制御を可能とさせるために使用されることがある。
[0033]図2Bは、環境照明をワイヤレス式に制御するように構成された画像取込みデバイス100の一実施形態を示したブロック図である。画像取込みデバイス100は、プロセッサ211を備えることがある。プロセッサ211は、特殊なプロセッサとすることや汎用のプロセッサとすることができ得る。プロセッサ211は、単一のコンピュータチップを備えることや、いくつかのコンピュータチップおよびシステムを備えることがある。画像取込みデバイス205はまた、撮像センサ215を包含することがある。プロセッサ211は、撮像センサ215から画像データまたは画像データストリームを取り込むこと、ならびにデータ記憶213に保存するためにこの画像データを有用な形式に変換することを行うように構成されることがある。データ記憶213は、ハードドライブ、フラッシュメモリまたは別の形態のデータ記憶装置など任意の形態の永続的または半永続的記憶装置を備えることがある。プロセッサ211はまた、撮像センサ215からの画像データまたは画像データストリームをディスプレイ214により使用可能な形態に変換するように構成されることがある。プロセッサ211は、その動作の実行の際に作業用(Working)メモリ212およびデータ記憶213のユーザとなることがある。
[0034]画像取込みデバイス100は様々な技術を用いてデバイスが向いている方向を認識することができ得る。たとえば画像取込みデバイス100は、GPS受信機、加速度計、ジャイロスコープおよび/またはディジタルコンパスを含むことが可能な方向誘導システム217を包含することがある。画像取込みデバイス100は、デバイスが向いている方向およびどの照光デバイスが画像に影響を及ぼし得るかの判定を支援するためにこれらのデバイスのうちの1つまたはいくつかを単独でまたは他の技術と協働して使用することがある。画像取込みデバイス100はまた、少なくともその一部でデバイス上の画像センサおよび/または他のセンサから受け取った情報に基づいて方向それは向いているかを認識することがある。たとえば画像取込みデバイス100は、プレビュー画像(ディスプレイ110上に表示されるものなど)を分析するとともに、この情報を少なくともその一部で用いて、画像内に包含される可能性があるまたは画像に影響を及ぼす可能性がある照光デバイスを認識および特定することができ得る。画像取込みデバイス100はまた、少なくともその一部で画像取込みデバイス100上のオートフォーカスレンズのフォーカスに基づいて対象140までの距離を認識することができ得る。対象140の距離は、少なくともその一部でどの照光デバイス(存在する場合)が画像の照明に影響を及ぼすかを決定するために使用されることがある。
[0035]画像取込みデバイス100はまた、実行可能なソフトウェアやファームウェアの命令およびモジュールを保存するためのメモリ240を含むことがある。メモリ240内のモジュールは、作業用メモリ212およびデータ記憶213を用いるプロセッサ211によって実行されることがある。メモリ240は、撮像センサ215からの画像データまたは画像データストリームにアクセスするように構成されることがあり、またデータ記憶213および/またはディスプレイ214に情報を出力するように構成されることがある。ディスプレイ214は、ユーザがタッチ行為を用いてソフトウェアユーザインターフェースのフィーチャを制御できるようなタッチ作動式ディスプレイとすることがある。
[0036]メモリ240は、いくつかの個別のソフトウェアモジュールを包含することがある。いくつかの実施形態ではソフトウェアモジュール240は、撮像センサ制御モジュール241を含むことがある。このモジュールは、撮像センサを制御しかつ動作させるように構成されることがある。たとえば撮像センサ制御モジュール241は、撮像センサ215に対して画像を取得するように機能することおよび適正に取得できることを可能にさせるために、撮像センサ215上のレンズや他のシステムを制御するように構成されることがある。
[0037]メモリ240はさらに、ネットワークインターフェースモジュール242を包含することがある。このネットワークインターフェースモジュール242は、画像取込みデバイス100がワイヤレスP2Pネットワーク、WLAN、WWANおよび/または他のネットワークなどの1つまたは複数のネットワークに接続できるように構成されることがある。ネットワークインターフェースモジュール242は、ネットワークインターフェースモジュール242が接続される先となり得る1つまたは複数のネットワークに接続されることがある照光デバイスの制御に関連する情報を含む情報を、これらのネットワークにおよびこれらのネットワークから送信するように構成されることがある。
[0038]メモリ240はさらに、照明計算モジュール243を包含することがある。照明計算モジュール243は、撮像センサから画像情報を受け取るとともにその画像に関する最適な照明設定を計算するように構成されることがある。照明計算モジュール243はこれらの計算を、ユーザ構成可能な設定、ネットワークインターフェースモジュール242が接続される先のネットワークで利用可能な照光デバイスに関する情報、撮像センサ215および/または撮像センサ制御モジュール241からの対象の箇所に関する情報、ならびに他の要因などいくつかの要因に基づかせることがある。照明計算モジュール243は、これらの要因のうちのいずれかや他の要因を用いて画像に関する最適な照明設定を計算することがある。照明計算モジュール243はまた、画像に関する最適な照明設定を生成するためにネットワーク上の照光デバイスを制御するためにネットワークインターフェースモジュール242を通じて通信するように構成されることがある。いくつかの実施形態では照明計算モジュール243はまた、照明がその最適な設定に変更され終えた後に画像がどう見え得るかを示したプレビュー画像を作成するように構成されることがある。
[0039]メモリ240はさらに、取込み制御モジュール244を含むことがある。取込み制御モジュール244は、撮像センサ215からの画像の取込みを制御するように構成されることがある。取込み制御モジュール244はまた取り込まれようとする画像について最適な照明設定が適時に計算されかつ生成されるよりも保証するために、レンズや他の撮像センサ215の機能をフォーカスさせる際の撮像センサ制御モジュール241と照明計算モジュール243との作用を調和させるように構成されることがある。取込み制御モジュール244は、単一静止画像取込み、多重画像取込みまたはビデオ取込みのいずれかに対応するように構成されることがある。取込み制御モジュール244はデータ記憶213上に画像やビデオを取り込むために、撮像センサ215からの未処理画像データまたは未処理画像データストリームを有用な形式に変換するためにプロセッサ211および作業用メモリ212を使用するように構成されることがある。
[0040]取込み制御モジュール244はまた、デバイス100に取り付けられた照明フィーチャを自動式にまたは手動式に制御するように構成でき得る。いくつかの実施形態では画像取込みデバイス100はユーザに対して、照光デバイスを手動式に制御するか自動式に制御するかを選択可能にさせることがある。手動モードではユーザは、各照明を同時に制御すること、同様の照明などの一群の照明を同時に制御すること、または各照明を個別に制御することが可能であることがある。画像取込みデバイス100はまた、最適な照明設定を計算するように構成でき得る照明計算モジュール243を包含することがある。このモジュールは照明設定に関してユーザに提案を出すために手動モードで使用されることがある。次いでユーザは、ユーザの好みに従ってこれらの提案を用いること、修正することまたは棄却することができ得る。
[0041]画像取込みデバイス100は、自動照明モードを有するように構成されることがある。画像取込みデバイス100は、照明計算モジュール243から作成されたデータを用いるとともに最適な照明設定を計算するように構成された計算モジュールを含むことがある。自動照明モードでは画像取込みデバイス100は、計算された最適な照明設定に従って画像に影響を及ぼす可能性がある照光デバイスを自動式に制御することがある。たとえば画像取込みデバイス100は、対象140がどこにあるかを判定することがあり、またどの照光デバイスが対象の上方または近傍に存在し得るかを判定することがある。画像取込みデバイス100は、より魅力的な画像を作成するために照明を選択的にオンまたはオフにする、あるいは照明の輝度を調整するように構成された制御モジュールを含むことがある。
[0042]たとえば画像取込みデバイス100は、恐らくは対象の前方にある対象に対する「キーライト」と背景の影を満たすための「フィルライト」とをオンにすることがある。しかし画像取込みデバイス100は、領域内の照明のすべてがオンにされないように選択すること(こうすると照明に関して不快な均一性を生成することがあり得るため)があり、または対象の直上にある照明をオンにしないこと(こうすると対象上に望ましくないきつい影が生成されることがあり得るため)がある。画像取込みデバイス100は、照明をその自動モードで制御するために複数の設定を有することがある。たとえばユーザは、対象に関してまたは背景に関してより多くのまたはより少ない照明を好むこと、あるいはよりきついまたはよりソフトな照明を好むことを指摘することがあり、かつこの好みに対応するように設定を調整することがある。画像取込みデバイス100は、デバイスが様々な対象に向けられたときにその照明を自動式にリアルタイムで調整するように構成されることがあり、または画像取込みデバイス100のシャッタや他の機構が作動されたときにだけ照明を調整するように構成されることがある。いくつかの実施形態では画像取込みデバイス100は、静止画像ではなくビデオ画像を取り込むことがある。この実施形態では、照明設定を連続式または半連続式に調整することが有益となり得る。
[0043]いくつかの実施形態では画像取込みデバイス100は、内蔵式フラッシュ248を包含することがある。この内蔵式フラッシュ248は、近くの照光デバイスに接続した後であっても写真について照光が不十分であったときに使用されることがある。たとえばネットワークに接続された近傍の照光デバイスが存在しない場合、画像取込みデバイス100は従来の方式で内蔵式フラッシュを使用することがある。しかし、近くに接続対応の照光デバイスが存在しまたそれが最適な照明設定を生成するのに十分な数である場合、画像取込みデバイス100は画像を照らすためにその内蔵式フラッシュを使用することを控えることがある。これによれば、画像取込みデバイス100は実質的により良好な電池寿命を実現するとともに電力消費を低減することが可能となる(内蔵式フラッシュは電池からの大量の電力を消費することがあるため)。接続対応の照光デバイスの制御によってさらに画像取込みデバイス100は、従来のフラッシュを使用するのと比べて十分に良好な写真を作成することが可能となる(照光デバイスは最適に構成されれば、写真についてさらに望ましい照明条件を生成し得るため)。フラッシュではなく接続対応の照光デバイスを使用することによればさらに、対象の人物が写真でまばたきをする回数を低減すること、または写真で赤目事象の発生を低減することができ得る。
[0044]画像取込みデバイス100のディスプレイ110はプレビュー画像を表示するように構成されることがある。このプレビュー画像は、その領域が現時の照明で見せているのが何かに関する画像とすることがあり、またはその領域内の光源に対するある種の調整によって画像がどう見えるようになるかに関するプレビュー画像とすることがある。たとえば画像取込みデバイス100は、自動式モードでの理想的な照明設定を決定することがあり、またこれらの照明設定によってディスプレイ110上でどう見えることになるのかについてプレビューすることがある。これによってユーザは、その領域内の照光デバイスについて画像取込みデバイス100の制御モジュールによって調整を受けることを要することなく、最適化された照明設定で画像が見せることになるものを観察することが可能となる。
[0045]メモリ240はさらに、オペレーティングシステム245を含むことがある。このオペレーティングシステム245は、他のソフトウェアモジュールが動作する際に依拠するシステムの提供やユーザへのインターフェースの提供などのいくつかのフィーチャを提供することがある。オペレーティングシステム245は他のソフトウェアモジュールに対して画像取込みデバイス100の様々な物理的構成要素を使用することを可能にさせるために、他のソフトウェアモジュールにアプリケーションプログラミングインターフェース(API)を提供するように構成されることがある。たとえばオペレーティングシステム245は、他のソフトウェアモジュールが撮像センサ215、データ記憶213、ディスプレイ214および画像取込みデバイス100の他の構成要素と通信し得るようにするいくつかのコマンドおよびフィーチャを提供することがある。
[0046]図3は、図1の画像取込みデバイス100によって実行でき得る一実施形態に従った画像取込み環境照明制御プロセスを示している。
[0047]プロセス300は、画像取込みデバイス100が接続対応住宅ネットワークへの接続を確立させるステップ305で開始される。接続対応住宅ネットワークは、任意の数の可能なネットワーク化技術を使用することがある。たとえば接続対応住宅ネットワークはP2Pワイヤレスネットワーク化技術を使用することがある。接続対応住宅ネットワークは、照明および/または他の照光デバイスを含む任意の数のデバイスを包含することがある。接続対応住宅ネットワークの一実施形態は、図2Aのネットワーク220とネットワーク環境230とを含むことがある。
[0048]プロセス300は、画像取込みデバイス100のユーザが接続対応住宅の室内で画像取込みプロセスを開始するステップ310で続行となる。これはたとえば、ユーザが写真撮影を開始するために画像取込みデバイス100のボタンまたは制御子を押したときに生じることがある。これが生じたときにプロセス300は、画像取込みデバイス100が室内に接続対応の照明が存在するかどうかを判定するステップ315に続く。画像取込みデバイス100は、上述のようにいくつかの方法でそれ自体の箇所を決定するように構成されることがある。この情報および接続対応のネットワークに取り付けられた近傍の照明に関する情報に基づいて、画像取込みデバイス100は近傍の接続対応の照明が存在するかどうかを判定することがある。
[0049]プロセス300が室内に「接続対応住宅」ネットワークに接続された照明が存在しないと判定した場合にプロセス300は、照光のために利用可能な接続対応の照明がないため画像取込みデバイス100が内蔵式デバイスフラッシュで画像取込みプロセスを実行し得るステップ320で続行となる。
[0050]プロセス300が室内に接続対応の照明が存在すると判定した場合にプロセス300は、照明パラメータおよび現時の設定を表すデータを取得することになるステップ325に続くことになる。たとえば室内の接続対応の照明がネットワークで利用可能であることがあり、またそのネットワークがさらにその接続対応の照明に関する情報を包含することがある。この情報は、その箇所、輝度、電球のタイプ、現時の設定、および輝度の可能な階調を含む接続対応の照明に関するパラメータを含むことがある。画像取込みデバイス100は、図1の対象140などの対象からある近接度内にある各接続対応の照明からこのデータを取得することがある。
[0051]プロセス300は、画像取込みデバイス100によって照明を手動式または自動式に調整するためのオプションがユーザに提示されることがあるステップ330で続行となる。このオプションは、ユーザが写真の撮影を希望するたびにユーザに提示されることがあり、接続対応住宅に入るとユーザに提示されることがあり、または一度ユーザに提示されることがあるとともに、画像取込みデバイス100はユーザの選択を記憶するように構成されることがある。
[0052]ユーザが手動モードを選択した場合にプロセス300は、画像取込みデバイス100がユーザに照明のパラメータを調整するためのインターフェースを提示するステップ335で続行となる。たとえばこのインターフェースはユーザに対して、個々の照明の輝度を調整すること、照明をオンおよびオフにすること、ならびに最適な画像を作成するための他のパラメータを可能とさせることがある。いくつかの実施形態では画像取込みデバイス100は、照明設定に対するこれらの変更をリアルタイムで行うことがある。いくつかの実施形態では画像取込みデバイス100は、選択された画像設定によって対象がどう見えるようになるかのプレビューであるプレビュー画像を表示することがある。
[0053]ユーザが室内の接続対応の照明に関する設定の手動式の変更を完了したときプロセス300は、画像取込みデバイス100がユーザ入力をマッチングさせるように現時の照明設定を調整するステップ340で続行となる。画像取込みデバイス100はこの現時の照明設定を、上で詳述したように接続対応住宅内の照明に対するネットワーク接続を用いて調整することがある。
[0054]ユーザがステップ330後に自動モードを選択した場合にプロセス300は、画像取込みデバイス100が所望の照明パラメータを計算することがあるステップ345で続行となる。画像取込みデバイス100は、最適な照明設定を計算するように構成でき得る図2Bにあるような照明計算モジュール243を含むことがある。このモジュールは、少なくともその一部で対象の箇所、利用可能な周辺光、画像取込みデバイス100の角度、室内の接続対応の照明、ユーザ選択の好み、または他の要因に基づいて所望の照明パラメータを計算するために使用されることがある。
[0055]プロセス300は、画像取込みデバイス100が所望の照明パラメータをマッチングさせるように現時の照明設定を調整することがあるステップ350に続く。画像取込みデバイス100は現時の照明設定を、上で詳述したように接続対応住宅内の照明に対するネットワーク接続を用いて調整することがある。
[0056]最後にプロセス300は、ステップ340またはステップ350のいずれかの後にステップ355に続くとともに、画像を取り込む。この画像は図2Bにあるデータ記憶213などのローカルの記憶装置に保存されることがあり、またはネットワークを経由して別のデバイスに保存されるか送られることがある。
[0057]図4は、一実施形態に従った照明パラメータ計算プロセスを示している。
[0058]プロセス400は、ユーザが接続対応住宅の室内で対象の画像取込みを開始するステップ410で開始される。たとえばユーザは、図1の場合のように対象140の写真を撮影するために画像取込みデバイス100を使用していることがある。
[0059]プロセス400は、画像取込みデバイス100が室内の照明に関するパラメータおよび現時の設定を表すデータを取り出すステップ420で続行となる。これらのパラメータは、室内にある照明の数、その箇所、輝度、電球のタイプ、または他のパラメータを含むことがある。これらのパラメータは、室内の接続対応の照明からP2Pネットワーク化を用いて直接取り出されることがある。
[0060]プロセス400は、ユーザデバイスの箇所を決定するためのステップ430で続行となる。画像取込みデバイス100とし得るユーザデバイスは、上で詳述したようにいくつかの方法を用いて(画像取込みデバイス100上の撮像センサの使用によることを含む)位置特定されることがある。
[0061]プロセス400は、ユーザデバイスを基準とした対象の箇所の決定によってステップ440で続行となる。いくつかの実施形態では対象の箇所は、少なくともその一部でユーザデバイスのオートフォーカスレンズ設定に基づいて決定されることがある。たとえばレンズが現時接写モードにある場合は対象が近くにあることがある一方、レンズが無限距離フォーカスモードにある場合に対象は10フィート以上遠くにあることがある。
[0062]プロセス400は、対象を基準としたおよびユーザデバイスを基準とした部屋の照明の箇所の決定によってステップ450で続行となる。この決定は少なくともその一部で、照明の箇所、ユーザデバイスの箇所、およびユーザデバイスと対象の間の距離に基づくことがある。
[0063]プロセス400は、対象の現時の照明を分析することによってステップ460で続行となる。この分析は少なくともその一部で、画像取込みデバイス100上の撮像センサから受け取ったデータの分析によることに基づくことがある。撮像センサから受け取ったデータは、望ましくないことになり得るような対象および/または背景が明るすぎるすなわち飛んでいるかどうか、暗すぎるかどうか、またはきつい影を包含しているかどうかを決定するために分析されることがある。撮像センサから受け取ったデータはまた、対象が何であるかを決定するために分析されることがある。たとえば、静物の写真と異なり人物の写真では異なる照明設定を有することが望ましいことがある。
[0064]最後にプロセス400は、対象に関する所望の照明を生成する部屋の照明のパラメータ設定を計算することによってステップ470で終了する。この計算は少なくともその一部で、対象の現時の照明、対象の箇所、部屋の照明の箇所、およびユーザデバイスの箇所に基づくことがある。
[0065]本技術は、汎用または特殊目的の他の多くのコンピューティングシステム環境または構成で動作する。本発明と一緒に用いるのに適し得るよく知られたコンピューティングシステム、環境および/または構成の例としては、パーソナルコンピュータ、サーバコンピュータ、ハンドへルド型またはラップトップ型デバイス、マルチプロセッサシステム、プロセッサベースのシステム、プログラマブルな住宅用電子機器、ネットワークPC、ミニコンピュータ、メインフレームコンピュータ、上記のシステムやデバイスのいずれかを含む分散コンピューティング環境、その他(ただし、これらに限らない)が含まれる。
[0066]本明細書で使用される場合に命令とは、システム内で情報を処理するためのコンピュータ実装型のステップを意味している。命令は、ソフトウェア、ファームウェアまたはハードウェアの形で実装可能であり、システムの構成要素によって実施される任意のタイプのプログラム式ステップを含むことが可能である。
[0067]プロセッサは、Pentium(登録商標)プロセッサ、Pentium Proプロセッサ、8051プロセッサ、MIPS(登録商標)プロセッサ、Power PC(登録商標)プロセッサまたはAlpha(登録商標)プロセッサなど、単一チップまたはマルチチップの任意の従来式で汎用のプロセッサとすることがある。さらにこのプロセッサは、ディジタル信号プロセッサやグラフィックスプロセッサなどの任意の従来式の特殊目的プロセッサとすることがある。このプロセッサは典型的には、従来式のアドレスライン、従来式のデータライン、および1つまたは複数の従来式の制御ラインを有する。
[0068]本システムは、詳細に検討したような様々なモジュールからなる。当業者であれば理解でき得るようにこれらのモジュールの各々は、様々なサブルーチン、手続き、定義文およびマクロを備える。これらのモジュールの各々は典型的には、単独でコンパイルされて単一の実行可能プログラムとするようにリンクされている。したがって好ましいシステムの機能を記述するために便宜上、これらのモジュールの各々に関する記述が用いられている。したがって、これらのモジュールの各々によって実施されるプロセスはそれ以外のモジュールのうちの1つに適宜再配分されること、単一のモジュールとするように互いに結合されること、あるいはたとえば共有可能なダイナミックリンクライブラリ内で利用可能とさせることがあり得る。
[0069]本システムは、Linux(登録商標)、UNIX(登録商標)またはMicrosoft Windows(登録商標)などの様々なオペレーティングシステムと接続して使用されることがある。
[0070]本システムは、C、C++、BASIC、PascalまたはJava(登録商標)などの従来の任意のプログラミング言語で記述されることがあり、また従来のオペレーティングシステム下で動作したものである。C、C++、BASIC、Pascal、JavaおよびFORTRANは、実行可能コードを作成するために多くの商用のコンパイラの使用が可能な工業標準のプログラミング言語である。本システムはまた、Perl、PythonまたはRubyなどのインタプリタ型言語を用いて記述されることがある。
[0071]当業者であればさらに、本明細書で開示された実施形態と連携して説明した様々な例示の論理ブロック、モジュール、回路およびアルゴリズムステップが電子的ハードウェアとして、コンピュータソフトウエアとして、あるいはこの両者の組合せとして実装され得ることを理解されよう。ハードウェアとソフトウェアのこの相互交換可能性を明瞭に例証するために、様々な例示の構成要素、ブロック、モジュール、回路およびステップについて全体としてその機能に関して上で説明した。このような機能がハードウェアとして実装されるかソフトウェアとして実装されるかは、具体的な用途や全体システムに課せられた設計上の制約に依存する。当業者は、記載された機能を具体的な各用途に合わせて多様な方法で実装することになるが、このような実装上の判断は本開示の趣旨からの逸脱を生じるものと解釈されるべきでない。
[0072]本明細書で開示された実施形態と連携して説明した様々な例示の論理ブロック、モジュールおよび回路は、汎用のプロセッサ、ディジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)または他のプログラマブル論理デバイス、離散的なゲートまたはトランジスタロジック、離散的なハードウェア構成要素、または本明細書に記載された機能を実行するように設計されたこれらの任意の組合せを用いて実装または実行されることがある。汎用プロセッサはマイクロプロセッサとすることがあるが、代替としてプロセッサを任意の従来式プロセッサ、コントローラ、マイクロコントローラまたは状態機械とすることがある。プロセッサはまた、コンピューティングデバイスの組合せ(たとえば、DSPとマイクロプロセッサの組合せ)として、複数のマイクロプロセッサとして、DSPコアと接合させた1つまたは複数のマイクロプロセッサとして、または他の任意のこうした構成として実装されることがある。
[0073]1つまたは複数の例示の実施形態では、記載された機能および方法は、ハードウェア、ソフトウェア、またはプロセッサ上で実行させるファームウェア、あるいはこれらの任意の組合せの形で実装されることがある。ソフトウェアでの実装の場合にその機能は、コンピュータ読取り可能媒体上に保存されることや、コンピュータ読取り可能媒体上の1つまたは複数の命令またはコードとして送信されることがある。コンピュータ読取り可能媒体は、コンピュータ記憶媒体と、コンピュータプログラムのある箇所から別の箇所への転送を容易にする任意の媒体を含んだ通信媒体と、の両方を含む。記憶媒体は、コンピュータによるアクセスが可能な利用可能な任意の媒体とすることがある。限定ではなく一例として、このようなコンピュータ読取り可能媒体は、RAM、ROM、EEPROM(登録商標)、CD−ROMまたは他の光ディスク記憶、磁気ディスク記憶または他の磁気記憶デバイス、または命令またはデータ構造の形態での所望のプログラムコードの運搬または保存に使用することが可能でありかつコンピュータによるアクセスが可能であるような他の任意の媒体を備えることが可能である。さらに任意の接続も、コンピュータ読取り可能媒体と呼ぶのに適当である。たとえばソフトウェアをウェブサイト、サーバまたは他のリモートソースから同軸ケーブル、光ファイバケーブル、ツイストペア、ディジタル加入者線(DSL)、または赤外線、無線およびマイクロ波などのワイヤレス技術を用いて送信する場合、この同軸ケーブル、光ファイバケーブル、ツイストペア、DSLまたは赤外線、無線およびマイクロ波などのワイヤレス技術は媒体の定義の中に含まれる。本明細書で使用される場合のディスク(disk)やディスク(disc)には、コンパクトディスク(CD)、レーザーディスク(登録商標)、光ディスク、ディジタル多目的ディスク(DVD)、フロッピー(登録商標)ディスクおよびブルーレイ(登録商標)ディスクを含んでいる(ここで、ディスク(disk)は通常データを磁気式に再生するものであり、一方ディスク(disc)はデータをレーザーを用いて光学式に再生するものである)。上述したもの組合せもコンピュータ読取り可能媒体の範囲に含まれるべきである。
[0074]上の説明は、本明細書で開示されたシステム、デバイスおよび方法に関するある種の実施形態について詳述したものである。しかし、上述の内容がテキストでどのように詳述されたかによらず、このシステム、デバイスおよび方法は多くの方式で実施される可能性があることが理解されよう。さらに上で述べたように、本発明のある種のフィーチャや態様を説明する際における具体的な用語法の使用は、その用語法が本明細書では当該の用語法に関連付けされる技術のフィーチャや態様の任意の指定の特性を含むような限定を受けるように再定義されていることを示唆するものと取られるべきでないことに留意されるべきである。
[0075]様々な修正および変更が記載された技術の趣旨を逸脱することなく実施され得ることが当業者によって理解されるであろう。このような修正や変更は、実施形態の趣旨の域内にあるように意図されている。さらに、一実施形態に含まれる部品がその他の実施形態と相互交換可能であること、記載された実施形態からの1つまたは複数の部品が記載された他の実施形態とで任意の組合せで含まれ得ること、が当業者によって理解されるであろう。たとえば、本明細書に記載されたおよび/または図面に示された様々な構成要素のうちのいずれかが、他の実施形態と組合されること、相互交換されること、あるいはこれから除かれることがあり得る。
[0076]本明細書における実質的に任意の複数および/または単数の用語の使用に関して、当業者はコンテキストおよび/または用途に対する適合に応じて複数形を単数形におよび/または単数形を複数形に変換することが可能である。本明細書では明瞭にするために、様々な単数形/複数形の置換が明確に示されることがある。
[0077]一般に、本明細書で用いられる用語が全般的に「開放型の(open)」用語とするように意図されていること(たとえば、「〜を含んだ(including)」という用語は「〜(ただし、これらに限らない)を含んだ(including but not limited to)」と解釈されるべきである、「〜を有する(having)」という用語は「少なくとも〜を有する(having at least)」と解釈されるべきである、「〜を含む(includes)」という用語は「(ただし、これらに限らない)を含む(includes but is not limited to)」と解釈されるべきである、その他であること)が当業者によって理解されるであろう。さらに、導入された特許請求記述について具体的な数を意図している場合、このような意図がその特許請求で明示的に記述されることになるが、このような記述がなければこのような意図は存在しないことが当業者によって理解されるであろう。たとえば理解の支援として、以下の添付の特許請求の範囲は、特許請求記述を導入するために「少なくとも1つの」や「1つまたは複数の」という導入表現の使用を包含することがある。しかしこのような表現の使用は「a」や「an」という不定冠詞による特許請求記述の導入が、導入されたこのような特許請求記述を包含した具体的な任意の特許請求をこのような記述1つだけを包含した実施形態に限定していることを示唆するものと解釈されるべきでないこと(同じ特許請求が「1つまたは複数の」あるいは「少なくとも1つの」という導入表現と「a」や「an」などの不定冠詞とを含む場合(たとえば、「a」および/または「an」は典型的には「少なくとも1つの」あるいは「1つまたは複数の」を意味すると解釈されるべきである)であっても同じ)、また特許請求記述の導入に使用された定冠詞の使用についても同じことが成り立つ。さらに当業者であれば、導入された特許請求記述について具体的な数が明示的に記述されている場合であっても、このような記述は典型的には、記述した数が少なくともあることを意味する(たとえば、他の修飾詞を伴わない「2つの記述内容」のむき出しの記述は典型的には、少なくとも2つの記述内容、または2つ以上の記述内容を意味する)ことを理解されよう。
[0078]さらに、「A、BおよびC、その他のうちの少なくとも1つ」に相当する用法が用いられている場合においては一般に、このような構造は当業者がこの用法を理解するような感覚で捉えられ得る(たとえば、「A、BおよびCのうちの少なくとも1つを有するシステム」であればAを単独で有する、Bを単独で有する、Cを単独で有する、AおよびBを一緒に有する、AおよびCを一緒に有する、BおよびCを一緒に有する、および/またはA、BおよびCを一緒に有する、その他を有するようなシステムを含むが、これらに限定されることがない)。「A、BまたはC、その他のうちの少なくとも1つ」に相当する用法が用いられている場合においては一般に、このような用法は当業者がこの用法を理解するような感覚で捉えられ得る(たとえば、「A、BまたはCのうちの少なくとも1つを有するシステム」であればAを単独で有する、Bを単独で有する、Cを単独で有する、AおよびBを一緒に有する、AおよびCを一緒に有する、BおよびCを一緒に有する、および/またはA、BおよびCを一緒に有する、その他を有するようなシステムを含むが、これらに限定されることがない)。さらに、2つ以上の代替的な用語を示すような事実上任意の離接語および/または表現は、本説明、特許請求の範囲または図面のいずれであるかによらず、その用語のうちの1つ、その用語のうちのいずれか一方、あるいはその用語の両方を含む可能性を企図しているものと当業者によって理解されるべきである。たとえば、「AまたはB」という表現は、「A」または「B」または「AおよびB」の可能性を含むものと理解されることになる。
[0079]本明細書に様々な態様および実施形態が開示されているが、他の態様および実施形態については当業者には明らかであろう。本明細書で開示された様々な態様および実施形態は、例示を目的としたものであり、限定とするように意図されたものではない。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1]
目標の対象の画像を取り込むように構成された画像センサと、
前記目標の対象の近傍で少なくとも1つの照光デバイスを検出するように構成されたネットワーク化モジュールと、ここにおいて前記少なくとも1つの照光デバイスはネットワーク環境の一部である、
最適な照明設定を計算するように構成された計算モジュールと、
前記最適な照明設定に従って前記少なくとも1つの照光デバイスを調整するように構成された制御モジュールと、を備える画像取込みデバイス。
[C2]
少なくとも1つのパラメータが前記少なくとも1つの照光デバイスと関連付けされている、C1に記載の画像取込みデバイス。
[C3]
前記少なくとも1つのパラメータは、前記少なくとも1つの照光デバイスに関する輝度、電球のタイプまたは箇所のうちの1つである、C2に記載の画像取込みデバイス。
[C4]
前記ネットワーク化モジュールは近接ベースのピアツーピアネットワークに対するワイヤレスネットワーク接続を備える、C1に記載の画像取込みデバイス。
[C5]
前記ネットワーク環境は接続対応住宅である、C1に記載の画像取込みデバイス。
[C6]
画像取込みの方法であって、
画像取込みデバイスにおいて目標の対象のプレビュー画像データを受け取ることと、
前記目標の対象の局所的環境内の少なくとも1つの光源の少なくとも1つのパラメータを表すデータを受け取ることと、
前記目標の対象に関する最適な照明パラメータを計算することと、
前記最適な照明パラメータに従って前記少なくとも1つの光源の前記少なくとも1つのパラメータを調整することと、
画像を取り込むことと、を備える方法。
[C7]
最適な照明パラメータを計算することは、
前記画像取込みデバイスのユーザインターフェース上で前記少なくとも1つの光源の前記少なくとも1つのパラメータをユーザに対して提示することと、
前記少なくとも1つのパラメータの設定に関するユーザ入力を受け取ることと、を備える、C6に記載の方法。
[C8]
最適な照明パラメータを計算することは、前記画像取込みデバイスによって自動式に実行される、C6に記載の方法。
[C9]
最適な照明パラメータを計算することは、前記目標の対象の箇所を決定することを備える、C6に記載の方法。
[C10]
前記目標の対象の箇所を決定することは、前記画像取込みデバイスからの前記目標の対象の概略の距離を計算するために前記画像取込みデバイスのオートフォーカスレンズ位置を使用することを備える、C9に記載の方法。
[C11]
前記目標の対象の箇所を決定することは、前記目標の対象が動くに従って前記箇所を更新することを備える、C9に記載の方法。
[C12]
最適な照明パラメータを計算することは、前記少なくとも1つの光源の箇所を決定することを備える、C6に記載の方法。
[C13]
最適な照明パラメータを計算することは、前記少なくとも1つの光源の前記箇所を前記目標の対象の箇所と比較することをさらに備える、C12に記載の方法。
[C14]
前記少なくとも1つの光源の前記少なくとも1つのパラメータを調整することは、ネットワークを経由したワイヤレス通信を介して実行されている、C6に記載の方法。
[C15]
前記ワイヤレス通信は、前記画像取込みデバイスと前記少なくとも1つの光源の間にある、C14に記載の方法。
[C16]
前記ワイヤレス通信は前記画像取込みデバイスと接続対応住宅の制御モジュールの間にあり、ここにおいて前記制御モジュールは前記少なくとも1つの光源と通信する、C14に記載の方法。
[C17]
画像取込みのためのシステムであって、
環境内のデバイスのネットワークを提供するための手段と、
前記環境内の少なくとも1つの光源の少なくとも1つのパラメータを表すデータを受け取るための手段と、
前記環境内の目標の対象の最適な照明パラメータを計算するための手段と、
前記最適な照明パラメータをマッチングさせるために前記少なくとも1つの光源の前記少なくとも1つのパラメータを調整するための手段と、
前記目標の対象の画像を取り込むための手段と、を備えるシステム。
[C18]
最適な照明パラメータを計算するための前記手段は、前記少なくとも1つのパラメータをユーザに対して表示するためのユーザインターフェースを備えており、ここにおいて前記ユーザインターフェースは前記ユーザに対して前記少なくとも1つのパラメータの現時の設定の制御を可能にするように構成されている、C17に記載のシステム。
[C19]
最適な照明パラメータを計算するための前記手段は、画像取込みデバイスの照明設定計算モジュールを備える、C17に記載のシステム。
[C20]
前記照明設定計算モジュールは、少なくともその一部で前記目標の対象の箇所と前記少なくとも1つの光源の前記少なくとも1つのパラメータとに基づいて前記最適な照明パラメータを計算する、C19に記載のシステム。
[C21]
実行されたときにプロセッサに対して、
撮像デバイスをネットワークに接続することと、
前記ネットワーク接続された少なくとも1つの光源の少なくとも1つのパラメータを表すデータを取り出すことと、ここにおいて前記少なくとも1つの光源は目標の対象を照らしている、
前記目標の対象の最適な照明パラメータを計算することと、
前記最適な照明パラメータに従って前記少なくとも1つの光源の前記少なくとも1つのパラメータを調整することと、
画像を取り込むことと、からなる方法を実行させるコードを備える非一時的コンピュータ読取り可能媒体。
[C22]
最適な照明パラメータを計算することは、少なくともその一部で前記目標の対象の箇所と前記少なくとも1つの光源の前記少なくとも1つのパラメータとに基づく、C21に記載の非一時的コンピュータ読取り可能媒体。
[C23]
最適な照明パラメータを計算することは、前記目標の対象の箇所を決定することを備える、C21に記載の非一時的コンピュータ読取り可能媒体。
[C24]
前記目標の対象の箇所を決定することは、前記画像取込みデバイスからの前記目標の対象の概略の距離を計算するために前記画像取込みデバイスのオートフォーカスレンズ位置を使用することを備える、C23に記載の非一時的コンピュータ読取り可能媒体。
[C25]
前記目標の対象の箇所を決定することは、前記目標の対象が動くに従って前記箇所を更新することを備える、C23に記載の非一時的コンピュータ読取り可能媒体。
[C26]
前記少なくとも1つの光源の前記少なくとも1つのパラメータを調整することは、前記ネットワークを経由したワイヤレス通信を介して実行されている、C21に記載の非一時的コンピュータ読取り可能媒体。

Claims (15)

  1. 目標の対象の画像を取り込むように構成された画像センサと、
    ネットワーク化モジュールと、
    制御モジュールと
    を備える画像取込みデバイスであって、
    前記ネットワーク化モジュールは前記目標の対象の近傍で少なくとも1つの照光デバイスを検出するように構成され、ここにおいて前記少なくとも1つの照光デバイスはネットワーク環境の一部である
    ことを特徴とし、前記画像取込みデバイスは、
    最適な照明設定を計算するように構成された計算モジュール
    によって特徴付けられ、
    前記制御モジュールは前記最適な照明設定に従って前記少なくとも1つの照光デバイスを調整するように構成され、どの照光デバイスが前記画像センサ上にグレアを形成させているかを検知することと、グレアの量を低減するように前記検知された照光デバイスの輝度を調整することと、を行うようにさらに構成される
    ことを特徴とする、画像取込みデバイス。
  2. 少なくとも1つのパラメータが前記少なくとも1つの照光デバイスと関連付けされている、請求項1に記載の画像取込みデバイス。
  3. 前記少なくとも1つのパラメータは、前記少なくとも1つの照光デバイスの輝度、電球のタイプまたは箇所のうちの1つである、請求項2に記載の画像取込みデバイス。
  4. 前記ネットワーク化モジュールは近接ベースのピアツーピアネットワークに対するワイヤレスネットワーク接続を備える、請求項1に記載の画像取込みデバイス。
  5. 画像取込みの方法であって、
    画像取込みデバイスにおいて目標の対象のプレビュー画像データを受け取ることと、
    前記目標の対象の局所的環境内の少なくとも1つの光源の少なくとも1つのパラメータを表すデータを受け取ることと、
    前記目標の対象に関する最適な照明パラメータを計算することと、
    前記最適な照明パラメータに従って前記少なくとも1つの光源の前記少なくとも1つのパラメータを調整することと、ここにおいて、前記調整することは、どの光源が画像センサ上にグレアを形成させているかを検知することと、グレアの量を低減するように前記検知された光源の輝度を調整することと、を備える
    前記画像を取り込むことと、
    を備える方法。
  6. 最適な照明パラメータを計算することは、
    前記画像取込みデバイスのユーザインターフェース上で前記少なくとも1つの光源の前記少なくとも1つのパラメータをユーザに対して提示することと、
    前記少なくとも1つのパラメータの設定に関するユーザ入力を受け取ることと、
    を備える、請求項5に記載の方法。
  7. 最適な照明パラメータを計算することは、前記画像取込みデバイスによって自動式に実行される、請求項5に記載の方法。
  8. 最適な照明パラメータを計算することは、前記目標の対象の箇所を決定することを備える、請求項5に記載の方法。
  9. 前記目標の対象の箇所を決定することは、前記画像取込みデバイスからの前記目標の対象の概略の距離を計算するために前記画像取込みデバイスのオートフォーカスレンズ位置を使用することを備える、請求項8に記載の方法。
  10. 前記目標の対象の箇所を決定することは、前記目標の対象が動くに従って前記箇所を更新することを備える、請求項8に記載の方法。
  11. 最適な照明パラメータを計算することは、前記少なくとも1つの光源の箇所を決定することを備える、請求項5に記載の方法。
  12. 最適な照明パラメータを計算することは、前記少なくとも1つの光源の前記箇所を前記目標の対象の箇所と比較することをさらに備える、請求項11に記載の方法。
  13. 前記少なくとも1つの光源の前記少なくとも1つのパラメータを調整することは、前記画像取込みデバイスと前記少なくとも1つの光源の間にある、ワイヤレス通信を介して実行されている、請求項5に記載の方法。
  14. 前記ワイヤレス通信は前記画像取込みデバイスと接続対応住宅の制御モジュールの間にあり、ここにおいて前記制御モジュールは前記少なくとも1つの光源と通信する、請求項13に記載の方法。
  15. 実行されたときにプロセッサに対して、請求項5乃至14のうちのいずれか1項の方法を実行させるコードを備える非一時的コンピュータ読取り可能媒体。
JP2015546485A 2012-12-10 2013-11-08 ネットワーク環境における画像取込みデバイス Expired - Fee Related JP6250696B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/709,512 2012-12-10
US13/709,512 US9288371B2 (en) 2012-12-10 2012-12-10 Image capture device in a networked environment
PCT/US2013/069124 WO2014092899A2 (en) 2012-12-10 2013-11-08 Image capture device in a networked environment

Publications (3)

Publication Number Publication Date
JP2016503253A JP2016503253A (ja) 2016-02-01
JP2016503253A5 JP2016503253A5 (ja) 2017-07-06
JP6250696B2 true JP6250696B2 (ja) 2017-12-20

Family

ID=49674377

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015546485A Expired - Fee Related JP6250696B2 (ja) 2012-12-10 2013-11-08 ネットワーク環境における画像取込みデバイス

Country Status (6)

Country Link
US (1) US9288371B2 (ja)
EP (1) EP2929680B1 (ja)
JP (1) JP6250696B2 (ja)
KR (1) KR101818314B1 (ja)
CN (1) CN104854857A (ja)
WO (1) WO2014092899A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7156986B2 (ja) 2013-07-22 2022-10-19 フラウンホッファー-ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 無相関化信号の寄与の残差信号ベースの調整を用いたマルチチャンネルオーディオデコーダ、マルチチャンネルオーディオエンコーダ、方法およびコンピュータプログラム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9225910B2 (en) * 2013-05-07 2015-12-29 Htc Corporation Methods for controlling a remote flashlight source provided by a peer portable electronic device in a wireless communications system and portable electronic devices utilizing the same
US20160088711A1 (en) * 2014-09-18 2016-03-24 Systech Electronics Limited Adaptable lighting system
KR102588235B1 (ko) * 2016-11-29 2023-10-13 삼성전자주식회사 전자 장치 및 그의 제어 방법
CN107241536A (zh) * 2017-05-27 2017-10-10 捷开通讯(深圳)有限公司 一种具有传感功能的闪光灯、系统及其实现方法
CN107463880A (zh) * 2017-07-07 2017-12-12 广东欧珀移动通信有限公司 控制方法、电子装置和计算机可读存储介质
US10574876B2 (en) * 2017-10-17 2020-02-25 Motorola Mobility Llc Photography environment control
US10469723B2 (en) * 2017-10-17 2019-11-05 Motorola Mobility Llc Photography lighting control
CN108574804A (zh) * 2018-07-04 2018-09-25 珠海市微半导体有限公司 一种用于视觉机器人的光源补偿系统及方法
EP3973694A4 (en) * 2019-07-17 2022-07-27 Guangdong Oppo Mobile Telecommunications Corp., Ltd. SYSTEMS AND METHODS FOR INTELLIGENT FLASH INTENSITY CONTROL
CN116366656B (zh) 2019-08-18 2024-08-16 朗德万斯公司 用于形成设备网络的方法及系统
KR102191441B1 (ko) 2020-05-12 2020-12-15 (주)현대포멕스 스마트폰을 이용한 영상촬영용 조명의 무선동조 제어시스템
WO2023013825A1 (en) * 2021-08-02 2023-02-09 Samsung Electronics Co., Ltd. Method and device for capturing an image by configuring internet of things (iot) light devices in a iot environment
EP4295567A4 (en) 2021-08-02 2024-08-07 Samsung Electronics Co Ltd METHOD AND DEVICE FOR CAPTURING AN IMAGE BY CONFIGURING INTERNET OF THINGS (IoT) LIGHTING DEVICES IN AN IoT ENVIRONMENT
CN114938556B (zh) * 2022-04-29 2023-11-24 中国科学院半导体研究所 台灯光线自动调节方法、装置、电子设备及存储介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6548967B1 (en) * 1997-08-26 2003-04-15 Color Kinetics, Inc. Universal lighting network methods and systems
US7014336B1 (en) * 1999-11-18 2006-03-21 Color Kinetics Incorporated Systems and methods for generating and modulating illumination conditions
US20040052076A1 (en) * 1997-08-26 2004-03-18 Mueller George G. Controlled lighting methods and apparatus
JP2000258824A (ja) * 1999-03-05 2000-09-22 Olympus Optical Co Ltd ストロボ装置及びカメラ
JP2003140223A (ja) * 2001-10-31 2003-05-14 Nikon Corp 撮影システム
JP2005192139A (ja) * 2003-12-26 2005-07-14 Konica Minolta Photo Imaging Inc 撮像装置及び撮影システム
CN100421621C (zh) * 2004-04-15 2008-10-01 株式会社茉莉特斯 脸面拍照装置
US7035534B2 (en) * 2004-06-16 2006-04-25 Eastman Kodak Company Photographic lightmeter-remote, system, and method
KR20060114890A (ko) 2005-05-03 2006-11-08 주식회사 팬택앤큐리텔 플래시 광량 자동 조절 기능을 가지는 무선통신 단말기 및그 방법
JP4395769B2 (ja) * 2005-05-16 2010-01-13 パナソニック電工株式会社 電力線搬送通信システム
JP2008103925A (ja) 2006-10-18 2008-05-01 Matsushita Electric Ind Co Ltd 照明制御機能付きカメラ装置
JP5358876B2 (ja) 2006-10-19 2013-12-04 株式会社ニコン カメラ、および外部装置
EP2156710B1 (en) * 2007-05-22 2014-04-16 Koninklijke Philips N.V. Remote lighting control
US20090271002A1 (en) 2008-04-29 2009-10-29 David Asofsky System and Method for Remotely Controlling Electronic Devices
CN101750848B (zh) 2008-12-11 2011-03-30 鸿富锦精密工业(深圳)有限公司 摄像装置及其补光方法
US20120099847A1 (en) 2009-02-12 2012-04-26 Lab Partners Associates, Inc. Systems and Methods For Controlling A Photographic Modeling Light Using One or More Camera Body Control Signals
JP2010197614A (ja) * 2009-02-24 2010-09-09 Mabuchi Hong Kong Yugenkoshi ストロボ装置
US9015241B2 (en) 2009-12-17 2015-04-21 At&T Intellectual Property I, L.P. Apparatus and method for video conferencing
WO2012009537A1 (en) * 2010-07-14 2012-01-19 Lab Partners Associates, Inc. Photographic wireless communication protocol system and method
US20120096085A1 (en) 2010-10-14 2012-04-19 Province of Ontario, Canada) Communications system including instant message device control and related methods
US8665310B2 (en) * 2011-02-04 2014-03-04 Microsoft Corporation Techniques and system for active lighting control in video conferencing
EP2490439B1 (en) * 2011-02-18 2013-07-03 Axis AB Illumination device for a monitoring camera
JP2012204953A (ja) * 2011-03-24 2012-10-22 Nikon Corp 撮影システム、照明装置及びカメラ
JP5743696B2 (ja) * 2011-05-06 2015-07-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7156986B2 (ja) 2013-07-22 2022-10-19 フラウンホッファー-ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 無相関化信号の寄与の残差信号ベースの調整を用いたマルチチャンネルオーディオデコーダ、マルチチャンネルオーディオエンコーダ、方法およびコンピュータプログラム

Also Published As

Publication number Publication date
JP2016503253A (ja) 2016-02-01
US20140160307A1 (en) 2014-06-12
KR101818314B1 (ko) 2018-01-12
US9288371B2 (en) 2016-03-15
EP2929680B1 (en) 2017-05-03
EP2929680A2 (en) 2015-10-14
WO2014092899A3 (en) 2014-11-06
KR20150095721A (ko) 2015-08-21
WO2014092899A2 (en) 2014-06-19
CN104854857A (zh) 2015-08-19

Similar Documents

Publication Publication Date Title
JP6250696B2 (ja) ネットワーク環境における画像取込みデバイス
US10120267B2 (en) System and method for re-configuring a lighting arrangement
US9942967B2 (en) Controlling lighting dynamics
JP6854987B1 (ja) 1つ以上の光設定に基づく動的光シーンのレンダリング
US10574876B2 (en) Photography environment control
US10469723B2 (en) Photography lighting control
US11842707B2 (en) Systems and methods for adjusting light emitted from a display
TW202040988A (zh) 基於音訊之影像捕捉設定
US11689794B2 (en) Information processing device, information processing method, and non-transitory computer readable medium
CN116074143A (zh) 场景同步方法、装置、电子设备及可读存储介质
WO2018142771A1 (ja) 制御装置、制御方法及び照明システム
JP2001250696A (ja) 照度自動設定システム
US11412602B2 (en) Receiving light settings of light devices identified from a captured image
TWI384314B (zh) 投影機及利用投影機調整環境光源的方法
JP2022501792A (ja) 光源を順次オンにすることによる合成画像の作成
JP2021056425A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
WO2023072691A1 (en) Selecting and rendering a transition between light scenes based on lighting device orientation and/or shape

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161014

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161014

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170529

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170529

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171122

R150 Certificate of patent or registration of utility model

Ref document number: 6250696

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees