JP7059680B2 - 撮影装置、撮影方法、プログラム - Google Patents

Description

本発明は、撮影装置、撮影方法、プログラムに関する。

自動販売機の金額表示や店舗内の金額表示には７セグメントＬＥＤ（セグメント発光体）を利用した表示装置が多く利用される。当該表示装置は、７セグメントＬＥＤをダイナミック点灯制御して、金額などの数字の文字を形成する。このようなセグメントＬＥＤを利用した表示装置を撮影装置で撮影すると、表示装置において１文字を形成するセグメントＬＥＤ１ユニットに設けられた複数のセグメントＬＥＤが非同期で点灯しているため、以下の問題が生じる場合がる。例えば、撮影装置による当該撮影の露光時間内において、表示装置が文字を形成すべく発光させる対象となる全てのセグメントＬＥＤが同時に発光しないために、当該撮影により生成された画像中の文字が、その表示装置が形成しようとする文字を表さないものとなることが多い。なお関連する技術であって、フラッシュライトのようにダイナミック点灯する被写体であっても撮像することができる動画像装置の技術が特許文献１に開示されている。

特開２０１１－２４４２９８号公報

ところで上述のようなセグメントＬＥＤをダイナミック点灯制御して文字を表示形成する表示装置を撮影した際に、当該表示装置が形成する文字を正確に表す画像を撮影することのできる撮影装置が望まれている。

そこでこの発明は、上述の課題を解決することのできる撮影装置、撮影方法、プログラム提供することを目的としている。

本発明の第１の態様によれば、撮影装置は、所定間隔かつ非同期で点滅する複数のセグメント発光体により表示文字を形成する表示装置の撮影パラメータであって、被写体である前記表示装置の明るさに応じた露光時間ｔを少なくとも含む撮影パラメータを決定する撮影パラメータ決定部と、前記表示装置が前記セグメント発光体の何れかを順に点灯させて前記表示文字を形成するために必要な形成必要期間Ｔと前記露光時間ｔとを少なくとも用いて決定した撮影枚数と撮影間隔とにより前記表示装置を撮影した前記撮影枚数の撮影画像を取得する撮影画像取得部と、前記撮影枚数の撮影画像を合成した合成画像を生成する合成部と、を備えることを特徴とする。

本発明の第２の態様によれば、撮影方法は、所定間隔かつ非同期で点滅する複数のセグメント発光体により表示文字を形成する表示装置の撮影パラメータであって、被写体である前記表示装置の明るさに応じた露光時間ｔを少なくとも含む撮影パラメータを決定し、前記表示装置が前記セグメント発光体の何れかを順に点灯させて前記表示文字を形成するために必要な形成必要期間Ｔと前記露光時間ｔとを少なくとも用いて決定した撮影枚数と撮影間隔とにより前記表示装置を撮影した前記撮影枚数の撮影画像を取得し、前記撮影枚数の撮影画像を合成した合成画像を生成することを特徴とする。

本発明の第３の態様によれば、プログラムは、撮影装置のコンピュータを、所定間隔かつ非同期で点滅する複数のセグメント発光体により表示文字を形成する表示装置の撮影パラメータであって、被写体である前記表示装置の明るさに応じた露光時間ｔを少なくとも含む撮影パラメータを決定する撮影パラメータ決定手段、前記表示装置が前記セグメント発光体の何れかを順に点灯させて前記表示文字を形成するために必要な形成必要期間Ｔと前記露光時間ｔとを少なくとも用いて決定した撮影枚数と撮影間隔とにより前記表示装置を撮影した前記撮影枚数の撮影画像を取得する撮影画像取得手段、前記撮影枚数の撮影画像を合成した合成画像を生成する合成手段、として機能させることを特徴とする。

本発明によればセグメントＬＥＤをダイナミック点灯制御して文字を表示形成する表示装置を撮影した際に、当該表示装置が形成する文字をより正確に表す画像を撮影する撮影装置を提供することができる。

本発明の一実施形態による撮影装置と表示装置の例を示す図である。 本発明の一実施形態による撮影装置のハードウェア構成を示す図である。 本発明の一実施形態による撮影装置の機能ブロック図である。 本発明の一実施形態による撮影装置の処理フローを示す図である。 本発明の一実施形態による撮影枚数と撮影間隔を示す第一の図である。 本発明の一実施形態による異なるタイミングで生成された画像を示す図である。 本発明の一実施形態による撮影枚数と撮影間隔を示す第二の図である。 本発明の一実施形態による撮影枚数と撮影間隔を示す第三の図である。 本発明の一実施形態による撮影装置の最小構成を示す図である。

以下、本発明の一実施形態による撮影装置、撮影方法、プログラムを、図面を参照して説明する。
図１は本実施形態による撮影装置と表示装置の例を示す図である。
撮影装置１は一例として携帯端末である。撮影装置１は内部に設けられたカメラの機能を用いて表示装置２を撮影する。表示装置２は製品情報表示領域２１と、料金表示領域２２とを有する。表示装置２は製品情報表示領域２１に設けられた液晶ディスプレイ等により製品名等の製品情報を表示する。表示装置２は料金表示領域２２において７セグメントＬＥＤを点灯させて数字を形成し料金を表示する。

具体的には表示装置２の料金表示領域２２に備わる７セグメントＬＥＤは、３つ横に並べて配置される。３つの７セグメントＬＥＤが横に並べて配置されることにより表示装置２は一例として３桁の料金を表示することができる。７セグメントＬＥＤは所定間隔かつ非同期で点滅する７つのセグメント発光体を備える。表示装置２は１つの７セグメントＬＥＤに数字を形成する場合には、その数字に対応する位置のセグメント発光体を所定の間隔で順じ点灯して数字を形成する。表示装置２は例えば自動販売機により販売される商品の価格表示をするために当該自動販売機に設けられている。または表示装置２は店舗の商品棚に設けられ商品の価格を表示するものであってよい。表示装置２は７セグメントＬＥＤ等の複数のセグメント発光体により表示文字を形成し、当該ＬＥＤのダイナミック点灯制御を行うものであればどのようなものであってもよい。

図２は撮影装置のハードウェア構成を示す図である。
図２で示すように撮影装置１はＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、カメラ１０４、ディスプレイ１０５等の各ハードウェアを備えている。

ユーザは撮影装置１を用いて表示装置２を撮影する。撮影装置１は露光時間ｔにより撮影した画像を順次ディスプレイ１０５に表示する。または撮影装置１は露光時間ｔにより撮影した画像のうちユーザがシャッターを切る操作を行うタイミングに生成した画像を記憶部に記録する。撮影装置１の露光時間ｔは、通常、表示装置２が７セグメントＬＥＤを構成する複数のセグメントＬＥＤの何れかを順に点灯させて表示文字を形成するために必要な形成必要期間Ｔよりも短い。そうすると、ユーザがシャッターを切る操作を行うタイミングに対応して撮影装置１の生成した画像は、表示文字を形成するべき全てのセグメントＬＥＤが点灯していないため、撮影装置１が表示しようとする数字等の文字を正確に表していない状態を表示するものとなる場合が多い。本実施形態による撮影装置１は、撮影装置１が上述のような表示装置２を撮影した場合でも当該表示装置２が表示しようとする数字等の文字を正しく表示する画像を生成することのできる機能を提供する。

図３は撮影装置の機能ブロック図である。
撮影装置１は電源が投入されると撮影制御プログラムを実行する。すると撮影装置１には、撮影制御部１１、撮影パラメータ決定部１２、撮影画像取得部１３、合成部１４、記録部１５の各機能が備わる。撮影装置１はその他の機能を備えてよい。説明の便宜上、撮影装置１の他の処理部についてはその説明を省略する。

図４は撮影装置の処理フローを示す図である。
次に撮影装置の処理フローについて順を追って説明する。
ユーザが７セグメントＬＥＤを有する表示装置２を撮影する場合、ユーザは撮影装置１に備わるカメラ１０４を起動させる操作を行う。これによりカメラ１０４が起動する（ステップＳ１０１）。カメラ１０４はレンズから入射した光を撮像素子で受光し、その受光に基づいて生成した画像を撮影装置１のディスプレイ１０５に表示する。つまりディスプレイ１０５はカメラ１０４の液晶ビューファインダーとして機能する。このとき撮影制御部１１はカメラ１０４の生成した画像に基づいてピント合わせ制御を行う。

ユーザは撮影装置１の撮影モードを７セグメントＬＥＤの撮影モードに設定する（ステップＳ１０２）。撮影制御部１１は７セグメントＬＥＤの撮影モードにおける撮影パラメータを決定するよう撮影パラメータ決定部１２に指示する。撮影パラメータ決定部１２は７セグメントＬＥＤの撮影モードにおける撮影パラメータを決定する処理を開始する。

撮影パラメータ決定部１２はカメラ１０４の生成した画像の明るさ等の情報に基づいて、シャッタースピードである露光時間ｔ、ＩＳＯ感度値等を算出する（ステップＳ１０３）。当該露光時間ｔ、ＩＳＯ感度値の算出は、公知の撮影パラメータ自動設定制御で行われている算出手法を用いてよい。

撮影パラメータ決定部１２はまた表示装置２が７セグメントＬＥＤの各セグメント発光体を順に点灯させて表示文字を形成するために必要な形成必要期間Ｔを特定する（ステップＳ１０４）。この形成必要期間Ｔは予め定められていてもよいし、複数の異なる長さの形成必要期間Ｔのうちユーザにより選択された形成必要期間Ｔであってもよい。撮影装置１が決定する形成必要期間Ｔは、実際に表示装置２が７セグメントＬＥＤの各セグメント発光体を順に点灯させて表示文字を形成するために必要な形成必要期間Ｔ以上の時間である必要がある。ユーザは表示装置２に応じた適切な形成必要期間Ｔを選択し、その形成必要期間Ｔの情報を撮影パラメータ決定部１２が取得してよい。また撮影パラメータ決定部１２は表示装置２に表示される２次元コード等のコード情報をカメラ１０４から得た画像に基づいて認識し、そのコード情報に含まれる形成必要期間Ｔを自装置の撮影で利用する形成必要期間Ｔと特定してもよい。また撮影パラメータ決定部１２は表示装置２が無線通信機能を利用して送信した形成必要期間Ｔの情報を受信して、その形成必要期間Ｔを自装置の撮影で利用する形成必要期間Ｔと特定してもよい。また撮影パラメータ決定部１２はカメラ１０４が撮影した画像に映る表示装置２のＩＤ等の識別情報を認識し、その識別情報に紐づいて予め記憶する形成必要期間Ｔを自装置の撮影で利用する形成必要期間Ｔと特定してもよい。

撮影パラメータ決定部１２は特定した形成必要期間Ｔに応じて露光時間ｔを特定してもよい。例えば撮影装置１は形成必要期間Ｔをｎ１分割した複数の露光時間ｔ１、形成必要期間Ｔをｎ２分割した複数の露光時間ｔ２，・・等の複数の露光時間ｔ１，ｔ２，・・ｔｎを予め記憶する。撮影パラメータ決定部１２は撮影パラメータ自動設定制御で特定された露光時間ｔに一番近い露光時間ｔ１，ｔ２，・・ｔｎの何れかを選択し、露光時間ｔと特定してよい。

また撮影パラメータ決定部１２は特定した形成必要期間Ｔと露光時間ｔとを用いて撮影枚数と撮影間隔を算出する（ステップＳ１０５）。具体的には撮影パラメータ決定部１２は形成必要期間Ｔ÷露光時間ｔを撮影枚数として算出する。また撮影パラメータ決定部１２は形成必要期間Ｔ＋露光時間ｔを撮影間隔として算出する。

図５は撮影枚数と撮影間隔を示す第一の図である。
図５は形成必要期間Ｔと、形成必要期間Ｔをｎ＝４分割した露光時間ｔにより定められる撮影枚数と撮影間隔とを示す図である。図５においては、形成必要期間Ｔが４０ミリ秒であるとする。露光時間ｔが４０ミリ秒÷４の式に基づいて１０ミリ秒であるとする。この場合、撮影パラメータ決定部１２は撮影枚数＝４０÷１０＝４枚と算出する。また撮影パラメータ決定部１２は撮影間隔＝４０＋１０＝５０ミリ秒と算出する。撮影装置１はこれらの撮影パラメータを用いて、撮影枚数４枚を５０ミリ秒間隔でシャッターを切る制御を行うことで、形成必要期間Ｔを４分割したすべての分割による各タイミングの露光により生成された画像を生成することができる。なお図５では説明の便宜上、形成必要期間Ｔを４分割した露光時間ｔの場合の例を用いて説明している。しかしながら表示装置２が７セグメントＬＥＤを用いている場合には、表示装置２はｔ０，ｔ１，・・・ｔ８の８つのタイミングで全部のセグメントが消灯している状態から７つのセグメント発光体を順次点灯させて文字を形成させる。従って撮影装置１は露光時間ｔが形成必要期間Ｔを８分割した時間であるなど、セグメント発光体の点灯タイミングに基づいて露光時間ｔを定められるものとする。これにより撮影装置１は全てのセグメントＬＥＤを構成するセグメント発光体（ＬＥＤ）の各発光タイミングにおける画像を生成する。

撮影パラメータ決定部１２は、ＩＳＯ感度値、露光時間ｔ、形成必要期間Ｔ、撮影枚数、撮影間隔を撮影制御部１１に出力する。撮影制御部１１は撮影パラメータ決定部１２から入力したＩＳＯ感度値、露光時間ｔ、形成必要期間Ｔ、撮影枚数、撮影間隔を用いて、ユーザ操作に基づくシャッターを切る操作の開始に合わせて被写体である表示装置２を撮影するカメラ１０４の制御を行う（ステップＳ１０６）。撮影画像取得部１３はカメラ１０４の生成した複数の画像を取得する（ステップＳ１０７）。撮影画像取得部１３は取得した撮影画像を合成部１４へ出力する。

図６は異なるタイミングで生成された画像を示す図である。
図６で示す２つの画像は、一例としては上述の図５で説明した形成必要期間Ｔにおける撮影により生成された画像のうちの２枚の画像を示す。例えば図６において上左側の図は形成必要期間Ｔのうち最初の露光時間ｔ１の撮影により生成された第一画像６１を示す。また図６において上右側の図は形成必要期間Ｔのうち２番目の露光時間ｔ２の撮影により生成された第二画像６２を示す。ユーザが撮影装置１を用いて撮影操作をする際の手ぶれ等により、形成必要期間Ｔにおける撮影により生成された各画像は、対応する同一特徴点の位置が異なる場合がある。

撮影装置１の合成部１４は撮影画像取得部１３から入力した各画像において対応する特徴点を複数検出する。一例として合成部１４は第一画像６１において表示される製品情報表示領域２１が成す矩形の左上と左下の頂点の画像内座標６１１，６１２と、右上と右下の頂点の画像内座標６１３，６１４を検出する。また合成部１４は第二画像６２において表示される製品情報表示領域２１が成す矩形の左上と左下の頂点の画像内座標６２１，６２２と、右上と右下の頂点の画像内座標６２３，６２４を検出する。同様に合成部１４は取得した各画像についての対応する特徴点の画像内座標を検出する。そして合成部は対応する特徴点を合わせが合成画像を生成する（ステップＳ１０８）。この合成画像の生成において合成部１４は、取得した各画像について検出した対応する特徴点を合わせて、各撮影画像の対応する画素のうちそれぞれ最も輝度の高い画素を各画素から選択する。合成部１４は選択した画素を用いて合成画像を生成する。これにより輝度の高い画素がそれぞれの画像から選択された１枚の画像が生成される。記録部１５は合成画像をメモリ等へ記録する（ステップＳ１０９）。合成部１４は合成画像をディスプレイ１０５に出力してもよい。

上述の合成部１４の処理により、形成必要期間Ｔが分割されて設定された露光時間ｔに等しい各期間の画像を用いて、各分割期間で複数のセグメントＬＥＤのうちいずれかのセグメントＬＥＤが発光している状態を合成した画像が生成される。従って、上述のような撮影装置１は表示装置２がセグメントＬＥＤを用いて表示しようとする数字等の文字を正しく表す画像であって、ピントのずれの無い品質の高い画像を生成することができる。
また上述の処理によれば撮影装置１は表示装置２の撮影時の明るさの環境に応じたＩＳＯ感度値や露光時間ｔにより表示装置２を撮影するので、上述の効果に加えさらに画像の明度が適切な品質の高い画像を生成することができる。

図７は撮影枚数と撮影間隔を示す第二の図である。
図７は図５と比較して露光時間ｔがΔだけ長い場合の例である。このように撮影パラメータ決定部１２は、露光時間ｔに当該露光時間ｔより短い時間Δを加えた露光時間ｔ＋Δを、新たな前記露光時間ｔと決定してもよい。これにより合成部１４が用いる各画像の露光時間の期間が重なり、よりセグメントＬＥＤの発光タイミングに露光時間を外さない合成画像を生成することができる。

図８は撮影枚数と撮影間隔を示す第三の図である。
図５では撮影間隔を形成必要期間Ｔ＋露光時間ｔにより一定となる場合の例について説明したが、図８で示すように撮影間隔は一定でなくランダムであってもよい。例えば、撮影枚数をＮとし、１回目の撮影開始時刻を０ミリ秒とした場合に、２回目をｎ＝１とする場合の２回目以降のｎ回目（ｎ＝１，２，…Ｎ－１）の撮影開始時刻は、ｎ×Ｔ＋ｉ×ｔの式により算出してよい。ｎ＝１，…，Ｎ－１であり、かつｉは｛１，２，…，Ｎ－１｝からランダムに１回だけ選ばれる値である。

図８においては最初の露光時間ｔの開始時刻（＝撮影開始時刻）を０ミリ秒とすると、撮影パラメータ決定部１２は、２回目の撮影開始時刻は、撮影開始時刻＝１×４０＋２×１０＝６０ミリ秒と算出する。また撮影パラメータ決定部１２は、ｎ＝３回目の撮影開始時刻は、撮影開始時刻＝２×４０＋１×１０＝９０ミリ秒と算出する。また撮影パラメータ決定部１２は、ｎ＝４回目の撮影開始時刻は、撮影開始時刻＝３×４０＋３×１０＝１５０ミリ秒と算出する。

図９は撮影装置の最小構成を示す図である。
撮影装置１は少なくとも上述の撮影パラメータ決定部１２、撮影画像取得部１３、合成部１４を備えればよい。

上述の撮影装置１は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、カメラ１０４、ディスプレイ１０５等の各ハードウェアを備えたコンピュータであってよい。

上述の撮影装置１は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１・・・撮影装置
２・・・表示装置
１１・・・撮影制御部
１２・・・撮影パラメータ決定部
１３・・・撮影画像取得部
１４・・・合成部
１５・・・記録部
１０１・・・ＣＰＵ
１０２・・・ＲＯＭ
１０３・・・ＲＡＭ
１０４・・・カメラ
１０５・・・ディスプレイ

Claims (9)

1. 所定間隔かつ非同期で点滅する複数のセグメント発光体により表示文字を形成する表示装置の撮影パラメータであって、被写体である前記表示装置の明るさに応じた露光時間ｔを少なくとも含む撮影パラメータを決定する撮影パラメータ決定部と、
   前記表示装置が前記セグメント発光体の何れかを順に点灯させて前記表示文字を形成するために必要な形成必要期間Ｔと前記露光時間ｔとを少なくとも用いて決定した撮影枚数と撮影間隔とにより前記表示装置を撮影した前記撮影枚数の撮影画像を取得する撮影画像取得部と、
   前記撮影枚数の撮影画像を合成した合成画像を生成する合成部と、
   を備える撮影装置。
2. 前記合成部は前記表示装置を撮影した前記撮影枚数の各撮影画像の特徴点を決定し、当該特徴点を合わせて当該撮影枚数の各撮影画像の対応する画素のうちそれぞれ最も輝度の高い画素を用いて前記合成画像を生成する
   請求項１に記載の撮影装置。
3. 前記撮影パラメータ決定部は、複数の異なる形成必要期間Ｔのうち前記被写体となる前記表示装置に対応する形成必要期間Ｔを決定する
   請求項１または請求項２に記載の撮影装置。
4. 前記撮影パラメータ決定部は、予め定められた複数の露光時間ｔであって当該露光時間ｔをｎ倍することにより前記複数の異なる形成必要期間Ｔの何れかとなる複数の前記露光時間ｔのうち、前記表示装置の明るさに応じた自動設定した露光時間に近い前記露光時間ｔを決定する
   請求項３に記載の撮影装置。
5. 前記撮影パラメータ決定部は、前記露光時間ｔに当該露光時間ｔより短い時間Δを加えた露光時間ｔ＋Δを、新たな前記露光時間ｔと決定する
   請求項４に記載の撮影装置。
6. 前記撮影パラメータ決定部は、前記形成必要期間Ｔにおける前記露光時間ｔの撮影開始時刻をランダムに算出する
   請求項４または請求項５に記載の撮影装置。
7. 前記撮影パラメータ決定部は、前記形成必要期間Ｔを前記露光時間ｔで除した撮影枚数を算出し、
   前記撮影パラメータ決定部は、前記形成必要期間Ｔに前記露光時間ｔを加えた撮影間隔を算出する
   請求項１から請求項４の何れか一項に記載の撮影装置。
8. 所定間隔かつ非同期で点滅する複数のセグメント発光体により表示文字を形成する表示装置の撮影パラメータであって、被写体である前記表示装置の明るさに応じた露光時間ｔを少なくとも含む撮影パラメータを決定し、
   前記表示装置が前記セグメント発光体の何れかを順に点灯させて前記表示文字を形成するために必要な形成必要期間Ｔと前記露光時間ｔとを少なくとも用いて決定した撮影枚数と撮影間隔とにより前記表示装置を撮影した前記撮影枚数の撮影画像を取得し、
   前記撮影枚数の撮影画像を合成した合成画像を生成する
   撮影方法。
9. 撮影装置のコンピュータを、
   所定間隔かつ非同期で点滅する複数のセグメント発光体により表示文字を形成する表示装置の撮影パラメータであって、被写体である前記表示装置の明るさに応じた露光時間ｔを少なくとも含む撮影パラメータを決定する撮影パラメータ決定手段、
   前記表示装置が前記セグメント発光体の何れかを順に点灯させて前記表示文字を形成するために必要な形成必要期間Ｔと前記露光時間ｔとを少なくとも用いて決定した撮影枚数と撮影間隔とにより前記表示装置を撮影した前記撮影枚数の撮影画像を取得する撮影画像取得手段、
   前記撮影枚数の撮影画像を合成した合成画像を生成する合成手段、
   として機能させるプログラム。

Images