JP6034486B2

JP6034486B2 - 電子機器

Info

Publication number: JP6034486B2
Application number: JP2015511018A
Authority: JP
Inventors: 山本　晃司; 晃司山本
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2013-04-10
Filing date: 2013-04-10
Publication date: 2016-11-30
Anticipated expiration: 2033-04-10
Also published as: WO2014167675A1; JPWO2014167675A1; US20160035062A1

Description

本発明の実施形態は、画像の一部を選択する技術に関する。

矩形形状の輪郭を有する対象物を斜めから撮影すると、矩形形状の輪郭が歪んで撮影される。歪んだ矩形形状の輪郭を含む画像からエッジ（edge）画像を生成して対象物の輪郭の形状を取得し、撮影時の焦点距離などに基づいて歪みを補正する電子機器が提案されている。

特開２００５−１２２３２８号公報

画像内に輪郭の全体が表示されていない場合、自動的にエッジ画像を生成できないので、ユーザがエッジ画像を生成するための領域を選択枠によって設定する必要がある。

この場合、画像を一旦縮小して、選択枠の頂点を対象物の角と推定される位置に移動するように、選択枠を変形させる必要がある。また、縮小しすぎたときには拡大する必要がある。この際に、従来の手法では縮小拡大操作（ピンチイン（pinch in）、ピンチアウト（pinch out）など）と選択枠の変形操作とは、別の操作となるため、操作が煩雑となる。

本発明の目的は、画像の縮小拡大操作と選択枠の変形操作とを切り換えずに行うことが可能な電子機器を提供することにある。

実施形態によれば、電子機器は、表示処理手段を具備する。表示処理手段は、第１の画像と、四角形の選択枠とを表示画面の表示領域に表示する。表示処理手段は、入力手段からの入力に応じて前記選択枠を変形し、前記変形によって移動される選択枠上の第１の点の位置に応じて前記第１の画像を縮小または拡大する。表示処理手段は、前記第１の点と前記表示領域の周囲との間の第１距離が第１設定値より短い場合に前記第１の画像を縮小する。

図１は、実施形態の電子機器の外観の一例を示す斜視図である。図２は、実施形態の電子機器のシステム構成の一例を示すブロック図である。図３は、画像処理プログラムの構成の一例を示すブロック図である。図４は、ホワイトボードを撮影した画像ファイルに対応する画像を表示した状態を示す図である。図５は、図４に示す選択ボタンを操作した場合の画像および選択枠を示す図である。図６は、画像を縮小表示している状態を示す図である。図７は、選択枠によって画像内の領域を選択した状態を示す図である。図８は、切り出し処理部によって切り出された画像を示す図である。図９は、補正処理部によって矩形形状に修正された画像を示す図である。図１０は、画像を拡大表示している状態を示す図である。図１１は、表示処理部による拡大／縮小処理の手順を示すフローチャートである。

以下、実施の形態について図面を参照して説明する。

図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、タブレットコンピュータ（tablet computer）、ノートブック（notebook）型パーソナルコンピュータ（personal computer）、スマートフォン（smart phone）、ＰＤＡ（personal digital assistant）、またはデジタルカメラ（digital camera）のような各種電子機器に内蔵される組み込みシステム（system）として実現され得る。以下では、この電子機器がタブレットコンピュータ１０として実現されている場合を想定する。タブレットコンピュータ１０は、タブレット（tablet）またはスレートコンピュータ（slate computer）とも称される携帯型電子機器であり、図１に示すように、本体１１とタッチスクリーンディスプレイ（touch screen display）１７とを備える。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わせるように取り付けられている。

本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、フラットパネルディスプレイ（flat panel display）と、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサ（sensor）としては、例えば、静電容量方式のタッチパネル（touch panel）、電磁誘導方式のデジタイザ（digitizer）などを使用することができる。

また、本体１１の裏面側には、画像を撮影するためのカメラモジュール（camera module）が設けられている。

図２は、タブレットコンピュータ１０のシステム構成を示す図である。
タブレットコンピュータ１０は、図２に示されるように、ＣＰＵ（central processing unit）１０１、システムコントローラ(system controller)１０２、主メモリ（memory）１０３、ＧＰＵ（Graphic Processing Unit）１０４、ＢＩＯＳ−ＲＯＭ１０５、不揮発性メモリ（nonvolatile memory）１０６、無線通信デバイス（device）１０７、エンベデッドコントローラ（EC : embedded controller）１０８、カメラモジュール１０９等を備える。

ＣＰＵ１０１は、タブレットコンピュータ１０内の各種モジュールの動作を制御するプロセッサ（processor）である。ＣＰＵ１０１は、ストレージデバイス（storage device）である不揮発性メモリ１０６から主メモリ１０３にロード（load）される各種ソフトウェア（software）を実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ：operating system）２０１、および各種アプリケーションプログラム（application program）が含まれている。アプリケーションプログラムには、画像処理プログラム（program）２０２が含まれている。この画像処理プログラム２０２は、例えば、カメラモジュール１０９を用いて撮影された画像ファイルに対応する画像から選択された四角形の選択領域を矩形形状に修正する機能等を有する。

また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ：Basic Input/Output System）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

システムコントローラ１０２は、ＣＰＵ１０１のローカルバス（local bus）と各種コンポーネント（component）との間を接続するデバイス（device）である。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラ（memory controller）も内蔵されている。また、システムコントローラ１０２は、ＰＣＩＥＸＰＲＥＳＳ規格のシリアルバス（serial bus）などを介してＧＰＵ１０４との通信を実行する機能も有している。

ＧＰＵ１０４は、本タブレットコンピュータ１０のディスプレイモニタ（display monitor）として使用されるＬＣＤ１７Ａを制御する表示コントローラ（controller）である。このＧＰＵ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。このＬＣＤ１７Ａ上にはタッチパネル１７Ｂが配置されている。

無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されたデバイスである。ＥＣ１０８は、電力管理のためのエンベデッドコントローラ（embedded controller）を含むワンチップマイクロコンピュータ（one-chip microcomputer）である。ＥＣ１０８は、ユーザ（user）によるパワーボタン（power button）の操作に応じて本タブレットコンピュータ１０を電源Ｏｎまたは電源Ｏｆｆする機能を有している。

図３は、画像処理プログラム２０２の構成を示すブロック（block）図である。
画像処理プログラム２０２は、表示処理部３０１、切り出し処理部３０２、補正処理部３０３等を備えている。

表示処理部３０１は、画像の表示領域を示す背景画像と、背景画像上の画像ファイル（file）に基づいた画像とを表示画面としてのＬＣＤ１７Ａに表示するための処理、画像の縮小／拡大を行う機能、背景画像と、背景画像上の画像と、画像上の四角形の選択枠とをＬＣＤ１７Ａに表示するための処理等を行う。画像ファイルには、撮影時の焦点距離等の撮影時の条件が記述されているＥＸＩＦ（Exchangeable image file format）が埋め込まれている。

表示処理部３０１は、ＬＣＤ１７Ａに表示するための表示データを生成する。オペレーティングシステム２０１は、生成された表示データ（data）に基づいた表示データを、ＧＰＵ１０４に送信する。ＧＰＵ１０４は、送信されたデータに基づいた表示信号を生成し、生成された表示信号をＬＣＤ１７Ａに出力する。ＬＣＤ１７Ａは、表示信号に基づいた映像を表示する。

選択枠は、画像上に重畳されて表示される。表示処理部３０１は、入力手段としてのタッチパネル１７Ｂからの入力に応じて、選択枠を変形して表示する。

表示処理部３０１は、変形により移動している選択枠上の点の位置に応じて、画像の拡大または縮小を行う。表示処理部３０１は、変形により移動している選択枠上の点の位置に応じた速度で画像の拡大または縮小を行う。

切り出し処理部３０２は、選択枠によって選択された四角形領域の画像を切り出す処理を行う。補正処理部３０３は、撮影時の時の焦点距離などに基づいて、切り出された領域の画像を矩形形状に修正する処理を行う。切り出し処理部３０２は、選択枠に選択された領域が画像および背景画像を含む場合、画像および背景画像を切り出す。

図４は、カメラモジュール１０９によってホワイトボードを撮影した画像ファイル（画像データ）に対応する画像を表示した状態である。図４に示すように、画像４０１内にホワイトボードの右上角と右下角の部分が表示されていない。領域４０１の右側には、選択ボタン（button）４１１と補正ボタン（button）４１２とを含むコントロールパネルが表示されている。ユーザが、選択枠５０１上の操作点Ｐ１〜Ｐ８の内の何れか操作点上をタッチ（touch）し、タッチしたままスライド（slide）させることで選択枠５０１が変形する。

この状態で、選択ボタン４１１が操作されると、表示処理部３０１は、選択枠を表示する。図５に示すように、ホワイトボードの字や絵が書き込まれる書き込み領域を選択するための選択枠５０１が表示されている。図５において、書き込み領域の表示されていない部分を破線で示している。図５に示すように、ホワイトボードの右上角と左上角は、ＬＣＤ１７Ａに表示されていないので、書き込み領域を選択することができない。

表示処理部３０１は、選択枠５０１の頂点が背景画像４０１の外周付近に位置するようになると、画像４００を縮小表示する。表示処理部３０１は、変形により移動している選択枠５０１上の点と背景画像４０１の外周との距離Ｄ１が第１設定値ＤＳ１より短くなると、距離Ｄ１に応じた速度で画像４００を縮小する。より詳細には、表示処理部３０１は、変形により移動している選択枠５０１の頂点（例えば、操作点Ｐ５）と背景画像４０１の外周との距離Ｄ１が第１設定値ＤＳ１以内である領域４０１Ａ内にある場合に、距離Ｄ１に応じた速度で画像４００を縮小表示する。表示処理部３０１は、距離Ｄ１が短いほど速い縮小速度で画像４００を縮小表示する。

縮小表示されることで、図６に示すように、書き込み領域の右上角と推定される点Ｃ１と書き込み領域の右下角と推定される点Ｃ２とが表示領域としての背景画像上に位置するようになる。

この時点で、ユーザは、操作が行われている操作点を領域４０１Ａ外に移動させる。操作点が領域４０１Ａ外に移動することで、縮小速度が０になる。そのため、操作点が領域４０１Ａ外に移動する直前の縮小倍率で画像４００が表示される。

画像４００が縮小表示されることで、図７に示すように、選択枠５０１の操作点Ｐ３、Ｐ５をホワイボードの仮想的な右上角および右下角と推定される点Ｃ１、Ｃ２上に移動させることが可能になる。そのため、書き込み領域を含む四角形領域を選択枠５０１によって選択することが可能になる。

選択枠５０１による選択が完了した後に補正ボタン４１２が操作されると、切り出し処理部３０２は、選択枠５０１により選択された領域を切り出す。図８に示すように、画像４００および背景画像４０１を含む画像４００Ａが切り出される。切り出し後、補正処理部３０３は、切り出された画像４００Ａを矩形形状に修正する。図９は、修正された矩形画像４００Ｂを示す。

なお、図１０に示すように、頂点を選択枠５０１の中心に近づけると、表示処理部３０１は、画像４００を拡大表示する。

より詳細には、表示処理部３０１は、変形により移動している移動している選択枠の頂点と、当該頂点と隣り合う二つの頂点を結んだ対角線との距離Ｄ２が第２設定値ＤＳ２より短くなると、距離Ｄ２に応じた速度で画像４００を拡大する。換言すると、表示処理部３０１は、変形により移動している選択枠５０１上の点と選択枠の中央部との距離Ｄ２が第２設定値ＤＳ２より短くなると、距離Ｄ２に応じた速度で画像４００を拡大する。表示処理部３０１は、距離Ｄ２が短いほど速い拡大速度で画像４００を拡大する。

図１１は、表示処理部３０１による拡大／縮小処理の手順を示すフローチャート（flow chart）である。
表示処理部３０１は、選択枠５０１の移動中の頂点と、背景画像４０１の外周との最短距離を示す第１距離Ｄ１が第１設定値ＤＳ１より短いかを判定する（ステップ（step）Ｂ１１）。短いと判定した場合（ステップＢ１１のＹｅｓ）、表示処理部３０１は、第１距離Ｄ１の値に応じた縮小速度で画像を縮小表示する（ステップＢ１４）。短くないと判定した場合（ステップＢ１１のＮｏ）、表示処理部３０１は、選択枠５０１の移動中の頂点と、当該頂点に隣接する二つの頂点を結ぶ対角線との距離を示す第２距離Ｄ２が第２設定値ＤＳ２より短いかを判定する（ステップＢ１２）。短いと判定した場合（ステップＢ１２のＹｅｓ）、第２距離Ｄ２の値に応じた拡大速度で画像を拡大表示する（ステップＢ１５）。短くないと判定した場合（ステップＢ１２のＮｏ）、縮小速度または拡大速度を０にする。

なお、距離Ｄ１が第１設定値ＤＳ１より短くなく、距離Ｄ２が第２設定値ＤＳ２より短くない領域では、画像の拡大および縮小が行われない。

表示処理部３０１は、ＬＣＤ１７Ａのサイズに応じた速度で画像４００を縮小または拡大しても良い。

本実施形態によれば、変形によって移動される選択枠５０１上の第１の点の位置に応じて、画像の拡大または縮小を行うことによって、画像の縮小拡大操作と選択枠の変形操作とを切り換えずに行うことが可能になる。

なお、本実施形態の画像処理の手順は全てソフトウェアによって実行することができる。このため、画像表示処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims

第１の画像と、四角形の選択枠とを表示画面の表示領域に表示する表示処理手段であって、入力手段からの入力に応じて前記選択枠を変形し、前記変形によって移動される選択枠上の第１の点の位置に応じて前記第１の画像を縮小または拡大する、表示処理手段
を具備し、
前記表示処理手段は、前記第１の点と前記表示領域の周囲との間の第１距離が第１設定値より短い場合に前記第１の画像を縮小する
電子機器。
第１の画像と、四角形の選択枠とを表示画面の表示領域に表示する表示処理手段であって、入力手段からの入力に応じて前記選択枠を変形し、前記変形によって移動される選択枠上の第１の点の位置に応じて前記第１の画像を縮小または拡大する、表示処理手段
を具備し、
前記表示処理手段は、前記第１の点と前記選択枠の中央部との間の第２距離が第２設定値より短い場合に前記第１の画像を拡大する
電子機器。
前記選択枠は前記第１の画像内の領域を選択する
請求項１または２に記載の電子機器。
前記第１の点は、前記選択枠の４つの頂点のうちの第１の頂点である請求項１または２に記載の電子機器。
前記第１の点は、前記選択枠の４つの頂点のうちの第１の頂点であり、
前記第２距離は、前記第１の頂点と、前記選択枠のうちの当該第１の頂点と隣り合う二つの頂点を結んだ対角線との距離を含む請求項２に記載の電子機器。
前記選択枠内の前記第１の画像を切り出す切り出し手段と、
前記切り出された画像を矩形形状に修正する補正手段を更に具備する請求項１または２に記載の電子機器。
前記表示処理手段は、前記第１の画像を背景画像上に表示し、
前記選択枠が前記第１の画像および背景画像を含む場合、前記切り出し手段は、前記選択枠内の前記第１の画像および前記背景画像を切り出す請求項６に記載の電子機器。
前記表示処理手段は、前記第１の点の位置に応じた速度で前記第１の画像を縮小または拡大する請求項１または２に記載の電子機器。
前記表示処理手段は、前記表示画面のサイズに応じた速度で前記第１の画像を縮小または拡大する請求項１または２に記載の電子機器。
第１の画像と、四角形の選択枠とを表示画面の表示領域に表示することと、
入力手段からの入力に応じて前記選択枠を変形することと、
前記変形によって移動される選択枠上の第１の点の位置に応じて前記第１の画像を縮小または拡大することと
を具備し、
前記縮小することは、前記第１の点と前記表示領域の周囲との間の第１距離が第１設定値より短い場合に前記第１の画像を縮小することを含む
表示方法。
第１の画像と、四角形の選択枠とを表示画面の表示領域に表示することと、
入力手段からの入力に応じて前記選択枠を変形することと、
前記変形によって移動される選択枠上の第１の点の位置に応じて前記第１の画像を縮小または拡大することと
を具備し、
前記拡大することは、前記第１の点と前記選択枠の中央部との間の第２距離が第２設定値より短い場合に前記第１の画像を拡大することを含む
表示方法。
第１の画像と、四角形の選択枠とを表示画面の表示領域に表示する手順と、
入力手段からの入力に応じて前記選択枠を変形する手順と、
前記変形によって移動される選択枠上の第１の点の位置に応じて前記第１の画像を縮小または拡大する手順と
をコンピュータに実行させ、
前記縮小する手順は、前記第１の点と前記表示領域の周囲との間の第１距離が第１設定値より短い場合に前記第１の画像を縮小する手順を含む
プログラム。
第１の画像と、四角形の選択枠とを表示画面の表示領域に表示する手順と、
入力手段からの入力に応じて前記選択枠を変形する手順と、
前記変形によって移動される選択枠上の第１の点の位置に応じて前記第１の画像を縮小または拡大する手順と
をコンピュータに実行させ、
前記拡大する手順は、前記第１の点と前記選択枠の中央部との間の第２距離が第２設定値より短い場合に前記第１の画像を拡大する手順を含む
プログラム。