JP6399158B2 - 画像処理システム - Google Patents

Description

本発明は、画像処理装置及びプログラムに関する。

特許文献１には、前面方向又は背面方向に曲げる又は折り畳むことができるフォールディング部を、端末装置の長辺方向中央に配置したフレキシブル携帯端末装置が記載されている。

特開２０１４−１６１００９号公報

画像を表示する表示装置には、変形可能な表示面を有する装置もある。しかし、これらの表示装置では、表示面の変形を利用して表示内容を変化させることは想定されていない。

本発明は、表示対象の変形に応じて表示内容を変化させない場合に比して、変形可能な表示対象の利便性を向上させることを目的とする。

請求項１に記載の発明は、変形を検知するセンサが設けられた変形可能なシート部材と、前記センサの出力から前記シート部材の変形を検知する検知部と、当該シート部材が曲げられる前の第１の形状から曲げられた後の第２の形状に変形された場合、変形の前後に曲げ位置を跨いで当該シート部材に投光されている画像自体に当該曲げ位置に対応する編集を加える描画部とを含む、当該シート部材とは分離している画像処理装置とを有する画像処理システムである。
請求項２に記載の発明は、前記画像の編集は、前記画像自体と前記該曲げ位置との重なり部分への線分の追加である、請求項１に記載の画像処理システムである。
請求項３に記載の発明は、前記画像の編集では、前記曲げ位置を境に前記画像自体のうちの一方を残し、かつ、他方を消去する、請求項１に記載の画像処理システムである。
請求項４に記載の発明は、前記画像の編集は、前記シート部材が前記第２の形状から前記第１の形状に戻った後に前記画像自体に加えられる、請求項１に記載の画像処理システムである。

請求項１記載の発明によれば、表示対象の変形に応じて表示内容を変化させない場合に比して、変形可能な表示対象の利便性を向上させることができる。
請求項２記載の発明によれば、表示対象の変形に応じて表示内容を変化させない場合に比して、変形可能な表示対象の利便性を向上させることができる。
請求項３記載の発明によれば、表示対象の変形に応じて表示内容を変化させない場合に比して、変形可能な表示対象の利便性を向上させることができる。
請求項４記載の発明によれば、表示対象の変形に応じて表示内容を変化させない場合に比して、変形可能な表示対象の利便性を向上させることができる。

変形可能な表示装置の外観構成を示す図である。 表示装置のハードウェア構成例を説明する図である。 変形検知部の配置例を説明する図である。 表示部の変形に応じて表示内容を変化させる処理機能に関する制御部の機能構成例を説明するブロック図である。 変形の検知位置と対応する曲げ位置との関係を説明する図である。 曲げ位置をより正確に入力するための手法を説明する図である。 制御部で実行される処理手順の概要を説明するフローチャートである。 曲げ状態が検出されている間だけ、表示部の表示内容を変化させる表示モードが選択されている場合の表示内容の推移を説明する図である。 曲げ状態の検出中と次の曲げ状態の検出まで、表示部の表示内容を変化させる表示モードが選択されている場合の表示内容の推移を説明する図である。 曲げ状態の検出終了から次の曲げ状態の検出までの間だけ、表示部の表示内容を変化させる表示モードが選択されている場合の表示内容の推移を説明する図である。 特定された曲げ位置を画像編集に使用する例を説明する図である。 特定された曲げ位置を他の画像編集に使用する例を説明する図である。 収納容器から引き出される表示部を、引き出し方向の２か所で同じ方向に折り曲げた場合（上方から見ると、３つの小画面がコ字状に形成される場合）に、利用者が薄膜基板の同一面に配置される３つの小画面を観察する場合の表示形態を示す図である。 収納容器から引き出される表示部を、引き出し方向の２か所で同じ方向に折り曲げた場合（上方から見ると、３つの小画面がコ字状に形成される場合）に、利用者が収納容器から遠い側の折り曲げ位置の外側斜め上方位置から観察する場合の表示形態を示す図である。 収納容器から引き出される表示部を、引き出し方向の２か所で同じ方向に折り曲げた場合（上方から見ると、３つの小画面がコ字状に形成される場合）に、３人の利用者が３方向から観察する場合の表示形態を示す図である。 表表示中の小画面とは異なる位置に新たな曲げ位置が検知された場合に実行される表示内容の切り替え制御を説明する図である。 表示位置の入れ替え制御を実現する制御部の処理動作の概要を説明するフローチャートである。 利用者が指定した表示形態や表示画像の再生に適した表示部の形状を利用者に案内するための画面例を示す図である。 制御部が利用者の操作を案内する場合に実行する処理動作の概要を説明するフローチャートである。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

＜実施の形態１＞
＜表示装置の構成＞
図１は、変形可能な表示装置１の外観構成を示す図である。本実施の形態における表示装置１の変形には、例えば任意の位置での折り曲げ、予め定めた位置で折り曲げが含まれる。図１は、変形前における表示装置１の外観を示している。平坦な板面上に置いた表示装置１は、図１に示すように、平面形状となる。本実施の形態では、平面形状にある表示装置１を変形前の状態という。

表示装置１は、プラスチックなどで形成された柔軟性を有する薄膜基板に、画像の表示に用いられる表示部２や装置全体を制御する制御部３などを実装して構成される。表示装置１は、いわゆるフレキシブルディスプレイとも呼ばれる。なお、本実施の形態では、表示を専らの機能とする表示装置１について説明するが、本実施の形態における表示装置には、変形可能である限り、表示機能を有する各種の電子機器も含まれる。例えば表示装置１には、携帯型の端末装置も含まれる。

表示部２は、発光素子として、有機ＥＬ（Electro Luminescence）素子や液晶素子などを使用する。表示部２は、不図示の駆動回路によって駆動される。なお、発光素子を液晶素子とする場合には、不図示の光源も配置される。

本実施の形態における表示装置１には、音の出力に用いられるスピーカ４や不図示のデバイスも搭載される。図１の場合、左右一対のスピーカ４が、表示装置１の下辺の両端付近に配置されている。もっとも、スピーカ４の搭載は必須でなく、スピーカ４の代わりに又は一緒に、オーディオポートやイヤホンジャックを搭載してもよい。音データは、表示装置１と外部機器の間で無線通信により伝送してもよい。

表示装置１の表示面（表示部２が配置される面）は、矩形形状を有している。本実施の形態においては、表示装置１の短辺に沿った方向を縦方向Ｖと呼び、長辺に沿った方向を横方向Ｈと呼ぶ。従って、本実施の形態における表示装置１は、横方向Ｈに長い形状を有している。勿論、表示装置１は、縦方向Ｖに長い形状を有していてもよい。

図２は、表示装置１のハードウェア構成例を説明する図である。表示装置１は、前述したデバイスに加え、各種のデータを記憶する記憶部１４と、利用者の操作を受け付ける操作受付部１５と、表示部２の変形の検知に用いられる複数の変形検知部１６と、外部機器との通信に用いる通信部１７と、各部に電力を供給する電源部１８とを有している。なお、前述した各部はバス１９に接続され、各部のデータはバス１９を介して受け渡しされる。

制御部３は、いわゆるコンピュータであり、プログラムを実行するＣＰＵ（Central Processing Unit）１１と、ＢＩＯＳ（Basic Input / Output System）やファームウェアなどのプログラムやデータを記憶するＲＯＭ（Read Only Memory）１２と、プログラムに作業エリアを与えるＲＡＭ（Random Access Memory）１３とにより構成される。本実施の形態における制御部３は，画像処理装置の一例として機能する。

記憶部１４は、印刷技術を用いて形成される変形可能な記憶装置や半導体メモリで構成される。本実施の形態における操作受付部１５は、利用者の指が触れた位置を検知するタッチパネルセンサで構成される。従って、操作受付部１５は、表示部２の表面側に重ねて配置される。

変形検知部１６は、いわゆる歪センサで構成される。歪センサは、折り曲げ量（角度）に応じた大きさのセンサ出力を出力する。このように、歪センサは、付着された部材の変形を検知できるデバイスである。従って、変形検知部１６は、折り畳み状態に至る前の湾曲による変形も検知する。図３は、変形検知部１６の配置位置の例を説明する図である。図３における変形検知部１６は、表示部２の各辺に沿って複数個ずつ配置される。変形検知部１６の配置箇所や配置間隔（配置密度）は、歪センサのサイズや仕様に応じて決まる。なお、変形検知部１６は、表示部２と重なるように配置してもよい。

詳細については後述するが、制御部３は、変形検知部１６によって折り曲げが検知された位置の関係に基づいて、表示部２の折り曲げ位置（すなわち折り位置）を推定する。また、本実施の形態では、変形検知部１６は、表示部２の片面側（例えば表示面側）に配置する。もっとも、変形検知部１６を薄膜基板の両面に配置してもよい。通信部１７は、通信インターフェースで構成される。電源部１８は、電源用の集積回路により構成される。

＜制御部の機能構成＞
次に、制御部３の機能構成について説明する。図４は、表示部２の変形に応じて表示内容を変化させる処理機能に関する制御部３の機能構成例を説明するブロック図である。図４に示す処理機能は、ＣＰＵ１１によるプログラムの実行を通じて実現される。

制御部３は、複数の変形検知部１６のそれぞれからセンサ出力を取得し、変形の発生を検知する変形情報取得部２１と、変形が検知された位置の関係から表示部２の折り曲げ位置を特定する曲げ位置特定部２２と、特定された曲げ位置に応じて表示内容に変化を加える描画部２３と、音声や音楽をスピーカ４から出力させる音再生部２４と、利用者による表示部２の折り曲げ操作を案内する案内部２５とを有している。

本実施の形態の場合、変形情報取得部２１は、予め定めた閾値を超える変化がセンサ出力に現れた場合、センサ出力に対応する変形検知部１６の位置で変形が発生したと判定する。一方、変形情報取得部２１は、予め定めた閾値以下に戻る変化がセンサ出力に現れた場合、センサ出力に対応する変形検知部１６の位置での変形状態が解除されたと判定する。

なお、センササイズが小さい変形検知部１６が密に配置されている場合にあって、変形を検知した変形検知部１６の配置が連続する場合、変形情報取得部２１は、連続する複数個の変形検知部１６の中で最も大きいセンサ出力が得られる位置を変形位置として用いてもよい。

曲げ位置特定部２２は、変形を検知した変形検知部１６の位置関係に基づいて、表示部２の曲げ位置を特定する。図５及び図６は、変形の検出位置と対応する曲げ位置との関係を説明する図である。ここでの曲げ位置特定部２２と前述した変形情報取得部２１は、取得手段の一例を構成する。

図５（ａ）は、表示装置１の各短辺の中点付近に位置する２つの変形検知部１６で変形が検知された場合に、曲げ位置特定部２２が特定する曲げ位置を説明する図である。図５（ａ）の場合、曲げ位置特定部２２は、表示装置１の長辺と平行な線Ｌ１が折り目となるように表示部２が２つ折り（横折り）されていると判定する。

図５（ｂ）は、表示装置１の各長辺の中点付近に位置する２つの変形検知部１６からのセンサ出力に変形が検知された場合に、曲げ位置特定部２２が特定する曲げ位置を説明する図である。図５（ｂ）の場合、曲げ位置特定部２２は、表示装置１の短辺と平行な線Ｌ２が折り目となるように表示部２が２つ折り（縦折り）されていると判定する。

図５（ｃ）は、表示装置１の右上隅と左下隅に位置する２つの変形検知部１６からのセンサ出力に変形が検知された場合に、曲げ位置特定部２２が特定する曲げ位置を説明する図である。図５（ｃ）の場合、曲げ位置特定部２２は、右上がりの対角線方向の線Ｌ３が折り目となるように表示部２が２つ折り（斜め折り）されていると判定する。

図５（ｄ）は、表示装置１の右上隅と左上隅から２番目に位置する２つの変形検知部１６からのセンサ出力に変形が検知された場合に、曲げ位置特定部２２が特定する曲げ位置を説明する図である。図５（ｄ）の場合、曲げ位置特定部２２は、左上隅を直角とする三角形の斜辺を形成する線Ｌ４が折り目となるように、表示部２が２つ折り（斜め折り）されていると判定する。

図５（ｅ）は、上辺（長辺）の３か所と下辺（長辺）の３か所に位置する６つの変形検知部１６からのセンサ出力に変形が検知された場合に、曲げ位置特定部２２が特定する曲げ位置を説明する図である。図５（ｅ）の場合、曲げ位置特定部２２は、左側から右側の方向に、谷折りを形成する線Ｌ５、山折りを形成する線Ｌ６、谷折りを形成する線Ｌ７が並ぶように、表示部２が３つ折りされていると判定する。

図６は、曲げ位置をより正確に入力するための手法を説明する図である。変形が検知された変形検知部１６の位置のみを用いて曲げ位置を特定する場合、変形検知部１６の配置数が少ないと（密度が疎である）と、特定された曲げ位置と実際の曲げ位置との間にずれが生じる可能性がある。そこで、図６に示すように、操作受付部１５の一例であるタッチパネルセンサのセンサ出力を曲げ位置の入力に使用する。曲げ位置特定部２２は、変形検知部１６の変形が検知されている状態で、タッチパネルセンサからのセンサ入力があった場合、尾根線をなぞるように移動する指３０の移動軌跡を曲げ位置として特定する。

図４の説明に戻る。描画部２３は、曲げ位置特定部２２において特定された曲げ位置に応じて変化を加えた画像を表示部２に表示する。例えば描画部２３は、特定された曲げ位置を境とする複数の小画面に表示面を分割し、各画面にそれぞれ異なる画像を表示する。また例えば描画部２３は、表示部２に表示されている画像のうち、特定された曲げ位置の部位に編集を加えた画像を表示部２に表示する。ここでの曲げ位置には、実時間で特定された曲げ位置だけでなく、記憶されている曲げ位置（変形の履歴）も含む。いずれの曲げ位置も、変形に関する情報の一例である。処理動作の詳細については後述する。

音再生部２４は、表示部２に表示されている画像に応じた音をスピーカ４に与える機能である。案内部２５は、利用者が望む表示形態を実現するために必要となる曲げ状態を得るためには、表示部２をどのように折り曲げ操作したらよいかを案内する機能である。案内の手法には、画像による方法や音による方法がある。

＜制御部の制御動作＞
続いて、本実施の形態に係る制御部３が実行する処理動作について説明する。図７は、制御部３で実行される処理手順の概要を説明するフローチャートである。まず、制御部３は、表示部２に配置されている変形検知部１６からのセンサ出力を監視し、表示部２が変形したか否かを判定する（ステップ１０１）。ここでの監視には、変形情報取得部２１の機能が使用される。否定結果が継続している間、変形情報取得部２１は、ステップ１０１の判定動作を繰り返す。一方、閾値を超える変化がセンサ出力に現れた場合、変形情報取得部２１は、肯定結果を得てステップ１０２に進む。

次に、制御部３は、変化が検知された変形検知部１６の位置情報を使用し、表示部２の曲げ位置を特定する（ステップ１０２）。ここでの特定には、曲げ位置特定部２２の機能が使用される。続いて、制御部３は、特定された曲げ位置を画面分割処理に使用するか否かを判定する（ステップ１０３）。ここでの判定には、描画部２３の機能が用いられる。なお、特定された曲げ位置をどのような処理に使用するかは、利用者が予め入力していることが望ましい。

肯定結果が得られた場合、描画部２３は、特定された曲げ位置により定まる画面の分割数に応じた個数の画像を各小画面に出力する（ステップ１０４）。この際、描画部２３は、特定された曲げ位置を境とする小画面のサイズや形状、画像のアスペクト比や画素数等のパラメータに基づいて、各小画面に出力する画像の内容を決定する。

なお、描画部２３による画像の切り替えは、例えば以下の期間に実行される。
（１）曲げ状態の検出中だけ
（２）曲げ状態の検出中と次の曲げ状態の検出まで（変形の履歴情報も用いる）
（３）曲げ状態の検出終了から次の曲げ状態の検出まで（変形の履歴情報のみを用いる）

ここで、画像の切り替えの終了は、次の曲げ状態の検出に限らない。例えば利用者が予め定めた表示時間の経過や利用者による表示の終了指示を待って、画像の切り替えを終了してもよい。

図８は、曲げ状態が検出されている間だけ、表示部２の表示内容を変化させる表示モードが選択されている場合の表示内容の推移を説明する図である。図８の場合、表示部２が変形前の時点Ｔ１において、表示部２に、リンゴの絵の画像（以下「Ａ画像」という。）が表示されている。

図８の場合、時点Ｔ２において、短辺に対して平行に２つの折り目が形成されるように表示部２が折り曲げられる。表示部２がその長辺上の２か所で内側に折り曲げられると、表示部２の画面が３つの小画面に分割される。描画部２３は、形成された小画面のサイズや形状等に応じて各小画面に表示する画像を決定する。図８の例では、真ん中の小画面にＡ画像が表示され、左側の小画面に四角形の画像（以下、「Ｂ画像」という。）が表示され、右側の小画面に三角形の画像（以下、「Ｃ画像」という。）が表示されている。

時点Ｔ３以降は、表示部２が元の平面状態に戻る。この状態で、描画部２３は、表示部２を１つの画面として扱い、Ａ画像のみを表示する。この表示手法の場合、利用者による折り曲げ期間と表示内容の変化期間とが一致する。

図９は、曲げ状態の検出中と次の曲げ状態の検出まで、表示部２の表示内容を変化させる表示モードが選択されている場合の表示内容の推移を説明する図である。変化前の時点Ｔ１において、表示部２にはＡ画像のみが表示されている。この状態で、表示部２が図８と同様に折り曲げられた場合を考える。すなわち、時点Ｔ２において、表示部２の画面が３つの小画面に分割される場合を考える。このとき、描画部２３は、図８の例と同じく、真ん中の小画面にＡ画像を表示し、左側の小画面にＢ画像を表示し、右側の小画面にＣ画像を表示する。

ただし、図９の場合、表示部２が平面状態に戻った時点Ｔ３以降の場合にも、描画部２３は、直前までの表示内容をそのまま維持する。すなわち、曲げ状態が検知されなくなった後も、変形が検知されていたときの情報（履歴情報）を使用し、真ん中の小画面にＡ画像を表示し、左側の小画面にＢ画像を表示し、右側の小画面にＣ画像を表示する。この表示手法は、利用者が表示部２を折り曲げている期間中だけでなく、折り曲げの終了後も履歴情報を使用して折り曲げ中と同じ表示内容が継続する点に特徴がある。

図１０は、曲げ状態の検出終了から次の曲げ状態の検出までの間だけ、表示部２の表示内容を変化させる表示モードが選択されている場合の表示内容の推移を説明する図である。図１０の場合も時点Ｔ１における表示内容は同じである。ただし、図１０の場合には、表示部２が折り曲げられた後も、表示部２の表示面は小画面に分割されず、Ａ画像だけが表示される。

そして、表示部２が曲げ状態から元の平面状態に戻った時点Ｔ３以降に初めて、表示部２の画面が３つの小画面に分割され、それぞれに応じた画像の表示が開始される。すなわち、描画部２３は、真ん中の小画面にＡ画像を表示し、左側の小画面にＢ画像を表示し、右側の小画面にＣ画像を表示する。図１０の場合、利用者による表示部２の折り曲げは、小画面の境界位置の入力のためだけに用いられ、画像の視認は、表示部２を平面状態に戻した後に行われる。

図７の説明に戻る。ステップ１０３で否定結果が得られた場合、描画部２３は、特定された曲げ位置を画像編集で使用するモードに移行する（ステップ１０５）。すなわち、描画部２３は、特定された曲げ位置を使用して表示中の画像に編集を加えるモードに移行する。図１１は、特定された曲げ位置を画像編集に使用する例を説明する図である。図１１では、表示部２が変形される前の時点Ｔ１において、表示部２にＡ画像だけが表示されている。次の時点Ｔ２において、表示部２は、画面中央に対してやや右側の位置で内側に折り曲げられる。この時点では、Ａ画像の表示に変化はない。

続く時点Ｔ３において、表示部２は元の平面状態に戻っているが、Ａ画像には時点Ｔ２の曲げ位置（折り目の位置）に相当するリンゴの画像部分に線分４１が追加されている。図１１の場合、曲げ位置の入力は、線分４１追加するための操作として使用される。なお、図１１では、線分４１の表示が曲げ状態の検出が終了した以降に開始されているが、図８の時点Ｔ２のように曲げ状態の検出中にのみ線分４１が表示されてもよいし、図９の時点Ｔ２及びＴ３のように曲げ状態の検出中と曲げ状態の検出終了後に線分４１が表示されてもよい。

図１２は、特定された曲げ位置を他の画像編集に使用する例を説明する図である。図１２の場合も、時点Ｔ１、Ｔ２及びＴ３の順番で、図１１と同様の折り曲げが表示部２に対して加えられる。ただし、図１２の場合には、時点Ｔ３において、特定された曲げ位置でリンゴを切断した画像が表示されている。すなわち、図１２の場合には、利用者による表示部２の折り曲げ操作が、特殊効果処理（切断処理）を加える部位の入力に使用される。

図１２においては、切断処理後の画像のみが表示されているが、切断開始から切断後に至るまでの過程が動画として表示されてもよい。図１２においては切断面が表示されていないが、切断面が表示されてもよい。切断面が表示されることで、画像処理の臨場感が高まる。本実施の形態の場合、実行される特殊効果処理の内容は、予め利用者によって指定される。また、本実施の形態では、特殊効果処理の一例として切断処理を示しているが、表示部２が手で丸めるように変形され、この際の変形箇所を変形検知部１６のセンサ出力を通じて曲げ位置特定部２２が検知できる場合には、表示されているリンゴを握りつぶしたように画像処理を加えた結果を表示してもよい。

ところで、画像編集の実行時には、画像編集の内容に応じた効果音を付加してもよい。例えば図１２の例であれば、スピーカ４を通じてリンゴが切断される音（例えば「ザクッ」）という効果音を付加してもよい。効果音の付加により、画像処理の臨場感が高まる。

＜実施の形態１の効果＞
以上説明したように、本実施の形態によれば、表示部２の変形操作を通じ、複数の小画面に異なる画像を表示させたり、表示中の画像に特殊効果を付与させたりでき、変形可能な表示部２を有する表示装置１の利便性が向上される。また、特殊効果の内容に応じた音を表示の際に付加することにより、特殊効果を施した画像を表示する際の臨場感が向上する。

＜実施の形態２＞
本実施の形態では、図１３〜図１５を使用し、利用者の眼球位置（観察位置）に応じた画像の出力位置の切り替え技術について説明する。なお、図１３〜図１５の場合、変形可能な表示装置１は、収納容器５０に収容された状態から引き出されて使用されるものとする。ここで、図１３〜図１５は、ＸＹＺ座標系で表している。すなわち、Ｚ軸は高さ方向であり、Ｘ軸とＹ軸は水平面を与える２方向である。また、図１３〜図１５においては、形成される３つの小画面を、収納容器５０から遠い方から順番に第１（＃１）、第２（＃２）、第３（＃３）で表す。

図１３は、収納容器５０から引き出される表示部２を、引き出し方向の２か所で同じ方向に折り曲げた場合（上方から見ると、３つの小画面５１、５２、５３がコ字状に形成される場合）に、利用者が薄膜基板の同一面に配置される３つの小画面５１、５２、５３を観察する場合の表示形態を示す図である。図１３では、利用者の観察位置５４を眼球の表記により示す。図１３では、表示部２をその引き出し方向について２回直角に折り曲げているが、折り曲げ位置で隣り合う２つの面が形成する角度は直角に限らない。例えば鈍角でもよい。

図１３の場合には、表示部２が折り曲げられている間中、小画面５１、５２、５３にそれぞれ異なる画像が表示される。例えば利用者の正面に位置する小画面５２には正面の風景が、右側に位置する小画面５１には右側の風景が、左側に位置する小画面５３には左側の風景が表示される。図１３に示す観察位置５４は、表示装置１を構成する薄膜基板の片面に表示部２が搭載される場合にも、両面に搭載される場合に可能である。本実施の形態の場合、観察位置５４は、利用者により予め表示装置１に設定されている。なお、収納容器５０や表示装置１の一部に利用者の視線方向を検知する視線検知センサが配置されている場合には、その検知結果を使用して観察位置５４を特定してもよい。

図１４は、収納容器５０から引き出される表示部２を、引き出し方向の２か所で同じ方向に折り曲げた場合（上方から見ると、３つの小画面５１、５２、５３がコ字状に形成される場合）に、利用者が収納容器５０から遠い側の折り曲げ位置の外側斜め上方位置から観察する場合の表示形態を示す図である。

図１４に示す観察位置５４は、表示装置１を構成する薄膜基板の両面に表示部２が搭載される場合に可能である。図１４の場合、折り曲げられた薄膜基板の外側に配置された表示部２のうち２つの小画面（小画面５１、５２）と、薄膜基板の内側に配置された表示部２のうちの１つの小画面（小画面５３）とが観察される。図１４でも、表示部２をその引き出し方向について２回直角に折り曲げているが、折り曲げ位置で隣り合う２つの面が形成する角度は直角に限らない。

図１４の場合も、観察位置５４は、利用者により予め表示装置１に設定されている。なお、収納容器５０や表示装置１の一部に利用者の視線方向を検知する視線検知センサが配置されている場合には、その検知結果を使用して観察位置５４を特定してもよい。図１４の場合も、表示部２が折り曲げられている間中、小画面５１、５２、５３にそれぞれ異なる画像が表示される。

図１５は、収納容器５０から引き出される表示部２を、引き出し方向の２か所で同じ方向に折り曲げた場合（上方から見ると、３つの小画面５１、５２、５３がコ字状に形成される場合）に、３人の利用者が３方向から観察する場合の表示形態を示す図である。

図１５に示す観察位置５４は、表示装置１を構成する薄膜基板の片面に表示部２が搭載される場合にも両面に搭載される場合にも可能である。図１５の場合、薄膜基板の同一面（折り曲げられた状態で外側に位置する面）に配置された表示部２を分割する３つの小画面５１、５２、５３が観察される。図１５の場合も、表示部２をその引き出し方向について２回直角に折り曲げているが、折り曲げ位置で隣り合う２つの面が形成する角度は直角に限らない。

図１５の場合、３つの小画面５１、５２、５３には、各観察位置５４に対応する利用者に専用の画像が表示されてもよい。例えば観察位置５４Ａに対応する小画面５１にはチャンネルＡのテレビジョン画像が表示され、観察位置５４Ｂに対応する小画面５２にはパソコンの操作画面が表示され、観察位置５４Ｃに対応する小画面５３にはチャンネルＣのテレビジョン画像が表示されてもよい。

図１５の場合も、観察位置５４は、利用者により予め表示装置１に設定されている。また、収納容器５０や表示装置１の一部に利用者の視線方向を検知する視線検知センサが配置されている場合には、その検知結果を使用して観察位置５４を特定してもよい。図１５の場合も、表示部２が折り曲げられている間中、小画面５１、５２、５３にそれぞれ異なる画像が表示される。

以上説明したように、本実施の形態の場合には、表示部２の変形操作によって出現する３つの小画面５１、５２、５３に対する画像の出力が、各小画面と観察位置５４との位置関係に応じて変更されるため、変形可能な表示部２を有する表示装置１の利便性が向上される。

＜実施の形態３＞
本実施の形態では、表示部２の変形を、小画面間における表示内容の入れ替えに使用する場合について説明する。図１６は、表示中の小画面とは異なる位置に新たな曲げ位置が検知された場合に実行される表示内容の切り替え制御を説明する図である。図１６の上段では、左側の小画面にＡ画像が表示され、右側の小画面にＢ画像が表示されている。この場合、２つの画面の境界を与える線Ｌ１１は、表示部２の短辺と平行である。一方、図１６の下段は、線Ｌ１１とは異なる位置に、新たな曲げ位置に対応する線Ｌ１２が検知された場合の表示内容を示している。下段では、左側の小画面にＢ画像が表示され、右側の小画面にＡ画像が表示されている。このように、新たな曲げ位置の検知の前後で表示内容が左右で入れ替わっている。

図１７は、表示位置の入れ替え制御を実現する制御部３の処理動作の概要を説明するフローチャートである。まず、制御部３は、表示部２に配置されている変形検知部１６からのセンサ出力を監視し、表示部２が変形したか否かを判定する（ステップ２０１）。ここでの監視には、変形情報取得部２１の機能が使用される。否定結果が継続している間、変形情報取得部２１は、ステップ２０１の判定動作を繰り返す。一方、閾値を超える変化がセンサ出力に現れた場合、変形情報取得部２１は、肯定結果を得てステップ２０２に進む。

次に、制御部３は、変形が検知された変形検知部１６の位置情報を使用し、表示部２の曲げ位置を特定する（ステップ２０２）。ここでの特定には、曲げ位置特定部２２の機能が使用される。続いて、制御部３は、特定された曲げ位置が直前の曲げ位置と異なるか否かを判定する（ステップ２０３）。ここでの判定には描画部２３の機能が使用される。肯定結果が得られた場合、描画部２３は、新たな曲げ位置を境とする小画面の間で、画像の表示位置を入れ替える（ステップ２０４）。一方、否定結果が得られた場合、描画部２３は、現在の表示を継続する。

このように、本実施の形態によれば、表示部２の変形という分かり易い操作で、表示部２に表示されている画像の表示位置を入れ替えることができ、利用者にとっての表示装置１の利便性が向上される。

＜実施の形態４＞
本実施の形態では、利用者の望む表示形態（例えば画像の表示に用いる小画面の数や配置）や利用者が選択した画像に適した表示を実現するために求められる表示部２の変形操作を案内する機能について説明する。図１８は、利用者が指定した表示形態に適した表示部２の形状を利用者に案内するための画面例を示す図である。

図１８に示す画面例は、表示部２の上下に異なる画像を表示させたい場合の操作例である。本実施の形態の場合、表示部２の中央付近に長辺と平行に延びる点線６１が表示されると共に、利用者の作業内容を指示する案内文６２が表示される。図１８の例では、山折りとするか谷折りとするかは記載されていない。なお、案内文６２を表示する際に、案内文６２の内容が音声出力されることが望ましい。

図１９は、制御部３が利用者の操作を案内する場合に実行する処理動作の概要を説明するフローチャートである。この機能は、案内部２５の機能を通じて実行される。まず、案内部２５は、折り曲げ位置の案内が要求されているか否かを判定する（ステップ３０１）。否定結果が継続している間、案内部２５は、ステップ３０１の判定動作を繰り返す。

一方、肯定結果が得られた場合、案内部２５は、案内する表示形態を特定する（ステップ３０２）。例えば案内部２５は、表示部２に表示された複数種類の表示形態の中から利用者が指定した表示形態を特定する。次に、案内部２５は、特定された表示形態に応じた折り曲げ位置を示す案内画面（図１８参照）を表示部２に表示する（ステップ３０３）。

以上の案内画面は、直感的にもわかり易い例であったが、表示する画像の内容等に適した曲げ位置が案内されることで、利用者は短時間のうちに画像の観察に適した形状に表示部２を変形することができる。

＜他の実施の形態＞
前述の実施の形態においては、表示部２の変形操作を通じて、表示部２に表示される画像を変化させる場合について説明したが、特定位置の小画面に表示されている画像についてのみ付属音を再生してもよい。また、個々の小画面の対応位置にスピーカ４が配置されている場合、各小画面に表示されている画像の付属音を各小画面に対応する位置のスピーカ４を通じて再生してもよい。すなわち、小画面ごとに異なる付属音を再生してもよい。

前述の実施の形態においては、表示画像の出力形態についてのみ説明しているが、表示部２の変形によって形成される複数の小画面のうち特定の位置（例えば左、真ん中、右の３つの小画面のうちの真ん中）の小画面についてのみ表示画像の再生速度を変更してもよい。例えば真ん中の小画面に表示される画像についてのみ再生速度を倍速としてもよいし、スローモーションやコマ送りとしてもよい。

前述の実施の形態においては、表示部２と制御部３が図１に示すように一体に構成されているが、表示部２（通信部を含む）が制御部３から分離されたプロジェクタ型の装置構成でもよい。この形態における表示部２は、いわゆるプロジェクタスクリーンとして構成される例と、いわゆる空中ディスプレイとして構成される例を含む。

表示部２がプロジェクタスクリーンとして構成される場合、表示部２は、複数の変形検知部１６と通信部とがシート状のスクリーン面に実装される。表示部２の通信部は、例えば変形検知部１６のセンサ出力を制御部３に対して送信するために使用される。一方、表示部２が空中ディスプレイとして構成される場合、表示部２は鏡映像として実現される。すなわち、空中ディスプレイとしての表示部２は知覚上の存在であり、物理的な存在ではない。従って、空中ディスプレイとしての表示部２に用いられる変形検知部１６は、利用者が表示面を折り曲げるジェスチャを撮像する撮像カメラやジェスチャに伴う空間の揺らぎ（例えば空気や風の変化）などを検知するセンサとして表示部２の周囲に配置される。変形検知部１６のセンサ出力は通信部を通じて制御部３に出力される。

この形態の場合、制御部３は、独立した筐体として構成される画像処理装置に含まれる。前述した実施の形態における描画部２３は、同じく画像処理装置に含まれる投光部（光源と光学系で構成される）を制御して、表示部２の表面（投影面）に投影する画像の内容を変化させる。このような装置構成の場合にも、前述した実施例と同じ効果が実現される。

以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

１…表示装置、２…表示部、３…制御部、４…スピーカ、１４…記憶部、１５…操作受付部、１６…変形検知部、１７…通信部、１８…電源部、２１…変形情報取得部、２２…曲げ位置特定部、２３…描画部、２４…音再生部、２５…案内部、４１…線分、５０…収納容器、５１、５２、５３…小画面、５４、５４Ａ、５４Ｂ、５４Ｃ…観察位置

Claims (4)

1. 変形を検知するセンサが設けられた変形可能なシート部材と、
   前記センサの出力から前記シート部材の変形を検知する検知部と、当該シート部材が曲げられる前の第１の形状から曲げられた後の第２の形状に変形された場合、変形の前後に曲げ位置を跨いで当該シート部材に投光されている画像自体に当該曲げ位置に対応する編集を加える描画部とを含む、当該シート部材とは分離している画像処理装置と
   を有する画像処理システム。
2. 前記画像の編集は、前記画像自体と前記該曲げ位置との重なり部分への線分の追加である、請求項１に記載の画像処理システム。
3. 前記画像の編集では、前記曲げ位置を境に前記画像自体のうちの一方を残し、かつ、他方を消去する、請求項１に記載の画像処理システム。
4. 前記画像の編集は、前記シート部材が前記第２の形状から前記第１の形状に戻った後に前記画像自体に加えられる、請求項１に記載の画像処理システム。

Images