WO2005085781A1 - 色識別装置 - Google Patents

色識別装置 Download PDF

Info

Publication number
WO2005085781A1
WO2005085781A1 PCT/JP2005/004233 JP2005004233W WO2005085781A1 WO 2005085781 A1 WO2005085781 A1 WO 2005085781A1 JP 2005004233 W JP2005004233 W JP 2005004233W WO 2005085781 A1 WO2005085781 A1 WO 2005085781A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
sound
camera
identification device
data
Prior art date
Application number
PCT/JP2005/004233
Other languages
English (en)
French (fr)
Inventor
Yousuke Nanri
Dai Taguchi
Hiroshi Kurokawa
Original Assignee
Yousuke Nanri
Dai Taguchi
Hiroshi Kurokawa
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yousuke Nanri, Dai Taguchi, Hiroshi Kurokawa filed Critical Yousuke Nanri
Publication of WO2005085781A1 publication Critical patent/WO2005085781A1/ja

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute

Definitions

  • the present invention relates to a color identification device for a visually impaired person.
  • Patent Document 1 As a device for identifying a color, for example, as shown in Patent Document 1, there has been a dedicated device for identifying a color and outputting it as a sound. However, this device was expensive due to the dedicated device and could not be used by anyone. It is not easy to use, for example, irradiating white light and measuring its reflection.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2002-22537
  • An object of the present invention is to provide a sound color identification device for visually impaired persons and color-blind persons, and to enable visually impaired persons and the like to easily use them in daily life. Means to solve
  • the present invention provides a color identification device using a camera, comprising: a pixel acquisition unit for acquiring a plurality of pixels from a partial region of an image taken by the camera; A color discriminating means for discriminating one color from the plurality of pixels obtained; a sound data converting means for converting the discriminated color into sound data; and a sound output means for outputting the sound data. It is characterized by.
  • the pixel acquisition means, the color determination means, the sound data conversion means, and the sound output means operate each time the camera continuously acquires an image, the camera is turned in real time.
  • the color of the direction can be identified by sound.
  • a color is identified by a pitch, a chord, a length, and a size of the sound, and the hue is the pitch, the achromatic color is the chord, the brightness of the color, and the color.
  • the degree may be represented by the length and loudness of the sound.
  • the apparatus may further include audio data conversion means for converting the determined color into audio data, and audio output means for outputting the audio data.
  • the image processing apparatus may further include display data creation means for creating the determined color as display data, and display means for displaying an image showing a frame indicating the area in the image taken by the camera and the display data.
  • the present invention also includes a program for causing a camera-equipped mobile terminal to realize the functions of the above-described color identification device.
  • the device is configured as a color identification device based on sound, a visually impaired person can use it in daily life.
  • the colors in the camera lens direction can be identified in real time, so that the colors can be identified immediately. Also, by gradually changing the direction to scan, the color distribution can be known.
  • the color can be identified by voice, the color expressed more accurately can be recognized.
  • the portable terminal with a camera can be configured as a color identification device by a program, a portable device can be provided at low cost.
  • color discrimination area and color data can also be displayed, accurate color information can be visually confirmed, and can be used by those engaged in the task of confirming color.
  • FIG. 1 is a diagram showing an example of a hardware configuration of a mobile terminal 100 such as a mobile phone with a camera, a PDA, or a PC used in the embodiment of the present invention.
  • the mobile terminal 100 includes a camera 110, and images taken by the camera are stored in a camera image memory 112. The entire control is performed by a program executed by the CPU 120. These The program is stored in a nonvolatile memory 124 such as a flash memory or an EEPROM. The image taken by the camera 110 is transferred to the display memory 140 under the control of the CPU 120, and can be viewed on the display device 142.
  • the mobile terminal 100 has a button group (keyboard) 13
  • Buttons are used to instruct the operation of the portable terminal 100, audio is generated from the audio memory 150 via the codec 152, and a sound source LSI 15 is provided.
  • RAM 126 functions as the main memory of CPU 120
  • FIG. 2 is a functional block diagram of an embodiment in which a mobile phone is used as the mobile terminal 100 and this is used as a color identification device.
  • an OS (BREW) 200 for operating the mobile phone 100 as a system a RAM 126 loaded with an application program for using the mobile phone 100 as a color identification device, a voice data file, and the like are stored.
  • the figure mainly shows the exchange of control information and data between the nonvolatile memory 124, the button group 130, the camera 110, the image memory 112, and the like.
  • Programs can be downloaded from the Internet, stored in non-volatile memory such as flash memory, and loaded into RAM 126, the main memory, so that the mobile phone can function as a color identification device. .
  • image data taken from the camera 110 is transferred to the camera image memory 112.
  • the application program obtains image data from the image memory 112 via the OS 200 in the preview storage area in the RAM 126 and performs processing.
  • the sound data is read from the sound data file in the non-volatile memory 124 into the sound reproduction data area of the RAM 126, and the sound data is transferred to the sound memory 150 via the OS 200, thereby outputting the sound.
  • desired display is performed by transferring data in the preview storage area or the display data area from the application program to the display memory 140 via the OS 200.
  • the portable terminal 100 operates as a color identification device. Professional The structure 'function of the gram will be described in detail.
  • FIG. 3 shows BREW used as the OS of the mobile phone 100 in the embodiment.
  • FIG. 4 shows an application structure 220 created to interface between 200 and the application program 300.
  • the event handler 230 can execute a corresponding event 'routine of the application' program according to a specific event such as OS200. For example, when a menu is selected to start the application program 300 using the portable terminal 100 as a color identification device, an application start event 310 occurs, and a routine based on the application start event shown in the flowchart of FIG. 4 is executed.
  • a specific event such as OS200. For example, when a menu is selected to start the application program 300 using the portable terminal 100 as a color identification device, an application start event 310 occurs, and a routine based on the application start event shown in the flowchart of FIG. 4 is executed.
  • an application execution environment is registered (S312). This creates an application structure 220 as shown in FIG. 3, and prepares an event 'handler 230, a callback function 240, and an external variable table 260.
  • BREW manages global variables in a special external variable table 260. Then, in order to notify the activation of the application program 300, a sound or display is output (S314).
  • S316 This includes registering a camera control callback (notifying the application 'Program 300 that the shutter has been released), setting the camera screen size, setting the camera's shutter speed (eg, 2 frames per second), image quality parameters Settings (Iris 'Contrast' Sharpness) etc. Then, the camera control is started (S318), and an event waiting (READY) state is set (S319). The camera will now start shuttering twice a second. Every time the shutter is released, the camera 'callback' 320 is issued and the camera 'callback' routine is executed, which is registered in the callback function 240 of FIG.
  • a camera control callback notifying the application 'Program 300 that the shutter has been released
  • setting the camera screen size setting the camera's shutter speed (eg, 2 frames per second), image quality parameters Settings (Iris 'Contrast' Sharpness) etc.
  • the camera control is started (S318), and an event waiting (READY) state is set (S319).
  • READY event waiting
  • the routine of the camera 'callback executed each time the shutter of the camera 110 is released is shown in the flowchart of Fig. 5.
  • the camera callback routine shown in Figure 5 is the application 'program 300 main' routine. In this routine, the color of the central portion is determined from the image acquired by the camera 110, and the color is notified to the visually impaired person by sound or voice.
  • bitmap data is obtained from the camera image memory 112, and the The preview screen in the program is updated (S322).
  • the display data for display is created on this preview screen, then transferred to the display memory 140 storing the actual screen, and displayed on the display device 142.
  • a color is determined by a color determination function (see FIG. 7A) (S330).
  • FIG. 7A shows a flowchart showing the processing of the color discrimination function.
  • RGB color data 4096 colors of 4 bits each in this embodiment
  • S332 FIG. 7
  • one color is determined from the plurality of points (pixels) (S333). For example, an average value of all the values is taken as a representative color. The same value or the closest color is the most.
  • this RGB color data (in this case, 4096 colors) is converted to a combination of group A (indicating lightness and saturation) and group B (indicating hue) (in this case, 256 or less) (S334).
  • FIG. 9 (a) shows 13 types of brightness and saturation of the embodiment
  • FIG. 9 (b) The following shows the 20 different hue categories in the form.
  • the characters in front of FIG. 8 indicate the divisions in FIG. 9 (a), and the characters in the rear correspond to the divisions in FIG. 9 (b).
  • the color data converted to HSV is converted into sound data / sound file name in the reproduction file name table 266.
  • Sound data is pitch, loudness and length data
  • the audio file name is the audio for generating the words shown in each column of the color name (modifier) of Group A and the color name of Group B shown in Figures 9 (a) and (b). This is the name of the file that stores the data.
  • the flag 1 and the flag 2 are set according to the key press event flowchart shown in FIG. 6A in the embodiment.
  • This event occurs when the user presses any button after the application start event shown in Fig. 4, for example, after the start credit is displayed, the key press event shown in Fig. 6 (a) is started and the user presses the button.
  • the button is determined (S362).
  • flag 2 is set to TRUE (S364). If the user selects sound output and presses any other button, flag 1 is set to TRUE (S366).
  • the sound output function (S340) will be described.
  • An example of this function is shown in FIG. 7 (c), and uses the sound data registered in the playback file name table 266 to notify the visually identified person of the determined color by sound (S342).
  • the color (group B) is represented by the pitch as shown in the table of Fig. 10 (a)
  • the brightness and saturation are represented by the sound as shown in the table of Fig. 10 (b).
  • the length of the sound is the shortest at one stage and the longest at four stages.
  • the maximum (4 steps) is 1Z2 seconds.
  • all achromatic colors are represented by domino chords as the pitch of the sound, and are expressed by distinguishing the stages from white to black according to the volume. In this way, each time the shutter is released, the color of the color determination area of the image acquired thereby is notified by sound, so that the color in the direction in which the camera is pointed can be known in real time.
  • a frame indicating the color determination area is drawn on the preview screen (see Fig. 7 (b)).
  • data of the determined color is created and drawn (S324).
  • color data for example, with the RGB value of the determined color as the maximum value of each color as 255, the character table at the bottom of the screen along with the image taken by the camera and the frame of the color determination area Show. Since the area in which the color of the image is determined and the accurate color data can be confirmed, a person engaged in the task of confirming the color can effectively use the color identification device.
  • the flag 2 is TRUE (S325)
  • the visually impaired person is notified of the determined color by voice.
  • the registration of the camera callback is deleted so that the camera's shutter is not cut off before the end of the voice notification period (S326).
  • the audio data is reproduced by the color name output function (S350).
  • An example of the processing of the color name output function is shown in the flowchart of FIG. 7 (d).
  • FIG. 7 (d) first, if it remains in the voice resource S memory, it is released (S352). Then, the currently registered group A audio reproduction file is loaded into the memory and reproduced (S354).
  • a sound reproduction callback 390 is registered in the callback function 240 in order to reproduce the B group reproduction file.
  • the sound reproduction callback 390 is called.
  • the processing of the audio playback callback is shown in the flowchart of FIG. 6 (d).
  • a condition determination is made as to whether or not this voice playback callback has been called for the first time with flag 3 (initial value: FALSE) (S392).
  • flag 3 initial value: FALSE
  • TRUE is assigned to the flag (S395), and if it remains in the voice resource memory, it is released (S396).
  • the currently registered group B audio playback file is loaded into the memory and played (S397).
  • the audio playback callback is registered in the callback function 240 in order to call the audio playback callback 390 again (S398).
  • the audio playback callback 390 When the audio playback callback 390 is called for the second time after the audio output of the group B is completed, it is determined that the second time has been reached by setting the flag 3 to TRUE (S392). When one of them operates, the camera callback 320 is registered to activate the camera 110 (S393), and FALSE is substituted for the flag 3 (S394). Then, the state becomes an event waiting state (REA DY: S399). Since FALSE is assigned to flag 3, the user presses the button again to select sound output or audio output in order to output sound or audio after color audio output is completed.
  • the preview screen is transferred to the display memory 140 to update the actual screen on the preview screen (FIG. 5: S328).
  • the display screen is normally updated twice every second when the shutter is released, and the color data and the like are displayed. The screen is displayed until the sound reproduction ends.
  • the application interruption event 370 and the application resumption event 380 shown in FIGS. 6 (b) and 6 (c) are issued by the BREW OS used in the embodiment to suspend and resume the execution of the application itself. It is an event.
  • a mobile phone receives a call S while operating an application
  • an application interruption event is sent from the OS, and as shown in Fig. 6 (b), resources are released (S372) and the event is released. It becomes a waiting state (READY: S374).
  • an application restart event is sent to the OS, and processing of the application restart event (Fig. 6 (c)) is executed.
  • it jumps to the camera initialization (S382), goes to the camera initialization (S316) of the processing flow of the application start event shown in FIG. 4, and starts the camera control (S318). It becomes a waiting state (READY: S319).
  • This is a mechanism in which the operating system of a mobile phone is provided in order to realize that the function of the phone has priority over anything, since the mobile phone is a phone.
  • the specific OS (BREW)
  • the shutter is released every 1Z2 seconds, and the audio or sound is output by performing the RGBZHSV conversion as shown in Figs.
  • the OS is different, the execution is not controlled by the application structure shown in FIG. 3, and the program is executed under the control of the OS.
  • sounds or sounds may be output with different shutter intervals or other conversion tables or combinations.
  • a visually impaired person or a color blind person can use a mobile terminal with a camera as a color identification device. Then, the color of the specific area of the image obtained by the camera can be recognized in real time by the sound.
  • the color is converted into various sounds in real time and output, musical applications are also conceivable.
  • the color of the area where the image acquired by the camera exists can be known by voice.
  • the color of the desired portion can be accurately identified, so that the person engaged in the task of confirming the color can effectively utilize the color identification device.
  • the color can be identified.
  • FIG. 1 is a diagram illustrating a configuration example of hardware of a mobile terminal with a camera.
  • FIG. 2 is a functional block diagram of the embodiment.
  • FIG. 3 is a diagram showing an application structure for interfacing an OS with an application.
  • FIG. 4 is a flowchart showing processing of an application activation event.
  • FIG. 5 is a flowchart showing a process called from a camera callback.
  • FIG. 6 is a flowchart showing (a) a key press process, (b) an application interruption event, (c) an application restart event, and (d) a process called from a voice playback callback.
  • FIG. 7 is a flowchart showing (a) processing of a color determination function and (c) processing of a sound output function, and (b) a view showing a preview screen.
  • FIG. 8 is a view showing an RGBZHVS conversion table.
  • FIG. 9 is a diagram showing the meaning of the numbers in FIG. 8 and a table of conversion between colors and sounds.
  • FIG. 10 is a diagram showing a table of color and sound conversion.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Vascular Medicine (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Business, Economics & Management (AREA)
  • Animal Behavior & Ethology (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Image Processing (AREA)

Abstract

［課題］カメラ付きの携帯電話等の携帯端末等を、視覚障害者等のための色識別装置とし、視覚障害者等が日常生活で簡単に使用できるようにする。 ［解決手段］携帯端末１００をシステムとして動作させるためのＯＳ（ＢＲＥＷ）２００、携帯端末１００を色識別装置とするためのアプリケーション・プログラムをロードしたメインメモリであるＲＡＭ１２６、音声データファイル等を格納している不揮発性メモリ１２４、ボタン群１３０、カメラ１１０と画像メモリ１１２，音源ＬＳＩ１５４等のそれぞれの間の、制御情報やデータのやり取りを示している。 　アプリケーション・プログラムにより、カメラ１１０が撮った画像の一部領域から複数の画素を取得する。そして、取得した複数の画素から、１つの色を判別し、判別した色を音データに変換して、音データを音源ＬＳＩ１５４から音として出力する。

Description

明 細 書
色識別装置
技術分野
[0001] 本発明は、視覚障害者のための色識別装置に関するものである。
背景技術
[0002] 従来、視覚障害者にとって、色の識別は困難であった。 日常生活でも、色々な場面 で色の識別ができればよいと思うことが多い。例えば、洋服のコーディネートや両足 に同じ色の靴下を履くなど、色が識別できれば、他人の世話にならずにすむと考えて いる視覚障害者は多い。
従来から、色を識別するための装置として、例えば、特許文献 1で示されているよう に、色を識別して音声で出力するための専用装置は存在していた。しかしながら、こ の装置は、専用装置のために高価であり、だれでも使用することができなかった。し 力も、白色光を照射してその反射を計測する等使い勝手もよくない。
特許文献 1：特開 2002— 22537号公報
発明の開示
発明が解決しょうとする課題
[0003] 本発明の目的は、視覚障害者及び色覚異常者のための音による色識別装置を提 供することであり、視覚障害者等が日常生活で簡単に使用できるようにすることである 課題を解決するための手段
[0004] 上記目的を達成するために、本発明は、カメラを用いた色識別装置であって、前記 カメラが撮った画像の一部領域から複数の画素を取得する画素取得手段と、前記取 得した複数の画素から、 1つの色を判別する色判別手段と、前記判別した色を音デ ータに変換する音データ変換手段と、前記音データを出力する音出力手段とを備え ることを特徴とする。
カメラが画像を連続的に取得するごとに、前記画素取得手段，色判別手段，音デ ータ変換手段，音出力手段が動作する場合には、リアルタイムでカメラの向いている 方向の色を音で識別することができる。
前記音データ変換手段により変換された前記音データは、音の高さや和音、長さ、 大きさで色を識別しており、色相を音の高さ、無彩色を和音、色の明度および彩度を 音の長さおよび大きさにより表現してもよい。
前記判別した色を音声データに変換する音声データ変換手段と、前記音声データ を出力する音声出力手段とを、さらに備えてもよい。
前記判別した色を表示データに作成する表示データ作成手段と、前記カメラが撮 つた画像に前記領域を示す枠を示した画像と前記表示データとを表示する表示手段 とを備えてもよい。
カメラ付き携帯端末に、上述の色識別装置の機能を実現させるためのプログラムも 本発明である。
発明の効果
[0005] 本発明では、音による色識別装置として構成するため、視覚障害者の方が日常生 活で使用することができる。
また、連続的に色を識別する場合は、リアルタイムでカメラのレンズ方向の色が識別 できるために、即座に色を識別することができる。また、スキャンするように徐々に方 向を変えることで、色の分布を知ることができる。
音声でも色を識別できるので、より正確に表現された色を認識することができる。 特に、プログラムによりカメラ付き携帯端末を色識別装置として構成することができる ので、持ち運びに便利な装置を安価に提供することができる。
色の判別領域と色のデータを表示することもできるので、視覚的にも正確な色情報 を確認でき、色を確認する仕事に従事して ヽる者が使用することもできる。
発明を実施するための最良の形態
[0006] 図面を参照して、本発明の実施形態を説明する。
図 1は、本発明の実施形態で使用する、カメラ付きの携帯電話や PDA, PC等の携 帯端末 100におけるハードウェアの構成例を示す図である。図 1において、携帯端末 100は、カメラ 110を備えており、カメラで撮られた画像は、カメラ用画像メモリ 112に 格納される。全体の制御は CPU 120で実行されるプログラムで行われている。これら のプログラムは、フラッシュメモリや EEPROM等の不揮発性メモリ 124に格納されて いる。カメラ 110で撮られた画像は、 CPU120の制御で表示メモリ 140に転送され、 表示装置 142で見ることができる。また、携帯端末 100は、ボタン群 (キーボード） 13
0や、マイク 158,スピーカ 155が備えられており、ボタンで携帯端末 100の動作を指 示したり、音声メモリ 150からコーディック 152を介して音声を発生したり、音源 LSI15
4からの音を発生することができる。 RAM 126は CPU 120のメインメモリとして機能し
、データ等を格納している。なお、音源 LSI154を備えなくても、音声と同様にして音 ち発生させることちでさる。
[0007] 図 2は、携帯端末 100として携帯電話を用い、これを色識別装置として使用した実 施形態の機能ブロック図である。図 2において、携帯電話 100をシステムとして動作さ せるための OS (BREW) 200と、携帯電話 100を色識別装置とするためのアプリケー シヨン'プログラムをロードした RAM126、音声データファイル等を格納している不揮 発性メモリ 124、ボタン群 130、カメラ 110と画像メモリ 112等との間の制御情報ゃデ ータのやり取りを中心に示している。
アプリケーション.プログラム等を例えばインターネットからダウンロードして、フラッシ ュメモリ等の不揮発性メモリに格納し、それをメインメモリである RAM 126にロードす ることで、携帯電話を色識別装置として機能させることができる。
図 2において、カメラ 110のシャッターを切ると、カメラ 110から撮影した画像データ がカメラ用画像メモリ 112に転送される。アプリケーション 'プログラムは、 RAM126中 のプレビュー格納領域に、 OS 200を介して画像メモリ 112から画像データを取得し て処理を行う。また、音声を出力するときは、不揮発性メモリ 124の音声データフアイ ルから、 RAM126の音声再生データ領域に音声データを読み込み、 OS200を介し て音声メモリ 150に音声データを転送することで、音声を出力する。表示装置 142に 表示を行なうためには、アプリケーション 'プログラムから、プレビュー格納領域やディ スプレイデータ領域のデータを、 OS200を介して表示用メモリ 140に転送することで 、所望の表示を行なう。
[0008] この図 2と、図 3に示したアプリケーション構造体、図 4一図 7に示したフローチャート 、図 8—図 10に示した表を用いて、携帯端末 100を色識別装置として動作させるプロ グラムについて、その構成'機能を詳しく説明する。
図 3は、実施形態において、携帯電話 100の OSとして使用している BREWで、 OS
200とアプリケーション.プログラム 300とのインターフェースを行うための作成される アプリケーション構造体 220を示して 、る。
イベント.ハンドラ 230は、 OS200力らの特定のイベントにより、アプリケーション'プ ログラムの対応するイベント 'ルーティンを実行することができる。携帯端末 100を色 識別装置とするアプリケーション 'プログラム 300を起動するために、例えばメニュー を選択すると、アプリケーション起動イベント 310が起こり、図 4のフローチャートに示 されるアプリケーション起動イベントによるルーティンが実行される。
[0009] 図 4において、まず、アプリケーション実行環境を登録する（S312)。これは、図 3に 示されるようなアプリケーション構造体 220を作成し、イベント 'ハンドラ 230,コール バック関数 240や外部変数テーブル 260を用意する。 BREWでは、グローバル変数 を特別な外部変数テーブル 260で管理している。そして、アプリケーション 'プロダラ ム 300の起動を知らせるために、音声や表示を出力する（S314)。
次に、必要な初期設定を行う（S316)。これは、カメラ制御用コールバックの登録（ シャッターを切ったことをアプリケーション 'プログラム 300に通知）、カメラ画面サイズ の設定、カメラのシャッター 'スピードの設定 (例えば、 1秒に 2コマ）、画質パラメータ の設定 (アイリス 'コントラスト 'シャープネス)等の設定を行う。そして、カメラ制御をス タートさせ（S318)、イベント待ち（READY)状態となる（S319)。これで、カメラは 1 秒に 2回シャッターを切り始める。シャッターを切るたびに、図 3のコールバック関数 2 40に登録されて!、るカメラ 'コールバック 320が発行され、カメラ 'コールバック 'ルー ティンが実行される。
[0010] カメラ 110のシャッターを切るたびに実行されるカメラ'コールバックのルーティンは 、図 5のフローチャートに示されている。図 5に示されているカメラ ·コールバックのル 一ティンは、アプリケーション 'プログラム 300のメイン'ルーティンである。このルーテ インで、カメラ 110が取得した画像から中心部分の色を判定し、それを音か音声で視 覚障害者に知らせている。
まず、カメラ用画像メモリ 112からビットマップ 'データを取得して、このデータでプロ グラム内のプレビュー画面を更新する（S322)。このプレビュー画面で表示用の表示 データを作成してから、実画面を格納している表示用メモリ 140に転送して、表示装 置 142に表示している。このプレビュー画面を利用して色判別関数（図 7 (a)参照）に より、色を判別する（S330)。図 7 (a)に色判別関数の処理を示すフローチャートが記 載されている。
[0011] 図 7 (a)において、プレビュー画面中心付近の複数の点（この実施形態では 9点）の RGBの色データ（この実施形態では各 4ビットの 4096色）を取り出す（S332：図 7 (b )のプレビュー画面も参照)。そして、この複数点（画素）から 1つの色を判定する（S3 33)。例えば、全ての値の平均値を取って代表の色とする。同じ値や近い色が一番 多 ヽ値を代表の色としてもよ!/、。
この RGBの色データ（この場合 4096色）から、 RGBZHSV変換表を用いて、 A群 (明度と彩度を示す)と B群 (色相を示す)の組み合わせ (この場合 256通り以下）に変 換する（S334)。
[0012] 図 8に実施形態における R=0の場合の RGBZHSV変換表を示し、図 9 (a)に実 施形態の 13通りの明度と彩度の区分を示し、図 9 (b)に実施形態における 20通りの 色相の区分を示す。図 8の前の文字は図 9 (a)の区分を示し、後の文字は図 9 (b)の 区分と対応している。例えば、図 8の左下隅（G = 0, B=F)の（b, 06)は、 A群の b ( 鮮やかな）と B群の 06 (青)である。図 8と同様の変換表は、 R=0から R=Fまで全部 で 16ある。
なお、無彩色があるので、組み合わせの数は、この場合 256通り以下である。無彩 色の場合は、 1 :白， 2 :明るい灰， 3 :灰， 4 :暗い灰， 5 :黒の 5段階である。図 8の左上 隅（G = 0, B=0)の（d, 05)は、 A群の d (無彩色）と無彩色の 5 (黒)である。
[0013] 次に、 HSVに変換された色のデータから、再生ファイル名テーブル 266で、音デー タゃ音声ファイル名に変換する。音データは、音の高さと大きさと長さのデータである
。図 10の各表については、後で詳しく説明する。音声ファイル名は、図 9 (a) , (b)に 示した A群の色名（修飾語)の項及び B群の色名の項の各欄に示した言葉を発生さ せるための音声のデータを格納してあるファイル名である。
[0014] 図 5のカメラ'コールバックのフローチャートで、上述のように色を決定する（S330) と、この判定した色を、フロー制御フラグ 264のフラグ 1,フラグ 2 (初期値: FALSE) により、音（フラグ 1 =TRUEのとき： S323)か音声（フラグ 2=TRUEのとき： S325) により視覚障害者に知らせる（S340, S326)。
まず、フラグの設定について説明する。フラグ 1およびフラグ 2は、実施形態におい ては、図 6 (a)に示したキー押しイベントのフローチャートにより設定される。このィべ ントは、図 4のアプリケーション起動イベントの、例えば開始クレジットの表示以後に、 ユーザーが何かのボタンを押下すると、図 6 (a)に示したキー押しイベントが起動され て、押下したボタンを判定する（S362)。ユーザーが音声出力を選択するために、ボ タン 1を押下したときは、フラグ 2=TRUEとする（S364)。ユーザーが音出力を選択 して、それ以外のボタンを押下したときは、フラグ 1 =TRUEとする（S366)。
[0015] さて、音出力関数 (S340)について説明する。この関数の例は、図 7 (c)に示されて おり、再生ファイル名テーブル 266に登録されている音データにより、判別した色を 音により視覚障害者に対して知らせている（S342)。この音データは、図 10 (a)の表 に示されているように色 (B群）は音の高さで表し、図 10 (b)の表に示すように、明度 や彩度は音の強さ（音量)と長さによって表している。ここでは、音量では 1段階が一 番小さい音量で、 2段階， · · · 5段階と音が大きくなる。音の長さも図 10 (d)に示され ているように、 1段階が一番短ぐ 4段階が一番長い。この実施形態ではシャッターを 1Z2秒間隔で切っているので、最長 (4段階)でも 1Z2秒である。また、無彩色は、 図 10 (c)の表に示されているように、音の高さとしては全てドミノの和音で示し、音量 により白から黒までの段階を区別して表現している。このように、シャッターを切るごと に、それにより取得した画像の色判別領域の色を音により知らせているので、カメラを 向けた方向の色をリアルタイムで知ることができる。
なお、図 9 (a)の A群では、「やわら力い」の項もある力 図 10 (b)に示した音の場合 では「くすんだ」と同じ音量と音の長さで表して!/、る。
[0016] 図 5のカメラコールバック 'ルーティン 320において、次に、プレビュー画面（図 7 (b) 参照）に、色判別領域を示す枠を描画する。そして、判別した色のデータを作成して 描画する（S324)。色データは、例えば、判別した色の RGBの値を各色の最大値を 255として、カメラが取った画像や色判別領域の枠とともに、画面の下の方に文字表 示する。画像の色を判別した領域と正確な色のデータを確認することができるので、 色を確認する仕事に従事して 、る人が、この色識別装置を有効に利用することがで きる。
フラグ 2=TRUEのとき（S325)には、音声により視覚障害者に判別した色を知ら せることになる。その場合、まず、音声で知らせている期間終了前に、カメラのシャツ ターが切られることがないように、カメラコールバックの登録を削除する（S326)。そし て、色名出力関数により、音声データを再生する（S350)。色名出力関数の処理の 例は、図 7 (d)のフローチャートに示されている。図 7 (d)において、まず、音声リソー スカ Sメモリに残っているときは、これを開放する（S352)。そして、現在登録されている A群音声再生ファイルを、メモリにロードして再生する（S354)。つぎに、この A群音 声再生が終了後、 B群再生ファイルを再生するために、音声再生コールバック 390を コールバック関数 240に登録する。
[0017] A群音声再生が終了すると、音声再生コールバック 390が呼び出される。音声再生 コールバックの処理は、図 6 (d)のフローチャートに示されている。図 6 (d)において、 まず、フラグ 3 (初期値: FALSE)でこの音声再生コールバックが 1回目に呼び出され たのかの条件判断を行う（S392)。 1回目のとき（フラグ 3=FALSEのとき）は、フラグ に TRUEを代入して（S395)、音声リソース力メモリに残っているときは、これを開放 する（S396)。現在登録されている B群音声再生ファイルをメモリにロードして再生す る（S397)。 B群の音声出力の終了後、再度、この音声再生コールバック 390を呼び 出すために、音声再生コールバックをコールバック関数 240に登録する（S398)。
[0018] B群の音声出力が終了して、 2回目に音声再生コールバック 390が呼び出されたと きは、 2回目であることをフラグ 3が TRUEであることで判断する（S392)と、シャツタ 一が動作して ヽな 、カメラ 110を起動するために、カメラコールバック 320を登録し（ S393)、フラグ 3に FALSEを代入する（S394)。そして、イベント待ちの状態（REA DY: S399)となる。フラグ 3に FALSEを代入しているので、色の音声出力が終了し てから、音出力や音声出力を行うには、ユーザーが改めてボタンを押して、音出力や 音声出力を選択する。
音出力を選択したとき (フラグ 1 =TRUE)や、ボタンを押さず、音出力や音声出力 を選択しな力つた場合 (フラグ 1,フラグ 2 = FALSE)には、プレビュー画面で実画面 を更新するために、表示メモリ 140にプレビュー画面を転送する（図 5 : S328)。これ により、通常、表示画面はシャッターが切られる 1秒に 2回ずつ更新され、色データ等 を表示していくが、音声出力の場合は、 "1"ボタンを押して音声出力を選択した時点 の画面を、音声再生が終了するまで表示している。
[0019] 図 6 (b) , (c)に示されているアプリケーション中断イベント 370及びアプリケーション 再開イベント 380は、実施形態で用いている BREW OSがアプリケーションの実行 自体を中断、再開させるために発行するイベントである。
例えば、アプリケーションを操作中に携帯電話に電話力 Sかかってくると、アプリケー シヨン中断イベントが OSから送られ、図 6 (b)に示されるように、リソースを開放して（S 372)、イベント待ちの状態（READY: S374)となる。通話の終了により、アプリケー シヨン再開イベントが OS力 送られ、アプリケーション再開イベントの処理（図 6 (c) ) が実行される。まず、カメラ初期設定にジャンプして（S382)、図 4に示されているァ プリケーシヨン起動イベントの処理フローのカメラ初期設定（S316)へ行き、カメラの 制御を開始して（S318)、イベント待ちの状態 (READY: S319)となる。これは、携 帯電話は電話であるので、電話の機能が何よりも優先されることを実現するために、 携帯電話の OSが備えて 、る仕組みである。
[0020] 上述の実施形態は、特定の OS (BREW)や、シャッターを 1Z2秒ごとに切ること、 図 8—図 10に示されているような、 RGBZHSV変換して音声や音を出力しているが 、これに限るものではない。例えば、 OSが異なれば、図 3に示したアプリケーション構 造体による実行制御を行わず、その OSの制御によりプログラムを実行する。また、異 なるシャッター間隔や他の変換表や組み合わせで音や音声を出力してもよい。 産業上の利用可能性
[0021] 上述で説明した本発明を利用することで、視覚障害者や色覚障害者が、カメラ付き 携帯端末を色識別装置として利用できる。そして、音によりリアルタイムで、カメラが取 得した画像の特定領域の色を認識することができる。
色をリアルタイムで対応する様々な音に変換して出力しているために、音楽的な応 用も考えられる。 また、より明確に色を認識するために、音声により、カメラが取得した画像の有る領 域の色を知ることができる。
色を判別した領域と色データを表示することで、所望の部分の色を正確に識別でき るので、色を確認する仕事に従事している人が、この色識別装置を有効に利用して、 色を識別することができる。
図面の簡単な説明
[図 1]カメラ付き携帯端末のハードウ アの構成例を示す図である。
[図 2]実施形態の機能ブロック図である。
[図 3]OSとアプリケーションとのインターフェースを行うアプリケーション構造体を示す 図である。
[図 4]アプリケーション起動イベントの処理を示すフローチャートである。
[図 5]カメラコールバックから呼び出される処理を示すフローチャートである。
[図 6] (a)キー押しの処理， （b)アプリケーション中断イベント， （c)アプリケーション再 開イベント， (d)音声再生コールバックから呼び出される処理を示すフローチャートで ある。
[図 7] (a)色判別関数の処理および (c)音出力関数の処理を示すフローチャートや、（ b)プレビュー画面を示す図である。
[図 8]RGBZHVS変換表を示す図である。
[図 9]図 8の数字の意味と、色と音声の変換の表を示す図である。
[図 10]色と音の変換の表を示す図である。

Claims

請求の範囲
[1] カメラを用いた色識別装置であって、
前記カメラが撮った画像の一部領域力 複数の画素を取得する画素取得手段と、 前記取得した複数の画素から、 1つの色を判別する色判別手段と、
前記判別した色を音データに変換する音データ変換手段と、
前記音データを出力する音出力手段と
を備えることを特徴とする色識別装置。
[2] 請求項 1に記載の色識別装置において、
前記画素取得手段，色判別手段，音データ変換手段，音出力手段は、カメラが画 像を連続的に取得するごとに動作することを特徴とする色識別装置。
[3] 請求項 1又は 2に記載の色識別装置において、
前記音データ変換手段により変換された前記音データは、音の高さや和音、長さ、 大きさで色を識別しており、
色相を音の高さ、無彩色を和音、色の明度および彩度を音の長さおよび大きさによ り表現して!/ヽることを特徴とする色識別装置。
[4] 請求項 1一 3のいずれかに記載の色識別装置において、
前記判別した色を音声データに変換する音声データ変換手段と、
前記音声データを出力する音声出力手段と
をさらに備えることを特徴とする色識別装置。
[5] 請求項 1一 4のいずれかに記載の色識別装置において、
前記判別した色を表示データに作成する表示データ作成手段と、
前記カメラが撮った画像に前記領域を示す枠を示した画像と前記表示データとを 表示する表示手段と
を備えることを特徴とする色識別装置。
[6] カメラ付き携帯端末に、請求項 1一 5のいずれかに記載の色識別装置の機能を実現 させるためのプログラム。
PCT/JP2005/004233 2004-03-10 2005-03-10 色識別装置 WO2005085781A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004066709A JP2005257348A (ja) 2004-03-10 2004-03-10 色識別装置
JP2004-066709 2004-03-10

Publications (1)

Publication Number Publication Date
WO2005085781A1 true WO2005085781A1 (ja) 2005-09-15

Family

ID=34918353

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/004233 WO2005085781A1 (ja) 2004-03-10 2005-03-10 色識別装置

Country Status (2)

Country Link
JP (1) JP2005257348A (ja)
WO (1) WO2005085781A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8331628B2 (en) 2008-12-08 2012-12-11 Georgios Stylianou Vision assistance using mobile telephone
CN103020994A (zh) * 2012-11-29 2013-04-03 北京小米科技有限责任公司 指示颜色的方法及装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4523945B2 (ja) * 2007-01-16 2010-08-11 日本電信電話株式会社 画像処理方法、画像処理装置および画像処理プログラム
WO2008152870A1 (ja) * 2007-06-14 2008-12-18 Sharp Kabushiki Kaisha 色判別装置
KR101677026B1 (ko) * 2009-11-17 2016-11-29 엘지전자 주식회사 이동 단말기 및 그 동작방법
CN102879101A (zh) * 2012-08-22 2013-01-16 范迪 一种色差感知仪
KR101466345B1 (ko) * 2013-04-24 2014-12-11 경북대학교 산학협력단 영상 음향 변환 장치 및 영상 음향 변환 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08110948A (ja) * 1994-10-11 1996-04-30 Omron Corp 色判定装置または色判定方法
JP2002022537A (ja) * 2000-07-07 2002-01-23 Hokkei Industries Co Ltd 色認識装置
JP2002286495A (ja) * 2001-03-28 2002-10-03 Toshiba Corp 通信システム、基地局及び情報提供方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08110948A (ja) * 1994-10-11 1996-04-30 Omron Corp 色判定装置または色判定方法
JP2002022537A (ja) * 2000-07-07 2002-01-23 Hokkei Industries Co Ltd 色認識装置
JP2002286495A (ja) * 2001-03-28 2002-10-03 Toshiba Corp 通信システム、基地局及び情報提供方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8331628B2 (en) 2008-12-08 2012-12-11 Georgios Stylianou Vision assistance using mobile telephone
CN103020994A (zh) * 2012-11-29 2013-04-03 北京小米科技有限责任公司 指示颜色的方法及装置

Also Published As

Publication number Publication date
JP2005257348A (ja) 2005-09-22

Similar Documents

Publication Publication Date Title
WO2005085781A1 (ja) 色識別装置
US20080112648A1 (en) Image processor and image processing method
JP2006012062A (ja) 画像処理装置及びその方法、プログラム、撮像装置
CN108200351A (zh) 拍摄方法、终端及计算机可读介质
CN111508039A (zh) 一种墨水屏的文字处理方法及通信终端
JP5408037B2 (ja) 画像処理装置及び方法、並びにプログラム
CN113965694A (zh) 录像方法、电子设备及计算机可读存储介质
CN105072335B (zh) 一种拍照方法及用户终端
JP2002055671A (ja) カラー表示システム及びカラー表示方法
US20220360740A1 (en) Video teleconference curated user profile picture
JP2005316958A (ja) 赤目検出装置および方法並びにプログラム
JP2008140107A (ja) 画像処理装置、画像処理方法、制御プログラム及び記録媒体
JP4720602B2 (ja) 写真撮影プリント装置、写真撮影プリント装置の制御方法、制御プログラム、および、記録媒体
JP2012003324A (ja) 画像処理装置、撮像装置、画像処理プログラム及び記憶媒体
JP2023054581A (ja) 表示装置
JP2004287808A (ja) 携帯型情報端末装置
JP2007013783A (ja) 電子カメラ
WO2020089961A1 (ja) 音声処理装置、およびプログラム
JP2009065450A (ja) 撮像装置
JP4163651B2 (ja) 赤目修正作業支援装置およびプログラム
JP2011197995A (ja) 画像処理装置及び画像処理方法
JP2005217898A (ja) 撮像装置及び撮像方法
KR20040108021A (ko) 이동 통신 단말기의 아바타 편집 방법
JP6606935B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2009278255A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

122 Ep: pct application non-entry in european phase