Оценка точности распознавания

Для оценки точности распознавания, предлагается измерить процентное соотношения ложных распознаваний к верным распознаваниям. Размеры обучающей выборки также составят от 5 до 20 фотографий.

Чтобы оценить качество алгоритма распознавания, введем некоторую функцию потерь (4.1):

        (4.1)

В случае классификации часто используют формулу 4.2:

(4.2)

где  - предсказанный класс.

Таким образом, задача обучения сводится к тому, чтобы найти набор параметров  классификатора , при котором потери для новых данных будут минимальны.

Для имеющихся данных вводится понятие эмперического риска (4.3) (ошибка тренировки):

     (4.3)

Он равен средней вероятности ошибки. Обучение классификаторов сводится к минимизации эмперического риска. Другими словами, требуется найти такой набор параметров функции , при которых эмперический риск (то есть ошибка на обучающей выборке) минимальный.

По скольку обучающая выборка конечна, может оказаться целое семейство параметров функций, при которых эмперический риск одинаков. В таком случае, для выбора наиболее оптимального набора параметров функций, следует руководствоваться правилом «золотой середины», поскольку явление переобучения, ровно также, как и недообучение приводят к ошибочным результатам распознавания.

Таким образом, требуется баланс между сложностью модели, обеспечивающей низкий эмперический риск и простотой, обеспечивающей способность к обобщению. Эмперическая ошибка начинает уменьшаться, когда функция усложняется, а ошибка на контрольных данных начинает возрастать.

Так как задачей реализуемой программы является распознавание изображений, не входящих в обучающую выборку, то необходимо добиться минимальной ошибки на контрольных данных.

За качество классификации вне обучающей выборки отвечает «предсказательная способность». Для оценки предсказательной способности можно использовать метод под названием «скользящий контроль». Для этого разделим выборку на d непересекающихся частей и будем поочередно использовать одно из них для контроля, а остальные для тренировки.

Метод «скользящего контроля» изображён на рисунке 4.3.

Рисунок 4.3 – Метод «скользящего контроля»

 

Оценкой предсказательной способности будет являться усредненное значение ошибок всех итераций.

Преимущество этого метода заключается в том, что каждый элемент будет хотя бы раз присутствовать как в обучающей выборке, так и в контрольной.

В таблице 4.2 отображено процентное соотношение ложных распознаваний к верным распознаваниям. Другими словами, приведены усреднённые значения всех итераций метода скользящего контроля для каждого объёма обученной базы.

 

Таблица – 4.2 Процентное соотношение ложных распознаваний к верным распознаваниям

Объем базы, фотографий

Количество ложных распознаваний, %

Количество верных распознаваний, %

60

75

25

72

70

30

84

55

45

96

50

50

Продолжение таблицы 4.2

108	40	60
120	35	65
132	30	70
144	20	80
156	20	80
168	5	95
180	5	95
192	5	95
204	5	95
216	0	100
228	0	100
240	0	100

 

На рисунке 4.4 изображены графики зависимости ложных и верных распознаваний от объёма обученной базы. Графики построены на основе данных из таблицы 4.2.

Рисунок 4.4 – Графики зависимости ложных и верных распознаваний от объёма обучающей выборки

 

На основании графика, отображённого на рисунке 4.4, можно сделать вывод о том, что обученной базы размером в 204 фотографии (17 фотографий на игрушку) будет достаточно для качественного распознавания изображений данным алгоритмом. Увеличение размера базы может привести к явлению переобучения, что повлечёт за собой ухудшение предсказательной способности, а также, согласно выводу, сделанному в результате оценки быстродействия, значительно увеличит время распознавания, в случае обучения алгоритма для распознавания большего количества знаков безопасности.

Выводы

Выполнено тесторование ПО.

Выявлены зависимости скорости и точности распознавания от объёма обучающей выборки.

Показано, что допустимым значением обучающей выборки является база объёмом 204 фотографии, что равняется 17 фотографиям на игрушку, при этом точность распознавания будет очень высокой, а скорость распознавания составит приблизительно 131 мс.

 

Сопровождение ПО

Руковождство пользователя

Данное руководство предназначено для пользователя, обладающего практическими навыками работы с графическим интерфейсом операционной системы Android.

1. Запуск программного комплекса осуществляется с помощью нажатия на иконку приложения.

2. После запуска на экране появится главное окно программного комплекса, представленное на рисунке 5.1.

Рисунок 5.1 – Главное окно программного комплекса

3. Чтобы получить интерактивное описание для ёлочной игрушки пользователю необходимо сделать фотографию интересующего его экспоната, либо выбрать изображение из существующих на устройстве.

4. Чтобы сделать фотографию необходимо нажать на кнопку «Сделать фото», после чего откроется экран, на котором будет видна фотографируемая область. Далее нужно навести камеру устройства на интересующий экспонат таким образом, чтобы его было видно полностью на экране устройства, после чего нажать кнопку «Фото».

5. Чтобы использовать в качестве распознаваемой фотографии изображение уже имеющееся в памяти устройства необходимо нажать кнопку «Загрузить», после чего выбрать нужную фотографию из списка.

6. После того, как фотография будет выбрана, необходимо нажать на кнопку «Отправить».

7. В течение нескольких секунд после нажатия на кнопку «Отправить» на экране устройства отобразится мультимедийное описание экспоната.

Руководство программиста

Данное руководство представляет собой документацию для разработчиков, которым в процессе введения в эксплуатацию разработанного программного комплекса требуется внести изменения в код комплекса или расширить его функционал.

Для того чтобы открыть проект клиентского приложения необходима установленная среда разработки Android Studio 2.1.1 или ее более поздняя версия. Открытие решения осуществляется через интерфейс Android Studio 2.1.1, где необходимо выбрать для открытия папку проекта «description».

Для отладки алгоритма распознавания необходима установленная среда разработки Matlab 2014b. Открытие решения осуществляется либо через интерфейс Matlab 2014b, где необходимо выбрать для открытия файл recognition.m, либо непосредственным открытием этого файла.