Компания Комсервис предлагает приобрести Салатники в Туле.

Организация тестирования алгоритмов разрешения многозначности

Для определения качества разрешения лексической многозначности необходимо было выполнить эталонную разметку найденных терминов по значениям. Для каждого документа экспертами-лингвистами были созданы эталонные файлы, с правильной разметкой значений.

После получения эталонных файлов они были автоматически сопоставлены с результатами работы программы разрешения многозначности. Были выделены следующие случаи соответствия (несоответствия) эталонной разметки и результирующего файла работы программы:

1)      значение было выбрано правильно;

2)      значение не было выбрано, и это было правильно;

3)      значение было выбрано неправильно;

4)      значение не было выбрано, и это было неправильно;

5)      система выбрала один из правильных вариантов.

В качестве правильных решений системы рассматривались виды соответствия 1), 2) и 5). Основной характеристикой работы алгоритма считалась точность разрешения многозначности, вычисляемая как отношение между числом правильных решений и числом всех решений. Число всех решений - это количество обнаруженных в тексте единиц тезауруса, отмеченных как многозначные. Таким образом, при сопоставлении одного и того же текста с Общественно-политическим тезаурусом количество решений, которое необходимо принять, меньше, чем при сопоставлении с объемлющим тезаурусом РуТез. Тестировались следующие параметры алгоритма:

-        максимальная длина дерева, т. е. насколько далеко в одном и том же на

правлении иерархических отношений от исходного понятия можно искать

подтверждающие значение понятия - длина дерева может быть различной

для локального и глобального контекстов,

-строение (статическое или динамическое, см. «Учет локального и глобального контекстов»), и размер окна локального контекста,

-        в локальном контексте: учитывать ли в полном объеме подтверждение от многозначного термина. Если снижать вес подтверждения в таких случаях, то каким образом: вычитать баллы, делить на коэффициент и т. п.,

-        цена глобальности - насколько баллы, полученные от одного и того же подтверждения, меньше в глобальном контексте, чем в локальном.

-        веса различных перегибов путей для локального и глобального контекстов,

-        пороги для видов многозначности: А-многозначности и М-многозначности.

Мы тестировали отдельно точность разрешения многозначности по Общественно-политическому тезаурусу, т. е. определяли качество разрешения многозначности тематической лексики и терминологии, и по тезаурусу РуТез, т. е. тестировалось качество разрешения многозначности для всех знаменательных слов текста. Последняя задача соответствует задаче тестирования «все слова текста», проводимой в рамках конференции Senseval (см. «Автоматическое разрешение многозначности»).