Тестирование разрешения многозначности на конференции Senseval

С 1998 года для тестирования систем автоматического разрешения лексической многозначности проводится специальная конференция Senseval (www.senseval.org).

Подходы к разрешению лексической многозначности достаточно разнообразны. Для разрешения многозначности могут использоваться некоторые внешние источники информации, например, электронные словари и тезаурусы. В качестве тезауруса обычно используется тезаурус английского языка WordNet. Кроме того, для разрешения многозначности активно исследуется возможность применения методов машинного обучения, для чего обычно используются семантически размеченные корпуса. Применяются и различные комбинации отдельных методов.

Исследования методов автоматического разрешения лексической многозначности как отдельной задачи обычно делятся на два направления: разрешение лексической многозначности некоторой совокупности слов (чаще всего нескольких десятков) и разрешение лексической многозначности всех слов текста (Kilgarriff, Rosenzweig, 2000; Snyder, Palmer, 2004).

Для определения качества разрешения многозначности обычно используются два параметра: точность и полнота.

Точность - это отношение правильно выбранных значений к общему количеству слов, рассматриваемых системой.

Полнота - это отношение правильно выбранных значений к общему количеству неоднозначных языковых выражений.

Максимальное качество, которого может достигнуть система автоматического разрешения многозначности, ограничивается согласием между ручными разметками разных экспертов. В настоящее время согласие между экспертами достигает 95% и выше для четко различимых значений. Для многозначных слов со значениями, близкими по смыслу, согласие между экспертами может составлять 65-70%.

Нижняя граница качества разрешения многозначности определяется на основе случайно выбранного значения (предполагается равновероятность значений) или наиболее частотного значения (предполагается, что вероятность одного значения многократно превышает вероятности других значений). Кроме того, в качестве базового метода для сравнения используется так называемый метод Леска, который основан на сопоставлении словарных толкований слов, упомянутых в анализируемом фрагменте текста (Lesk, 1986).

Основные этапы применения метода Леска таковы. Сначала из толкового словаря извлекаются толкования для всех значений слов текстового фрагмента. Для полученных толкований определяется их пересечение между собой и выбираются те значения многозначных слов, толкования которых пересекаются с толкованиями слов-соседей максимально.

В качестве классической иллюстрации метода обычно приводится английское выражение pine cone (сосновая шишка), компоненты которого имеют следующие толкования:

Pine

1.      kinds of evergreen tree with needle-shaped leaves

2.      waste away through sorrow or illness Cone

/. solid body which narrows to a point

2.      something of this shape whether solid or hollow

3.      fruit of certain evergreen trees

Максимальное пересечение между толкованиями достигается при первом значении слова Pine и третьем значении слова Cone (Pine#l n Cone#3 = 2) -именно эти значения и должны быть выбраны для интерпретации этого выражения.

Для разрешения многозначности слов в конструкции более длинной, чем два слова, используется упрощенный алгоритм Леска, который определяет пересечение толкований значений слов с контекстами этих слов в тексте (Kilgarriff, Rosensweig, 2000). Простота алгоритма делает его важным базовым уровнем для сравнения уровней достижения предлагаемых методов разрешения лексической многозначности. Помимо толкований словаря в этом методе могут дополнительно использоваться размеченные корпуса или примеры употребления тех или иных значений слова.

Для понимания уровня, достигнутого современными системами разрешения многозначности, важно рассмотреть, каковы были лучшие результаты, показанные системами автоматического разрешения лексической многозначности на конференции Senseval-3.