Оценка качества аннотаций

Оценка качества автоматически порождаемых аннотаций является сложной процедурой, поскольку даже для таких относительно содержательно простых документов, как новостные сообщения, согласие между экспертами может составлять всего 60%.

Оценка качества аннотации может быть внутренней и внешней. Внутренняя (intrinsic) оценка аннотаций связана с оценкой качества аннотации как собственно текста, сравнения ее с исходным текстом или с аннотациями, порожденными людьми.

При оценке качества аннотации экспертам могут быть заданы такие вопросы с оценкой по пятибалльной шкале:

-        является ли предложения аннотации грамматически правильными,

-        является ли текст аннотации связным,

-        содержит ли аннотация все основные обсуждаемые темы   исходного документа (документов) и др.

При оценке аннотаций по многим документам - обзорных рефератов в рамках конференции DUC, эксперты помимо ответа на конкретные вопросы по качеству аннотаций должны проставить и две общие оценки аннотации (Dang, 2006).

Во-первых, эксперты должны оценить соответствие содержанию кластера, т. е. насколько реферат отображает информацию, необходимую для пользователя, формировавшего запрос. При этом не берется в расчет читабельность реферата, до тех пор, пока она не влияла на объем покрытой в реферате информации.

Во-вторых, эксперты должны поставить общую оценку аннотации, которая должна отражать как содержательную часть реферата, так и его читабельность. При определении уровня    общего соответствия оценщикам не предоставляли доступ к ранее оцененным характеристикам читабельности и соответствия содержанию, вместо этого они должны были «сходу» дать свою оценку. Многие из оценщиков посчитали для себя полезным выставлять уровень общего соответствия, исходя из ответа на вопрос: «Сколько я бы заплатил за этот обзорный реферат?» В итоге плохая читабельность систем занижала их оценку общего соответствия по сравнению с соответствием содержанию. В то же время, рефераты с высоким показателем читабельности получали оценки за общее соответствие выше, по сравнению с оценками за соответствие содержания.

Внешняя (extrinsic) оценка аннотации производится в специально поставленной задаче, в которой выясняется, может ли аннотация заменить исходный текст. Такими задачами могут быть классификация документов по их аннотациям или ответы на вопросы по содержанию документа на основе его аннотации.

Один из первых масштабных экспериментов по внешней оценке аннотаций был осуществлен в рамках конференции SUM MAC (Tipster SUMMAC, 1998). В оценку было включено три задачи:

задача классификации (насколько качество классификации документа по аннотации сравнимо с качеством классификации полного документа),

ad hoc задача - эксперты должны определить, насколько текст соответствует запросу по аннотации, - вопросно-ответная задача - эксперты должны ответить на вопросы по основному содержанию документа на основании его аннотации. Важным элементом современной оценки   аннотаций является получение автоматических оценок качества аннотаций за счет автоматического сравнения порожденной аннотации с аннотациями, написанными людьми. В рамках конференции DUC используется метод автоматической оценки качества аннотаций ROUGH (Recall Oriented Understudy for Gisting Evaluation), который подсчитывает число совпадений по n-граммам слов автоматической аннотации с «идеальными» аннотациями, составленными людьми (Lin, 2004).