Методика оценки баз правовой информации

1. Постановка задачи

Сравнительным анализом специализированных программных продуктов - баз правовой информации (БПИ) я занимаюсь с 1993 года. Мне часто задают вопрос: “А какая база правовой информации лучшая?”. И каждый раз я пытаюсь на пальцах объяснить, что существует сотни БПИ со своими особенностями и множество пользователей, потребности которых, по существу, уникальны. А когда я говорю, что БПИ оценивались специалистами по 1100 параметров, собеседник просто не верит.

Как правило, покупатель при выборе БПИ опирается на заведомо недостоверную рекламную информацию (по крайней мере в России) либо на рекомендации пользователей БПИ со стажем, привыкших к работе с конкретной базой правовой информации. Осознанный выбор БПИ требует формализации индивидуальных требований, знания и умения применить методику индивидуальной оценки потребительских характеристик этого типа программ. И этого никто не делает. Причин тому, как всегда, немного: некомпетентность или недобросовестность персонала, недооценка возникающего риска или элементарная спешка. Последствия неизбежно печальны, приведу только одну реальную историю. Директор крупного предприятия находился в отъезде в то время, когда нужно было сдавать бухгалтерскую отчетность. Задержка предоставления в налоговую инспекцию справки (за подписью директора) по налогу на имущество карается штрафом. Бухгалтер не использовал возможность корректно выйти из создавшегося положения, предоставленную Законом РФ “О бухгалтерском учете”. В результате предприятие самым законным образом было оштрафовано на несколько миллиардов рублей, а огорченный директор попросил бухгалтера сменить место работы. Такие вот дела.

Производитель программного обеспечения (ПО) постоянно стоит перед проблемой - успеть в условиях ограниченности финансов и кадров выпустить на рынок новую версию программного продукта, превосходящую конкурентов. Боясь потерять занятую долю рынка, иные производители выставляют на продажу недостаточно отлаженное ПО, а работу по тестированию и вылавливанию ошибок программного кода и информации перекладывают на плечи потребителей. Претензии потребителей учитываются, на программную оболочку ставятся “заплаты”, документы исправляются. Процесс повторяется снова. Калейдоскоп новых версий таких разработчиков ничего кроме разочарования у рядовых потребителей не вызывает. Производители ПО в погоне за новыми доходами нарушают технологию производства промышленных ПО. У ряда фирм-производителей ПО, включая и российские, также явно просматривается тенденция смещения акцентов с улучшения качества технологии производства ПО на его массированную рекламу и откровенное шельмование конкурентов, что естественно отрицательно сказывается на их качестве. Крайним оказывается потребитель.

В мировой практике существует единственный официальный способ подтверждения качества товаров и услуг - сертификация или проверка их соответствия общепризнанному стандарту на свойства товара или услуги, эффективно защищающему права потребителя. Обычно такую проверку выполняет уполномоченная независимая испытательная лаборатория с выдачей сертификата соответствия конкретному стандарту, который затем предъявляется потребителю (заказчику). Как обстоит дело с конкретными международными и национальными стандартами на программное обеспечение вообще и базы правовой информации в частности? Автору неизвестны стандарты на правовые базы данных ни в России, ни за рубежом. Скажем сильнее, отсутствует даже стандарт де факто на этот тип программных продуктов. Таким образом стремительное развитие информационных технологий естественно идет в отрыве от достаточно консервативной по своей природе системы стандартов.

В условиях войны цен и увеличения прозрачности рынка за счет повсеместного развития Интернет качество товаров и услуг становится ведущим орудием в конкурентной борьбе. Наивысшим достижением теории управления признается всеобщее управление качеством. Этому вопросу посвящены международные стандарты серии ИСО 9000, разработанные в 1987 году (в России введены в действие в 1997 году), а также некоторые иные международные и национальный стандарты [1-17]. Если рассматривать качество товаров и услуг с точки зрения потерь, которых избегает отдельный потребитель и общество в результате их использования, производство высокого качества оказывается даже в краткосрочной перспективе экономичнее традиционного. Мировая практика убедительно доказывает, что дорого стоит не качество, а его отсутствие - более 200000 предприятий уже добровольно сертифицировали свое производство на соответствие международным стандартам серии ИСО 9000. Эти стандарты имеют универсальный характер и независимы от какого-либо экономического сектора или конкретной отрасли. На организацию системы качества в первую очередь оказывают влияние конкретные цели, продукция, процессы и специфические требования предприятия.

Одним из объектов, для которого требуется построение системы качества, являются базы правовой информации, в том числе их создание и сопровождение. В ИСО 9000 дается определение программного обеспечения как интеллектуального продукта, состоящего из программ, процедур, правил и документации, относящихся к функционированию системы обработки данных. Основной целью при оценке качества БПИ является анализ соответствия конкретной БПИ требованиям покупателя, включая этапы внедрения и сопровождения этого типа программных продуктов. Необходимо отметить, что ИСО 9000 не дает готовых методик и способов оценки тех или иных параметров программного обеспечения и внедрения. Их разработка является прерогативой покупателя и поставщика либо привлекаемых к работе профессиональных консультантов. Основа ИСО 9000 - описание требований к организации оценки и правил документирования операций в интересах контроля достижения целей покупателя программного обеспечения и выполнения всех позиций контракта.

Неофициальную оценку качества БПИ можно осуществлять либо путем опроса потребителей, либо силами независимой или корпоративной тестовой лаборатории, либо на открытых конкурсах. Закрытые тендеры, по крайней мере, в России по известным причинам на оценку качества не работают. Представительный опрос пользователей интересующего класса программных продуктов обходится по калькуляции Всероссийского центра изучения общественного мнения (ВЦИОМ) в круглую сумму 10-30 тысяч долларов. Такие расходы для российских производителей программного обеспечения великоваты, а их эффективность неочевидна. Общественных организации, которые могли бы финансировать подобные исследования, просто нет. Государству (если так можно выразиться, поскольку все решают конкретные чиновники) вообще ничего не нужно. Вопрос создания в России мощной независимой лаборатории тестирования средств вычислительной техники и программных продуктов не решен. Практически остаются только рейтинги тестовых лабораторий компьютерных изданий и открытые конкурсы.

Существует практика рейтингования - оценки качества программных продуктов силами тестовых лабораторий компьютерных изданий. Несколько экспертов тестовой лаборатории на свое усмотрение быстренько (редакционный цикл не располагает к долгим размышлениям) разрабатывают подобие методики и как-то оценивают по ней некоторые показатели программного обеспечения, которые очевидно смогут заинтересовать читателей. В этом методе оценки и сравнения качества видятся два основных порока: оценка производится экспертами, а не рядовыми пользователями; методика делается наспех, кулуарно и даже отдаленно не удовлетворяет строгим требованиям стандартов, например, серии ИСО 9000. Совершенно очевидно, что эксперт тестовой лаборатории сильно отличается от среднего пользователя и субъективен в силу своей единичности. Хотя представительность, полнота и объективность таких оценок по понятным причинам ограничена, но в отсутствие другой объективной информации они безусловно интересны для читателей.

Практика проведения конкурсов программного обеспечения в России довольно богатая. Это конкурсы бухгалтерских программ (фирма "Бизнес-Программы-Сервис"), конкурс "Финансово-экономическое состояние предприятия" (Гильдия финансистов) и некоторые другие. Оценка качества предполагает сравнение с некоторым "идеалом" (стандартом качества) специализированного программного обеспечения, который мог бы удовлетворить всех его пользователей, настоящих и будущих. Также не последнюю роль в объективности оценки играет независимость группы организаторов конкурса и экспертов, их персональная устойчивость к финансовому влиянию участников конкурсов. Кроме того, полученные результаты должны быть достаточны и понятны для неспециалиста, стоящего перед проблемой приобретения конкретной прикладной программы. Как правило, конкурсы проводятся кулуарно, т.е. методика оценки не открывается и не обсуждается публично, в эксперты берутся только “уважаемые” люди со всеми вытекающими последствиями. К сожалению, некоторые конкурсы по причине невыполнения одного из перечисленных условий теряют доверие пользователей и производителей программного обеспечения, превращаясь в заказные рекламные мероприятия, сознательно финансируемые отдельными производителями. Как мы пришли к корректному решению поставленных проблем и какие конкурсы можно считать открытыми?

2. Развитие методики оценки баз правовой информации

В конце 1993 - начале 1994 года при поддержке Российской правовой академии Минюста РФ был впервые в России (и СССР) проведен конкурс компьютерных баз правовой информации (“БПИ”). Методика тестирования и протокол испытаний были подготовлены мною в процессе испытаний. Материалы Первого российского конкурса правовых баз данных в полном объеме опубликованы отдельной брошюрой [18]. На конкурсе была заложена основа современной методики испытаний БПИ, впервые выполнена проверка качества текстов в базах правовой информации, проведены измерения объемов баз по законодательству России. Помощь при подготовке материалов конкурса к публикации оказали Карелина М.М. и Волчинская Е.К.

В конце 1994 года по заказу Научного центра правовой информации при Минюсте РФ выполнено масштабное исследование. Для федеральных органов юстиции подготовлены два доклада: ”Концепция открытой распределенной системы автоматизированной поддержки решения проблем” и “Обоснование общих требований к перспективному банку данных нормативных актов”. Указанные работы были ориентированы на систематизацию свойств существующих БПИ и перспективных требований пользователей, т.е. по существу на их стандартизацию.

Весной 1995 года ко Второму конкурсу систем поддержки правоприменения и законотворчества мною в инициативном порядке подготовлена новая методика испытаний БПИ (Прил. 1). Представительный Оргкомитет Второго конкурса обеспечивал реализацию права вето на публикации всех материалов о конкретной фирме - участнике конкурса и гарантировал опубликование результатов конкурса в СМИ (Прил. 2). В конкурсе приняли участие 9 российских фирм и 4 производителя БПИ из стран СНГ, было опубликовано около 30 статей общим тиражом более 5 млн. копий [19-47].

В чем новизна Второго конкурса? Впервые с целью защиты прав потребителей БПИ

Методика тестирования БПИ была плодом двухлетней работы и прошла множественную экспертизу (замечания и дополнения дали 3 производителя БПИ и 15 экспертов). Автоматизация обработки результатов испытаний была обеспечена преобразованием указанной методики в Протокол испытаний, пригодный для последующей машинной обработки. В самом Протоколе были сознательно заложены внутренние противоречия и дублирование измерений, таким образом машинной обработкой можно было дополнительно выяснить уровень внимательности, добросовестности и компетентности отдельного испытателя. Общий объем измерений превысил 100.000, причем по каждой отдельной БПИ объем измерений был менее 3300. Объективизация полученных оценок была достигнута за счет большого объема измерений и уменьшения относительного веса результатов “низкокачественных” испытаний в общих результатах.

Была проведена автоматизированная оценка качества отдельной экспертизы и подведены итоги конкурса экспертов (победитель - Волчинская Е.К.), с которыми согласились все члены Оргкомитета конкурса. В расчетах был применен метод “медианной отсечки”, т.е., скажем, из 4 оценок конкретного технического параметра отбрасывалось одно с наибольшей дисперсией. Качество отдельной оценки оценивалось как обратная функция отклонения от среднего. Качество экспертизы рассчитывалось по совокупности оценок качества отдельных измерений. Качество работы эксперта на конкурсе оценивалось по средней сумме баллов, набранных при проведении на отдельных экспертиз, число которых для призеров не должно было быть менее трех. Проведенный конкурс 1995 года не имеет до настоящего времени аналогов ни в России, ни за рубежом.

В 1996 году про заказу компании “Гарант-Сервис” впервые были проведены специальные исследования вопросов успешности поиска информации в БПИ по произвольно сформулированной проблеме и уровня развитости внутренней инфраструктуры БПИ (типология гипертекстовых ссылок, частота ссылок и комментариев, объемы списков документов, связанных с конкретным правовым актом - корреспонденты, респонденты ...).

В 1997-1998 гг. по заказу Российского фонда правовых реформ (РФПР) проведено масштабное исследование российских БПИ. Отдельное внимание уделено качеству доступа к русскоязычным нормативным правовым актам через сеть Интернет (базы данных, подборки документов, каталоги, электронные СМИ юридической тематики ...). Полученные материалы оказались настолько интересными, что в начале 1998 года на основании части материалов проведенного исследования по заказу РФПР был подготовлен и опубликован справочник “Доступ к правовой информации” [48]. Справочник также был переиздан на лазерном диске “Информационные правовые ресурсы России” (“Центр компьютерных разработок“ и Правовое управление Аппарата ГосДумы РФ), выпущенном к 100-й Ассамблее Межпарламентского Союза (Москва). В этом исследований

26 ноября 1997 года по моей инициативе и авторскому регламенту в Государственной Думе Российской Федерации успешно проведен блиц-турнир команд производителей БПИ. Задачи мероприятия: продемонстрировать возможности информационных технологий для реализации доступа специалистов к правовой информации на примере использования различных российских БПИ штатным персоналом их производителей. В режиме открытой для контроля деловой игры (блицтурнира) моделируется и оценивается оперативность и качество работы службы поддержки принятия решений, основанных на Законе, в органах законодательной, исполнительной и судебной власти всех уровней, а также в средствах массовой информации. Под контролем общественности (наблюдатели) и представительного Оргкомитета проводится блицтурнир производителей прикладных программ для ЭВМ - баз данных правовой информации для персональных компьютеров. Команды производителей за ограниченное время решают одни и те же произвольно сформулированные вопросы правового характера. Результаты работы конкурсантов оцениваются компетентным жюри по следующим четырем параметрам: полнота ответа, точность ответа, ясность изложения решения, адекватность объема ответа характеру проблемы.

В начале 1999 года в Публичном центре правовой информации Российской государственной библиотеки в порядке эксперимента мною осуществлено оперативное обслуживание читателей, имею­щих правовые проблемы. В феврале - марте 1999 года аналогичные услуги оперативного доступа к правовой информации на базе институтских библиотек получили ученые юристы Института сравнительного законодательства при Правительстве РФ и Института государства и права Российской академии наук. Для консультирования использовался банк правовой информации под управлением профессиональной информационно-поисковой системы “Артефакт” (http://www.integrum.ru). В большинстве случаев произвольно сформулированная проблема разрешалась за 2-3 минуты. Был обоснован вывод о недостаточной пригодности традиционных БПИ для оперативного разрешения произвольно сформулированных вопросов и необходимости специальной подготовки пользователей.

По-хорошему, подобные комплексные испытания БПИ нужно проводить силами обычных пользователей (открытость конкурса по участникам испытаний и методике тестирования). Для этого проект методики и условия участия добровольцев в открытом конкурсе выставляется в публичный доступ (публикуется через Интернет). Любое заинтересованное лицо может направить в Оргкомитет свои предложения или наблюдателя, или войти в Оргкомитет (на общественных началах). Единственное пожелание к добровольцам - конструктивные замечания и предложения к методике тестирования БПИ и независимость - отсутствие заинтересованности в конкретной БПИ. Оргкомитет проверяет и отбирает 50 или более добровольцев, с каждым из которых подписывается контракт. Методика тестирования дорабатывается, публикуется или рассылается на экспертизу добровольцам (возможна организация специальной телеконференции). Полученные замечания либо учитываются, либо письменно обосновываются их неприемлемость.

Согласованная методика преобразуется в Протокол испытаний (аналогично тому, как это было сделано на Втором конкурсе). Протокол испытаний желательно готовить в виде интенсивного тренинга по методологии, изложенной в статье “Открытые технологии образования” [51]. На первом этапе добровольцам предоставляется возможность выполнить все тесты согласно Протоколу испытаний, чтобы таким образом глубоко изучить конкретную базу данных. Результаты тестов передаются в счетную группу и используется для расчетов и сертификации добровольцев. Только после такого стандартизованного самообучения (на втором этапе) добровольцу предлагается на время решить фиксированный блок юридических проблем с использованием изученной БПИ (таким образом все находятся в одинаковых условиях). Каждый доброволец, претендующий на призовое место, должен таким образом в два этапа отработать не менее трех БПИ разных производителей.

Заметим такой интересный момент: вся работа на открытом конкурсе может быть организована виртуально только средствами электронной почты. Базы данных для тестирования могут быть доступны через Сеть или быть высланы по почте на CD (лазерных дисках). Полученные результаты обрабатываются и оцениваются по принципам, разработанным для Второго конкурса. Заметим, что некоторую проблему представляет стимулирование добровольцев к активной работе в процессе открытого конкурса. Решения таковы: интенсивное обучение эффективной работе с БПИ представляет интерес для профессионалов, стоит немалых денег и в процессе конкурса проводится бесплатно; каждая экспертиза оплачивается (возможно символически, допустим 10 долларов); лауреаты конкурса экспертов премируются бесплатными лицензиями на БПИ, вычислительной техникой и денежными призами; призеры конкурса среди экспертов получают дипломы от Оргкомитета конкурса; результаты конкурса экспертов публикуются. На этом мы ограничимся в обсуждении организационных вопросов проведения открытых конкурсов и подробнее остановимся на методиках оценки отдельных критически важных потребительских характеристик баз правовой информации.

3. Основы методологии оценки баз правовой информации

С учетом требований ИСО 9000 и иных международных и российских стандартов [1-17] в общих чертах сформулируем последовательность шагов по подготовке испытаний БПИ для одной страны и одного национального языка:

  1. сбор информации по всем доступным источникам, изучение, разграничение и классификация всех потребителей БПИ;

  2. уточнение терминологии, которая должна быть по возможности общепринятой и понятной всем сторонам процесса оценки, включая пользователей БПИ;

  3. формирование представления об условиях и цикле деловой активности каждой группы потребителей правовой информации, выделение этапов профессиональной деятельности, требующих использования правовой информации и формулирование частных требований к БПИ;

  4. сбор информации по всем доступным источникам, изучение, разграничение и классификация всех существующих БПИ; построение на основе изучения демонстрационной или рабочей версии каждой БПИ исчерпывающей модели пользовательского интерфейса, реестра реализованных функций и информационной инфраструктуры;

  5. исследование тенденций развития информационных технологий, моделирование поведения потребителей БПИ и генерация возможных пожеланий к БПИ, построение реестра прогнозных характеристик БПИ;

  6. формирование сводного систематизированного реестра требований потребителей и соответствующих качеств программной оболочки и наполнения БПИ;

  7. опубликование сводного систематизированного реестра требований потребителей и его обсуждение со всеми заинтересованными лицами; анализ и учет замечаний и предложений, внесение изменений;

  8. описание критериев оценки функциональных и потребительских качеств программной оболочки БПИ (интуитивность пользовательского интерфейса, удобство инсталляции, возможности персональной настройки, сложность освоения, функциональная полнота ...);

  9. описание критериев оценки качества информационного наполнения и инфраструктуры БПИ (качество рубрицирования, аутентичность текстов, полнота содержимого ...);

  10. описание технических и технологических требований к БПИ (требования к вычислительной технике, совместимость, требования к операционной среде, занимаемая память, устойчивость работы, безопасность, оперативность обновления информации, устойчивость к некомпетентности пользователя ...);

  11. описание общих критериев качества БПИ (полнота и непротиворечивость договора поставки или обслуживания БПИ, гарантии удовлетворения претензий, возможность страхования рисков использования БПИ ...);

  12. описание процедур измерения (испытания) критериев качества БПИ и методов их расчета (оценки);

  13. подготовка сводного плана испытаний, его опубликование и обсуждение со всеми заинтересованными лицами; анализ и учет замечаний и предложений, внесение изменений;

  14. формирование, макетирование и тираживание Протокола испытаний.

Различим критерии качества БПИ по видам и соответствующим им методам оценки (расчета), деление условное:

  1. бинарные безразмерные характеристики БПИ принимают только два целых значения: 0 (нет, отсутствует) или 1 (да, присутствует), оцениваются только экспертно, для любой характеристики БПИ это могут быть полнота реализации, отсутствие избыточности и согласованность со стандартом или обычаем;

  2. числовые безразмерные характеристики БПИ (конкретная количественная оценка - действительное число, рассчитываемое на основании соответствующего количественного метода оценки качества - метрики - процедуры числовой или иной обработки конечного числа измерений параметров БПИ) могут быть для удобства чтения выражены в процентах или баллах;

  3. временные свойства БПИ (время - деньги, требующееся на освоение или выполнение конкретной функции или операции) измеряются путем нормирования работы испытателей (экспертов), хотя в некоторых особо сложных случаях могут и рассчитываться;

  4. иные размерные характеристики БПИ, исчисляются в штуках, КБ, тоннах, тугриках, попугаях ... и, как правило, являются результатов непосредственных измерений;

  5. интегральные (обобщенные) оценки качеств БПИ (абстрактная безразмерная количественная оценка, рассчитываемая на основании открытого для анализа алгоритма свертки с использованием целого комплекса оценок однородных или близких по существу характеристик БПИ и соответствующих им весовых коэффициентов) должны быть представительны, ассоциативно понятны и выражены в привычной шкале (проценты, баллы ...).

Заметим, что любая оценка БПИ в конечном счете строится на выявлении (или отсутствии) некоторого дефекта или несовершенства программной оболочки или информации и обязательно должна определять тяжесть возможных последствий обнаруженного дефекта, а также вероятность его появления. Каждая тестируемая БПИ рассматривается как “черный ящик”, который атакуется множеством тестов, а эксперт лишь документирует процесс испытаний и каждую реакцию БПИ, оценивая ее адекватность. Упомянем также характеристики качества БПИ в целом или отдельных ее функциональных подсистем согласно ISO/IEC 9126 [14]:

Для проведения международных испытаний БПИ, когда исследуются программные оболочки и юридические тексты на многих языках сначала формируется интернациональная методическая группа. Очевидно, что в нее должны войти специалисты по соответствующим национальным законодательствам и носители всех планируемых к исследованию языков. Первым делом выбирается официальный язык конкурса, вероятно, английский, формируется многоязычный словарь используемых терминов, уточняется реестр и степень использования международных и национальных стандартов. Далее разработка методологии ведется по описанному выше плану первоначально на официальном языке конкурса, а затем необходимый минимум документации переводится на все требуемые языки. Итоговые документы готовятся на языках всех участников открытого конкурса и публикуются.

Процедура подготовки и проведения открытого конкурса сильно зависит от принятой схемы испытаний и о ее вариантах можно составить представление из раздела 2. По аналогичной схеме можно организовать экономичное и высокоэффективное индивидуальное тестирование любых информационных систем и программного обеспечения для принятия решения о покупке готовых программ для ЭВМ, а также готовить тендерную документацию для конкурсов на крупные поставки и формировать технические задания на заказное программное обеспечение и проводить приемочные испытания.

4. Методики оценки некоторых характеристик баз правовой информации

Как было сказано ранее, существует более 1000 параметров оценки БПИ. Рассмотрим принципы оценки наиболее очевидных и критически важных для принятия обоснованных юридических решений параметров баз правовой информации: качество программы (системы) управления и доступа к правовой информации, полнота содержимого БПИ в статике и динамике, качество классификации содержимого БПИ и качество непосредственно текстов правовых актов в БПИ.

4.1. Качество программных оболочек

Необходимый набор функциональных возможностей и состав характеристик качества работы программных оболочек БПИ - вещь достаточно субъективная. С одной стороны, их определяет потребитель, который бесконечно многолик (юрист - неюрист; госслужащий - коммерсант; представитель столицы - региона - глубинки; ученый - практик, адвокат, судья; корпоративный пользователь - домашний потребитель; начинающий - опытный ...). Выходом из положения мог бы стать периодический представительный социологический опрос по всем массовым или критически важным группам потребителей. С другой стороны, средний потребитель никогда не задумывается об уровне возможностей успешного поиска, предоставляемой конкретной БПИ, и никогда не будет этим вопросом заниматься. Вторым методом определения перспективных требований к программной реализации БПИ являются специальные исследования и моделирование общения будущего потребителя с БПИ. При наличии финансирования с использованием обоих подходов можно сформировать и периодически обновлять технические условия (стандарт, профиль) на качество БПИ и информации в базах правовой информации. Даже при наличии стандарта процесс объективной оценки уровня соответствия (качества) ему конкретных программ и баз данных требует существенных усилий (необходимо избежать влияния на полученные оценки некомпетентности, субъективизма и недобросовестности испытателей, условно называемых экспертами.

Некоторое представление об организации испытаний программной оболочки БПИ можно получить из фрагмента одного из протоколов тестирования подсистемы поиска в текстах документов:

- организация поиска в текстах БПИ

- - наличие простого индексного словаря и его объем

- - - указать количество слов (в тысячах)

- - - проверить наличие стоп-слов (предлоги, союзы, междометия ...)

- - наличие контекстно зависимого индексного словаря и его объем

- - - указать количество слов (в тысячах)

- - учет морфологии языка текста и наличие тезауруса

- - - указать количество основ слов (в тысячах)

- - - возможности поиска термина с учетом всех его словоформ

- - - возможности поиска термина с учетом однокоренных слов

- - - - с опечатками (не более одной в слове)

- - - возможности поиска термина с учетом словоформ и синонимов

- - - возможности поиска всех словоформ антонимов термина

- возможность обработки произвольного запроса на естественном языке

- способ задания усечения слова в исследуемой ИПС

- возможность искать только полные слова

- возможность искать по усечению слова справа, например (налог* - налогом, налоги)

- возможность искать по усечению слова слева, например (*алог - налог, залог...)

- количество полей для ввода поискового запроса

- - связи между полями ввода поискового запроса - ИЛИ

- - - И

- - - И НЕ (одно КРОМЕ второго)

- - - НЕ (все КРОМЕ ...)

- связи между словами внутри поля ввода поискового запроса - ИЛИ

- - И - слова или их усечения, расположенные в документе неупорядоченно

- - упорядоченное неразрывное сочетание терминов (фраза)

- - неупорядоченное сочетание терминов

- - учет контекста - термины расположены упорядоченно, между ними не более N слов в одном предложении

- - неупорядоченное сочетание терминов в одном предложении

ВОЗМОЖНОСТИ полнотекстового ПОИСКА В НАЗВАНИЯХ

- указать только отличия от поиска в текстах ...

4.2. Качество класификаторов и рубрицирования правовой информации

Процесс построения и качества лингвистических средств поиска по смыслу (тематические классификаторы и ключевые слова) достоин самого серьезного внимания в силу того, что это единственное средство поиска в базах данных, не требующее никакой предварительной подготовки и доступное пониманию неподготовленного пользователя. В настоящее время сам процесс классификации (рубрицирования) правовых документов нормативно урегулирован неудовлетворительно. Не решены следующие принципиальные вопросы:

Решение поставленных проблем предложено в моих работах по систематизации и автоматизированному текстовой информации [49-50]. Поскольку представительное исследование качества классификации (уровень отрасли права) документов в БПИ весьма трудоемко, можно сравнивать доли отклассифицированных на конкретную рубрику ОКОЗ документов в различных БПИ федерального уровня.

4.3. Качество электронных текстов документов

По доступным нам сведениям впервые проблема проверки аутентичности электронных копий документов в базах правовой информации была поставлена на Первом российском конкурсе правовых баз данных 1993 года. Выполнялась только корректорская проверка документов на соответствие тексту официальной публикации. Более представительное исследование вопроса было выполнено в 1995 году на Втором международном конкурсе систем поддержки правоприменения и законотворчества. На выборке не менее 30 документов со сложной историей (общим объемом более 250 машинописных страниц) проверено большинство российских производителей БПИ. Предметом проверки являлось также качество внесения изменения в тексты.

В 1996 году по заказу компании “Гарант-Сервис” было проведено исследование качества документов федерального уровня в БПИ “КонсультантПлюс: ВерсияПроф” и “Гарант Экономическое законодательство”. Исследование 1996 года позволило сделать вывод о достаточности для оценки общего качества текстов в БПИ проверки документов с изменениями (30-50 документов общего объема не менее 300 КБ). К традиционной проверке качества приведения правовых актов в контрольное состояние может быть добавлен контроль присутствия недавно отмененных документов, наличие которых в базе правовой информации создает ощутимую угрозу пользователю.

Возможные правила расчета числа смысловых ошибок:

  1. несоответствие электронной копии документа официальной публикации (пропуски или замена слов, предложений или абзацев) - 1 ошибка за каждый случай;

  2. неприведение текста (отдельного фрагмента) документа в контрольное состояние (невнесение или некорректное внесение изменений) - 1 ошибка за каждый случай;

  3. невнесение в текст документа указаний о документах, прямо или опосредованно влияющих на применение исследуемого документа в целом или его отдельной части (включая факт прекращения действия) - 1 ошибка за каждый случай;

  4. сопровождение документа сведениями о характере действия документа в целом или его отдельной части, могущими ввести потребителя в заблуждение и стать причиной принятия неверного решения, - 1 ошибка за каждый случай.

Под случаем следует понимать любую ошибку, затрудняющую понимание или искажающую смысл фрагмента текста, имеющего самостоятельное значение. Общее число смысловых ошибок относится к 200 КБ текста, что эквивалентно 100 страницам машинописного текста, напечатанного через полтора интервала. Перечислим внутренние факторы, прямо или опосредованно влияющие на уровень адекватности электронных копий документов в БПИ реальному положению вещей и связанные с проблемами самих производителей БПИ:

  1. Документ введен с официальной публикации с ошибками, искажающими смысл правового предписания.

  2. Документ подготовлен с использованием неофициальных материалов (рассылка, неофициальные публикации, утечка документов из органов власти), после чего выходит официальная публикация в другой редакции, а текст в БПИ остается прежним.

  3. Производитель БПИ не внес или внес некорректно изменения де-юре в электронный текст документа.

  4. Документ признан утратившим силу де-юре, а производитель не удалил его из базы данных или не отметил в титуле текста, что правовой акт утратил силу.

Третья и четвертая проблемы могут быть существенно осложнены задержками обработки изменяющих (отменяющих) документов, обусловленными особенностями технологического цикла отдельных производителей БПИ.

4.4. Уровень полноты баз правовой информации

Идея метода предельно проста. Берем несколько неплохих в смысле общего количества документов баз правовой информации. Выбираем предмет исследования: это может быть оценка уровня полноты, допустим, по конкретному органу власти (может быть рубрика классификатора, и территории действия нормативных актов ...). Смотрим, в какой базе сколько интересующих документов. Найденный максимум условно считаем “идеалом” или 100% и учитываем, как “идеальное” наполнение некой воображаемой базы данных. Условно назовем ее “реконструированной базой правовой информации” или “РБПИ”. Исследуем структуру РБПИ во всех возможных плоскостях (во времени, по типам документов, по иным основаниям деления массива документов). Получаем некоторую картину, которую остается только подытожить, а именно: просуммировать количества документов, полученных в результате поиска по отдельным их реквизитам (периоду выпуска, принявшему органу и/или виду документа - закон или приказ). Результатом является общее количество действующих документов в РБПИ. А полнота конкретной базы вычисляется как отношение ее объема к объему РБПИ.

5. Заключение

Автор просит извинения за некоторую обрывочность и неполному изложения, обусловленную необъятностью затронутой темы и ограниченностью объема статьи (см. подробнее http://www.5186364.ru/inventa1.htm). Вся фактография оценок и сравнений БПИ вынесена в отдельную статью “Доступ к правовой информации в России”. Приглашаю заинтересованных лиц к сотрудничеству (взаимное обучение, совместные исследования, поиск и выполнение заказов, область интересов см. http://www.integrum.ru/partners/inventa/ inventa.asp) по следующим направлениям:

6. Использованная литература

  1. ISO 8402:1994. Качество. Словарь.

  2. ISO 9000-3:1991. Общее руководство качеством и стандарты по обеспечению качества. Часть 3. Руководящие указания по применению.

  3. ISO 9000-4:1993 Управление качеством и гарантии качества. Часть 4. Руководство по управлению надежностью программ.

  4. ISO 9001:1987. Системы качества. Модель для обеспечения качества при проектировании и/или разработке, производстве, монтаже и обслуживании.

  5. ISO 9241-1-1992. Эргономические требования, связанные с использованием дисплеев для учрежденческих работ. Часть 1. Общее введение.

  6. ISO 9241-2-1992. Эргономические требования, связанные с использованием дисплеев для учрежденческих работ. Часть 2. Руководство для определения требований к поставленным задачам.

  7. ISO/ IEC 2382-23. Информационные технологии. Cловарь. Часть 23. Обработка текста.

  8. ISO/IEC 12119:1994. Информационные технологии. Пакеты программ. Требования к качеству и тестирование.

  9. ISO/IEC TR 9294:1990. Информационная технология. Руководящие положения по управлению документацией на программное обеспечение.

  10. ГОСТ 19.301-79 Программа и методика испытаний. Требования к содержанию и оформлению.

  11. ГОСТ 28806-90. Качество программных средств. Термины и определения.

  12. ГОСТ 7.70-96. Описание баз данных и машиночитаемых информационных массивов.

  13. ГОСТ Р 28195-89. Оценка качества программных средств. Общие положения.

  14. ГОСТ Р ИСО 9126-93. Информационные технологии. Оценка продукции программного обеспечения. Характеристики качества и руководящие положения по их применению.

  15. ГОСТ Р ИСО 9127-94. Системы обработки информации. Документация пользователя и информация на обложке пакетов программ.

  16. ГОСТ Р ИСО/МЭК 9126-93. Информационные технологии. Оценка программной продукции. Характеристики качества и руководства по их применению.

  17. Руководство ИСО/МЭК 45. Руководящие положения по представлению результатов испытаний.

  18. Российская правовая академия “Российские системы правовой информации”, М., Инвента, 1994.

  19. Кузнецов С.В. Как выбирать информационную систему по законодательству, Вестник Высшего арбитражного Суда РФ, 1995, № 7.

  20. Кузнецов С.В. Международный конкурс информационных систем по законодательству, Деловой Мир, 1995, № 28.

  21. Кузнецов С.В. Вы принимаете решение, Деловой Экспресс, 1995, № 9.

  22. Кузнецов С.В. Второй международный конкурс систем поддержки правоприменения и законотворчества, Деловой Экспресс, 1995, № 35.

  23. Кузнецов С.В. Информационные системы по законодательству Санкт-Петербурга, Деловой Экспресс, 1995, № 44.

  24. Кузнецов С.В. Рынок информации о законодательстве, Ин­фор­мационные ресурсы России, 1995, № 6.

  25. Кузнецов С.В. Выбирая информационную систему по законодательству, КодексInfo, 1995, № 30.

  26. Кузнецов С.В. Проблемы рынка информации о законодательстве, Компьютер и экономика, 1995.

  27. Кузнецов С.В. Открытые конкурсы и качество программных продуктов, Компьютер и право, 1995, стр. 22-24.

  28. Кузнецов С.В. Конкурс программных продуктов, Комсомольская правда, 1995, 20.02.

  29. Кузнецов С.В. Как выбирать юридическую информационную систему, Софт Маркет, 1995, № 21.

  30. Кузнецов С.В. В борьбе за право быть лучшими, Софт Маркет, 1995, № 37.

  31. Кузнецов С.В. Кто есть кто на рынке российской правовой информации? Юридический вестник, 1995, № 37.

  32. Кузнецов С.В. Обзор автоматизированных систем правовой информации, Экономика и жизнь, 1995, № 4.

  33. Кузнецов С.В. Конкурс информационных систем по законодательству, Экономика и жизнь, 1995, № 25.

  34. Кузнецов С.В. Конкурс систем правовой информации, Экономика и жизнь, 1995, № 44.

  35. Кузнецов С.В. О доступе к правовой информации, Экономика и жизнь, 1995, № 52.

  36. Кузнецов С.В. Базы правовой информации для предпринимателей, Экономика и жизнь, 1995, № 49.

  37. Кузнецов С.В. Проблемы создания информационно-правового пространства Содружества, Деловой мир / Data Medium, 1996, № 4.

  38. Кузнецов С.В. Справочные системы по законодательству, Бизнес-Вестник Востока, Ташкент, 1996, 19.01.

  39. Кузнецов С.В. Справочные системы по региональному законодательству, Деловой Экспресс, 1996, № 14.

  40. Кузнецов С.В. Рынок компьютерной информации о законодательстве, Закон (Известия), 1996, № 3.

  41. Кузнецов С.В. Справочные информационные системы по законодательству субъектов Федерации, Закон (Известия), 1996, № 4.

  42. Кузнецов С.В. Покупаем справочную правовую систему, Известия / Экспертиза, 1996, 03.04.

  43. Кузнецов С.В. Проблемы создания информационных систем по законодательству субъектов Федерации, Информационные ресурсы России, 1996, № 1.

  44. Кузнецов С.В. Рынок информации о законодательстве, Компьютер и право, 1996, № 11.

  45. Кузнецов С.В. Гарантия высоких цен и некоторого качества, Российская газета, 1996, 10.02.

  46. Кузнецов С.В. Программы обеспечивают правовую поддержку принятия решений, Финансовые известия, 1996, 23.04.

  47. Кузнецов С.В. Конкурс информационных систем по законодательству, Юрист, 1995, № 2.

  48. Российский фонд правовых реформ “Доступ к правовой информации”, М., Инвента, 1998 (http://www.rflr.ru/lib1.htm).

  49. Кузнецов С.В., Титов В.В. “Классификация: системно-морфологический подход”, М., РНЦ “Курчатовский институт”, препринт ИАЭ-6075/1, 1998.

  50. Кузнецов С.В. Доступ к текстовой информации. В сборнике материалов 5-й Международной научно-практической конференции "Виртуальный мир Инфосферы: практическое использование человеком", Владивосток, Владивостокский филиал Российской таможенной академии, 1998 (http://www.integrum.ru/partners/inventa/access.asp)

  51. Кузнецов С.В. Открытые технологии образования, Человек и компьютер, спецвыпуск, ноябрь1999.

08 февраля 2000 года, Сергей Кузнецов

(Россия, Инвента, (925) 518-6364, E-mail: 495@5186364.ru)

Приложение 1.

Второй международный конкурс систем поддержки правоприменения и законотворчества.

Методика тестирования информационно-поисковых систем по законодательству (ИПСЗ)

(Извлечения)

Оглавление


Введение.

1.

Определение понятий и сокращений.

2.

ПАСПОРТ БАНКА ДАННЫХ

3.

ПРОТОКОЛ ИСПЫТАНИЙ

3.1.

ИНСТАЛЛЯЦИЯ, НАСТРОЙКА НА ПОЛЬЗОВАТЕЛЯ, ЗАПУСК И ОБНОВЛЕНИЕ

3.2.

ХАРАКТЕРИСТИКИ БАНКА ДАННЫХ И РЕЖИМЫ РАБОТЫ

3.3.

СТРУКТУРА ПРЕДСТАВЛЕНИЯ ИНФОРМАЦИИ

3.4.

ВОЗМОЖНОСТИ И СКОРОСТЬ ПОИСКА ИНФОРМАЦИИ

3.5.

НАПОЛНЕНИЕ БАНКА И КАЧЕСТВО ДАННЫХ

3.6.

ОПЕРАЦИИ С ВНЕШНИМИ ФАЙЛАМИ И ВЫБОРКАМИ ДОКУМЕНТОВ

3.7.

ГЕНЕРАЦИЯ ОТЧЕТОВ

3.8.

АДМИНИСТРИРОВАНИЕ СИСТЕМЫ И СОЗДАНИЕ ПОЛЬЗОВАТЕЛЬСКИХ ИПСЗ

3.9.

ПОЛЬЗОВАТЕЛЬСКИЙ ИНТЕРФЕЙС

3.10.

СИСТЕМА ПОМОЩИ И ДОКУМЕНТАЦИЯ

3.11.

СОПРОВОЖДЕНИЕ, СЕРВИС И ИНДИВИДУАЛЬНЫЕ ОСОБЕННОСТИ

3.12.

РЕКЛАМА И СБЫТ

3.13.

СТОИМОСТЬ

3.14.

ИНТЕГРАЛЬНЫЕ ХАРАКТЕРИСТИКИ ИПСЗ

Введение.

Настоящий материал составлен на основе анализа разнообразных задач, уже решаемых или требующих решения с использованием информационно-поисковых систем по законодательству (ИПСЗ), работы с конечными пользователями, анализа характеристик реальных ИПСЗ и современных инструментальных средств разработки аналогичных систем, методик проведения экспертиз и зарубежного опыта испытания программных продуктов. При разработке ставились задачи развития общей технологии испытания и промышленного тестирования программного обеспечения, реально обеспечивающей защиту прав потребителей, ускорение внедрения и повышение качества ИПСЗ. Широкий набор функций и характеристик ИПСЗ, представленный в данной методике, возможно покажется избыточным, но как показывает практика - в сервисе нет мелочей, а ИПСЗ по сути своей относятся к области информационных услуг. Настоящая методика не является обязательной для разработчиков ИПСЗ, но следует учитывать, что в ней фактически содержатся элементы нормативно-технической документации для сертификации ИПСЗ, направленной на защиту интересов потребителей программных продуктов. Хочется надеяться, что части указанной работы будут использованы при планировании развития ИПСЗ, что в конечном счете, послужит улучшению качества тиражируемых ИПСЗ и совершенствованию технологий их создания.

Цели создания методики тестирования ИПСЗ:

На Конкурсе не ставились задачи выделения первых и указание на последних.

Хотя основа настоящей методики и была разработана специалистами фирмы “Инвента”, фактически она является результатом коллективного творчества.

Благодарности: Фирма “Инвента” выражает признательность за помощь в доработке настоящего материала Баласаняну В.Э., Булаковскому С.В., Владимирову П.В., Глушковой О.Л., Карелиной М.М., Комарову С.В., Кривошеину А.А., Лаптевой А.Н., Лучникову Г.П., Москаленко Т.А., Павловой З.А., Свиридову А., Трухину В.М., Хействеру Г.Н., Чубуковой С.Г., Шубину С.В., Элькину В.Д., Яковлеву А.В., а также многочисленным думающим пользователям ИПСЗ, высказавшим полезные замечания и предложения.

1. Определение понятий и принятых сокращений.

Примечание: все определения и сокращения даются только применительно к настоящему документу и не претендуют на общепринятость.

Актуализация - процесс поддержания текста документа (во всем банке данных) в актуальном состоянии, что предполагает: внесение в текст изменений, предусмотренных другими нормативными актами; указание на полную или частичную отмену действия документа; указание на сроки действия документа.

...

2. ПАСПОРТ БАНКА ДАННЫХ (заполняется участником Конкурса)

Фирма-разработчик

Ответственное лицо по вопросам Конкурса тел.

Наименование ИПСЗ версия

Дата сдачи в промышленную эксплуатацию первой версии ИПСЗ

...

3. ПРОТОКОЛ ИСПЫТАНИЙ (заполняется экспертом)

Рекомендуемая рациональная технология проведения экспертиз:

1. Первоначально изучается настоящая методика проведения испытаний программных продуктов, при этом все неясные термины желательно выделить маркером (подчеркнуть) и проверить наличие их описания в блоке “Определение понятий...”

2. Изучается часть руководства пользователя программного продукта, полученного на испытания, касающаяся установки демоверсии, и производится установка демонстрационной версии на жесткий диск.

3. Осуществляется общее ознакомление с работой программы на демоверсии, изучается руководство пользователя, планируется порядок заполнения отдельных разделов “Протокола испытаний”, после чего устанавливается рабочая версия ИПСЗ и проводится испытание ее характеристик по намеченному плану.

4. Рекомендуется все замечания и неясности отмечать письменно для дальнейшего документирования и уточнения. Хочется обратить внимание, что именно замечания и рекомендации будут оцениваться разработчиками на конкурсе между экспертами с последующим вручением призов победителям.

Для документирования ошибок по каждому разделу испытаний рекомендуется использовать следующую форму:

Наличие ошибок функционирования по разделу:

- неправильное выполнение команд, описанных в руководстве пользователя

- - аварийная ситуация (зависание ...)

- адекватная реакция соответствующим поясняющим сообщением на ошибочные ситуации

- - неверно заданы параметры в полях ввода запроса

- - - цифра вместо символа

- - - символ в поле ввода даты

- - - латинский символ при поиске в названии или тексте

- - не хватает некоторых файлов

- - устройство (дисковод, принтер) не готово

- - диск защищен от записи и т.д.

- прочие

В большинстве тестов (возможность, наличие ...) результатом проверки является число (1- ДА, существует / 0 - НЕТ, отсутствует), либо (оценка уровня, количество, время, объем ...) числовое значение в принятой системе единиц (Кб, мин., сек. и т.д.). В отдельных случаях необходима более детальная характеристика (оценка, качество,...), она производится по пятибалльной системе (1 - ПЛОХО / 2 -УДОВЛЕТВОРИТЕЛЬНО / 3 - ХОРОШО / 4 - ОЧЕНЬ ХОРОШО / 5 - ОТЛИЧНО).

Внимание: Большинство тестов скомпоновано при помощи знаков дефис "-" в виде иерархических деревьев (по типу Товарной номенклатуры Внешнеэкономической деятельности), если на верхнем уровне результат испытаний отрицательный, все нижние уровни не проверяются и не оцениваются. Параметры, которые декларированы фирмой-разработчиком как нереализованные, экспертами не проверяются с соответствующей записью в официальных материалах Конкурса.

Шифр ИПСЗ (2 латинские буквы, первая - разработчик, вторая - наименование ИПСЗ, обозначается ZZ) ставится в позиции 1-2 имени всех файлов при тестировании.

Шифр эксперта (согласованный символ ASCII на английском, в дальнейшем обозначается Y, указывается в контракте) ставится в позиции 3 имени всех файлов при тестировании.

Дата начала экспертизы

Дата завершения экспертизы

Место проведения экспертизы

Условия проведения экспертизы

- конфигурация технических средств (нужное подчеркнуть):

- - процессор тип (i8086, i80286, i80386SX, i80386DX, i80486SX, i486DX ...)

- - - тактовая частота (МГц)

- - клавиатура (101/102, 84, иная)

...

3.1. ИНСТАЛЛЯЦИЯ, НАСТРОЙКА НА ПОЛЬЗОВАТЕЛЯ, ЗАПУСК И ОБНОВЛЕНИЕ СИСТЕМЫ

Возможность формирования инсталляционного комплекта под произвольный запрос пользователя (проверяется по документации и в натуре, если позволяет техника)

Возможность выбора варианта поставки и дальнейшего обновления ИПСЗ (анализируется по документации к ИПСЗ):

- в ИПСЗ включается только первое поколение нормативных правовых актов (НПА) (без изменений)

- в ИПСЗ включаются только последнее поколение НПА (со всеми изменениями)

- в ИПСЗ включается только первое и последнее поколения НПА

- все поколения НПА на заданную глубину ретроспективы (месяцев)

Длительность инсталляции (мин.)

- всей ИПСЗ на жесткий диск с дискет 3.5"

- минимального комплекта ИПСЗ на жесткий диск (большая часть данных на дискетах) с дискет 3.5"

...

Приложение 2.

Второй международный конкурс систем поддержки правоприменения и законотворчества

Организационный комитет.

Протокол (извлечения).

г.Москва

13 сентября 1995 года

Международная конфедерация обществ потребителей в лице президента Аузана А.А., именуемая в дальнейшем "КонФОП", Российский союз промышленников и предпринимателей в лице вице-президента Белоусова И.С., именуемый в дальнейшем "РСПО", Российское агентство по правовой охране программ, баз данных и топологий интегральных схем в лице генерального директора Виталиева Г.В., именуемое в дальнейшем "РосАПО", Институт государства и права Российской академии наук в лице заместителя директора Шульженко Ю.Л., именуемый в дальнейшем "ИГП РАН", Агентство экономико-правовых консультаций и деловой информации еженедельника "Экономика и жизнь" в лице руководителя отдела Космачева В.Э., именуемое в дальнейшем "АКДИ", Экономическое информационное агентство "Рейтинг" еженедельника "Экономика и жизнь" в лице генерального директора Малеева В.И., газета "Софт Маркет" в лице генерального директора Анашина В.С., именуемая в дальнейшем "Софт Маркет", и Информационно-издательская фирма "Инвента" в лице директора Кузнецова С.В., именуемая в дальнейшем "Инвента", являясь организаторами Второго международного конкурса систем поддержки правоприменения и законотворчества, именуемого в дальнейшем "Конкурс", и входя в организационный комитет Конкурса, в дальнейшем именуемые совместно "Оргкомитет", подписали настоящий Протокол о нижеследующем:

1. Оргкомитетом решено присуждать Информационно-поисковым системам по законодательству (“ИПСЗ”), представленным на конкурсные испытания, звание "Лауреат", если по рассчитанным количественным показателям указанная ИПСЗ занимает на Конкурсе 1-3 места в порядке убывания показателя. Показатели приведены ниже:

1.1. Требования к необходимому уровню вычислительной техники.

1.2. Объем необходимой памяти (оперативной и на жестком диске).

1.3. Качество пользовательского интерфейса.

1.4. Требования к уровню подготовки пользователя.

1.5. Устойчивость работы программной оболочки и защищенность от некомпетентности пользователя.

1.6. Удобство инсталляции, настройки на пользователя и запуска.

1.7. Полнота представления информации о документах.

1.8. Качество документов (ошибки, искажающие смысл и т.д.).

1.9. Актуальность Системы (качество и оперативность обновления).

1.10. Качество и полноценность подсистемы поиска информации.

1.11. Качество и полноценность подсистемы генерации отчетов.

1.12. Качество и удобство обслуживания пользователя Системы разработчиком.

1.13. Возможность редактирования информации и создания пользовательских банков данных.

1.14. Дополнительные сервисные возможности.

1.15. Уровень юридических гарантий удовлетворения обоснованных претензий пользователя.

2. Оргкомитет рассмотрел предложенную Инвентой и расширенную АКДИ и Рейтингом методику сравнительной оценки полноты ИПСЗ по тематическим разделам законодательства и признал ее заслуживающей доверия.

3. В классе "Полнота Системы в разрезе декларированных тематик" Оргкомитетом решено присуждать ИПСЗ звание "Лауреат" только в случае достаточности лингвистических средств поиска ИПСЗ (классификаторы / рубрикаторы), исполнения требований п.3 настоящего Протокола и наполнения не менее 40% (сорока процентов) от "полного перечня" за все учетные периоды, а именно: "Документы основного эмитента выпуска до 1991 включительно", "Документы основного эмитента принятия 1992 года", "Документы основного эмитента принятия 1993 года", "Документы основного эмитента принятия 1994 года" и "Документы основного эмитента 1995 года, при нятые до 01.04.95". Под "полным перечнем" понимается перечень всех действующих документов (нормативных правовых актов), имеющих непосредственное отношение к исследуемой тематике и полученный по согласованной методике. Под "основным эмитентом" понимается орган власти, выпустивший не менее 10% нормативных актов "полного перечня" по исследуемой тематике. Присуждение звания "Лауреат" в классе "Полнота Системы в разрезе декларированных тематик" также может присуждаться в результате экспертного исследования полного перечня действующих документов.

4. Оргкомитетом проанализирована технология обработки результатов экспертиз, разработанная и программно реализованная Инвентой. Анализ соответствия принятой технологии проведения и обработки материалов испытаний программных продуктов в рамках Конкурса требованиям независимости испытаний и защиты прав потребителей информационно-поисковых систем по законодательству, именуемых в дальнейшем "ИПСЗ", дал положительные результаты.

5. Оргкомитетом проведена выборочная проверка качества ввода на машиночитаемые носители информации материалов экспертиз и проведен контрольный расчет с начала (обработка первичного протокола экспертизы) до окончательного подведения итогов (сводная таблица итоговых значений интегральных параметров информационных систем организаций - участников Конкурса, Приложение N 1 к Протоколу). Ошибок ввода, несовпадения полученных в присутствии представителей Оргкомитета результатов с протоколами обработки материалов Конкурса, проведенных Инвентой, не обнаружено.

По согласованию с Инвентой принято решение в срок до 30.09.95 разрешить всем заинтересованным лицам ознакомиться с технологией проведения конкурсных испытаний с правом проведения контрольных расчетов.

6. Оргкомитетом проведен анализ полученных оценок качества работы экспертов на Конкурсе. Принято решение присуждать звание "победитель конкурса экспертов ИПСЗ" эксперту, занявшему первое место, "лауреат конкурса экспертов ИПСЗ" экспертам, занявшим 2-5 места, "эксперт ИПСЗ" - экспертам, успешно выполнившим не менее трех экспертиз на Конкурсе. Принято решение в результате конкурса экспертов ИПСЗ присудить следующие места:

Настоящий протокол составлен в 7 экземплярах (по одному у каждого члена Оргкомитета) и подписан уполномоченными представителями членов Оргкомитета. Настоящий протокол не является конфиденциальным.

db_test1.html Методика оценки баз правовой информации Кузнецов С.В., 2000 стр. 13

Опубликовано по адресу: http://www.cyberint.ru/db_test1.html
Дата последнего редактирования 25.02.2023
© Кузнецов Сергей Валентинович


Сайты (Сергей Кузнецов / Кузнецов С.В.):
Всепроникающее обучение
Исследование рисков и поиск возможностей через Интернет
Невидимый Интернет для бизнеса
Технологии производства баз знаний
Юридические исследования через Интернет
Средства автоматизации веб-поиска:
Мастер поиска
Заполнитель поисковых запросов на основе Мастера
Конструктор поисковых запросов на основе Мастера
Сценарий поиска через Яндекс: Рыночные ниши
Сценарий поиска через Яндекс: Выявление проблем
Сценарий поиска через Яндекс: Определения
Услуги (Сергей Кузнецов / Кузнецов С.В.):
Тематический мониторинг открытых источников
Поиск и мониторинг ниш на рынках
Технологические исследования через Интернет
Очные компьютерные тренинги
Дистанционное обучение
Об авторе: Резюме Сергея Кузнецова
Фотогалерея Сергея Кузнецова
Публикации и работы Сергея Кузнецова
Правила Сергея Кузнецова
Мифы о Сергее Кузнецове
Технологические работы Сергея Кузнецова
В разработке