Подтверждение, тестирование и оценка услуг на этапе Внедрения. Управление знаниями

10.1. Подтверждение и тестирование услуг

Подтверждение(Validation) - деятельность, которая гарантирует, что новая или измененная услуга, процесс, план или другой результат отвечает нуждам бизнеса. Подтверждение гарантирует, что требования бизнеса удовлетворены, даже если они могли измениться по отношению к исходному результату проектирования.

Подтверждение и тестирование услуг (Service Validation and Testing) - процесс, ответственный за подтверждение и тестирование новой или измененной услуги. Подтверждение и тестирование услуг удостоверяет, что услуга соответствует ее спецификации проектирования и будет отвечать потребностям бизнеса[1].

Если не протестировать услуги корректно, при их передаче в промышленную эксплуатацию вырастет количество:

• инцидентов, связанных со сбоями элементов услуг и несовпадениями между прогнозами и практикой;
• количество звонков и обращений в сервис-деск, вызванных тем, что услуги не функционируют должным образом;
• проблем и ошибок, которые труднее диагностировать в процессе эксплуатации;
• издержек, так как ошибки сложнее и дороже исправлять в процессе эксплуатации, чем в процессе тестирования;
• услуг, которые не могут использоваться эффективно пользователями и предоставлять им желаемую ценность.

Основные цели процесса Подтверждения и тестирования услуг:

• планирование и последующая реализация процессов тестирования и подтверждения, которые представят объективные доказательства того, что услуги предоставляют заявленную ценность заказчикам, пользователям и инвесторам;
• оценка качества релиза и его компонентов;
• идентификация, оценка и улаживание проблем, ошибок и рисков в процессе Внедрения.

Таким образом, Подтверждение и тестирование услуг позволяет удостовериться, что услуга сможет предоставлять ценность заказчикам и их бизнесу.

Услуга определяется пакетом услуг, который может состоять из нескольких пакетов уровней услуг (SLP) и компонентов, которые в свою очередь также могут быть услугами, например, поддерживающими. SLP определяет уровень полезности и качества, которые должны предоставлять услуги, и является основным входом процесса Подтверждения и тестирования услуг. Дизайн (проект) услуги зависит от того, где и как она будет использоваться. Атрибуты услуги характеризуют ее форму и функциональность в контексте перспективы использования. Таким образом, SLP определяет совокупность требований к услугам, а также набор ограничений для их использования. Процесс Подтверждения и тестирования услуг должен определить возможности устранения ограничений, определенных на этапе Проектирования, и проверить их корректность.

Прежде чем начинать тестирование, необходимо сформировать стратегию тестирования. Стратегия тестирования определяет подход к организации тестирования и обработке его результатов. Она может применяться ко всей организации, набору услуг или отдельной услуге. Каждая стратегия должна согласовываться с инвесторами, так как они выделяют деньги на ее реализацию.

Содержание стратегии тестирования:

• цели и задачи тестирования;
• контекст;
• стандарты, требования законов и регуляторов;
• контракты и соглашения;
• охват и организация:
  • команды поставщика услуг;
  • организация тестирования;
  • третьи стороны, стратегические партнеры, поставщики;
  • бизнес-единицы и их месторасположение;
  • пользователи и заказчики.
• процесс тестирования:
  • управление и контроль тестированием - запись, мониторинг прогресса, ведение отчетности;
  • планирование и оценка тестирования;
  • действия в рамках тестирования - планирование, реализация и документирование тестов и их результатов.
• метрики тестирования и улучшения
• идентификация объектов тестирования:
  • пакет услуг;
  • пакет уровня услуг;
  • модель услуг, отображающая структуру и динамику развития услуг;
• план эксплуатации услуг;
• планы сервис-менеджмента:
  • критические элементы, на которых необходимо сконцентрировать тестирование;
  • месторасположение бизнес-единиц, на которых будет осуществляться тестирование.
• интерфейсы поставщика услуг;
• подход:
  • выбранная модель тестирования;
  • уровни тестирования;
  • подходы к тестированию;
  • степень независимости реализации, оценки и анализа тестирования;
  • повторное использование - опыт, практика, знания и результаты тестирований в прошлом;
  • распределение по времени;
  • разработка и повторное использование проектов, инструментов, сценариев и данных для тестирования;
  • контроль изменений и исправление ошибок;
  • система измерения.
• критерии:
  • приема/отклонения;
  • входа и выхода для каждой стадии тестирования;
  • остановки или повторного запуска тестирования.
• требования к людям:
  • роли и ответственности;
  • составление расписания тренингов для персонала;
  • требования к степени вовлеченности заинтересованных лиц - поставщиков услуг, поставщиков, заказчиков, пользователей.
• требования к среде:
  • среды тестирования, которые будут использованы, их расположение, организация и техническое оснащение;
  • требования к каждой среде тестирования;
  • планирование и ввод в эксплуатацию сред тестирования.
• результаты:
  • обязательная и опциональная документация;
  • планы тестирования;
  • спецификации тестирования - процедуры, проект, обоснование тестирования;
  • результаты тестирования и отчеты;
  • проверка отчетов;
  • суммарные отчеты по тестированию.

Модель тестирования включает в себя план тестирования, то, что должно быть протестировано и сценарий тестирования каждого элемента. Сценарии тестирования определяют условия тестирования, цикл тестирования и результаты, которые должны быть получены.

Существует множество подходов к тестированию. Они могут комбинироваться или использоваться по отдельности в зависимости от того, что конкретно тестируется. Например:

• обзор документации;
• моделирование и измерение - подходит для тестирования модели услуг и плана эксплуатации;
• подход, основанный на рисках - концентрируется на областях повышенного риска, например, критичных для бизнеса услугах;
• подход, основанный на проверке соответствия стандартам;
• подход, основанный на опыте - использование экспертов в конкретной области для руководства тестированием;
• симуляция;
• тестирование по сценариям;
• разыгрывание ролей;
• макетирование;
• тестирование в лабораторных условиях;
• регрессивное тестирование;
• пилотирование в отдельном помещении;
• пилотирование в среде промышленной эксплуатации[16].

Чтобы оптимизировать использование ресурсов в рамках тестирования, необходимо расставить приоритеты тестирования в зависимости от значимости услуги для бизнеса, влияния услуги и рисков, ассоциированных с ней.

Существуют разные типы тестирования. Рассмотрим некоторые из них:

• тестирование структуры услуги и требований к ней. Проверка атрибутов услуг в контексте контрактов, компонентов услуг и поддерживающих ее активов на совместимость;
• тестирование гарантии. Как уже говорилось в предыдущих лекциях, пользователи видят и измеряют ценность услуги в двух составляющих - гарантии и полезности. При этом для каждой услуги определяются четкие показатели гарантии. Эта четкость позволяет провести тестирование гарантии или того, что услуга подходит для использования. В рамках тестирования гарантии могут проводиться:
  • тестирование доступности;
  • тестирование мощности;
  • тестирование непрерывности;
  • тестирование безопасности.
• тестирование простоты использования услуги используется, как правило, для организации работы потенциальных пользователей услуги с ограниченными возможностями, например, глухонемых или дальтоников;
• тестирование соответствия контрактам и требованиям регуляторов. Тестирование проверяет, что все критерии контрактов и требования регуляторов выполнены и удовлетворены;
• тестирование Управления услугами - тестирование процессов в рамках Управления услугами;
• операционное тестирование - включает в себя множество тестов, зависящих от типа услуги. Типичные тесты включают:
  • нагрузочные тесты и стресс-тесты - проверяют способность услуги работать на требуемом уровне на доступных мощностях. В качестве мощностей может рассматриваться полоса пропускания сети, ресурсы сервис-деска, доступные лицензии, мощность процессора, доступная память и т.п.;
  • тестирование безопасности - все услуги должны быть рассмотрены со стороны их влияния на аспекты безопасности организации;
  • тестирование восстанавливаемости - тестирование плана восстановления, который должен быть разработан для каждой услуги.
• регрессивное тестирование - такое тестирование повторяет успешные тесты и сравнивает вновь полученные значения с предыдущими. Оно позволяет протестировать услуги и их компоненты, которые раньше работали без сбоев и ошибок.

Основные деятельности в рамках тестирования схематически показаны на рис. 10.1.

увеличить изображение
Рис. 10.1. Деятельности в рамках тестирования

Не все деятельности в рамках тестирования выполняются последовательно, многие могут выполняться параллельно.

1. Управление тестированием. Управление тестированием включает в себя следующие действия:
   • планирование ресурсов для тестирования;
   • распределение что и когда должно тестироваться;
   • управление инцидентами, ошибками, проблемами, рисками;
   • проверка того, что известные ошибки и документация обработаны;
   • отслеживание прогресса и сбор данных от обратной связи с различными этапами тестирования;
   • осуществление незначительных изменений для уменьшения ошибок в промышленной эксплуатации;
   • фиксация базового состояния конфигураций;
   • тестирование набора метрик, анализ, ведение отчетности и управление.

   Метрики тестирования используются для оценки деятельностей в рамках тестирования. Они позволяют персоналу, ответственному за тестирование, контролировать прогресс и успешность тестирования.
2. Планирование и проектирование тестирования

   Планирование и проектирование тестирования рассматривает следующие вопросы:

   • обеспечение ресурсами;
   • программное, аппаратное обеспечение, персонал и другие мощности;
   • необходимые ресурсы со стороны бизнеса/заказчиков;
   • поддерживающие услуги;
   • определение дат контрольных точек;
   • согласованное время предоставления результатов тестирования;
   • точка и время приемки;
   • финансовые требования.
3. Проверка плана и проекта тестирования контролирует то, что:
   • модель тестирования предоставляет адекватные и подходящие тесты, покрывающие все риски, связанные с услугой;
   • модель тестирования покрывает все ключевые аспекты интеграции и интерфейсов;
   • сценарии тестирования точные и завершенные.
4. Подготовка среды тестирования, в том числе фиксирование базового состояния для начала тестирования.
5. Осуществление тестирования - проведение тестов с использованием ручных или автоматизированных процедур. Если тестирование провалилось, причины должны быть документированы. Тестирование должно проводиться в соответствии с принятыми планами и стратегиями тестирования.
6. Достижение критериев выхода и формирование отчета

   Результаты тестирования должны быть сравнены с прогнозируемыми. Они могут быть интерпретированы в терминах "прием/отклонение" тестирования; рисков для бизнеса или поставщика; изменении спроектированной ценности, вызванное увеличением издержек или уменьшением выгоды от использования услуги. По результатам тестирования формируется итоговый отчет.
7. завершение тестирования.

Входами процесса Подтверждения и тестирования услуг являются:

• пакет услуг;
• Пакет уровня услуг (SLP);
• интерфейсы поставщика услуг;
• проектная документация (SDP);
• планы релизов и развертывания;
• критерии приемки;
• Запросы на изменения.

Основными выходами процесса Подтверждения и тестирования услуг являются:

• формирование базового состояния конфигураций для проведения тестирования;
• осуществляемые тесты;
• результаты этих тестов;
• анализ результатов - сравнение реальных и прогнозируемых данных, анализ выявленных в ходе тестирования рисков.

Ключевые показатели производительности процесса Подтверждения и тестирования услуг:

1. первостепенные показатели отражают ценность для бизнеса и заказчиков:
   • раннее подтверждение того, что услуга сможет предоставлять предсказанную ценность;
   • уменьшение негативного влияния ошибок и инцидентов в промышленной эксплуатации;
   • более эффективное использование ресурсов;
   • уменьшение задержек в тестировании, которые влияют негативно на бизнес;
   • улучшение понимания новой или измененной услуги;
   • четкое понимание ролей и ответственностей, относящихся к новой или измененной услуге;
   • затраты и ресурсы, необходимые от пользователей и заказчиков.
2. второстепенные показатели - внутренние по отношению к поставщику услуг. Эти показатели отражают эффективность и результативность тестирования:
   • объем работ и стоимость настройки среды тестирования;
   • объем работ для нахождения дефектов;
   • уменьшение повторяющихся ошибок - достигается за счет обратной связи тестирования с проектированием и внедрением. Благодаря анализу результатов тестирования ошибки исключаются из будущих релизов;
   • уменьшение количества ошибок/дефектов на поздних стадиях тестирования и в процессе производства;
   • повторное использование данных тестирований;
   • количество ошибок на каждой стадии жизненного цикла;
   • количество и процентное соотношение ошибок, которые были обнаружены в ходе тестирования;
   • инциденты, найденные в ходе тестирования, как процент от общего количества инцидентов, произошедших в ходе эксплуатации;
   • количество известных ошибок, задокументированных на ранних стадиях тестирования.