Техническое обслуживание АСУ ТП: виды и периодичность работ

Автоматизированная система управления технологическим процессом отвечает за сбор и обработку данных, контроль параметров оборудования, выполнение команд, регулирование процессов и своевременное оповещение персонала об отклонениях. От исправности АСУ ТП может зависеть не только производительность предприятия, но и безопасность оборудования и сотрудников.

Даже надежная система автоматизации требует регулярного технического обслуживания. Со временем загрязняются шкафы и вентиляционные элементы, изнашиваются источники питания, ухудшается состояние контактов, появляются ошибки в работе сетевого оборудования, увеличивается риск отказа накопителей и других компонентов. Не менее важна программная часть: необходимо контролировать состояние серверов, резервных копий, журналов событий, баз данных и средств связи.

Разберемся, что входит в техническое обслуживание АСУ ТП, какие виды работ применяются и как определить оптимальную периодичность их проведения.

Что такое техническое обслуживание АСУ ТП?

Техническое обслуживание АСУ ТП представляет собой комплекс организационных и технических мероприятий, направленных на поддержание системы в работоспособном состоянии, предупреждение отказов и своевременное выявление неисправностей.

Обслуживание может охватывать практически все уровни автоматизации:

• датчики и первичные преобразователи;
• исполнительные механизмы;
• программируемые логические контроллеры (ПЛК);
• модули ввода-вывода;
• промышленные компьютеры;
• операторские панели;
• рабочие станции операторов;
• SCADA-системы;
• серверное оборудование;
• промышленные коммутаторы и другое сетевое оборудование;
• линии и интерфейсы связи;
• шкафы автоматики;
• источники бесперебойного питания;
• системы резервирования;
• специализированное программное обеспечение.

Конкретный перечень зависит от архитектуры системы и от того, где проходит граница ответственности обслуживающей организации.

Например, датчик температуры физически относится к контрольно-измерительным приборам, но его сигнал поступает в АСУ ТП. Поэтому при поиске причины некорректных показаний специалистам иногда приходится проверять всю цепочку: от самого преобразователя и кабеля до модуля ввода-вывода, контроллера и программного отображения параметра.

Для объектов электроэнергетики действующие Правила технической эксплуатации предусматривают организацию технического обслуживания автоматизированных систем, определение зон ответственности подразделений и наличие руководств по техническому обслуживанию.

Зачем необходимо регулярное обслуживание?

АСУ ТП может продолжать работать даже при появлении отдельных скрытых неисправностей. Именно в этом заключается одна из опасностей: дефект еще не привел к остановке процесса, но запас надежности системы уже уменьшился.

Например, один из двух резервированных источников питания может выйти из строя. Для оператора ничего не изменится, поскольку нагрузку возьмет второй источник. Однако система фактически уже работает без предусмотренного резервирования. Следующая неисправность способна привести к полной потере питания.

Регулярное обслуживание позволяет:

• обнаруживать такие дефекты до возникновения аварии;
• снижать вероятность незапланированных остановок;
• поддерживать требуемую точность измерений;
• контролировать состояние резервных систем;
• предупреждать перегрев электронного оборудования;
• выявлять нестабильные соединения и повреждения кабелей;
• контролировать состояние серверов и накопителей;
• обеспечивать работоспособность каналов связи;
• поддерживать актуальность эксплуатационной документации;
• сокращать время восстановления после отказа.

Чем выше цена простоя или потенциальные последствия ошибки системы управления, тем важнее профилактическое обслуживание.

Основные виды технического обслуживания АСУ ТП

На практике работы удобно разделять на несколько групп.

Оперативный контроль

Это постоянный или регулярно выполняемый контроль состояния системы в процессе эксплуатации.

Персонал отслеживает:

• диагностические сообщения;
• аварийные и предупредительные сигналы;
• состояние контроллеров;
• доступность серверов;
• качество связи;
• состояние резервированных компонентов;
• загрузку вычислительных ресурсов;
• свободное пространство на накопителях;
• работу источников питания;
• появление повторяющихся ошибок.

Такой контроль позволяет заметить постепенное ухудшение работы системы еще до полного отказа.

Для отдельных отраслей постоянный мониторинг может быть непосредственно предусмотрен требованиями эксплуатации. Например, действующие правила для объектов электроэнергетики предусматривают круглосуточный мониторинг эксплуатационного состояния средств диспетчерского и технологического управления, фиксацию нарушений и проверку работоспособности после их устранения.

Планово-профилактическое обслуживание

Проводится по заранее утвержденному графику независимо от наличия явных неисправностей.

Основная цель такого ТО заключается в предупреждении отказов.

Специалисты проверяют физическое состояние оборудования, соединения, питание, температурный режим, вентиляцию, резервирование и программную часть системы.

Именно планово-профилактическое обслуживание обычно составляет основу регламента ТО АСУ ТП.

Диагностическое обслуживание

Проводится для углубленной оценки технического состояния оборудования.

Диагностика может потребоваться:

• при появлении нестабильной работы;
• после серии одинаковых ошибок;
• при увеличении времени отклика системы;
• при периодической потере связи;
• перед модернизацией;
• перед ответственным технологическим циклом;
• после длительной эксплуатации оборудования.

При такой проверке анализируют журналы событий, диагностические данные контроллеров и серверов, параметры электропитания, состояние сети и другие показатели.

Корректирующее обслуживание

Выполняется после обнаружения неисправности.

К нему относятся:

• поиск причины отказа;
• замена неисправного оборудования;
• восстановление кабельных соединений;
• восстановление конфигурации;
• замена блока питания или аккумуляторных батарей;
• устранение ошибок программного обеспечения;
• восстановление связи;
• проверка системы после ремонта.

Это уже реакция на возникшую проблему, поэтому грамотная эксплуатация АСУ ТП должна стремиться к тому, чтобы значительная часть потенциальных неисправностей обнаруживалась на стадии профилактики.

Внеплановое обслуживание

Проводится при возникновении обстоятельств, которые могут повлиять на состояние системы.

Например, после:

• аварийного отключения электропитания;
• срабатывания защит;
• перегрева оборудования;
• затопления или повышенной влажности;
• ремонтных работ рядом с кабельными трассами;
• замены технологического оборудования;
• изменений в программном обеспечении;
• длительного простоя установки.

Объем работ определяют исходя из причины проведения проверки.

Что входит в техническое обслуживание аппаратной части?

Осмотр шкафов автоматики

В первую очередь оценивают общее состояние оборудования:

• целостность шкафов;
• состояние дверей и замков;
• наличие маркировки;
• отсутствие влаги и конденсата;
• наличие загрязнений;
• температуру внутри шкафа;
• работу вентиляторов;
• состояние фильтров;
• отсутствие следов перегрева.

Пыль особенно опасна для электронного оборудования. Она ухудшает теплоотвод, забивает вентиляционные отверстия и при определенных условиях может способствовать появлению токопроводящих загрязнений.

В действующих требованиях для электроэнергетики также отдельно предусматривается обеспечение проектных условий эксплуатации технических средств АСУ ТП, в том числе работа систем кондиционирования.

Проверка электрических соединений

Во время эксплуатации контакты могут ослабевать из-за вибрации, температурных циклов и механических воздействий.

Проверяют:

• клеммные соединения;
• разъемы;
• цепи питания;
• защитное заземление;
• сигнальные линии;
• кабельные вводы;
• состояние изоляции;
• наличие следов нагрева.

Подтяжку соединений выполняют только там, где она предусмотрена конструкцией оборудования и регламентом обслуживания. Бездумное «протягивание всех клемм» также способно привести к повреждению соединений.

Проверка контроллеров и модулей ввода-вывода

Контролируется:

• наличие диагностических ошибок;
• состояние центрального процессора;
• состояние коммуникационных модулей;
• корректность работы модулей ввода-вывода;
• наличие резервирования;
• температура оборудования;
• состояние памяти;
• соответствие фактической конфигурации проектной.

Особенно внимательно проверяют ошибки, которые появляются периодически. Например, кратковременная потеря модуля ввода-вывода может не остановить процесс, но указывает на потенциальную проблему с питанием, сетью или самим модулем.

Проверка источников питания и ИБП

Электропитание является одной из ключевых подсистем АСУ ТП.

Проверяют:

• выходные напряжения;
• распределение нагрузки;
• резервные блоки питания;
• аккумуляторные батареи;
• аварийные сигналы ИБП;
• автоматический переход на резерв;
• время автономной работы;
• состояние автоматических выключателей.

Недостаточно убедиться, что индикатор ИБП горит зеленым. Важно периодически проверять способность устройства действительно питать оборудование при исчезновении внешней сети.

Например, для определенных АСУ объектов электроэнергетики действующие правила устанавливают требование сохранять функционирование не менее 30 минут после исчезновения напряжения питающей сети, а проверка систем гарантированного электропитания под нагрузкой должна выполняться по утвержденному графику.

Обслуживание серверов и рабочих станций

Современная АСУ ТП редко ограничивается только контроллерами. В ее составе могут использоваться серверы SCADA, серверы архивов, инженерные станции и автоматизированные рабочие места операторов.

Во время ТО необходимо контролировать:

• состояние накопителей;
• RAID-массивы;
• загрузку процессора;
• объем оперативной памяти;
• свободное место на дисках;
• системные журналы;
• температуру компонентов;
• работу вентиляторов;
• состояние резервных серверов;
• синхронизацию времени;
• работоспособность служб и приложений.

Заполнение системного диска или архива технологических данных способно привести к остановке отдельных функций системы не менее успешно, чем физический выход сервера из строя.

Проверка промышленной сети

Промышленная сеть объединяет контроллеры, станции операторов, серверы и интеллектуальные устройства. Ее проблемы часто проявляются не как полный отказ, а как периодические задержки и исчезновение отдельных узлов.

При обслуживании проверяют:

• доступность сетевых устройств;
• состояние портов;
• количество ошибок передачи;
• резервирование линий;
• загрузку каналов;
• состояние оптических соединений;
• корректность сетевой конфигурации;
• синхронизацию времени;
• журналы управляемых коммутаторов.

Особое внимание требуется повторяющимся кратковременным потерям связи. Они могут быть связаны с повреждением кабеля, плохим разъемом, перегрузкой сети, неисправностью порта или неправильной конфигурацией.

Проверка датчиков и измерительных каналов

Даже полностью исправный контроллер будет принимать неправильные решения, если получает некорректную информацию от измерительных устройств.

Поэтому в рамках эксплуатации АСУ ТП контролируют:

• показания датчиков;
• отсутствие необоснованных скачков;
• соответствие диапазонов измерения;
• цепи передачи сигнала;
• состояние преобразователей;
• правильность масштабирования сигналов в контроллере и SCADA.

Поверка и калибровка средств измерений относятся к отдельной области метрологического обеспечения и должны проводиться с учетом типа оборудования и применимых требований.

Обслуживание программного обеспечения

ТО АСУ ТП не заканчивается очисткой шкафов и проверкой клемм. Необходимо контролировать состояние:

• программ ПЛК;
• SCADA;
• серверного программного обеспечения;
• драйверов обмена;
• баз данных;
• конфигурационных файлов;
• учетных записей;
• архивов;
• журналов событий.

Любые изменения в работающей АСУ ТП должны выполняться контролируемо. Перед корректировкой необходимо иметь актуальную резервную копию и понимать способ возврата к предыдущей рабочей конфигурации.

Резервное копирование

Резервные копии являются одним из наиболее важных элементов обслуживания. В зависимости от архитектуры системы сохраняют:

• программы ПЛК;
• проекты HMI;
• проекты SCADA;
• конфигурации серверов;
• базы данных;
• настройки сетевого оборудования;
• параметры частотных преобразователей и интеллектуальных устройств;
• технологические архивы;
• эксплуатационную документацию.

Но наличие файла с названием backup еще не гарантирует возможность восстановления.

Поэтому периодически необходимо проверять:

• создаются ли резервные копии без ошибок;
• содержат ли они актуальную конфигурацию;
• доступны ли файлы;
• можно ли реально восстановить систему из сохраненной копии.

Для критичных систем резервные копии целесообразно хранить таким образом, чтобы единичный отказ сервера или накопителя не уничтожил одновременно рабочую систему и ее единственную копию.

Проверка резервирования

Если АСУ ТП построена с резервированием, необходимо контролировать не только наличие резервного оборудования, но и способность системы корректно перейти на него.

Проверяться могут:

• резервный контроллер;
• сервер;
• источник питания;
• сетевой канал;
• коммутатор;
• источник электроснабжения.

Резерв, который несколько лет ни разу не тестировался, нельзя автоматически считать гарантированно работоспособным.

После проверки необходимо убедиться, что переключение не привело к потере данных, нарушению управления или появлению дополнительных ошибок.

Как часто необходимо проводить техническое обслуживание АСУ ТП?

Единой периодичности, одинаковой для любого предприятия и любой АСУ ТП, не существует.

График определяется с учетом:

• требований производителя оборудования;
• проектной документации;
• руководства по эксплуатации системы;
• отраслевых требований;
• условий окружающей среды;
• режима работы;
• критичности технологического процесса;
• наличия резервирования;
• статистики отказов;
• опыта эксплуатации конкретного объекта.

Для объектов электроэнергетики нормативные требования также во многих случаях предусматривают проведение проверок именно по графикам, утвержденным техническим руководителем или владельцем объекта, а не устанавливают одну календарную периодичность для всех систем.

В качестве основы для разработки собственного регламента можно использовать следующую схему.

Периодичность	Примерный состав работ
Постоянно / каждую смену	Контроль аварийных сообщений, состояния связи, серверов, контроллеров и основных функций системы
Еженедельно	Просмотр журналов ошибок, проверка состояния резервирования, свободного места на серверах, состояния архивов
Ежемесячно	Расширенная диагностика серверов, контроллеров и сети, контроль резервного копирования и ИБП
Ежеквартально	Осмотр шкафов, вентиляции, фильтров, источников питания, сетевого оборудования и соединений
Раз в 6 месяцев	Углубленная профилактика, проверка резервных систем, состояния аккумуляторов, коммуникаций и оборудования
Ежегодно	Комплексная диагностика АСУ ТП, проверка эксплуатационной документации, резервирования, восстановления из резервных копий и технического состояния основных компонентов
Внепланово	После аварии, серьезного сбоя, ремонта, модернизации, длительного простоя или воздействия неблагоприятных условий

Это примерная структура, а не нормативный график. На конкретном производстве отдельные операции могут выполняться существенно чаще или реже.

Например, состояние оборудования в кондиционируемой серверной и в пыльном производственном помещении будет изменяться совершенно по-разному. Поэтому устанавливать одинаковый интервал очистки для таких объектов нецелесообразно.

Ежемесячное техническое обслуживание

При ежемесячном ТО обычно выполняют работы, которые можно провести без длительной остановки оборудования.

В перечень могут входить:

• проверка диагностических сообщений ПЛК;
• анализ событий SCADA;
• проверка серверов;
• проверка свободного пространства;
• контроль резервного копирования;
• осмотр источников питания;
• проверка ИБП;
• анализ сетевых ошибок;
• контроль температуры оборудования;
• проверка резервированных компонентов.

Результаты фиксируются в журнале или электронной системе учета ТО.

Ежеквартальное обслуживание

Раз в квартал перечень работ можно расширить.

Дополнительно выполняются:

• осмотр шкафов автоматики;
• очистка оборудования при необходимости;
• проверка вентиляторов и фильтров;
• осмотр клемм и разъемов;
• контроль маркировки;
• проверка кабельных вводов;
• диагностика коммутаторов;
• проверка состояния аккумуляторов;
• анализ повторяющихся ошибок за прошедший период.

Такой подход помогает увидеть не только отдельные неисправности, но и тенденции.

Например, если за три месяца число ошибок одного сетевого порта постепенно увеличивается, его можно проверить и заменить до того, как связь исчезнет полностью.

Ежегодное комплексное обслуживание

Ежегодное ТО обычно является наиболее глубоким. В него могут входить:

• комплексное обследование оборудования;
• проверка контроллеров;
• диагностика серверов и рабочих станций;
• проверка систем электропитания;
• проверка ИБП под нагрузкой;
• тестирование резервирования;
• диагностика промышленной сети;
• проверка резервных копий;
• тестовое восстановление данных;
• проверка актуальности программ контроллеров;
• сверка фактической и архивной конфигурации;
• проверка технической документации;
• анализ статистики отказов за год;
• формирование рекомендаций по замене оборудования.

По итогам комплексного обслуживания можно составить перечень компонентов, которые еще исправны, но приближаются к концу рекомендуемого срока эксплуатации или становятся потенциальными точками отказа.

Когда требуется внеплановое ТО?

Не следует ждать очередной даты в графике, если появились признаки нестабильной работы.

Поводом для диагностики могут стать:

• периодическая потеря связи;
• самопроизвольная перезагрузка контроллера;
• ошибки модулей ввода-вывода;
• пропадание отдельных показаний;
• необычные скачки параметров;
• сообщения об ошибках дисков;
• перегрев оборудования;
• частые переходы на резерв;
• разряд аккумуляторов ИБП;
• появление конденсата в шкафу;
• повреждение кабельной трассы;
• замена части технологического оборудования.

Внеплановая проверка также необходима после некоторых ремонтных воздействий. Например, требования для объектов электроэнергетики предусматривают специальные проверки технологических защит перед пуском оборудования после определенных видов ремонта и после продолжительного простоя.

Как составляется регламент технического обслуживания?

Грамотный регламент лучше строить не вокруг абстрактной формулировки «обслужить АСУ ТП», а вокруг конкретных узлов.

Сначала необходимо составить перечень оборудования:

ПЛК → модули ввода-вывода → серверы → рабочие станции → коммутаторы → ИБП → шкафы → линии связи → периферийные устройства.

Для каждого элемента определяют:

• какие параметры необходимо контролировать;
• каким способом проводится проверка;
• допустимые значения;
• периодичность;
• ответственного специалиста;
• необходимость остановки оборудования;
• действия при обнаружении отклонений.

Так получается понятный рабочий документ, а не формальный список общих требований.

Документирование результатов

Результаты обслуживания необходимо фиксировать.

В документации обычно отражают:

• дату проведения работ;
• состав проверенного оборудования;
• выполненные операции;
• обнаруженные дефекты;
• замененные элементы;
• результаты измерений;
• выявленные предупреждения и ошибки;
• рекомендации;
• необходимость повторной проверки;
• сведения об изменении конфигурации;
• данные ответственных специалистов.

Ведение истории позволяет анализировать развитие неисправностей.

Если один источник питания за полгода несколько раз выдавал предупреждение, а затем снова начинал работать штатно, без журнала этот факт легко потерять. При наличии истории специалист увидит повторяемость события и сможет принять решение о диагностике или превентивной замене.

Обслуживание по состоянию

Помимо жесткого календарного графика все чаще используется подход, при котором часть работ назначается с учетом фактического состояния оборудования.

Анализируются:

• количество ошибок;
• температура;
• состояние накопителей;
• число переключений;
• ресурс аккумуляторов;
• статистика отказов;
• качество каналов связи;
• диагностические сообщения;
• тенденции изменения параметров.

Например, если вентилятор шкафа рассчитан на определенный ресурс и система позволяет контролировать время его работы, замену можно планировать до отказа.

Однако обслуживание по состоянию не всегда полностью заменяет плановые проверки. На практике эффективнее сочетать оба подхода.

Кто должен обслуживать АСУ ТП?

Работы должны выполнять специалисты, обладающие необходимой квалификацией и допусками для конкретного объекта.

В зависимости от структуры системы могут потребоваться:

• инженеры АСУ ТП;
• специалисты КИПиА;
• инженеры-электронщики;
• системные администраторы;
• специалисты по промышленным сетям;
• метрологическая служба;
• специалисты по информационной безопасности.

Особенно важно правильно распределить зоны ответственности. Например, сервер может обслуживаться ИТ-службой, ПЛК отделом АСУ ТП, а датчики службой КИПиА. При этом все элементы работают как единая система, поэтому должны существовать понятные границы обслуживания и порядок взаимодействия между подразделениями.

Для АСУ объектов электроэнергетики требование определить обязанности подразделений по обслуживанию технических средств и программного обеспечения прямо предусмотрено действующими Правилами технической эксплуатации.

Что происходит при отсутствии регулярного ТО

Отказ от профилактического обслуживания редко приводит к проблемам сразу. Система может несколько лет работать без заметных сбоев, создавая впечатление, что обслуживание ей практически не требуется.

Однако постепенно накапливаются слабые места:

• резервный источник питания оказывается неисправен;
• аккумуляторы ИБП теряют емкость;
• вентиляторы загрязняются;
• свободное место сервера заканчивается;
• резервная копия перестает создаваться;
• сетевой порт начинает выдавать ошибки;
• документация перестает соответствовать фактической конфигурации;
• запасные компоненты снимаются с производства.

В итоге небольшая неисправность способна вызвать значительно более длительный простой, поскольку специалистам приходится одновременно искать причину отказа, восстанавливать конфигурацию и выяснять, какие изменения в систему вносились за предыдущие годы.