|
|
  |
Главная страница / Архитектура отрасли Актуальные вопросы энергобезопасности в инфокоммуникацияхВ Группе компаний ЗТО такой проблемы в целом нет. Следовательно, и стратегии как таковой не существует. Что касается нормативных документов, то соответствующие бумаги оформлены и находятся у главного энергетика предприятия. Работоспособность ИТ-коммуникаций находится в ведении ИТ-директора. В свое время при проектировании офиса и телекоммуникаций была продумана схема электроснабжения. Тогда на обеспечение бесперебойной работы систем было потрачено порядка 10 тыс. долл. Обеспечение энергобезопасности является частью стратегии риск-менеджмента ООО «Пилот-МС». При этом определяются потребности в уровне энергозащищенности, просчитываются риски сбоев и их стоимость, оцениваются возможные контрмеры и затраты на них. Стратегия энергобезопасности формируется по итогам сравнительного анализа рисков и контрмер. Далее следует процесс внедрения и тестирования системы. В случае возникновения сбоев электроснабжения производится оценка эффективности принятых мер. У нашей компании два офиса. В одном из них вопросами энергобезопасности занимается ИТ-директор, в другом эти функции поделены между ИТ-директором и директором склада. При построении системы бесперебойного питания основные средства тратятся на закупку источников бесперебойного питания (ИБП) для рабочих станций, серверов и коммуникационного оборудования. Работы по настройке систем управления комплексом ИБП осуществляются силами наших специалистов. Энергобезопасность инфокоммуникаций в компании «Газсвязь» имеет первостепенное значение. Электроснабжение крупных узлов связи осуществляется по первой категории (особая группа), что помогло избежать потери информации и данных при аварии на электросетях Москвы в мае 2005 г. В «Газсвязи» созданы два участка электропитания, отвечающие за эксплуатацию и безаварийную работу оборудования. Вопрос энергобезопасности инфокоммуникаций на железных дорогах требует к себе повышенного внимания. Наиболее требовательными к качеству потребляемой электроэнергии являются информационно-вычислительный центр (ИВЦ), дорожный центр управления перевозками (ДЦУП), дома связи, посты электрической централизации и другие объекты, связанные с обеспечением движения поездов. Вопросы энергобезопасности находятся в ведении специалистов ИВЦ, эксплуатирующих системы электроснабжения. В случае необходимости к этим работам привлекаются службы энергетики, метрологии и сертификации, охраны труда и промышленной безопасности, капитального строительства, проектные институты, исследовательские лаборатории и др. В целом по дороге развитие и состояние систем энергообеспечения курирует главный инженер. В основе ИТ-стратегии железных дорог лежит обеспечение непрерывности бизнеса, потому что без соответствующей информационной поддержки основные бизнес-процессы РЖД не могут эффективно функционировать. С принятием в феврале 1996 г. Коллегией МПС РФ «Концепции информатизации железнодорожного транспорта России» были разработаны долгосрочные и среднесрочные программы информатизации отрасли, в которых достаточно внимания уделяется вопросам приобретения современного оборудования для систем электроснабжения. Общий подход к решению вопросов энергобезопасности выглядит следующим образом: анализируются риски функционирования АСУ, оценивается состояние эксплуатируемых систем жизнеобеспечения, составляется техническое задание, осуществляются проектирование, внедрение и эксплуатация. В последнее время доля затрат на системы жизнеобеспечения ИВЦ с филиалами, включая подсистему бесперебойного электропитания, увеличивается ежегодно на 200 – 300%. Построение энергобезопасных систем на сети железных дорог регламентируется множеством нормативных документов – правилами, стандартами, методическими указаниями, нормами технологического проектирования, инструкциями, приказами и т. д. При создании центра обработки данных на базе ИВЦ Свердловской железной дороги мы рассматривали международные стандарты ISO 17799 (безопасность информационных систем), ANSI/EIA/TIA-942 (требования к инфраструктуре ЦОД), европейские EN-50173, EN-50174. Компания APС при модернизации систем гарантированного электроснабжения серверных помещений ИВЦ руководствовалась американским стандартом EIA/TIA-492. Одним из направлений деятельности ОАО «Газком» является создание и эксплуатация сетей спутниковой связи и вещания на территории России и других государств в зонах обслуживания спутников «Ямал». К качеству спутниковых каналов предъявляются жесткие нормативные требования, которые могут быть выполнены только при условии качественного электропитания оборудования. Все вопросы обеспечения энергобезопасности находятся в ведении главного инженера «Газкома». Доля затрат на подсистему бесперебойного питания при создании и эксплуатации телекоммуникационных объектов зависит от их сложности и назначения и в среднем составляет около 10 – 20% общей стоимости. Количество потребляемой электроэнергии достигло своего максимума. Сейчас мы находимся на пороге превышения лимита. Правда, при этом прекратилось развитие коммуникаций в силу их насыщения. В целях экономии электроэнергии и сокращения затрат в ЗТО ведутся работы по снижению энергопотребления. В нерабочее время отключаются рабочие станции, периодически замеряется ток для определения периодов пикового потребления и мониторинга процессов, происходящих в это время. Профиль деятельности нашей компании – торговля. В основном потребление электроэнергии происходит за счет рабочих станций менеджеров, серверов и коммуникационного оборудования. За последние 5 лет наши потребности выросли, но незначительно. В связи с установкой цифровых автоматических телефонных станций количество потребляемой нашим предприятием электроэнергии уменьшилось. В первую очередь это связано с высоким КПД и изменением принципа работы преобразовательной техники. Ее развитие сегодня достигло такого уровня, что выпрямители с бестрансформаторным входом и высокочастотным преобразованием имеют достаточно широкий допустимый диапазон изменения входного напряжения. Однако они критичны к импульсным перенапряжениям на входе, поэтому нуждаются в надежной системе заземления и защите от перенапряжений. Потребление электроэнергии возрастает в связи с непрерывным увеличением масштабов бизнеса. Например, внедрение в 2006 г. системы расчета трудовых ресурсов на базе серверов IBM p5 570 и 590 и дисковой подсистемы DMX-3 компании EMC для девяти железных дорог потребовало увеличить лимит расхода электроэнергии на 150 кВт/ч. Сейчас мы реализуем программу ресурсосбережения и снижения эксплуатационных расходов для сокращения лимитов расходов электроэнергии. В ее основе лежит интеграция информационных ресурсов: перевод приложений на высокопроизводительные линейки blade-серверов, виртуализация, переход на более производительное оборудование с меньшим потреблением электроэнергии, оптимизация работы систем вентиляции и кондиционирования и др. Требования к качеству электроэнергии прописаны в существующих договорных обязательствах с энергетическими компаниями: 110 кВ ± 10% по первичному напряжению тяговой подстанции и 380 В ± 5% на шинах потребителей первой категории особой группы (ИВЦ и ДЦУП). Качество электроэнергии определяется в соответствии с ГОСТ 13109-67 и технической документацией на оборудование. Система спутниковой связи и вещания «Ямал», созданная и эксплуатируемая компанией «Газком», постоянно развивается. Организуются новые спутниковые каналы, планируется запуск новых спутников связи «Ямал-300». При этом можно отметить две тенденции. С одной стороны, увеличивается количество спутниковых телекоммуникационных объектов и, соответственно, растет потребность в качественном электропитании. С другой стороны, развитие современных технологий приводит к снижению массогабаритных характеристик радиоэлектронного телекоммуникационного оборудования, современные спутники связи имеют улучшенные энергетические показатели, следовательно, потребление электроэнергии земными станциями, определяемое в первую очередь энергетикой спутниковых радиолиний, также уменьшается. В целом дальнейший рост потребления электроэнергии будет происходить в основном за счет количественного развития спутниковых сетей. Система электропитания Группы компаний ЗТО построена следующим образом. От трансформаторов на подстанции проведены две линии. На вводном шкафу предусмотрено место для подключения автономного генератора на 5 кВт с вытяжкой выхлопных газов. Кроме того, на предприятие из города заведены две линии с разных подстанций. Правда, переключение между ними происходит вручную и занимает около 10 минут, но на этот случай в серверной на всем оборудовании и коммуникационных узлах установлены блоки бесперебойного питания соответствующей мощности, работы которых хватает на 15 минут. При плановых отключениях питания служба главного энергетика извещает ИТ-службу, и мы заблаговременно принимаем соответствующие меры – заводим автономный генератор либо выключаем оборудование и проводим профилактические работы. Современное ИКТ-оборудование очень чувствительно к качеству подающегося питания. А в нашем городе проблема качества электричества стоит очень остро. У нас за последние 10 лет оборудование выходило из строя только по причине некачественного электропитания. Решать проблему на местах можно, лишь покупая стабилизаторы напряжения или on-line ИБП, что очень дорого. Как вариант – резервирование основных устройств. Хотя однозначно ответить, какой из способов дешевле, нельзя. В «Пилоте-МС» два офиса. Система резервного энергоснабжения в них организована следующим образом. На серверах, коммуникационных узлах и телефонных станциях установлены раздельные ИБП, обеспечивающие автономную работу в течение 20 минут. Организовано автоматическое завершение работы операционных систем. Блоки питания на серверах дублированы. На рабочих станциях установлены ИБП со временем автономной работы 10 – 15 минут. В случае длительных сбоев электропитания сотрудники «вышедшего из строя» офиса частично переезжают в другой, куда перенаправляются телефонные потоки. При кратковременных перерывах во внешнем электроснабжении основным резервным источником электроэнергии служат аккумуляторные батареи, а при продолжительных перерывах – дизель-генераторные установки (ДГУ), стационарные и перемещаемые. В филиалах дороги установлены одномодульные ИБП. В ИВЦ применяются системы электроснабжения с тремя независимыми фидерами, идущими от разных подстанций, с параллельным резервированием источников бесперебойного питания и использованием мощных ДГУ. В случае исчезновения питания или превышения параметров питающей сети автоматического включения резерва (АВР) производит автоматическое переключение на резервный фидер, а затем, если есть проблемы на резервном фидере, на ДГУ. При появлении качественного электропитания на фидерах все автоматически переключается в обратном направлении. Такие системы позволяют производить техобслуживание ИБП, не прерывая работу при критических нагрузках. В серверных стойках и стойках сети передачи данных используются стоечные ИБП от 1 до 7 кВА для обеспечения проведения профилактических работ и изменения конфигурации. Сейчас в рамках проекта по реконструкции здания ИВЦ рассматривается возможность модернизации системы электропитания с целью устранения сбоев на участке шин питания путем исключения работы систем электроснабжения в режиме Bypass. Электроснабжение центральных телекоммуникационных объектов ОАО «Газком», расположенных в Московском регионе, обеспечивается системами гарантированного электропитания, которые имеют общепринятую структуру: вводы от независимых трансформаторных подстанций с возможностью автоматического выбора резерва, ДГУ с автоматическим запуском при исчезновении внешнего электропитания, резервный ИБП с блоками аккумуляторов, кабельная распределительная сеть. Для защиты особо критичных к питанию потребителей используются дополнительные ИБП небольшой мощности. В состав стационарных региональных станций спутниковой связи входят ИБП, обеспечивающие при исчезновении внешнего электропитания автономную работу в течение десятков минут. Перевозимые региональные станции спутниковой связи контейнерного исполнения могут оснащаться дополнительными ДГУ, допускающими автономную работу в течение нескольких суток. Такое построение региональных станций не обеспечивает полной защиты при длительных отключениях электропитания, но позволяет передать в центр управления своевременную и достоверную информацию о состоянии оборудования земной станции, что в конечном итоге снижает эксплуатационные расходы. Конечно, такой опыт есть. Причина тому – несовершенство оборудования и люди, которым свойственно ошибаться. Мы не проводили исследований последствий сбоев и вряд ли будем заниматься этим. Оценивать косвенные прибыли и убытки очень сложно, а результат часто не оправдывает средства. У нас были случаи сбоев электроснабжения. При этом несколько раз выходило из строя недорогое оборудование (материнские платы рабочих станций, ИБП), что не сказывалось на общей работоспособности предприятия. Были выявлены высокая степень эффективности защиты при кратковременных сбоях (2 – 5 минут) и низкая вероятность долговременных сбоев. По нашим расчетам, стоимость контрмер на случай долговременных сбоев, таких как установка дизеля и прокладка дополнительной электропроводки, выше, чем возможные издержки. Правильно выбранные инженерные решения электропитания оборудования связи позволили избежать сбоев в работе даже при полном отсутствии входной сети. Если учесть, что на ИВЦ ведутся расчеты более 7800 задач в рамках 13 комплексных АСУ, а в сети передачи данных дороги работают более 15 тыс. пользователей, то анализ причин сбоев и их статистика имеет большое значение. Приказом начальника дороги установлены категории сбоев – сбой, отказ, брак в работе – и руководители, отвечающие за проведение разборов каждого типа. В случае нештатной ситуации составляется протокол разбора, оценивается экономический ущерб, определяется причина сбоя, составляется план технических мероприятий по устранению подобных случаев. В основном сбои приводят к задержкам обработки информации, к расхождению информации в различных базах данных, к замедлению реакции оперативных систем, к задержкам в отправлении и прибытии поездов, к отсутствию тех или иных видов услуг пассажирам и т. д. В целом все виды отказов можно характеризовать временем недоступности или неполного предоставления сервисов пользователям. Отказы систем жизнеобеспечения нередко имеют более масштабные последствия, чем сбои на уровне приложений, так как они являются причиной обесточивания оборудования. При этом поиск неисправности затрудняется из-за больших нагрузок и отсутствия необходимой информации о состоянии распределительных устройств. Можно выделить основные причины сбоев систем электроснабжения: ошибки и неточности в работе обслуживающего персонала (сюда же можно отнести адекватность и время реакции сменного персонала при форс-мажорных обстоятельствах); отсутствие автоматизированного контроля над регламентным обслуживанием и неправильно установленные интервалы его проведения; ограничения по масштабированию систем, способам управления, мониторингу оборудования и окружающей среды; приемка в эксплуатацию систем с незавершенными проектными решениями; недостаток резервного оборудования; отсутствие подробного документирования всех соединений, маркировки на разветвителях питания и комплексной системы управления уровнями систем жизнеобеспечения; перегрев оборудования из-за неправильного расчета тепловыделений. В ОАО «Газком» ведется статистика случаев перерывов связи, в том числе вызванных отключением электропитания. На центральных телекоммуникационных объектах перебои внешнего электроснабжения происходили, но благодаря работе системы гарантированного электропитания это не приводило к нарушению связи и функционирования объектов. На региональных спутниковых станциях, особенно тех, эксплуатация которых проходит в сложных условиях, имели место перерывы связи при длительных сбоях в электроснабжении. Даже при наличии ИБП в составе региональных земных станций при крупных авариях на электросетях отмечались отказы оборудования. Проблема энергобезопасности – часть проблемы безопасности ИТ-инфраструктуры предприятия в целом. Так как нас интересуют готовность и функциональность инфраструктуры, то мы провели оценку рисков. Полностью нивелировать эти риски (как и полностью их принять) не представляется возможным. Однако по каждому из них принимаются меры для предотвращения, существует план принятия мер в случае возникновения подобной ситуации. Чтобы не быть многословным, приведу таблицу энергозависимых рисков и оценочную стоимость ущерба и способов предотвращения. Наша организация планирует сменить месторасположение обоих офисов. Скорее всего, будет рассматриваться вопрос об установке единого генератора и общего on-line ИБП. В дальнейшем в «Газсвязи» планируется провести повсеместное внедрение системы мониторинга оборудования электропитания. Такие меры повысят надежность функционирования питающего оборудования за счет получения более полной информации о его работе, статистической обработки полученных сообщений. Кроме того, это даст возможность задействовать в эксплуатационных центрах более квалифицированный персонал. В рамках проекта реконструкции здания ИВЦ планируется покупка новых модульных ИБП большой мощности и подключение их по схеме с резервированием шин питания нагрузки (PowerTie или LBS компании Liebert или других аналогичных производителей). Это позволит использовать две независимые системы бесперебойного питания, мощности каждой из них должно быть достаточно для питания всей критичной нагрузки. Такая система поддерживает две независимые выходные цепи питания. При этом схема резервирования приближена к нагрузке. Главное преимущество данной системы состоит в том, что любой ИБП или участок цепи может быть отключен без потери напряжения на выходе системы и без перевода питания в режим Bypass. Кроме того, необходимо использовать современную комплексную технологию мониторинга всех систем жизнеобеспечения. В идеале, в ближайшей перспективе хотелось бы иметь систему комплексного контроля устойчивости всех информационных систем для построения на базе ИВЦ Свердловской железной дороги Межрегионального центра обработки данных. В ОАО «Газком» для предотвращения сбоев в электроснабжении на существующих объектах помимо организационной работы с поставщиками электроэнергии принимаются меры по обеспечению нормальных условий эксплуатации оборудования, регулярному и качественному проведению регламентных работ, при необходимости – по оперативному устранению аварий. При модернизации и развитии сетей спутниковой связи и вещания планируется учитывать накопленный опыт проектирования и эксплуатации подсистем электропитания, использовать современное надежное оборудование. Полностью статью читайте в печатной версии журнала Главная страница / Архитектура отрасли |