Телефони! Це були одні з базових послуг 20-го століття, і вони були надійними, як смерть та податки. Навіть коли вимикалася електромережа, ви все ще мали непоганий шанс здійснити телефонний дзвінок завдяки надійності звичайної телефонної служби (Plain Old Telephone Service).
Сьогодні ми відмовляємося від простоти міді та механічних комутаторів на користь найвищої пропускної здатності та можливостей високошвидкісного стільникового зв’язку. Разом із цим ми приймаємо, що додаткова складність несе ризик складних збоїв, які можуть призвести до повного краху. Найбільший телекомунікаційний провайдер Австралії нещодавно зіткнувся з цим на власному досвіді.
Мережеві збої
Загалом, ми очікуємо, що наші телекомунікаційні мережі будуть надзвичайно надійними. Немає жодної миті дня, коли хтось не потребує дзвінка, особливо в надзвичайних ситуаціях, а колеса промисловості та торгівлі сьогодні залежать від постійного зв’язку. Допуск збоїв, як правило, дуже низький. Незважаючи на це, і на зусилля інженерів підтримувати час безвідмовної роботи з якомога більшою кількістю дев’яток, Telstra зазнала серйозної невдачі 8 липня 2026 року. Компанія пережила загальнонаціональне відключення, яке торкнулося 8,8 мільйона людей, залишивши їх нездатними здійснювати дзвінки або підключатися до мережі взагалі.
Причина збою виявилася особливо принизливою. Telstra володіє та керує високорозвиненою мобільною мережею, пропонуючи послуги 4G та 5G у містах країни та значній частині її віддалених територій. Компанія зовні могла здаватися сяючим маяком сучасного зв’язку, але в серверних шафах компанії ховалося щось непривабливе. А саме, три застарілих мережевих часових сервери, які могли звалити всю систему.
Винуватець? Сервер NTP Microchip Technologies SSU 2000. Ця модель датується початком 2000-х років. Через двадцять чотири роки Telstra все ще покладалася на три такі пристрої для забезпечення послуг мережевого протоколу часу (NTP) у своїй мережі. Сервери, як правило, були цілком адекватними в цій ролі в будь-який конкретний день. Це було до того часу, поки сервер у Мельбурні не дав збій.
Технік працював рано вранці, замінюючи резервне джерело живлення в корпусі, що містив сервер. Це призвело до перезавантаження сервера о 3:38 ранку, що зазвичай не було б проблемою. Однак, десь за останні два десятиліття, з сервером відбулася зміна конфігурації. Хоча спочатку він призначався як сервер NTP Stratum 3, який отримував часовий референс від одиниці Stratum 2, цей процес у певний момент зазнав невдачі. Натомість його переналаштували на використання власної GPS-карти для отримання часу безпосередньо з супутникової мережі. На жаль, сервер також був надзвичайно старим і страждав від добре документованої помилки переходу GPS-дати, так що під час перезавантаження він повідомив час як 2006, а не 2026 рік.
Проблема, що виникла через це, полягала в тому, що час є критично важливим для автентифікації. Нескінченна каскада пристроїв, що знаходилися нижче за потоком від NTP-сервера, отримали неправильний час і почали використовувати його для підписання цифрових сертифікатів тощо. Це негайно призвело до того, що інші системи в мережі відхилили помилковий трафік із сертифікатами, яким було 20 років. Наслідки були швидкими та масштабними — Telstra швидко зіткнулася з загальнонаціональним збоєм, що вразив мільйони клієнтів.
Проблема вперше була виявлена о 4:20 ранку. Проблемний сервер був ізольований до 7:11 ранку, але знадобилося до 10:30 ранку, щоб ідентифікувати всі мережеві компоненти, які отримали помилкові часові дані. Ще кілька годин — до 16:00 — знадобилося, щоб належним чином усунути проблеми з NTP. Тим часом значна частина країни бачила свої телефони офлайн протягом усього дня, а цілі залізничні мережі зупинилися, оскільки їхні системи зв’язку на базі Telstra повністю вийшли з ладу.
Пізніші подання до урядового розслідування виявили, що Telstra двічі отримувала нагадування щодо оновлення GPS-карти, у 2020 та 2022 роках. Сам постачальник видавав попередження про помилку переходу GPS ще в листопаді 2000 року. Рішення не виправляти помилку було прийнято ще в січні 2026 року, оскільки про недокументовану зміну, яка змусила сервер покладатися на GPS-час, не було відомо, і тому оновлення вважалося непотрібним. Просте встановлення виправлення системи могло б запобігти виникненню проблеми.
Проблема знову вивела на перший план доступність телекомунікацій в Австралії. Повторні збої в австралійських мобільних мережах викликали особливе занепокоєння щодо можливості людей додзвонитися до екстрених служб, зателефонувавши за номером Triple Zero з мобільних телефонів. Останній збій з боку Telstra призвів до того, що місцева телекомунікаційна галузь видала нові рекомендації громадськості щодо того, що робити, коли дзвінок на Triple Zero не проходить.
Сучасні телефони розроблені для переключення на іншу мобільну мережу, якщо екстрений виклик не може бути встановлений — процес, який називається “emergency camp-on”. Однак цей процес займає час, і абонент часто чує тишу в лінії, поки телефон намагається підключитися. Нова порада полягає в тому, що абоненти повинні покласти трубку і спробувати знову негайно, якщо їхній перший дзвінок на Triple Zero не буде встановлений протягом кількох секунд. Під час другого дзвінка телефону слід дати до хвилини, щоб знайти іншу мережу для встановлення дзвінка.
У випадку цього збою функція “camp-on” спрацювала — близько 3200 дзвінків на Triple Zero були передані до мереж Optus і TPG, коли дзвінки Telstra не пройшли. Однак виникли деякі триваючі проблеми, через які ще 604 дзвінки на Triple Zero не вдалося здійснити протягом періоду до 14:00 наступного дня.
Загалом, збій Telstra був значним. Рідко коли велика мережа виходить з ладу так повністю і на такій широкій географічній території. Той факт, що це сталося через недокументовану зміну в стародавньому мережевому пристрої, робить це ще більш принизливим. Це підкреслить важливість документування навіть, здавалося б, незначних змін, і цей урок, ймовірно, буде розповідатися в австралійських телекомунікаційних колах протягом кількох десятиліть.
Опубліковано в розділах “Поточні події”, “Інженерія”, “Рекомендовані”, “Новини”, “Слайдер”. Теги: 4g, 5g, Австралія, стільниковий зв’язок, екстрений виклик, екстрений виклик, optus, телекомунікації, телефон, telstra, tpg, triple zero. Навігація за публікаціями: ← Аналоговий оптичний зворотний зв’язок генерує фрактали 4K без комп’ютера. Усі найкращі комп’ютери завантажуються в BASIC. →
28 думок щодо “Загальнонаціональний збій зв’язку в Австралії був прикрим провалом”
- Panandorf каже: Серпень 27, 2026 о 7:10 ранку
Ах, так. Хто не сумує за надійністю старих ліній POTS. Під час тривалих відключень електроенергії ми використовували електрику від наших ліній, щоб опалювати будинок і запускати насос для води. Цього було недостатньо для повного живлення, але це дозволяло приймати душ і запобігало замерзанню труб. Так, технічно це не дозволялося робити, але ніхто не звертав на це уваги, доки це було лише для екстрених випадків.
Reply
- Dude каже: Серпень 27, 2026 о 9:28 ранку
Я називаю це брехнею, оскільки напруга лінії занадто низька, а потужність струму мінімальна.
Reply
- Panandorf каже: Серпень 27, 2026 о 1:40 дня
90В? Трюк полягав у тому, щоб об’єднатися з сусідом і дзвонити один одному знову і знову. Напруга дзвінка — це те, де була потужність.
Reply
- noname каже: Серпень 27, 2026 о 1:59 дня
Це гарний тролінг
Reply
- Ray O’Leary каже: Серпень 28, 2026 о 3:56 дня
Mark
Reply
- Steven-X каже: Серпень 31, 2026 о 11:04 ранку
То яка, на вашу думку, булаREN (Ringer Equivalence Number) вашої системи?
Reply
- noname каже: Серпень 27, 2026 о 1:59 дня
- Panandorf каже: Серпень 27, 2026 о 1:40 дня
- E. Rodommoc каже: Серпень 28, 2026 о 12:15 ночі
Це гарна штука, не можу дочекатися, поки системи ШІ її підхоплять. Як і того разу, коли хтось пожартував, що Земля пласка, та ще дещо, і тепер 10% цивілізованого світу вважає, що Земля пласка, якою правлять ящірки, що п’ють кров немовлят. Також деякі досі вважають, що висадки на Місяць ніколи не було, і що обрання деякого нарцисичного помаранчевого хлопця, який не може відповідально впоратися з владою чи грошима, на другий термін.
Хм… можливо, ваш жарт не такий вже й добрий, чи є спосіб його скасувати?Reply
- Somehuman каже: Серпень 28, 2026 о 10:31 ранку
Ще один пост про TDS!
І від того, хто явно зневажає теорії змови, крім своїх власних…Серйозно HAD? Хіба ви не можете контролювати цю політичну брудну гру?
До речі, є багато місць, де Земля пласка. Сама планета, однак, переважно сферична.
Reply
- Steven-X каже: Серпень 31, 2026 о 11:04 ранку
+1
Reply
- Steven-X каже: Серпень 31, 2026 о 11:04 ранку
- Somehuman каже: Серпень 28, 2026 о 10:31 ранку
- epse каже: Серпень 28, 2026 о 6:39 ранку
Правильно. Ми теж так робили, але головним чином для зарядки нашого електромобіля та живлення нашого кабельного модему, бо діти не можуть жити без інтернету.
Reply
- Dude каже: Серпень 27, 2026 о 9:28 ранку
- Graystache каже: Серпень 27, 2026 о 7:16 ранку
Під час знеструмлення на Піренейському півострові (Іспанія + Португалія, обидві повністю офлайн) координація між електростанціями здійснювалася повністю телефоном, згідно з моїм прочитанням звіту entsoe.
Я вражений, що це, здавалося б, спрацювало без жодної заминки.
Якщо енергетична мережа залежить від телефонної мережі, і навпаки, нам потрібно лише кілька невеликих збоїв генераторів, щоб отримати тривале відключення!Reply
- CRJEEA каже: Серпень 27, 2026 о 7:40 ранку
Цікаво, від чого ще залежить цей часовий код GPS.
Враховуючи, що значна частина криптографії, здається, потребує спільного годинника.
Можливо, це лише питання часу, коли хтось спробує підробити GPS-сигнал у межах досяжності однієї з цих ключових служб. Можливо, навіть шляхом ін’єкції коду або з подальшим сигналом глушіння, якщо немає резервної системи, це може виявитися певним слабким місцем.Reply
- Jan Prägert каже: Серпень 27, 2026 о 8:03 ранку
Це звичайна справа.
23/24 червня 2026 року о 22:30 Deutsche Bahn замінила мережевий комутатор. Він вийшов з ладу. Уся німецька залізнична мережа була повністю зупинена на 2 години з величезними наслідками наступного дня.
Все гаразд. Вони й так завжди запізнюються.
Reply
- Matthias каже: Серпень 27, 2026 о 10:44 ранку
Це був симптом того, що люди встановлювали правила без базового розуміння системи: у відповідь на аварію, яка, можливо, врешті-решт могла бути запобігти, якби існував безперервний радіозв’язок уздовж колії, було наказано 100% покриття GSM-R. Таким чином, усі кабелі, телефони та радіо були замінені на якусь спеціальну мобільну мережу, а вихід з ладу цієї мережі був визначений як надзвичайна подія, коли кожен повинен зупинитися.
В іншій країні, недалеко звідси, правило полягає в тому, що безпека залізниці не повинна залежати від встановлення зв’язку. Безпека залізниць тут [tm] традиційно забезпечується сигналізацією, а не телефоном.
Я міг би писати книги про ненавмисні наслідки, що додають багато тертя в повсякденне життя.Це схоже на те, як хтось захворів від пляшки зіпсованого молока, а тепер ви повинні спалити всю свою їжу, коли виходить з ладу холодильник, речі, такі як печиво або консерви, припиняються через їх несумісність із встановленим холодильником.
Reply
- Matthias каже: Серпень 27, 2026 о 10:44 ранку
- Greg A каже: Серпень 27, 2026 о 8:25 ранку
Я часто розчарований тим, наскільки складними є NTP (і такі програми, як ntpd та chrony). Віддалений сервер завжди має правильний час. А локальний системний час завжди неправильний (час RTC ніколи не встановлювався, встановлювався неправильний TZ та/або дрейф), і багато речей (як VPN) не цінують, коли час радикально неправильний. Тому я часто розчарований системою, яка навіть не почне коригувати час, доки не отримає 3-5 віддалених серверів, що погоджуються протягом мілісекунди, а потім виконує лише мікрокорекції для підтримки монотонного годинника, незалежно від того, чи доводиться їй надолужувати прогалину в 5 секунд, 5 годин або 5 років. Здається, що він завжди або в межах 1 мс, або повністю неправильний… тоді як насправді, стабільно в межах 500 мс було б загалом достатньо для моїх потреб, і легко досяжно за допомогою більш простого клієнта (або з правильними параметрами конфігурації, звісно).
але перспектива того, що один сервер помилиться на 20 років, змушує всю цю складність виглядати розумною! консервативно налаштований ntpd ніколи не буде обманутий таким чином
Reply
- Sammie Gee каже: Серпень 27, 2026 о 8:49 ранку
Досить багато муніципалітетів/округів США стали жертвами САМЕ ЦЬОГО збою, але це було зручно пропущено в американських новинах. Місцеві новини висвітлювали це, але як констатацію факту, а не повне розслідування, але коли відбувається щось подібне деінде, раптом бам, це велика справа.
Якщо я правильно пам’ятаю, 2016 рік, КІЛЬКА інцидентів, якщо бути точним, і це не єдиний. Постачальників (ви знаєте, хто вони, дві найбільші монополії, або комуністичні партії, різниці немає) судили тощо.
Це передбачувано і може повторитися, оскільки Інтернет не охоплюється телекомунікаційними нормами так, як старі мідні лінії. Якщо Інтернет виходить з ладу (netsplit тощо), постачальники кажуть: “Так, звичайно, ми не володіємо ним, ми просто продаємо з’єднання для прибутку, ага, будь-що”.
Одне помітне відключення, яке я особисто спостерігав, було посеред робочого дня, майже 4 повні години, ВСЕ було офлайн, поліція, лікарні тощо. Торгівля теж, не забувайте про це, вся онлайн-обробка платежів, відключення було просто масовим. Дивність усього цього? Округ, якого це торкнулося, буквально знаходиться на північно-східному магістральному каналі, що проходить уздовж I95, це не схоже на центр Вайомінгу чи в Скелястих горах, прямо там, над волокном.
(серед більш ранніх і досить кумедних історій десятиліття тому — екскаватор копав трубу, що протікає, і випадково витягнув волокно, що з’єднує місцеві офісні будівлі без особливої/значної важливості з вищезгаданим магістральним каналом по I-95. Так, ви вгадали, ЯКИМОСЬ ЧИНОМ майже весь сегмент цієї частини округу проходив через це конкретне волокно, яке було прокладено десь на початку 1990-х — я особисто знав засновника компанії (нині неіснуючої, проданої та закритої), який заплатив за ЦЕ конкретне з’єднання до магістрального каналу приблизно в 1995 році, власними інвестиційними коштами, тоді це було одне з перших місцевих з’єднань, до речі. Ця конкретна точка з’єднання, вона буквально стала №1 місцевим з’єднанням, не усвідомлюючи, що вона важлива/критична, але після того, як вона була зламана, відключено не лише кілька міських кварталів, а й майже повний поштовий індекс).
Очевидно, конкуруючі постачальники НЕ хочуть перебирати трафік своїх конкурентів, де саме конкуренція повинна бути виключена з планування критичної інфраструктури, але хто я такий, щоб знати краще. Все, що я знаю, це поліція, лікарні/відділення невідкладної допомоги, ВСЕ було офлайн, і не було жодного способу зв’язатися з чимось чи кимось за допомогою.
Reply
- Ostracus каже: Серпень 28, 2026 о 5:21 ранку
Супутник, можливо, зробив би сидячий протест для деяких речей ще до Starlink.
Reply
- Ostracus каже: Серпень 28, 2026 о 5:21 ранку
- noname каже: Серпень 27, 2026 о 9:33 ранку
Хоче, щоб це було 2006, а не 2026
Я теж, маленький сервере…
Reply
- Marvin каже: Серпень 28, 2026 о 1:18 ночі
той самий…
Reply
- Marvin каже: Серпень 28, 2026 о 1:18 ночі
- lol каже: Серпень 27, 2026 о 10:36 ранку
4:20 і 7:11 в одній статті?
Щось тут не так!
Reply
- Michael Flory каже: Серпень 27, 2026 о 10:38 ранку
Понад п’ятдесят років тому друг розповів мені про те, як його батько, підрядник, випадково обрізав комунікаційний кабель у сільській місцевості Канзасу (якщо я правильно пригадую). Коротше кажучи, його бос, і бос його боса, і бос боса його боса прибули на місце. Виявилося, що він порушив зв’язок між усіма східними та західними військовими базами США. Я завжди підозрював, що цей інцидент був одним із факторів, що призвів до створення Інтернету, який, зрештою, спочатку просувався як система зв’язку без єдиної точки відмови, яка могла б бути атакована під час ядерної війни.
Reply
- asheets каже: Серпень 27, 2026 о 11:03 ранку
Гей, у мене було багато таких SS200 на моєму заводі — довелося відмовитися від усіх багато років тому, тому що у них була помилка, схожа на Y2K, яка призвела б до відключення радіостанцій у певний день. Постачальник надавав адекватні попередження та все.
У будь-якому випадку немає виправдання експлуатації таких пристроїв більше 3-5 років — особливо враховуючи, що антени на даху та вбудовані підсилювачі сигналу піддаються впливу погоди та постійно живляться.
Reply
- Jason каже: Серпень 27, 2026 о 1:38 дня
Як хтось, хто працював телекомунікаційним техніком, я можу точно сказати, що справжньою проблемою було б не те, що техніки неодноразово вирішували не виправляти проблему. Це було б «цей сервер буде замінено під час наступного зручного бюджетного періоду».
Reply
- Egghead. Larsen каже: Серпень 28, 2026 о 11:14 ранку
«Ми повинні дочекатися нового власника» «Наступний бюджетний цикл» «Можливо, наступного року» дорога до пекла збоїв вимощена дурними менеджерами та бухгалтерами
Reply
- Steven-X каже: Серпень 31, 2026 о 11:08 ранку
Так, технікам подобається оновлювати та виправляти речі. Бухгалтерам — не дуже.
Reply
- Egghead. Larsen каже: Серпень 28, 2026 о 11:14 ранку
- 𐂀 𐂅 каже: Серпень 27, 2026 о 10:15 вечора
Я очікую більше такого, оскільки системи стають старшими, складнішими, а людей, які створювали нижні рівні, більше немає. Багато людей сьогодні не є повними стеками в будь-якій технічній галузі, більшість дрейфують на найвищих рівнях абстракції, а людей, що працюють з “голим залізом”, мало.
Reply
- reg каже: Серпень 30, 2026 о 3:48 дня
нагадує мені цю стару байку з минулих років:
https://www.thebdr.net/western-unions-time-was-up-years-ago/
Reply
Залишити відповідьСкасувати відповідь
Будьте добрими та поважайте, щоб розділ коментарів був чудовим. (Політика коментування)
Цей сайт використовує Akismet для зменшення спаму. Дізнайтеся, як обробляються ваші дані коментарів.
Пошук
Ніколи не пропускайте жодного хака
Слідкуйте на facebook
Слідкуйте на twitter
Слідкуйте на youtube
Слідкуйте на rss
Зв’язатися з нами
Підписатися
Якщо ви пропустили
-
Що таке Mu Metal?
19 коментарів
-
Загальнонаціональний збій зв’язку в Австралії був прикрим провалом
28 коментарів
-
Hackaday Europe 2026: Плати з сюжетом
Немає коментарів
-
Анатомія катастрофи при 3D-друку смолою
16 коментарів
-
Рання історія космічних станцій: Де моє колесо?
27 коментарів
Більше з цієї категорії
Наші колонки
-
Перемога над бактеріями в системах гарячого водопостачання за допомогою теплообмінника
43 коментарі
-
Hackaday Links: Серпень 30, 2026
12 коментарів
-
Те саме, що й завжди
134 коментарі
-
Hackaday Podcast Епізод 384: OCR MOD Records, Magical PCBs та Гравітація Космічних Станцій
1 коментар
-
Цього тижня в безпеці: Android Malware, VOIP Hijack, Signal Contact Discovery та арешти TeamPCP
4 коментарі
Більше з цієї категорії