Жду новый пост

Серия «Про ДЗЗ»

Предыдущие посты

Космическая гидрометеорология - что это?

Космическая гидрометеорология - что видят спутники?

Космическая гидрометеорология - ПО для обработки спутниковых данных

Последний пост видимо оказался слишком узконаправленным, потому что обсуждения никакого не вызвал. Что же, не буду тогда вдаваться в технические сложности, постараюсь писать более понятно.

Итак, прогноз погоды со спутника.

Такой прогноз называется наукастинг, обычно он делается на ближайшие часы (до 2-6 часов вперед).

Обычно, для решения задачи наукастинга берут спутниковые снимки (обычно каналы самого прибора + параметры облачности), добавляют метеорологические радары и данные численного прогноза погоды - и делают прогноз.

Про спутниковые данные уже рассказывал, что же такое метеорологические радары?

Это доплеровские радиолокационные станции, которые позволяют  определять координаты выпадения осадков, направления их движения и их тип.

Расположение радаров на территории Росси приведено ниже (взято отсюда)

Как видно, в основном они располагаются в Европейской части России. Все что дальше Урала - естественно, будет работать плохо. Поэтому для этих территорий применяют модели численного прогноза погоды вместо радаров.

Посмотреть данные радаров по осадкам в реальном времени можно на accuweather.com и meteoinfo.ru/radanim

Численная модель прогнозирования погоды — это компьютерная программа, построенная на основе системы уравнений гидромеханики (уравнения Эйлера) и составляющая на основе текущих данных метеорологический прогноз. Эта модель может быть глобальной, покрывающей всю Землю, или локальной, покрывающей отдельный участок планеты.

В основе моделей лежат математические уравнения, описывающие аэро- и термодинамические процессы в атмосфере и связывающие такие параметры как плотность, скорость, давление и температуру. Эти уравнения являются нелинейными и не имеют точного решения, поэтому для их решения используются численные методы. Исходные уравнения дискретизируются во времени и пространстве и превращаются в систему линейных уравнений, связывающую наборы физических параметров в выбранных точках (узлах вычислительной сетки). Чем больше используется точек для расчета, тем выше точность модели, но и тем выше требования к вычислительным мощностям.

Наиболее известные модели на сегодняшний день - GFS, WRF, ICON, ECMWF.

Кстати, удобные сервисы по просмотру параметров моделей - температура на уровнях, скорость ветра, осадки, влажность и т.д., удобно смотреть на сайтах windy.com и ventusky.com.

Как именно делают наукастинг и кто этим занимается?

Русскоязычные материалы нашел от Яндекса на Хабре: Как мы делали краткосрочный прогноз осадков. Лекция в Яндексе и Как мы отказались от нейросетей, а затем вернули их в прогноз осадков Яндекс.Погоды

Вкратце - они использовали для составления прогноза оптический поток и нейронную сеть. Результаты, судя по всему, внедрены в Яндекс.Погоду.

Также они приводят интересный график

Согласно которому точность прогноза уменьшается тем больше, чем больше время самого прогноза. То есть предсказывая погоду на 2 часа вперед точность составляет 35-45%.

Еще нашел материалы конференции, которая проводилась в Институте Космических Исследований РАН за 2019 год. Там тема одного из докладов - Разработка нейросетевого метода прогнозирования эволюции облачных образований и осадков по данным геостационарных спутников

Как я понял, там делают упор как раз только на использование спутников, потому что на Дальнем востоке радаров почти нет. Но к чему это привело и где это используется - непонятно.

Таким образом, со спутников делают прогноз - но на небольшой период времени. До 2 часов максимум. И чем больше время прогноза - тем меньше точность.

Если есть вопросы по этой теме или есть вопросы из других направлений - спрашивайте)

Космическая гидрометеорология - что это?

Космическая гидрометеорология - что видят спутники?

В этом посте постараюсь более подробно раскрыть, какие программы используются для обработки спутниковых данных.

Пост будет разделен на две части: ПО для обработки данных спутника и ПО для расчета параметров

ПО для обработки данных спутника

Спутниковые данные принимаются наземными комплексами. Грубо говоря - большие антенны. Если углубится, то в России не так много организаций, которые осуществляют прием данных метеорологических спутников. Ниже приведу основные из них.

Первая - ФГБУ «Научно-исследовательский центр космической гидрометеорологии «Планета». Три филиала в России - в Москве (включая приемные станции в Обнинске и Долгопрудном) planet.iitp.ru, в Новосибирске rcpod.ru и в Хабаровске dvrcpod.ru. Во всех центрах стоят приемные комплексы.

Вторая - Научный Центр оперативного мониторинга Земли (НЦ ОМЗ) ntsomz.ru

Третья - сам Роскосмос.

Еще четвертая - НИИ ТП с его ЕТРИС ДЗЗ (не знаю, как правильно их описать. Етрис по бумагам - очень хорошая система. Денег выделено уйма. А вот как это все работает - к сожалению, оставляет желать лучшего. Грубо говоря - деньги освоены, результат на троечку. В плане приема спутниковых данных - да, принимают. Но даже уровень L1 они не получают, не стоит никакое ПО у них - не могут, не умеют, не надо или не хотят. Только L0 и какие-то картинки, в которых данные просто нормализованы от 0 до 255 по гистограмме, как для формата jpeg)

Вот пример, как в Сибирском центре НИЦ Планета располагаются приемные комплексы (информация взята с их сайта)

Приемные комплексы есть как российские, так и зарубежные. К каждому приемному комплексу поставляется специальное ПО, которое помимо настройки антенны на спутник еще и проводит предварительную обработку данных.

После того, как сигнал с данными со спутника полностью принят, он сохраняется в файл, называемым "сырой поток" (raw).

Далее, для каждого спутника есть свое ПО, которое обрабатывает сырые данные, вычленяя из них данные по каждому прибору, установленному на аппарате.

Так, к примеру, для обработки данных со спутников NOAA-20 и Suomi NPP используется ПО CSPP (Community Satellite Processing Package), которое можно скачать в свободном доступе с сайта cimss.ssec.wisc.edu. Это ПО сначала из сырого потока вычленяет, как уже было сказано, данные по каждому прибору. Выходные данные этого ПО называют уровнем обработки L0 (Level 0).

Далее, ПО обрабатывает каждый прибор в отдельности, преобразовывая закодированные данные в формат HDF, в котором уже сформированы цифровые массивы данных по каждому из каналов спутникового прибора, а также информация о географической привязке и углах наблюдения - все это называется уровень обработки L1.

Практически для всех принимаемых спутников ПО по обработке можно бесплатно скачать и пользоваться им без ограничений.

Для российских спутников такого ПО нет в свободном доступе. Даже по запросу никто его не предоставит. Насколько я понял, все российские метеорологические спутники запускались не только в рамках метеорологических задач, но и военных в том числе. А там, где военные - там гостайны и все закрыто. Поэтому, какое ПО обрабатывает российские спутники и где его брать - известно, скорее всего, только сотрудником вышеперечисленных организаций.

Данные L1 используются для построения различных RGB синтезов - комбинация трех каналов спутника или комбинация разностей каналов - вариаций множество.

ПО для расчета параметров

После получения данных уровня L1 можно рассчитывать параметры, так как теперь есть данные в виде температуры в ИК-каналах (от 3 мкм) и Коэффициент спектральной яркости (Reflectance) в коротковолновых каналах (до 3 мкм).

Для зарубежных спутников уже есть ПО, которому на вход подаются данные L1, и на выходе получаются данные L2, внутри которых уже есть и температура моря, и информация о пожарах, и осадки, и много дополнительных параметров. Все это хранится в цифровых массивах, обычно в формате HDF.

Для примера, взять те же спутники NOAA-20 и Suomi NPP. На них установлены приборы VIIRS (Visible Infrared Imaging Radiometer Suite), у которого каналы имеют пространственное разрешение 375 и 750 метров.

На сайте CSPP есть ПО:

ACSPO SST - расчет температуры воды

VIIRS Active Fire - детектирование точек с пожарами

CLAVRx Cloud Retrieval - расчет параметров облачности (высота верхней границы облачности, ее температуры, типы облачности, водозапас и т.д.)

Таким образом, расчет параметров производится с использованием уже готового ПО.

Однако, не всегда это ПО удовлетворяет предъявляемым требованиям к точности. Например, облачность зачастую путается со льдом в зимнее время, типы облачности некорректно определяются.

И вот здесь уже специалисты, в том числе и я, разрабатывают собственные алгоритмы для расчета этих параметров. Для разработки алгоритма берутся эталонные данные, например для температуры воды это данные морских буйков, и с использованием данных определенных каналов спутника разрабатывается алгоритм. В примере в температурой воды известно, что разница значений в каналах с центральными длинами волн 11 и 12 мкм косвенно говорит о температуре воды. Соответственно, подбирается формула, например генетическим алгоритмом, а с использованием любой функции минимизации, например k-means, подбираются значения значения коэффициентов.

Спрашивали в комментариях, откуда берутся данные на fires.ru. Там для отображения на карте используются данные по пожарным точкам с приборов VIIRS, AVHRR и MODIS. Алгоритмы для расчет точек также находятся в свободном доступе. То есть на этом сайте как раз данные, которые получены после обработки спутниковых данных.

Что касается российских спутников - для них тоже есть ПО, но как и в случае с L1 - оно недоступно для скачивания или установки, и сведений о нем в свободной доступе нет. Однако то что это ПО существует - это точно. На сайтах Сибирского центра НИЦ Планета и Дальневосточного центра НИЦ Планета есть параметры облачности по данным Метеор-М № 2 и №2-2. Однако как они это делают, с помощью каких программ - непонятно.

На сайте Московского центра НИЦ Планета никаких продуктов по российским спутникам нет, только RGB синтезы данных L1, как и на сайте НЦ ОМЗ

Стоит отметить, что помимо спутников NOAA-20 и Suomi NPP, активно используются данные спутников Terra и Aqua, которые около 20 лет на орбите, и прибор MODIS, установленный на этих аппаратах, до сих пор позволяет получать данные в хорошем качестве. Для этих спутников также существует свое ПО для обработки: IPOPP (International Planetary Observation Processing Package) для Linux и IMAPP(International MODIS/AIRS Processing Package) для Windows. Это ПО позволяет рассчитывать данные уровней L0, L1 и L2, в том числе и пожары.

Я описал основное ПО и основные полярные спутники, данные которых принимаются и обрабатываются в России.

Если по обработке возникли вопросы - спрашивайте в комментариях)

Недавно вышла статья

https://novayagazeta.ru/articles/2022/03/10/tri-protsenta-na-budushchee

"...

Результаты, которые дает наша космонавтика, используются отвратительно. Они так и не вошли в коммерческий оборот.

Снимки и результаты зондирования бесплатно передаются министерствам. А те относятся к ним как к навязанной услуге и не знают, что с ними делать.

Данные дистанционного зондирования очень активно используются во всем мире при оценках специалистов по сельскому хозяйству. Наш Минсельхоз развивать такие компетенции не торопится, пока ему все это валится бесплатно. Нет потребителя космических услуг, значит, нет требований потребителя к качеству и формату продукции.

В результате весь комплекс обработки и применения результатов ДЗЗ (дистанционного зондирования Земли остается на очень низком уровне. Совершенствование организационной структуры космической отрасли внутри страны и перевод ее на современные формы интеграции в экономику — наиболее актуальная задача, не требующая больших капиталовложений.

..."

Как вовремя, оказывается, я начал писать посты

Космическая гидрометеорология - что это?

Космическая гидрометеорология - что видят спутники?

Надеюсь, что наконец-то российские метеорологические спутники начнут хоть как-то пытаться улучшить, а не использовать технологии 20-летней давности

Первый пост

Итак, чтобы было понятнее, что вообще приходит со спутников, напишу для этого отдельный пост.

Космические аппараты бывают по типу орбиты бывают трех типов:

1. полярно орбитальные, которые вращаются вокруг Земли с разной периодичностью (высота, с которой летят такие спутники - от 200 до 800 км)

2. геостационарные, которые стоят вдоль линии экватора на высоту около 38 тыс. км, таким образом они двигаются одновременно с вращением Земли, что позволяет им наблюдать одну и туже территорию с высокой периодичностью по времени

3. высокоэллептические. Такой спутник, на борту которого находится метеорологический прибор, пока что один в мире - это российский спутник "Арктика-М" №1. Он летает по орбите типа молния.

На одном космическом аппарате может быть установлено несколько приборов. Обычно, это инфракрасный (ИК) прибор, микроволновый радиометр, гиперспектрометр. Есть еще другие, но они редкие и используются в специфичных задачах.

ИК-прибор.

Он снимает в видимом и ИК-диапазоне. Приборы все пассивыне - то есть они только регистрируют излучение, которое приходит с поверхности. То есть у прибора есть несколько каналов, каждый из которых чувствителен к определенной области спектра. Например, один канал чувствителен к области спектра 0.54-0.58 мкм, другой канал - 11.2-11.6 мкм. Каналы приборов разрабатываются с учетом прозрачности атмосферы, чтобы эти данные могли показывать нужные и важные параметры

Каналы в диапазоне от 0.2 до 3 мкм регистрируют излучение только в дневное время, каналы в диапазоне от 3 до 15 мкм - и в дневное и в ночное. И в тех, и в тех каналах прибором регистрируется спектральная энергетическая яркость(radiance). Для каналов  от 0.2 до 3 мкм эти данные преобразовываются в коэффициент спектральной яркости с использование расстояние до Солнца и энергетической эффективности канала, а для каналов от 3 до 15 мкм по функции Планка преобразовываются в температуру Кельвина, называемой "яркостная температура".

Обычно на спутниковых приборах количество таких каналов небольшое - от 6 до 20 каналов. Ширина чувствительности к спектру каждого канала бывает разная  - от 0.2 мкм до 1 мкм. То есть, к примеру, канал может воспринимать область спектра от 0.44 до 0.89 мкм.

Как выглядят эти данные?

Если зайти на сайт worldview.earthdata.nasa.gov, то там будет что-то типа такого

Это несколько пролетов спутника наложены друг на друга. Для того, чтобы получилась такая красочная картинка, совмещают три канала, которые снимают в видимом диапазоне.

Если перейти на сайт multimaps.ru, то там уже картинка выглядит по другому.

Потому что этой картинки совмещали данные не только из каналов видимого диапазона, но и данные ближних инфракрасных каналов.

Есть множество вариаций того, как совмещать каналы между собой, то есть синтезировать. Например, тут приведены примеры.

Разрешение ИК-приборов бывает разным. Скажем, есть разрешение - 10м, 30, 50м. У таких приборов небольшая полоса обзора и одну и туже территорию спутники покрывают раз в 5-10 дней. Пример таких спутников - Landsat-8, Sentinel-2, Канопус-В №1,3,4,5,6. Есть разрешение 100, 250, 500, 1000 метров - такие приборы имеют большую полосу обзора и спутники пролетают над одной и той же территорией два раза в день. Пример таких спутников - Terra, Aqua, NOAA-20, Suomi NPP, Метеор-М №2 и №2-2.

Геостационарные спутники в основном снимают с разрешением 500, 1000, 3000 и 4000 км.

Что касается микроволновых приборов - они бывают пассивные и активные. Активные посылают сигнал на Землю и регистрируют возвращённый сигнал, пассивные - также как и ИК, просто регистрируют то что пришло. Приборы имеют также каналы, которые снимают на определенной частоте. Скажем, 10.6 GHz, или 183 GHz. Каналы, так же как и ИК, разрабатываются с учетом прозрачности атмосферы. Преимуществом таких приборов является то, что из-за свойств микроволнового излучения на некоторых диапазонах сигнал может проходить сквозь облачность, таким образом можно получить данные поверхности, которая закрыта облачным массивом.

Данные микроволновых каналов преобразовываются в яркостные температуры, изначально при это фиксируется антенная температура (то есть не калиброванная).

Гиперспектрометры - это ИК-приборы, однако у них не 6-20 каналов, а около 1000. И ширина чувствительности у них очень маленькая - до 0.1 мкм. С его помощью в основном восстанавливают содержание основных газов и малых газовых составляющих в атмосфере.

Такое вот краткое описание. Думаю, в следующем посте расскажу о том, как обрабатываются данные, с помощью какого ПО и т.д.

Если было интересно или чего-то не хватило - дайте знать

Не находил ни одного поста на эту тему, поэтому, раз уж я работаю как раз в этой сфере, решил немного рассказать о том, что же такое космическая гидрометеорология?

Начнем с того, что на орбите нашей планеты есть множество спутников. Часть из них - метеорологического назначения. На этих спутниках установлены специальные камеры, которые регистрируют излучение Земной поверхности в видимом диапазоне длин волн, инфракрасном, ультрафиолетовом, микроволновом.

Спутники в основном Американские, Японские, Китайские, Индийские, Европейские и Российские.

Данные метеорологических спутников распространяются в свободном доступе для всех, то есть настроив приемную антенну на спутник, можно принять с него сигнал. Конечно, на деле там все немного сложнее, но не об этом. И да, к слову упомянуть - данные зарубежных спутников распространяются в свободном доступе, а вот российских - нет. Но опять же, это отдельная тема)

После того, как данные спутника приняты, они обрабатываются и из них извлекаются необходимы данные для анализа. Если это инфракрасный или микроволновый диапазоны - там температура в градусах Кельвина. Если это видимый диапазон - там коэффициент спектральной яркости (reflectance в зарубежной литературе).

По этим данным в дальнейшем строятся тематические продукты, которые передаются потребителям, например: температура моря, высота облачности, интенсивность осадков. То есть не прогноз погоды спутник показывает, а состояние на текущий момент. Также строятся и обычные обзорные карты, то есть то что видит спутник в том или ином электромагнитном диапазоне.

Собственно, такой набор задач - прием, обработка, получение различной тематической продукции, передача их потребителям - именно это из себя и представляет космическая гидрометеорология.

Потребителями этой информации в основном являются различные УГМС. На основе данных наземных наблюдений (различные метеорологические станции и гидропосты, метеорологические радары, прогностические модели) и получаемой спутниковой информации они и строят свои прогнозы.

Такое вот небольшое введение. Если кому-то интересно что-то поподробнее узнать - дайте знать. И вообще - кто-то понял, о чем речь?)