Лучшие практики работы с большими научными данными: используем Parquet и DuckDB. Доклад Бегтина И.В.
21 января 2025 г в Институте востоковедения РАН, в Зале Ученых советов (ЗУС) состоялся семинар Лаборатории цифровых исследований современного Востока ИВ РАН, на котором был заслушан доклад Бегтина Ивана Викторовича.
Бегтин Иван Викторович - известный российский дата-инженер, обладающий многолетним опытом работы с открытыми данными, расскажет о ключевых преимуществах формата Parquet для оптимизации хранения и обработки, а также о возможностях аналитической СУБД DuckDB.
Формат Parquet активно используется в сфере больших данных благодаря своим колоночным характеристикам, высокой степени сжатия и эффективному распределению, что делает его крайне полезным инструментом для исследовательских проектов. DuckDB — это лёгкая и мощная СУБД, которая позволяет эффективно работать с данными, хранящимися в формате Parquet, и выполнять комплексные запросы без необходимости развертывания сложных кластеров. Семинар будет полезен всем, кто занимается обработкой и анализом больших данных, а также тем, кто ищет эффективные и производительные решения для работы с массивами данных в современных аналитических экосистемах.
На данном видео: Владимирова Алина Валерьевна