Современные методы асинхронной загрузки с httpx и asyncio

Введение

Обзор асинхронности в Python

Асинхронное программирование в Python представляет собой парадигму, позволяющую улучшить производительность приложений за счет выполнения множества операций ввода-вывода или задач, ожидающих выполнения, без необходимости блокировать поток выполнения программы. Это особенно актуально для веб-приложений, работающих с запросами к базам данных, файловым системам или сетевым ресурсам, где задержки в ответе являются обычным явлением.

В основе асинхронного программирования лежит концепция неблокирующего ввода-вывода. В традиционном, синхронном программировании, выполнение кода происходит последовательно, шаг за шагом. Если какая-либо функция требует ожидания (например, запрос к веб-сервису), весь поток выполнения приостанавливается до получения результата. Это может привести к неэффективному использованию ресурсов, особенно при работе с I/O операциями.

Асинхронный код позволяет программе продолжать выполнение других задач, в то время как она ждет завершения I/O операций, тем самым улучшая отклик и производительность приложения. Асинхронные операции в Python обычно реализуются с использованием корутин — специальных функций, которые работают асинхронно и могут быть приостановлены и возобновлены в любой момент.

Основное отличие асинхронного кода от синхронного заключается в его структуре и поведении:

Синхронный код: Выполнение происходит последовательно, и на каждом шаге выполнение программы блокируется до тех пор, пока не завершится текущая операция. В синхронных программах каждая строка кода должна завершиться, прежде чем начнется выполнение следующей, что может приводить к значительным задержкам при обработке операций ввода-вывода.

Асинхронный код: Позволяет программе продолжать работу, не дожидаясь завершения длительных операций ввода-вывода. В асинхронных программах можно запускать несколько операций одновременно, что позволяет эффективно использовать ресурсы и уменьшить общее время выполнения приложения. Ключевым элементом асинхронного программирования являются корутины, которые могут ожидать завершения операции (с помощью await) без блокировки всего приложения.

Асинхронное программирование в Python, осуществляемое через модуль asyncio, предоставляет мощные инструменты для создания эффективных приложений, способных обрабатывать множество задач параллельно, улучшая тем самым отзывчивость и производительность.

Почему asyncio и httpx?

asyncio и httpx представляют собой отличный дуэт в мире асинхронного программирования Python, обеспечивая разработчикам гибкость и производительность при реализации асинхронных сетевых запросов и других I/O операций.

asyncio: Это библиотека для написания асинхронного кода, которая использует сопрограммы и событийные циклы для облегчения использования и понимания асинхронного кода. Она является частью стандартной библиотеки Python и обеспечивает базовый фреймворк для асинхронного программирования, позволяя разработчикам использовать асинхронные и ожидающие (awaitable) объекты для неблокирующего выполнения кода.

httpx: Это современный и быстрый асинхронный HTTP-клиент для Python, который поддерживает асинхронное программирование и обеспечивает совместимость с API requests. Благодаря httpx, разработчики могут выполнять асинхронные HTTP-запросы, используя простой и интуитивно понятный интерфейс. Это позволяет легко интегрировать асинхронную загрузку данных из Интернета без блокировки основного потока выполнения программы.

aiohttp против httpx: Хотя aiohttp также является популярной асинхронной библиотекой для выполнения HTTP-запросов в Python, httpx предлагает лучшую совместимость с синхронным кодом и API, аналогичным requests, что упрощает переход от синхронного к асинхронному коду. Кроме того, httpx поддерживает как синхронный, так и асинхронный код из коробки, предоставляя большую гибкость.

Twisted и Tornado против asyncio: Twisted и Tornado — это две другие популярные библиотеки для асинхронного программирования в Python, которые предоставляют свои реализации циклов событий и асинхронных операций. Однако asyncio стала де-факто стандартной библиотекой для асинхронного программирования в Python благодаря своей интеграции в стандартную библиотеку и поддержке из коробки в современных версиях Python. Это обеспечивает лучшую поддержку и интеграцию с различными фреймворками и библиотеками.

Выбор asyncio и httpx для асинхронных задач обосновывается их производительностью, удобством использования и широкой поддержкой в современном Python-сообществе, что делает их достойными инструментами для современной асинхронной разработки.

Основы работы с asyncio

Основные концепции и примитивы asyncio

В рамках асинхронного программирования с использованием библиотеки asyncio, ключевыми понятиями являются событийный цикл (event loop), корутины (coroutines), фьючерсы (futures), и задачи (tasks). Понимание этих концепций является фундаментальным для эффективной работы.

Event Loop: является центральным исполнительным механизмом в asyncio, управляющим распределением и выполнением различных задач. Он отвечает за выполнение асинхронных корутин, обработку событий ввода-вывода, и других асинхронных операций. Event loop запускает корутины и продолжает их выполнение до тех пор, пока не будут выполнены все задачи.

Coroutine: корутины в asyncio представляют собой основные строительные блоки асинхронного кода и определяются с помощью синтаксиса async def. Это специальные функции, выполнение которых можно приостановить и возобновить в ключевых точках, позволяя тем самым выполнить другие задачи. Корутины используют ключевое слово await для ожидания результата операции, что позволяет другим задачам выполняться во время ожидания.

Future: в asyncio представляет собой специальный объект, который действует как маркер завершения асинхронной операции. Фьючерсы используются для получения результата операции, которая будет завершена в будущем. Они не предназначены для прямого использования в пользовательском коде и чаще всего используются внутри библиотек и фреймворков.

Task: в asyncio — это особый вид Future, который используется для запуска и управления выполнением корутины в event loop. Создание Task позволяет корутине быть запланированной к выполнению и отслеживать её состояние (например, выполнена ли задача, была ли она отменена).

Рассмотрим очень простой пример использования корутин для понимания базовых принципов asyncio:

import asyncio

async def hello_world():
    print("Hello")
    await asyncio.sleep(1)
    print("world")

async def main():
    await hello_world()

# Запуск event loop и выполнение корутины
asyncio.run(main())

В этом примере мы определяем асинхронную функцию hello_world, которая печатает "Hello", затем приостанавливает выполнение на одну секунду (имитация асинхронной задачи с помощью asyncio.sleep), и печатает "world". Функция main ожидает выполнения hello_world с использованием await. Последняя строка запускает событийный цикл и исполняет функцию main, демонстрируя асинхронное выполнение кода.

Управление асинхронным потоком

После понимания основных концепций asyncio, таких как событийный цикл, корутины, фьючерсы и задачи, следующим шагом является изучение методов управления выполнением асинхронных задач. Эти методы позволяют эффективно координировать асинхронные операции, оптимизировать использование ресурсов и обеспечивать корректную обработку исключений.

Для запуска и управления выполнением асинхронных задач asyncio предоставляет несколько ключевых функций:

asyncio.run(): Эта функция является основной точкой входа для запуска асинхронных программ. Она запускает переданную ей корутину и блокирует выполнение до её завершения, управляя всем процессом асинхронного выполнения.
await: Ключевое слово await используется для получения результата из асинхронной операции, при этом не блокируя всю программу. Оно позволяет другим задачам продолжать выполнение в то время, как текущая задача ожидает завершения операции.
asyncio.create_task(): Эта функция используется для запуска корутины в виде задачи в событийном цикле, что позволяет ей выполняться асинхронно. Создание задачи обеспечивает более гибкое управление её жизненным циклом, включая возможность отмены.

Для одновременного выполнения нескольких асинхронных операций asyncio предлагает несколько полезных утилит:

asyncio.gather(): Функция позволяет одновременно запустить несколько асинхронных задач и дождаться их выполнения. Это полезно, когда необходимо собрать результаты из нескольких источников данных или выполнить несколько независимых асинхронных операций параллельно.
asyncio.wait(): Этот метод позволяет ждать завершения заданных асинхронных задач, предоставляя больше контроля над процессом ожидания, например, возможность указать условия для возврата: завершение любой задачи (FIRST_COMPLETED) или всех задач (ALL_COMPLETED).

Пример управления асинхронными задачами:

import asyncio

async def task(name, time):
    print(f'Task {name} started')
    await asyncio.sleep(time)
    print(f'Task {name} completed')
    return f'Result of {name}'

async def main():
    task1 = asyncio.create_task(task("A", 2))
    task2 = asyncio.create_task(task("B", 3))

    print("Before await")
    await task1
    await task2
    print("After await")

    results = await asyncio.gather(task1, task2)
    print(results)

asyncio.run(main())

В этом примере создаются и запускаются две асинхронные задачи, которые затем выполняются параллельно. asyncio.create_task() используется для неблокирующего запуска задач, а asyncio.gather() — для одновременного ожидания нескольких задач. Это демонстрирует, как можно управлять асинхронными задачами, эффективно распределяя системные ресурсы и обеспечивая более высокую производительность приложения.

Введение в httpx

Преимущества httpx

Библиотека httpx является относительно новым инструментом в экосистеме Python, предоставляющим как синхронный, так и асинхронный API для выполнения HTTP-запросов. В этом контексте, она часто сравнивается с более устоявшимися библиотеками, такими как requests и aiohttp, благодаря своим инновационным возможностям и удобству использования.

Сравнение с requests:

Асинхронный и синхронный API: В то время как requests поддерживает только синхронные вызовы, httpx предлагает полноценный асинхронный API наряду с синхронным, позволяя использовать одну и ту же библиотеку для различных сценариев взаимодействия с HTTP.
Современный HTTP: httpx поддерживает современные возможности HTTP, такие как HTTP/2 и HTTP/3, что может значительно улучшить производительность приложений благодаря меньшим задержкам и улучшенной обработке одновременных соединений.
Удобство использования: API httpx схож с requests, что облегчает переход на httpx для разработчиков, уже знакомых с requests. Такое сходство упрощает изучение и интеграцию httpx в существующие проекты.

Сравнение с aiohttp:

Пользовательский интерфейс: httpx предлагает более высокоуровневый и дружелюбный интерфейс по сравнению с aiohttp, который может быть более низкоуровневым и сложным в некоторых аспектах. Простота использования httpx уменьшает кривую обучения и упрощает написание чистого и понятного кода.
Функциональность: Хотя aiohttp является мощной библиотекой для асинхронных HTTP-запросов, httpx предлагает ряд дополнительных функций, таких как автоматическое управление сессиями, поддержка HTTP/2 и возможность синхронного использования, делая её более гибкой в различных сценариях использования.

Основные возможности и преимущества httpx:

Поддержка HTTP/1.1, HTTP/2 и экспериментально HTTP/3: httpx позволяет легко переключаться между различными версиями HTTP, обеспечивая оптимальную производительность и совместимость с различными серверами и сервисами.
Полноценная асинхронная поддержка: Предоставляя и синхронный, и асинхронный API, httpx дает возможность выбора наиболее подходящего подхода в зависимости от требований приложения.
Тайм-ауты по умолчанию: В отличие от многих других HTTP-библиотек, httpx включает тайм-ауты по умолчанию, обеспечивая более безопасное управление ресурсами и предотвращение потенциальных висячих запросов.
Поддержка мультиплексирования: Благодаря поддержке HTTP/2 httpx может эффективно использовать мультиплексирование, позволяя отправлять несколько запросов через одно и то же соединение, что повышает эффективность и производительность приложений.

В совокупности, эти особенности делают httpx универсальным инструментом для работы с HTTP в современных Python-приложениях, предоставляя разработчикам гибкость и производительность для реализации различных HTTP-взаимодействий.

Основы использования httpx

Для создания асинхронного запроса, httpx предоставляет асинхронный клиент, который может быть использован для отправки запросов и получения ответов без блокировки выполнения программы. Вот базовый пример того, как можно использовать httpx для асинхронной отправки GET-запроса:

import httpx
import asyncio

async def fetch_url(url):
    async with httpx.AsyncClient() as client:
        response = await client.get(url)
        return response

async def main():
    url = 'https://www.example.com'
    response = await fetch_url(url)
    print(f'Response status: {response.status_code}')
    print(f'Response content: {response.text[:100]}...')  # Печатаем начало контента для демонстрации

asyncio.run(main())

В этом примере:
Используется контекстный менеджер httpx.AsyncClient() для создания асинхронного клиента.
Метод client.get(url) асинхронно отправляет GET-запрос к указанному URL и возвращает объект ответа.
await перед client.get(url) позволяет другим задачам выполняться, пока ожидается ответ от сервера.
Выводится статус ответа и первые 100 символов тела ответа.

Этот подход можно расширить для выполнения других типов HTTP-запросов (POST, PUT, DELETE и т.д.) и для настройки дополнительных параметров запроса, таких как заголовки, параметры и тело запроса.

Разработка асинхронного загрузчика

Планирование асинхронного загрузчика

Перед тем как приступить к написанию кода асинхронного загрузчика файлов, важно четко определить его требования и функциональность, а также спланировать структуру асинхронных задач, которые будут реализованы в загрузчике. Это поможет эффективно организовать процесс разработки и обеспечить создание надежного и удобного в использовании инструмента.

Во-первых, нужно определить, какие именно задачи должен выполнять загрузчик:

Поддержка множественных загрузок: Загрузчик должен уметь обрабатывать несколько файлов одновременно, используя преимущества асинхронного программирования для эффективного управления одновременными сетевыми запросами.
Индикация прогресса: Для каждого файла загрузчик должен предоставлять информацию о прогрессе его загрузки, чтобы пользователи могли отслеживать статус процесса.
Обработка ошибок: Система должна корректно обрабатывать возможные ошибки сети или передачи данных и, по возможности, предлагать механизмы их устранения или повторной попытки загрузки.
Гибкость использования: Загрузчик должен быть универсальным, позволяя его интеграцию в различные приложения и системы, а также поддерживать различные конфигурации для адаптации под специфические нужды пользователя.

Разработка асинхронного загрузчика подразумевает создание структурированных асинхронных задач, которые можно будет эффективно управлять и масштабировать:

Разделение на модули: Логика загрузки должна быть разделена на отдельные асинхронные функции или классы, каждый из которых отвечает за определенный аспект процесса загрузки, такой как создание запросов, получение данных и обработка прогресса.
Параллельная обработка: Для увеличения эффективности загрузчик должен уметь инициировать и управлять параллельным выполнением нескольких асинхронных загрузок, используя для этого асинхронные возможности httpx и asyncio.
Управление состоянием: Для отслеживания прогресса и управления загрузками необходимо ввести механизмы управления состоянием каждой загрузки, что позволит реализовать функции паузы, возобновления и отмены загрузок.
Логирование и обратная связь: Важно предусмотреть механизмы логирования и предоставления обратной связи для пользователя, чтобы информировать его о ходе выполнения задач и возникающих ошибках.

Продумывание архитектуры загрузчика на этапе планирования позволит создать масштабируемое и легко поддерживаемое решение, способное эффективно справляться с задачами асинхронной загрузки файлов.

Программирование с httpx и asyncio

Использование этих двух библиотек вместе дает разработчикам возможность строить мощные асинхронные приложения для загрузки данных из Интернета.

httpx предоставляет асинхронный API, который можно непосредственно использовать в асинхронном контексте asyncio. Вот как можно интегрировать httpx с asyncio для создания асинхронной загрузки файлов:

Инициализация асинхронного клиента httpx: Использование AsyncClient из httpx позволяет отправлять асинхронные HTTP-запросы. Этот клиент можно использовать внутри асинхронных функций, управляемых asyncio.
Асинхронная загрузка файлов: Создание асинхронной функции, которая использует AsyncClient для асинхронной отправки запросов и получения данных. Эти функции могут выполняться параллельно для разных файлов, что ускоряет общий процесс загрузки.
Параллельное выполнение загрузок: С помощью функций, таких как asyncio.gather, можно организовать параллельную загрузку нескольких файлов, что значительно увеличивает эффективность процесса.

Вот пример функции, которая асинхронно загружает данные из списка URL и сохраняет их в файлы:

import asyncio
import httpx

async def download_file(session, url, filename):
    resp = await session.get(url)
    resp.raise_for_status()  # Проверка на наличие ошибок HTTP
    with open(filename, 'wb') as f:
        f.write(resp.content)

async def main(urls, filenames):
    async with httpx.AsyncClient() as session:
        tasks = [download_file(session, url, filename) for url, filename in zip(urls, filenames)]
        await asyncio.gather(*tasks)

# Предположим, что у нас есть список URL и соответствующих имен файлов
urls = ['http://example.com/file1', 'http://example.com/file2']
filenames = ['file1', 'file2']

asyncio.run(main(urls, filenames))

Этот код демонстрирует базовую структуру асинхронного загрузчика файлов, использующего httpx и asyncio для одновременной загрузки. Функция download_file асинхронно загружает файл и сохраняет его содержимое, а main организует параллельное выполнение этих загрузок для списка URL.

Индикация прогресса загрузки

Отслеживание прогресса асинхронных задач

Отображение прогресса загрузки в приложениях является ключевой функциональностью для обеспечения обратной связи пользователю. В контексте асинхронного загрузчика файлов, разработанного с использованием httpx и asyncio, существуют различные методы и подходы, которые могут быть применены для интеграции событий прогресса в асинхронный код.

Промежуточное отображение прогресса: Вместо того чтобы ждать полной загрузки файла для отображения прогресса, можно регулярно обновлять статус загрузки в процессе получения данных. Это может быть реализовано путем чтения ответа по частям и обновления прогресса после каждой прочитанной части.
Использование callback-функций: Можно определить функцию обратного вызова (callback), которая будет вызываться при обновлении прогресса загрузки. Такая функция может, например, обновлять пользовательский интерфейс или печатать статус в консоль.
Асинхронные события: С использованием асинхронных событий можно синхронизировать отображение прогресса с основным потоком выполнения программы, что позволяет обновлять UI или другие компоненты приложения в реальном времени.

Для интеграции отслеживания прогресса в асинхронную загрузку файлов можно модифицировать функцию загрузки следующим образом:

import asyncio
import httpx


async def download_file(session, url, filename, progress_callback):
    async with session.stream('GET', url) as resp:
        resp.raise_for_status()
        total_size = int(resp.headers.get('Content-Length', 0))
        downloaded_size = 0

        with open(filename, 'wb') as f:
            async for chunk in resp.aiter_bytes():
                f.write(chunk)
                downloaded_size += len(chunk)
                progress = (downloaded_size / total_size) * 100
                # Теперь здесь используется await
                await progress_callback(filename, progress)


async def progress_callback(filename, progress):
    print(f"{filename}: {progress:.2f}%")


async def main(urls, filenames):
    async with httpx.AsyncClient() as session:
        tasks = [
            download_file(session, url, filename, progress_callback)
            for url, filename in zip(urls, filenames)
        ]
        await asyncio.gather(*tasks)


# Пример списка URL и соответствующих имен файлов
urls = ['http://example.com/file1', 'http://example.com/file2']
filenames = ['file1', 'file2']

asyncio.run(main(urls, filenames))

В этом примере функция download_file получает дополнительный параметр progress_callback, который используется для отслеживания прогресса загрузки. Эта функция вызывается каждый раз, когда часть файла загружена, обновляя прогресс в процентах. Такой подход обеспечивает непрерывное и точное отображение прогресса загрузки для пользователя.

Пользовательский интерфейс для прогресса

При разработке загрузчика файлов, особое внимание стоит уделить не только логике отслеживания прогресса загрузки, но и способам его визуализации для пользователя. Эффективный пользовательский интерфейс может значительно улучшить восприятие приложения, делая его более дружелюбным и информативным.

Для создания интерфейса, который будет отображать прогресс, можно использовать различные подходы в зависимости от типа приложения:

Консольные приложения: Для текстового интерфейса можно использовать библиотеки типа tqdm или создать собственный механизм отображения, который будет обновлять текущее состояние загрузки в реальном времени, например, показывая прогресс-бары.
Веб-интерфейсы: Для веб-приложений можно использовать JavaScript и AJAX для динамического обновления элементов на странице, отображая прогресс загрузки в виде прогресс-баров или через другие визуальные индикаторы.
Графические интерфейсы: В приложениях с графическим интерфейсом (GUI) можно использовать элементы управления, такие как прогресс-бары из библиотеки tkinter для Python или аналогичные виджеты в других фреймворках и библиотеках.

Для интеграции интерфейса отображения прогресса с логикой загрузки необходимо обеспечить двустороннюю связь:

Обновление интерфейса: Пользовательский интерфейс должен реагировать на изменения состояния загрузки, получая данные от асинхронных задач и обновляя визуальные элементы соответственно.

Обработка пользовательских действий: Интерфейс должен предоставлять пользователю возможности для взаимодействия, например, паузы, отмены или возобновления загрузки, что требует обратной связи от интерфейса к логике загрузчика.

Для консольного приложения пример интеграции мог бы выглядеть так:

import asyncio
import httpx
from tqdm import tqdm


async def download_file(session, url, filename):
    async with session.stream('GET', url) as resp:
        resp.raise_for_status()
        total_size = int(resp.headers.get('Content-Length', 0))

        with tqdm(total=total_size, unit='iB', unit_scale=True, desc=filename) as bar:
            with open(filename, 'wb') as f:
                async for chunk in resp.aiter_bytes():
                    size = f.write(chunk)
                    bar.update(size)


async def main(urls, filenames):
    async with httpx.AsyncClient() as session:
        tasks = [
            download_file(session, url, filename) for url, filename in zip(urls, filenames)
        ]
        await asyncio.gather(*tasks)


# URL и имена файлов для загрузки
urls = ['http://example.com/file1', 'http://example.com/file2']
filenames = ['file1', 'file2']

asyncio.run(main(urls, filenames))

В этом примере используется tqdm для отображения прогресса в консоли, что делает процесс загрузки более наглядным и информативным для пользователя.

Практический пример

Разработка класса асинхронной загрузки

Для демонстрации более структурированного подхода к асинхронной загрузке файлов, мы разработаем класс, который инкапсулирует всю логику загрузки, включая управление HTTP-сессиями, обработку исключений и предоставление обратной связи о прогрессе. Использование класса позволит удобно расширять функциональность и облегчит интеграцию с различными пользовательскими интерфейсами.

Создадим класс AsyncDownloader, который будет управлять асинхронной загрузкой файлов:

import asyncio
import logging
import mimetypes

import httpx
from tqdm.asyncio import tqdm_asyncio

# Настройка логирования
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
logger = logging.getLogger(__name__)


class AsyncDownloader:
    def __init__(self, url_filename_pairs):
        self.url_filename_pairs = url_filename_pairs

    async def download_file(self, session, url, base_filename, progress):
        try:
            async with session.stream('GET', url) as resp:
                resp.raise_for_status()
                content_type = resp.headers.get('Content-Type')
                extension = mimetypes.guess_extension(content_type.split(';')[0].strip()) if content_type else '.bin'
                filename = f"{base_filename}{extension}"

                total_size = int(resp.headers.get('Content-Length', 0))
                with open(filename, 'wb') as f, tqdm_asyncio(total=total_size, desc=filename, unit='iB', unit_scale=True) as bar:
                    async for chunk in resp.aiter_bytes():
                        f.write(chunk)
                        bar.update(len(chunk))
                logger.info(f"Загрузка завершена: {filename}")
        except Exception as e:
            logger.error(f"Ошибка при загрузке {url} в файл {base_filename}: {str(e)}")

    async def run(self):
        async with httpx.AsyncClient() as session:
            tasks = [self.download_file(session, url, base_filename, tqdm_asyncio(total=100)) for url, base_filename in self.url_filename_pairs]
            await asyncio.gather(*tasks)
            logger.info("Все загрузки завершены.")


# Пример использования
url_filename_pairs = [('http://example.com/file1', 'file1'), ('http://example.com/file2', 'file2')]

downloader = AsyncDownloader(url_filename_pairs)
asyncio.run(downloader.run())

В приведенном выше коде обработка исключений выполняется внутри метода download_file, что позволяет логировать ошибки, связанные с каждым отдельным файлом, не прерывая загрузку остальных. Важные моменты обработки исключений:

Обработка ошибок HTTP: Использование resp.raise_for_status() позволяет отлавливать ответы сервера с кодом ошибки и выбрасывать исключение в случае их возникновения.

Логирование ошибок: В случае возникновения исключения, информация об ошибке выводится в логгер.

Гибкое управление исключениями: В зависимости от типа исключения, можно реализовать различную логику обработки, например, попытку повторной загрузки файла при определенных условиях.

Графический интерфейс

Для создания простого графического интерфейса пользователя (GUI), который позволяет добавлять ссылки и имена файлов, а также отображает прогресс загрузки, мы можем использовать библиотеку tkinter. Такой интерфейс будет удобен для взаимодействия с пользователем и позволит выполнять загрузку файлов непосредственно из GUI.

# interface.py

import tkinter as tk
from tkinter import ttk
import asyncio
import logging
from async_downloader import AsyncDownloader
from threading import Thread

# Настройка логирования в файл
logging.basicConfig(filename='download.log', level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')


class DownloadGUI:
    def __init__(self, root):
        self.root = root
        self.root.title("Асинхронный загрузчик файлов")

        self.entries_frame = ttk.Frame(self.root)
        self.entries_frame.pack(fill=tk.BOTH, expand=True)

        # Добавить начальные строки для URL и имени файла
        self.url_name_entries = []
        self.add_url_name_entry()

        # Кнопка для добавления новых строк
        self.add_button = ttk.Button(self.root, text="Добавить", command=self.add_url_name_entry)
        self.add_button.pack(side=tk.TOP, pady=5)

        # Кнопка загрузки
        self.download_button = ttk.Button(self.root, text="Загрузить", command=self.start_download)
        self.download_button.pack(side=tk.BOTTOM, pady=5)

    def add_url_name_entry(self):
        entry_frame = ttk.Frame(self.entries_frame)
        entry_frame.pack(fill=tk.X, expand=True)

        url_entry = ttk.Entry(entry_frame)
        url_entry.pack(side=tk.LEFT, expand=True, fill=tk.X, padx=5)

        name_entry = ttk.Entry(entry_frame)
        name_entry.pack(side=tk.LEFT, expand=True, fill=tk.X, padx=5)

        progress = ttk.Progressbar(entry_frame, length=100)
        progress.pack(side=tk.LEFT, fill=tk.X, expand=True, padx=5)

        self.url_name_entries.append((url_entry, name_entry, progress))

    def start_download(self):
        url_filename_pairs = [(entry[0].get(), entry[1].get()) for entry in self.url_name_entries]
        # Получаем прогресс-бары
        progress_bars = [entry[2] for entry in self.url_name_entries]

        # Передаем прогресс-бары в AsyncDownloader
        downloader = AsyncDownloader(url_filename_pairs, self.update_progress, progress_bars)

        # Запускаем асинхронное скачивание в отдельном потоке
        download_thread = Thread(target=lambda: asyncio.run(downloader.run()))
        download_thread.start()

    def update_progress(self, progress_bar, progress):
        # Обновление прогресс-бара в потоке GUI
        def _update_progress():
            progress_bar['value'] = progress
        self.root.after(0, _update_progress)


if __name__ == "__main__":
    root = tk.Tk()
    app = DownloadGUI(root)
    root.mainloop()

Этот класс DownloadGUI создает основное окно приложения, управляет полями ввода и кнопками, а также инициирует процесс загрузки.

Интеграция с AsyncDownloader:

Адаптируем наш класс AsyncDownloader для работы с графическим интерфейсом:

# async_downloader.py

import asyncio
import httpx
import logging
import mimetypes

# Настройка логирования в файл
logging.basicConfig(filename='download.log', level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')


class AsyncDownloader:
    def __init__(self, url_filename_pairs, progress_callback, progress_bars):
        self.url_filename_pairs = url_filename_pairs
        self.progress_callback = progress_callback
        self.progress_bars = progress_bars  # Добавляем сюда прогресс-бары

    async def download_file(self, session, url, base_filename, progress_bar):
        try:
            async with session.stream('GET', url) as resp:
                resp.raise_for_status()
                content_type = resp.headers.get('Content-Type')
                extension = mimetypes.guess_extension(content_type.split(';')[0].strip()) if content_type else '.bin'
                filename = f"{base_filename}{extension}"

                total_size = int(resp.headers.get('Content-Length', 0))
                downloaded_size = 0

                with open(filename, 'wb') as f:
                    async for chunk in resp.aiter_bytes():
                        f.write(chunk)
                        downloaded_size += len(chunk)
                        progress = int((downloaded_size / total_size) * 100)
                        # Вызываем функцию обратного вызова для обновления прогресса
                        self.progress_callback(progress_bar, progress)

                logging.info(f"Загрузка завершена: {filename}")
        except Exception as e:
            logging.error(f"Ошибка при загрузке {url} в файл {base_filename}: {str(e)}")

    async def run(self):
        async with httpx.AsyncClient() as session:
            tasks = [
                self.download_file(session, url, base_filename, progress_bar)
                for (url, base_filename), progress_bar in zip(self.url_filename_pairs, self.progress_bars)
            ]
            await asyncio.gather(*tasks)
            logging.info("Все загрузки завершены.")

Теперь он может эффективно взаимодействовать с GUI, обновляя прогресс-бары и записывая логи, обеспечивая при этом асинхронную загрузку файлов.

Заключение и лучшие практики

Итоги использования asyncio и httpx

Использование asyncio и httpx в совместной работе предоставляет значительные преимущества для программирования в Python, особенно когда речь идёт о задачах, связанных с сетевыми запросами и загрузкой данных.

Преимущества asyncio и httpx:

Улучшенная производительность: Асинхронный код, написанный с помощью asyncio и httpx, позволяет программе выполнять другие задачи, пока ожидает завершения сетевых запросов, что уменьшает общее время выполнения приложения.
Более эффективное использование ресурсов: В отличие от многопоточного или мультипроцессорного программирования, асинхронное программирование не требует значительных дополнительных затрат ресурсов для управления множеством параллельных задач.
Упрощение работы с сетевыми запросами: httpx предоставляет удобный и мощный интерфейс для выполнения асинхронных HTTP-запросов, поддерживая функциональность, необходимую для современных веб-приложений, включая поддержку HTTP/2.

Достигнутые результаты:

В ходе разработки асинхронного загрузчика файлов мы демонстрировали, как:

Реализовать асинхронную загрузку данных, используя asyncio и httpx.
Интегрировать индикатор прогресса для визуализации процесса загрузки.
Создать простой графический интерфейс для улучшения взаимодействия с пользователем.

Эти достижения иллюстрируют, как можно использовать асинхронное программирование для создания эффективных и пользовательски дружелюбных приложений.

Лучшие практики:

Обработка исключений: Всегда обрабатывайте возможные исключения в асинхронном коде, чтобы предотвратить неожиданные сбои и обеспечить стабильность приложения.
Тестирование: Тщательно тестируйте асинхронные функции на предмет корректности выполнения и обработки ошибок, особенно в сетевых операциях.
Изоляция асинхронного кода: По возможности изолируйте асинхронный код от синхронного, чтобы облегчить чтение, тестирование и отладку программы.

Использование asyncio и httpx демонстрирует, как современные инструменты Python могут быть использованы для создания мощных и эффективных асинхронных приложений, и эти подходы станут ещё более ценными по мере роста требований к производительности и масштабируемости современных программных продуктов.