Appearance
Сериализация объектов с помощью pickle
До сих пор все созданные нами объекты (ParcelBox, RomanNumber) жили исключительно в оперативной памяти компьютера. Стоило программе завершить работу, как все данные бесследно исчезали. В реальных приложениях состояние объектов необходимо сохранять: передавать по сети, записывать в базу данных или сохранять в файлы на жесткий диск для последующего использования.
Процесс превращения живого объекта в памяти в поток байтов называется сериализацией, а обратный процесс восстановления объекта из байтов — десериализацией. В Python стандартным и самым мощным инструментом для этого является модуль pickle.
На этом уроке мы разберем, как «законсервировать» нашу Почтовую Коробку в файл, как правильно её прочитать и почему с этим модулем нужно быть предельно осторожным в Production.
1. Основные функции модуля pickle
Модуль pickle предоставляет четыре главных метода для работы. Они делятся на две группы: для работы с бинарными файлами (dump/load) и для работы с байтовыми строками в памяти (dumps/loads).
pickle.dump(obj, file)— сериализует объект и записывает его в открытый файл.pickle.load(file)— читает байты из файла и восстанавливает исходный объект.pickle.dumps(obj)— возвращает объект в виде строки байтов (bytes), без записи на диск.pickle.loads(bytes_obj)— восстанавливает объект из байтовой строки.
Важный режим работы с файлами
Поскольку pickle переводит объекты в бинарный код, файлы всегда необходимо открывать со специальным префиксом b (binary): 'wb' — для записи байтов, 'rb' — для чтения байтов.
2. Сериализация и восстановление Почтовой Коробки
Давайте посмотрим на практике, как сохранить коробку с вещами в файл parcel.pkl, закрыть программу, а затем запустить её снова и восстановить коробку в первозданном виде со всеми атрибутами.
python
import pickle
class ParcelBox:
"""Класс Почтовой Коробки, готовый к сериализации."""
def __init__(self, tracking_number: str, weight: float) -> None:
self.tracking_number: str = tracking_number
self.weight: float = weight
self.items: list[str] = []
def add_item(self, item: str) -> None:
self.items.append(item)
def __repr__(self) -> str:
return f"ParcelBox(Track: {self.tracking_number}, Weight: {self.weight}кг, Items: {self.items})"
# === Сценарий сохранения и восстановления объекта ===
if __name__ == "__main__":
filename = "parcel.pkl"
# --- ЭТАП 1: Создаем объект и сохраняем его на диск (Сериализация) ---
box_to_save = ParcelBox("RU-500", 4.2)
box_to_save.add_item("Книги")
box_to_save.add_item("Настольная игра")
print(f"[ОРИГИНАЛ] Подготовлена посылка: {box_to_save}")
# Открываем файл на запись байтов ('wb')
with open(filename, "wb") as file:
pickle.dump(box_to_save, file)
print("[СИСТЕМА] Объект успешно законсервирован в файл parcel.pkl.")
# --- ЭТАП 2: Имитируем перезапуск программы и читаем объект (Десериализация) ---
print("\n...Программа завершила работу и запустилась заново...")
# Открываем файл на чтение байтов ('rb')
with open(filename, "rb") as file:
restored_box = pickle.load(file)
print(f"[ВОССТАНОВЛЕНО] Посылка извлечена из файла: {restored_box}")
# Проверяем, что это полноценный рабочий объект, а не просто текст
restored_box.add_item("Защитная пленка")
print(f"[ТЕСТ] Добавили вещь после восстановления: {restored_box.items}")3. Критическая уязвимость pickle (Безопасность в Production)
Главное правило безопасности
Никогда не десериализуйте файлы pickle, полученные из ненадежных источников (из интернета или от неизвестных пользователей)!
В отличие от таких безопасных форматов передачи данных, как JSON или XML, pickle является исполняемым кодом. Во время десериализации (pickle.load) Python автоматически запускает внутренние методы конструирования объектов.
Злоумышленник может создать вредоносный файл, внутри которого спрятан системный вызов на удаление файлов с вашего сервера или кражу паролей. Как только вы вызовете pickle.load(file) на его файле, вредоносный код мгновенно выполнится на вашем компьютере с правами вашей программы.
Чек-лист готовности темы
Перед тем как перейти к выполнению практических упражнений, убедитесь, что вы:
- [ ] Помните, что для сохранения объектов файлы всегда нужно открывать в бинарных режимах (
'wb'/'rb'). - [ ] Понимаете разницу между методами
dump(работа с файлом на диске) иdumps(работа со строкой байтов в памяти). - [ ] Осознаете главную опасность уязвимости
pickleи понимаете, почему для обмена данными между веб-сервисами в вебе принято использовать строгий JSON, а неpickle.
Проверьте себя
Что такое сериализация?
Чем `pickle.dump` отличается от `pickle.dumps`?
Какой метод восстанавливает объект из байтовой строки?
В каком режиме нужно открывать файлы для работы с pickle?
Почему НИКОГДА не стоит десериализовать pickle из ненадежных источников?
Почему для обмена данными между веб-сервисами принят строгий JSON, а не pickle?
Практические упражнения для Production-кода
Выполните эти 5 практических заданий, чтобы научиться сохранять состояние системных объектов, автоматизировать резервное копирование и безопасно работать с сериализацией данных.
Упражнение 1: Сохранение истории Римского Калькулятора (SaveRomanHistory)
Представьте, что пользователь вашего римского калькулятора хочет сохранить текущую историю своих вычислений RomanHistory в файл проекта, чтобы закрыть программу на ночь, а завтра утром продолжить расчеты с того же места.
Задание: Создайте класс RomanHistory, хранящий список римских строк _history:
- Реализуйте метод
push(roman_str). - Напишите внешнюю функцию
save_history_to_file(history_obj, filename), которая принимает объект истории и сохраняет его на диск с помощьюpickle.dump. - Напишите внешнюю функцию
load_history_from_file(filename), которая читает файл и возвращает готовый восстановленный объект классаRomanHistory. - Проверьте работоспособность цепочки.
Упражнение 2: Быстрое кэширование карточки адреса в память (AddressBytes)
В высоконагруженных системах иногда не нужно писать файлы на жесткий диск — это медленно. Вместо этого объект превращают в байты прямо в оперативной памяти с помощью pickle.dumps для быстрой передачи в кэш-сервер (например, Redis).
Задание: Создайте класс AddressCard со свойствами city и street.
- С помощью метода
pickle.dumps()превратите созданный объект адреса в байтовую строку. Выведите эту байтовую строку в консоль, чтобы увидеть, как Python кодирует структуру класса. - С помощью метода
pickle.loads()восстановите объект обратно из байтовой строки и напечатайте его свойства.
Упражнение 3: Защита дескрипторов от поломки при сериализации (DescriptorPickling)
Давайте проверим, как модуль pickle взаимодействует с продвинутыми темами ООП. На предыдущем уроке мы написали класс ParcelBox, свойства которого защищены дескриптором PositiveNumber. Нам нужно убедиться, что при сохранении и восстановлении объекта дескрипторы не ломаются и продолжают защищать поля.
Задание:
- Возьмите код класса
ParcelBoxс дескрипторомPositiveNumberиз предыдущего урока. - Создайте объект коробки, задайте ей вес и габариты.
- Сериализуйте её в файл
secure_box.pkl, а затем десериализуйте в переменнуюrestored_box. - Попробуйте у восстановленного объекта изменить вес на отрицательное число (
restored_box.weight = -10.0). Убедитесь, что дескриптор успешно восстановился вместе с объектом и по-прежнему блокирует некорректные данные.
Упражнение 4: Автоматическое резервное копирование курьера при закрытии (CourierBackup)
Production-системы должны быть отказоустойчивыми. Давайте интегрируем контекстный менеджер и модуль pickle. Мы сделаем так, чтобы карточка курьера автоматически сохранялась в файл резервной копии в момент выхода из контекста.
Задание: Создайте класс CourierProfile со свойствами name и active_tasks (список строк).
- Реализуйте протокол контекстного менеджера (
__enter__и__exit__). - Метод
__enter__просто возвращаетself. - Метод
__exit__должен автоматически взять текущий объект (self) и сериализовать его в файл"courier_backup.pkl". - Протестируйте код с оператором
with. Убедитесь, что файл бэкапа успешно создается сам в конце блока.
python
# Ожидаемое поведение:
# with CourierProfile("Алиса") as profile:
# profile.active_tasks.append("Доставка №12")
# # В этой точке файл courier_backup.pkl должен автоматически записаться на диск!Упражнение 5: Опасность десериализации и кастомный перехват ошибок (SafeLoadWrapper)
Поскольку десериализация потенциально опасна, в крупных проектах функции чтения всегда оборачивают в защитные блоки try-except, чтобы предотвратить падение всего сервера из-за поврежденных файлов.
Задание: Напишите безопасную функцию-обертку safe_pickle_load(filename):
- Функция должна пытаться открыть указанный файл и десериализовать объект.
- Если файл не найден (
FileNotFoundError), функция должна поймать ошибку, вывести предупреждение:"[ОШИБКА] Файл базы данных отсутствует!"и вернутьNone. - Если файл поврежден или подделан и
pickleвыдает внутренние ошибки (pickle.UnpicklingErrorилиAttributeError), функция должна поймать их, вывести предупреждение:"[КРИТИЧЕСКАЯ ОШИБКА] Файл структуры данных поврежден или небезопасен!"и вернутьNone. - Протестируйте функцию на несуществующем имени файла.
Решения для самопроверки
Посмотреть решение Упражнения 1 (SaveRomanHistory)
python
import pickle
class RomanHistory:
def __init__(self) -> None:
self._history: list[str] = []
def push(self, roman_str: str) -> None:
self._history.append(roman_str)
def save_history_to_file(history_obj: RomanHistory, filename: str) -> None:
with open(filename, "wb") as f:
pickle.dump(history_obj, f)
def load_history_from_file(filename: str) -> RomanHistory:
with open(filename, "rb") as f:
return pickle.load(f)
# Проверка цепочки сохранения/восстановления:
history = RomanHistory()
history.push("XIV")
history.push("VII")
save_history_to_file(history, "roman_history.pkl")
restored = load_history_from_file("roman_history.pkl")
print(restored._history) # ['XIV', 'VII']Посмотреть решение Упражнения 2 (AddressBytes в памяти)
python
import pickle
class AddressCard:
def __init__(self, city: str, street: str) -> None:
self.city: str = city
self.street: str = street
# Использование в памяти:
card = AddressCard("Минск", "ул. Новая")
bytes_data = pickle.dumps(card) # Превращаем в bytes
print(bytes_data) # бинарная строка вида b'\x80\x04\x95...'
restored_card = pickle.loads(bytes_data) # Восстанавливаем из bytes
print(restored_card.city, restored_card.street) # Минск ул. НоваяПосмотреть решение Упражнения 3 (Pickling с дескрипторами)
python
# Код дескриптора PositiveNumber и класса ParcelBox берется из темы «Дескрипторы».
# Модуль pickle автоматически сохраняет внутренний словарь __dict__ объекта,
# где лежат скрытые имена полей дескриптора (например, '_weight'),
# поэтому вся логика дескрипторов после pickle.load работает в исходном режиме.
import pickle
# Тест: дескриптор переопределяем локально
class PositiveNumber:
def __set_name__(self, owner, name):
self.private_name = f"_{name}"
def __get__(self, instance, owner):
if instance is None:
return self
return getattr(instance, self.private_name)
def __set__(self, instance, value):
if value <= 0:
raise ValueError("Физический параметр должен быть строго больше нуля!")
setattr(instance, self.private_name, value)
class SecureParcelBox:
weight = PositiveNumber()
def __init__(self, weight: float) -> None:
self.weight = weight
box = SecureParcelBox(weight=3.5)
with open("secure_box.pkl", "wb") as f:
pickle.dump(box, f)
with open("secure_box.pkl", "rb") as f:
restored_box = pickle.load(f)
try:
restored_box.weight = -10.0
except ValueError as err:
print(f"ValueError: {err}") # ValueError: Физический параметр должен быть строго больше нуля!Посмотреть решение Упражнения 4 (CourierBackup с контекстным менеджером)
python
import pickle
class CourierProfile:
def __init__(self, name: str) -> None:
self.name: str = name
self.active_tasks: list[str] = []
def __enter__(self) -> "CourierProfile":
return self
def __exit__(self, exc_type, exc_val, exc_tb) -> bool:
# Автоматический бэкап объекта самого себя при выходе из контекста with
if exc_type is None:
with open("courier_backup.pkl", "wb") as f:
pickle.dump(self, f)
print("[БЭКАП] Автоматическое сохранение профиля курьера выполнено.")
return False
# Тест с оператором with:
with CourierProfile("Алиса") as profile:
profile.active_tasks.append("Доставка №12")
# В этой точке файл courier_backup.pkl уже записан на дискПосмотреть решение Упражнения 5 (SafeLoadWrapper)
python
import pickle
def safe_pickle_load(filename: str):
try:
with open(filename, "rb") as f:
return pickle.load(f)
except FileNotFoundError:
print("[ОШИБКА] Файл базы данных отсутствует!")
return None
except (pickle.UnpicklingError, AttributeError, ValueError):
print("[КРИТИЧЕСКАЯ ОШИБКА] Файл структуры данных поврежден или небезопасен!")
return None
# Тест на несуществующий файл:
result = safe_pickle_load("does_not_exist.pkl")
print(result) # None