Pandera je open-source Python biblioteka koja provjerava strukturu, tipove i statistička svojstva DataFrame podataka (u pandas, Polars, PySparku, Dasku, Modinu i Ibisu) koristeći deklarativne sheme koje pišete jednom i pokrećete u pipelineu prije nego što loši podaci stignu do modela ili dashboarda. Kada radite u produkciji, Pandera nije “nice to have”: to je ista razina discipline kao pisanje pytest testova, samo primijenjena na podatke koji vam ulaze u tablice. U ovom vodiču pokazat ću kako koristim Panderu 0.29 (siječanj 2026.) i noviji Narwhals backend iz 0.32 na stvarnim ETL cjevovodima.
Pandera 0.29 (siječanj 2026.) podržava Python 3.10–3.14 i backendove pandas, Polars ≥ 1.0, PySpark, Dask, Modin i Ibis kroz jednu shemu.
Postoje dva glavna stila definiranja shema: imperativni DataFrameSchema i pydantic-style DataFrameModel klase; potonji je moj default u novim projektima.
Pandera dolazi s 12 ovisnosti; Great Expectations ih ima oko 107, pa je Pandera prirodan izbor za lakše pipelineove i data science radne tokove.
Dekorateri @check_input, @check_output i @check_types pretvaraju validaciju u prvorazrednu ugovornu obavezu funkcija.
Uz opciju lazy=True Pandera skuplja sve pogreške odjednom umjesto da eksplodira na prvoj — presudno za smislene log poruke u produkciji.
Narwhals backend iz Pandere 0.32 drži validaciju potpuno lijenom (lazy), što znači bez kopiranja Polars podataka u pandas radi provjere.
Što je Pandera i za što se koristi?
Pandera se koristi za validaciju DataFrame podataka (provjeru shema, tipova, ograničenja vrijednosti i statističkih hipoteza) prije nego što ti podaci uđu u model, dashboard ili sljedeći korak ETL pipelinea. U praksi, Panderu vežem uz svaki granični kontakt: input iz vanjskog API-ja, output iz dbt modela, snapshot prije treniranja modela i sve što bi u tri ujutro moglo pretvoriti dobre podatke u tihi kvar.
Za razliku od assert df.dtypes... provjera koje se zaboravljaju održavati, Panderina shema je izvršni ugovor. Kada mi netko promijeni tip stupca ili doda NULL tamo gdje ga nikad nije bilo, pipeline ne padne u trećem koraku pretvorbe, nego odmah na validaciji s jasnom porukom u kojoj piše koji stupac je krivac i u kojem retku je problem. To je isto načelo koje volim kod dbt testova, samo prošireno na svaki Python korak između njih.
Tipični scenariji u kojima Panderu koristim svakodnevno:
Provjera da izvor podataka i dalje šalje sve stupce (novi dobavljač voli “osloboditi” shemu bez najave).
Osiguravanje da se date stupci ne pretvore u object nakon pd.concat.
Blokiranje negativnih vrijednosti u financijskim kolonama prije nego stignu u data warehouse.
Test da distribucija predviđanja ne odstupa od očekivanog raspona (data drift).
Kako instalirati Panderu u 2026. godini
Pandera 0.29 zahtijeva Python 3.10 ili noviji i službeno podržava sve do Pythona 3.14. Za osnovnu pandas instalaciju dovoljno je:
# osnovna instalacija za pandas backend
pip install "pandera>=0.29"
# ili s poetryjem
poetry add "pandera@^0.29"
Ako radite s više backendova, Pandera koristi extras sintaksu. Ovo je moja standardna postavka u novim projektima gdje pipelinei kombiniraju pandas i Polars:
pip install "pandera[polars,pyspark,hypotheses]"
Za novi Narwhals backend iz verzije 0.32, koji drži validaciju lijenom preko Polars LazyFrame-ova, dodajte extra i uključite konfiguraciju:
pip install "pandera[polars,narwhals]>=0.32"
# u Pythonu
import pandera as pa
pa.set_config(use_narwhals_backend=True)
Aside: uvijek pinajte verziju u requirements.txt ili pyproject.toml. Pandera između minor verzija zna deprecirati staru sintaksu (npr. SchemaModel → DataFrameModel), a “tiha” automatska nadogradnja u CI-ju bez pinova neugodno je iznenađenje.
DataFrameSchema: deklarativni pristup validaciji
DataFrameSchema je originalno API-jevo lice Pandere, tj. imperativni objekt koji definirate izravno. Ovo je oblik koji koristim za brze provjere u istraživačkim notebook-ovima ili kada shemu generiram programski iz metapodataka.
strict=True, nepoznati stupci bacaju grešku, umjesto da se tiho ignoriraju.
coerce=True, Pandera pokušava kastati u očekivani tip (npr. str u datetime) i tek onda validira; bez ovoga se često prvo hvata krivi tip.
lazy=True u pozivu validate(), skuplja sve pogreške u jedan SchemaErrors objekt umjesto pucanja na prvoj. To je razlika između korisnog izvještaja i lova na iglu u plastu sijena.
DataFrameModel: pydantic-style sheme s tipovima
DataFrameModel je moja preporučena forma za sve novije projekte. Sintaksa je bliska Pydanticu i FastAPI-ju, IDE i mypy razumiju tipove, a refaktoriranje kroz cijeli codebase je banalno jer stupci postaju atributi klase.
import pandera.pandas as pa
from pandera.typing import DataFrame, Series
class OrdersSchema(pa.DataFrameModel):
order_id: Series[int] = pa.Field(ge=1, unique=True)
customer_email: Series[str] = pa.Field(str_matches=r"^[^@]+@[^@]+\.[^@]+$")
amount_eur: Series[float] = pa.Field(in_range={"min_value": 0, "max_value": 100_000})
order_date: Series[pa.DateTime] = pa.Field(le="2026-12-31")
status: Series[str] = pa.Field(isin=["pending", "paid", "refunded"])
class Config:
strict = True
coerce = True
@pa.check_types(lazy=True)
def compute_revenue(orders: DataFrame[OrdersSchema]) -> float:
paid = orders[orders["status"] == "paid"]
return paid["amount_eur"].sum()
Zašto mi je ovo default: @pa.check_types pretvara type hint u izvršnu validaciju, pa funkcija compute_revenue više ne treba defenzivne assert-ove, jer joj Pandera osigurava da je ulaz uistinu OrdersSchema. To je oblik design by contract koji odgovara mojoj filozofiji rada s pipelineima: svaki korak potpisuje što prima i što vraća, a pipeline testovi su nepregovorljivi.
Bonus: DataFrameModel se nasljeđuje, pa možete izgraditi bazičnu BaseEventSchema i imati PageviewSchema(BaseEventSchema), ClickSchema(BaseEventSchema) itd. bez copy-paste stupaca.
Ugrađene provjere i vlastite funkcije
Pandera dolazi s desetak ugrađenih Check-ova koji pokrivaju 80% mojih slučajeva: ge, le, gt, lt, eq, ne, isin, notin, str_matches, str_startswith, str_length, in_range i unique_values_eq. Za sve ostalo pišete vlastite provjere, koje su obične funkcije koje vraćaju bool ili boolean seriju.
from pandera import Check
# Provjera na razini reda: total = subtotal + tax
row_check = Check(
lambda row: row["total"] == row["subtotal"] + row["tax"],
element_wise=True,
error="total mora biti jednak subtotal + tax"
)
# Provjera na razini stupca: barem 95% mora biti popunjeno
coverage_check = Check(
lambda s: s.notna().mean() >= 0.95,
error="popunjenost stupca ispod 95%"
)
# Statistička hipoteza (potreban extras: pandera[hypotheses])
from pandera.hypothesis import Hypothesis
drift_check = Hypothesis.two_sample_ttest(
sample1="control", sample2="variant",
groupby="cohort", relationship="equal", alpha=0.01
)
Statistički Hypothesis checkovi su značajka koju Great Expectations nema u istom obliku i razlog zašto ih preferiram za data science tokove. Kad testiram model, ne zanima me samo da su stupci prisutni, nego i to da distribucija score_2026_08 nije statistički značajno drugačija od score_2026_07, ili da srednja vrijednost predviđanja nije drift-ala izvan tolerancije.
Također, uvijek dajem error= poruku na svakoj custom provjeri. Pandera ju uklopi u ispis pogreške, a razlika između SchemaError: Check failed i SchemaError: total mora biti jednak subtotal + tax (redak 4213) je razlika između 15 minuta i 3 sata debugiranja u 2 ujutro.
Pandera i Polars: validacija bez pandas ovisnosti
Otkad je Pandera 0.19 uvela Polars podršku, a 0.21+ standardizirala na Polars 1.x, više nema potrebe pretvarati Polars DataFrame u pandas samo radi validacije. To je za Polars pipeline ključno, jer biste inače izgubili sve Rustove brzine na jednoj .to_pandas() konverziji.
import polars as pl
import pandera.polars as pa
from pandera.typing.polars import DataFrame, Series
class EventsSchema(pa.DataFrameModel):
event_id: Series[str] = pa.Field(unique=True)
user_id: Series[int] = pa.Field(ge=1)
ts: Series[pl.Datetime] = pa.Field()
value: Series[float] = pa.Field(ge=0)
class Config:
strict = True
lf = pl.scan_parquet("events/2026-08-*.parquet")
# Pandera interno pretvara DataFrame u LazyFrame radi optimizacije
validated_df = EventsSchema.validate(lf.collect(), lazy=True)
Ključna razlika u odnosu na pandas verziju: import je pandera.polars as pa (ne pandera.pandas), a Series tipovi dolaze iz pandera.typing.polars. Pandera 0.32 dodatno nudi Narwhals backend koji ne kolapsira LazyFrame u DataFrame tijekom validacije, što je značajno za jako velike batchove.
Pandera vs Great Expectations: kada odabrati što
Najčešće me tim pita: “Zašto ne Great Expectations?” Odgovor ovisi o veličini pipelinea i o tome koliko toga trebate osim samog validate() poziva. Evo direktne usporedbe kojom se vodim:
Značajka
Pandera 0.29
Great Expectations 1.x
Broj ovisnosti
~12
~107
Krivulja učenja
Niska (Pydantic-style)
Visoka (Data Context, Suites, Checkpoints)
Backendovi
pandas, Polars, PySpark, Dask, Modin, Ibis
pandas, Spark, SQL izvori
Sinteza podataka za testove
Da (hypothesis integracija)
Ne
Statističke hipoteze
Ugrađene
Ograničeno
UI / Data Docs
Nema
Auto-generirani HTML izvještaji
Integracija s FastAPI/Pydantic
Prvorazredna
Nema
Najbolje za
Kod-first pipelinei, ML, data science
Enterprise data platforme s data stewardima
U timovima gdje ja radim (inženjeri koji već pišu Python, koriste dbt za SQL transformacije i pytest za sve ostalo), Pandera pobjeđuje jer je “samo još jedna Python knjižnica” s minimalnim overheadom. Great Expectations bira se kada imate ne-inženjerske stakeholdere koji trebaju čitati Data Docs izvještaje ili kada je validacija centralizirani servis odvojen od koda pipelinea.
Kako testirati pandas DataFrame u pytestu i CI/CD-u
Ovo je razlog zašto Panderu inzistiram staviti u svaki novi projekt. Shema postaje testni objekt kojeg možete pozvati iz pytest fixture-a, čime dobijate iste garancije koje dbt ima za DuckDB ETL pipelineove, samo za Python korake koji se odvijaju izvan warehousea.
# tests/conftest.py
import pytest
import pandas as pd
from pandera.errors import SchemaErrors
from myproject.schemas import OrdersSchema
@pytest.fixture
def orders_sample():
return pd.read_csv("tests/fixtures/orders_sample.csv", parse_dates=["order_date"])
# tests/test_orders_schema.py
def test_orders_sample_matches_schema(orders_sample):
# Ako ovo ne prođe, ni ostatak pipelinea ne treba pokretati
OrdersSchema.validate(orders_sample, lazy=True)
def test_schema_reports_all_errors():
bad = pd.DataFrame({
"order_id": [1, 1, 3], # duplikat
"customer_email": ["[email protected]", "loše", "[email protected]"], # regex fail
"amount_eur": [10.0, -5.0, 20.0], # negativan iznos
"order_date": pd.to_datetime(["2026-01-01", "2027-05-01", "2026-06-01"]),
"status": ["paid", "paid", "unknown"],
})
with pytest.raises(SchemaErrors) as exc:
OrdersSchema.validate(bad, lazy=True)
failures = exc.value.failure_cases
assert len(failures) >= 4 # sve prijavljeno odjednom
Drugi trik koji nadograđuje testove: sinteza podataka. S hypothesis extrom Pandera zna generirati validne DataFrameove iz vaše sheme, što koristim za property-based testove funkcija koje transformiraju DataFrameove:
from hypothesis import given
from myproject.schemas import OrdersSchema
from myproject.pipeline import compute_revenue
@given(OrdersSchema.strategy(size=50))
def test_compute_revenue_is_nonnegative(orders):
assert compute_revenue(orders) >= 0
Ovakav test hvata rubne slučajeve koje ja nikad ne bih ručno napisala u fixture, i pouzdano me spašava od regressiona kad tim modificira transformacije.
Produkcijske lekcije: backfill, log poruke i shema evolucija
Nakon nekoliko godina Pandere u produkciji, evo tri stvari koje bih rekla sebi na početku:
1. Backfillovi su gdje sheme padaju
Kad radite backfill od prije šest mjeseci, tadašnja shema možda nije dopuštala stupac koji sada postoji, ili je enum imao manje vrijednosti. Rješenje: verzionirajte sheme (OrdersSchemaV1, OrdersSchemaV2) i odaberite verziju po datumu unosa. Nikad ne prepisujte staru shemu bez migracije podataka.
2. Uvijek koristite lazy=True u produkciji
Eager validacija (default) puca na prvoj pogrešci. To znači: podignete alarm, otvorite log, popravite jedan redak, ponovno pokrenete, pukne na sljedećem, i tako pet iteracija. S lazy=True Pandera vrati failure_cases DataFrame sa svim retcima i kolonama koje ne prolaze, pa ga logirajte u vaš observability sustav i dobijete potpunu sliku iz jedne rundu.
3. Odvojite “shema” od “kvaliteta” provjera
Shema provjere (tip stupca postoji, tip je točan) trebaju rušiti pipeline. Kvaliteta provjere (npr. “stopa null vrijednosti ne prelazi 2%”) često trebaju samo upozoravati, jer 2.1% nije nužno bug. Pandera vam dopušta oba oblika, ali odluku o tome što blokira, a što šalje Slack alarm, donosite eksplicitno. U mojim pipelineima to izgleda ovako:
try:
OrdersSchema.validate(df, lazy=True) # hard fail
except SchemaErrors as e:
alert_pagerduty(e.failure_cases) # budite operativci
raise
try:
QualityChecks.validate(df, lazy=True) # soft fail
except SchemaErrors as e:
log_to_slack(e.failure_cases)
# ne raise, nastavljamo pipeline
Pandera se koristi za validaciju DataFrame podataka — provjeru shema, tipova, ograničenja i statističkih svojstava (u pandas, Polars, PySparku i drugim backendovima). Tipično se pokreće na granicama pipelinea (input iz izvora, output pred sljedeći korak) kako bi se loši podaci zaustavili prije nego stignu u model ili dashboard.
Je li Pandera bolji izbor od Great Expectations?
Ovisi. Pandera je puno lakša (12 vs 107 ovisnosti), Pydantic-friendly i idealna za kod-first pipelineove i data science. Great Expectations je otpornija za enterprise scenarije s HTML Data Docs izvještajima i integracijom u orkestraciju. Za većinu Python timova Pandera je bolji početak.
Podržava li Pandera Polars DataFrameove?
Da. Od Pandere 0.19 postoji Polars backend, a od 0.21 zahtijeva Polars ≥ 1.0. Koristite import pandera.polars as pa. Pandera 0.32 dodatno nudi Narwhals backend za potpuno lijenu validaciju preko LazyFrame-a.
Kako testirati pandas DataFrame u pytestu?
Definirajte DataFrameModel shemu, pozivajte Schema.validate(df, lazy=True) unutar test funkcije i uhvatite pandera.errors.SchemaErrors. Za property-based testove koristite Schema.strategy() uz hypothesis extras, čime Pandera generira sintetičke ali validne DataFrameove.
Što je DataFrameModel u Panderi?
DataFrameModel je Pydantic-style klasa u kojoj se stupci deklariraju kao atributi s Series[tip] tipovima i pa.Field(...) ograničenjima. IDE i mypy razumiju tipove, a dekorater @pa.check_types pretvara type hint u izvršnu validaciju funkcijskih argumenata.
Praktični vodič kroz MLflow 3 u Pythonu: instalacija tracking servera, autologging za sklearn i XGBoost, Model Registry s aliasima i posluživanje modela u produkciji uz konkretne primjere koda.
Praktični vodič kroz Matplotlib 3.10 i Seaborn 0.13: statistički grafovi, seaborn.objects API, petroff10 paleta i integracija s Pandas DataFrame-ovima.
