A Horvát Királyság kontinentális területeinek rendi intézményei a 16. század elején már évszázados múltra tekintettek vissza, ám a mohácsi csata (1526. augusztus 29.) után a horvát rendeknek olyan helyzetben kellett dönteniük a király személyéről, amelyben a választás egyszerre jelentett katonai, dinasztikus és rendi jogi állásfoglalást. A Magyar Királyság királyának, II. Lajosnak a halála megnyitotta az utat a Habsburg és a Szapolyai tábor közötti kettős királyválasztás előtt, Horvátországot pedig a törökellenes védelem megszervezésének kényszere és a rendi autonómia megőrzésének igénye egyaránt a Habsburg-jelölt, I. Ferdinánd felé terelte. Ez a döntés hosszú távon meghatározta a horvát rendi állam és a Habsburg Monarchia viszonyát: a horvát területek a monarchia déli védőövévé váltak, miközben a rendi intézmények – a Sabor (horvátul Sabor, a rendi országgyűlés) és a bán (horvátul ban, a királyt képviselő főméltóság) – fennmaradtak, de folyamatosan alkalmazkodniuk kellett a bécsi udvar katonai és pénzügyi igényeihez. Az alábbiakban előbb a Habsburg trónra választás körülményeit és a rendi állam kereteit, majd a katonai határőrvidék kiépülését, az oszmán háborúk következményeit, végül a rendi autonómia és a Habsburg abszolutizmus közötti feszültségeket tárgyalom.
A mohácsi csata után a horvát rendi gyűlés nem egységesen foglalt állást. A horvát–szlavón nemesség egy része Szapolyai János erdélyi vajda mellett köteleződött el, mert benne a magyar rendi szabadságok védelmezőjét látta, míg mások Habsburg Ferdinánd osztrák főhercegben keresték a törökellenes védelem ígéretét. A döntő fordulatot a cetini országgyűlés (horvátul Cetinski sabor) hozta: a horvát rendek 1527. január 1-jén a Cetin várában tartott gyűlésen I. Ferdinándot választották meg horvát királlyá, de az oklevél szövege szerint fenntartották a horvát rendi jogokat, és Ferdinánd kötelezettséget vállalt a török elleni védelemre, valamint arra, hogy a horvát és szlavón rendek kiváltságait tiszteletben tartja. A cetini választási oklevél (latinul electio vagy promissio) a horvát rendi államiság egyik alapdokumentuma, de értelmezése a történetírásban vitatott: a horvát történeti hagyomány egy része a horvát államiság önálló aktusaként olvassa, míg más értelmezések szerint a horvát rendek a magyar korona keretén belül, a magyar királyválasztással párhuzamosan, de attól elkülönülő testületként cselekedtek. A forrásszöveg nem modern értelemben vett nemzetállami aktus, hanem a rendi nemzet (natio Croatica) politikai döntése, amely a király és a rendek közötti kölcsönös kötelezettségvállalást rögzítette.
A Habsburg uralom kezdetén a horvát rendi állam intézményei a középkorból öröklődtek. A Sabor a horvát és szlavón nemesség, a főpapok és a vármegyék küldötteinek gyűlése volt, amely törvényeket alkotott, adót szavazott meg, és a bán személyének megválasztásában vagy megerősítésében is szerepet játszott. A bán a horvát–szlavón területek legfőbb katonai és igazságszolgáltatási tisztviselője volt, aki a király nevében kormányzott, de a rendi gyűlés is ellenőrizte. A horvát rendi autonómia azonban nem volt teljes: a horvát területek a Magyar Korona részei maradtak, a horvát bán a magyar királyi tanács tagja volt, és a magyar országgyűlés is tárgyalt horvát ügyeket. A 16. században a Habsburgok – különösen a törökellenes háborúk költségei miatt – egyre inkább központosítottak, ami a horvát rendek és az udvar közötti feszültségek állandó forrásává vált. A rendi állam kereteinek leírásakor tehát nem modern nemzetállami szuverenitást kell érteni, hanem a rendi kiváltságokon és a királyhűségen alapuló, korlátozott önkormányzatot.
A 15. század végétől az Oszmán Birodalom fokozatosan terjeszkedett a horvát és szlavón területek rovására. A boszniai szandzsákból kiinduló portyázó csapatok rendszeresen pusztították a határ menti vidékeket, és a horvát nemesség katonai ereje önmagában nem volt elegendő a védelemre. A Habsburg udvar a 16. század második felében ezért a horvát és szlavón határ mentén fokozatosan kiépítette a katonai határőrvidéket (németül Militärgrenze, horvátul Vojna krajina, szerbül Vojna granica). A határőrvidék nem egyszerre jött létre, hanem a 16. század közepétől a 17. század közepéig szerveződött: előbb a horvát és szlavón végvidékeket vonták közvetlen bécsi irányítás alá, majd a 17. században a karlováci, varasdi és más kapitányságok hálózatává fejlesztették. A határőrvidék területét kivonták a horvát Sabor és a bán fennhatósága alól, és az Udvari Haditanács (németül Hofkriegsrat) irányítása alá helyezték. A határőrök – akiket horvátul graničari, németül Grenzer néven ismertek – földhasználati jogot kaptak, cserébe katonai szolgálatot teljesítettek; adómentességet és bizonyos vallási szabadságot élveztek. A határőrvidék lakossága nem homogén: a 16–17. században nagy számban telepítettek be vlachokat (oláh/aromán nyelvű, ortodox vallású pásztorokat) és később szerbeket, akik a Dinaridák és Északnyugat-Bosznia felől érkeztek. A betelepítettek jogait a Statuta Valachorum (1630) szabályozta, amely a vlachok széles körű helyi önkormányzatát és ortodox vallásgyakorlatát ismerte el a katonai kötelezettségek fejében.
A katonai határőrvidék létrehozása mélyreható következményekkel járt a horvát rendi államra és a terület etnikai–vallási viszonyaira. A horvát rendek a Sabor ülésein ismételten tiltakoztak az ellen, hogy a határőrvidék területét elvonták a horvát fennhatóságtól, mert ez csökkentette a rendi adóalapot, és a jobbágyok egy része a határőrvidékre szökött, ahol kedvezőbb feltételeket kapott. A vlach és szerb betelepítés hosszú távon megváltoztatta a horvát–szlavón határvidék etnikai összetételét: az ortodox közösségek a korábban túlnyomórészt katolikus horvát területeken jelentek meg, ami a 19–20. századi horvát–szerb viszony egyik fontos előzménye. Fontos hangsúlyozni, hogy a kora újkori „vlach” kifejezés nem modern etnikai kategória, hanem elsősorban jogállást és életmódot jelölt, és a betelepítettek önazonossága koronként és régiónként változott. A határőrvidék intézménye a 18. században is fennmaradt, sőt a Habsburg–oszmán háborúk során tovább bővült, és csak 1881-ben csatolták vissza a horvát polgári közigazgatáshoz, illetve a horvát bán fennhatósága alá.
A Habsburgok és az Oszmán Birodalom közötti háborúk a 16–17. században a horvát területek sorsát alapvetően meghatározták. A horvát rendi csapatok és a határőrvidék katonái folyamatosan részt vettek a határ menti harcokban, de a nagyobb hadjáratokban a bécsi udvar által irányított császári hadsereg játszotta a főszerepet. A szigetvári ostrom (1566) során a horvát bán, Zrínyi Miklós (horvátul Nikola Šubić Zrinski) a vár védelmében esett el; halála a horvát és magyar rendi emlékezetben a törökellenes hősiesség jelképévé vált. A hosszú török háború (1593–1606) a sziszeki csata (1593) horvát győzelmével indult, de a háború végül a zsitvatoroki békével (1606) zárult, amelyben a Habsburg uralkodó és az oszmán szultán először tárgyalt egyenrangú félként. A 17. század közepén a Habsburg–oszmán határ viszonylag stabilizálódott, de a határ menti portyázások és a paraszti lakosság szenvedése állandó maradt.
A fordulópontot a 17. század végi nagy Habsburg ellentámadás hozta: a Szent Liga háborúja (1683–1699) során a császári haderő kiszorította az oszmánokat a horvát és szlavón területek nagy részéről, és a karlócai béke (1699) rögzítette az új határokat. A békeszerződés értelmében a horvát–szlavón területek zöme visszakerült a Habsburg uralom alá, de a határőrvidék továbbra is elkülönült katonai igazgatás alatt maradt. A pozsareváci béke (1718) további területeket juttatott a Habsburgoknak, ám a belgrádi béke (1739) után a határ részben visszamódosult. A háborúk súlyos demográfiai és gazdasági következményekkel jártak: a horvát és szlavón területek jelentős része elnéptelenedett, a lakosság a biztonságosabb északnyugati vidékekre vagy a határőrvidékre vándorolt, és a Habsburg udvar tudatos betelepítési politikával igyekezett pótolni a munkaerőt. A rendi állam számára a háborúk kettős terhet jelentettek: a horvát nemességnek katonailag és anyagilag is hozzá kellett járulnia a védelemhez, miközben az udvar a határőrvidék fejlesztésére és a központi hadseregre koncentrálta az erőforrásokat.
A 17. század második felében a horvát rendi elit egy része egyre elégedetlenebbé vált a bécsi udvar politikájával. A Wesselényi-összeesküvés (1664–1670) horvát résztvevői, Zrínyi Péter (horvátul Petar Zrinski) és Frangepán Ferenc Kristóf (horvátul Fran Krsto Frankopan) a Habsburg-ellenes rendi mozgalomhoz csatlakoztak; az összeesküvés leleplezése után mindkettőjüket kivégezték (1671), birtokaikat pedig elkobozták. Az esemény a horvát rendi ellenállás egyik legfontosabb fordulópontja: a horvát történeti emlékezetben a rendi szabadság és a horvát érdekek védelmének mártírjaként, míg a Habsburg-udvari értelmezés szerint a királyi hatalom elleni lázadásként jelenik meg. A 17–18. század fordulóján a horvát rendek továbbra is védték intézményeiket: a Pragmatica Sanctio elfogadása körüli vita jól mutatja a horvát rendi önállóság igényét. A horvát Sabor 1712-ben egyoldalúan hozzájárult ahhoz, hogy a Habsburg-ház nőági örökösödését elismerje, még mielőtt a magyar országgyűlés 1723-ban hasonló döntést hozott volna. A horvát lépés értelmezése vitatott: egyes történészek szerint a horvát rendek ezzel is jelezni akarták a magyar rendi testülettől való elkülönülésüket, mások szerint a döntés a közös uralkodóház iránti lojalitás kifejezése volt. A 18. században a Habsburg abszolutizmus – különösen Mária Terézia és II. József uralkodása alatt – fokozatosan korlátozta a horvát Sabor hatáskörét: az adó- és hadügyi döntéseket egyre inkább Bécsben hozták, a bán kinevezése a királyi akarattól függött, és a rendi gyűlés összehívását is az udvar ellenőrizte. Ennek ellenére a horvát rendi intézmények nem szűntek meg, és a horvát rendi identitás – amely a 18. században is elsősorban a nemesi rend politikai önazonosságát jelentette – tovább élt. A horvát nyelvű irodalom, például a barokk kori horvát főúri családok udvari kultúrája, a rendi reprezentáció része volt, és előkészítette a későbbi nemzeti nyelvi mozgalmakat.
Az alfejezet elsődleges forrásai közé tartoznak a cetini választási oklevél (1527) szövege, a Statuta Valachorum (1630) rendelkezései, a határőrvidék szervezésére vonatkozó bécsi udvari rendeletek, a karlócai (1699), pozsareváci (1718) és belgrádi (1739) békeszerződések szövegei, valamint a horvát Sabor fennmaradt jegyzőkönyvei és a Zrínyi–Frangepán-per iratai. A rendi gyűlés határozatainak teljes sorozata azonban töredékes, különösen a 16. századi időszakból, ezért a döntések pontos tartalmát esetenként csak későbbi hivatkozásokból ismerjük. A másodlagos szakirodalomban a horvát és magyar történetírás álláspontjai részben eltérnek: a cetini választás értelmezése (önálló horvát állami aktus vagy a magyar koronán belüli rendi döntés), a katonai határőrvidék hatása a horvát területi integritásra és az etnikai viszonyokra, valamint a vlach betelepítés mértéke és időbeli lefolyása mind vitatott kérdés. A kora újkori demográfiai adatok – például a háborúk áldozatainak száma vagy a betelepítettek létszáma – becsléseken alapulnak, és a források szórása jelentős. A határőrvidék lakosságának etnikai önbesorolása a kora újkorban nem rögzíthető modern kategóriákkal, ezért a „horvát”, „vlach”, „szerb” megnevezések használata a források nyelvétől és a jogállástól függött.