A szerb nyelvű ortodox lakosság a 18. században két, egymástól alapvetően eltérő birodalmi keretben élt: az Oszmán Birodalom ruméliai tartományaiban, valamint a Habsburg Monarchia határvidékein, katonai övezeteiben és városaiban. Ez a kettősség a nemzeti ébredés feltételeit is meghatározta. Az Az oszmán uralom Szerbiában című alfejezetben bemutatott oszmán rendszerben a szerb ortodox parasztság helyi önkormányzati hagyományai és a vallási közösség, a millet (oszmán török: millet) keretei jelentettek társadalmi védőhálót, ugyanakkor az írásbeliség, az iskolázottság és a polgári városi élet lehetőségei a Habsburg oldalon voltak erősebbek. A modern értelemben vett nemzeti újjászületés (szerbül: narodni preporod) tehát nem egyetlen központból, hanem elsősorban a Habsburg Monarchia szerb közösségeiből indult ki: a karlócai egyházi központból, a katonai határőrvidékről, a Duna menti kereskedővárosokból és a bécsi szerb diaszpórából. Az alábbiakban először a 18. századi Habsburg intézményi keretet mutatom be, majd a felvilágosult szerb értelmiség nyelvi-történeti programját, Vuk Karadžić nyelvi reformját, végül a nemzeti identitás átalakulásának társadalmi dimenzióit és a folyamat vitatott pontjait.
A Habsburg Monarchia szerb jelenlétének intézményi alapjait a 17–18. század fordulóján kiadott uralkodói kiváltságlevelek teremtették meg. I. Lipót 1690. augusztus 21-én kelt oklevele – amelyet a törökellenes harcok idején Arsenije III Čarnojević ipeki pátriárka kért – egyházi autonómiát, saját metropolita-választási jogot és adókedvezményeket ígért a Magyarországra érkező ortodox szerbeknek. Az oklevelet később 1691-ben és 1695-ben újabb privilégiumok egészítették ki. A korabeli és későbbi források a lakosság áttelepülését nagy szerb vándorlásnak (szlatinosan: Magna migratio Serborum; szerbül: Velika seoba Srba) nevezik. A létszámra vonatkozó becslések rendkívül bizonytalanok: a nemzeti emlékezet és a 19. századi történetírás sok esetben százezres nagyságrendet említ, a történeti demográfiai elemzések azonban a források hiányai miatt 20 000 és 100 000 fő közötti sávot tartanak megalapozottnak. A vándorlás mérete így nem tekinthető pontosan dokumentált ténynek, sokkal inkább vitatott becslésnek.
A szerb ortodox egyház központja a 18. század elején fokozatosan Karlócára (szerbül: Sremski Karlovci) helyeződött át. A karlócai metropólia (szerbül: Karlovačka mitropolija) 1713-tól működött itt, és a Habsburg Monarchia szerb ortodox lakosságának legfontosabb egyházi, kulturális és – a rendi viszonyok között – részben politikai intézményévé vált. A metropólia hálózata nem csupán templomokat, hanem iskolákat is fenntartott, és az egyházi zsinatokon a világi küldöttek is részt vettek. Ez az egyházi-nemzeti autonómia (szerbül: crkveno-narodna autonomija) fokozatosan a szerb közösség legfőbb önkormányzati keretévé alakult. Fontos azonban, hogy a „nemzeti” szó itt nem a modern politikai nemzetet, hanem a rendi világ vallási és felekezeti közösségét jelölte. A magyar rendi terminológia a szerbeket gyakran Rasciani (rácok) vagy görögkeleti néven emlegette, ami mutatja, hogy a korabeli kategorizáció elsősorban felekezeti, nem pedig nyelvi vagy modern etnikai alapú volt.
A másik fontos intézményi bázis a katonai határőrvidék (német: Militärgrenze, szerb: Vojna krajina) volt. A török határ mentén szervezett katonai övezetekben a szerb, valamint a horvát és román határőrök földhasználati jogokat és részben vallásszabadságot kaptak, cserébe katonai szolgálattal tartoztak. A határőrvidék szerb közösségei társadalomszerveződésükben, harcos hagyományaikban és családi-rokonsági rendszereikben eltértek mind a magyarországi jobbágyi, mind az oszmán oldali paraszti viszonyoktól. Az itt élő szerbek szabadabb jogállása lehetővé tette, hogy a 18. század során helyi iskolák, templomi könyvtárak és szerény, de növekvő írásbeliség alakuljon ki.
A Duna menti városok – elsősorban Újvidék (szerbül: Novi Sad), Szentendre, Pest, valamint a bécsi szerb negyed – a szerb kereskedő- és kézművesrétegek központjai voltak. Újvidék 1748-ban szabad királyi városi rangot kapott, és hamarosan a szerb polgári élet egyik szellemi központjává vált. A kereskedők nemcsak tőkét, hanem könyveket, híreket és utazási tapasztalatokat is közvetítettek. E réteg tagjai gyakran tanultak német, magyar vagy latin iskolákban, és részben nyitottak voltak a felvilágosodás eszméire. A Habsburg-szerb társadalom tehát a 18. században erősen tagolt volt: a püspöki udvarok, a katonai elit, a kereskedőpolgárság és a falusi papság eltérő érdekeket és eltérő műveltségi szinteket képviselt.
A 18. század közepétől a Habsburg szerb értelmiség egyre intenzívebben szembesült azzal a kérdéssel, hogy milyen nyelven írjon, tanítson és szervezze a közösséget. Az egyházi szertartások nyelve az egyházi szláv (szerbül: crkvenoslavenski jezik) volt, az írásos adminisztráció és a korai újságírás azonban egy kevert, mesterséges írott változatot használt, amelyet szlavoszerb nyelvnek (szerbül: slavenoserbski jezik) neveztek. Ez az egyházi szlávot orosz szláv elemekkel, orosz írásmintákkal és néhány helyi népi fordulattal kombinálta. Nem volt egységes norma, és a szövegek minősége nagyban függött a szerző iskolázottságától.
A karlócai körhöz tartozó Zaharije Orfelin (1726–1785) rézmetsző, kiadó és író 1768-ban indította el a Slaveno-serbski magazin című folyóiratot, amelyet gyakran az első szerb periodikumként tartanak számon. Orfelin természettudományos, történeti és gyakorlati ismeretterjesztő írásai a felvilágosult hasznosság eszméjét hirdették, ugyanakkor nyelve még a szlavoszerb hagyományt követte. Jovan Rajić (1726–1801) karlócai és később kijevi tanulmányokat folytatott, majd Istorija raznih slavenskih narodov, naipače Bolgar, Horvatov i Serbov (1794) címmel összefoglaló történeti munkát adott ki. Rajić műve nem felelt meg a modern forráskritika követelményeinek, de a szerbek, bolgárok és horvátok közös délszláv történetét egyetlen elbeszélésbe fogta, és ezzel hosszú távú hatást gyakorolt a nemzeti történeti tudatra.
A felvilágosult szerb értelmiség legismertebb alakja Dositej Obradović (1742 vagy 1740–1811) volt. A bánsági Csákón született, szerzetesi nevet vett fel, majd évtizedekig utazott a Balkánon, Kis-Ázsiában, Németországban, Angliában és Olaszországban. Önéletrajzában (Život i priključenija Dimitrija Obradovića, 1783) a tanulás, a racionális vallásosság és a világi műveltség programját hirdette. Dositej nem kifejezetten „nemzeti” programot fogalmazott meg, hanem a népi nyelvű oktatás és a felvilágosult erkölcs fontosságát hangsúlyozta. Mégis döntő szerepe lett abban, hogy az egyházi szláv és a szlavoszerb írásbeliség mellett a köznyelv felé fordult a figyelem. Különösen jelentős, hogy 1807-ben az első szerb felkelés meghívására Belgrádba ment, és a felkelők kormányzatában az oktatásügy élére állt; nevéhez fűződik a belgrádi Nagy Iskola (szerbül: Velika škola) megszervezése, amely a majdani belgrádi egyetem egyik előintézményének tekinthető.
A szerb írásbeliség gyökeres átalakulása Vuk Stefanović Karadžić (1787–1864) nevéhez köthető. Vuk a nyugat-szerbiai Tršićen született, tehát az Oszmán Birodalom területén nőtt fel, és az első szerb felkelés idején – 1804 és 1813 között – írnokként, katonai adminisztrátorként és adószedőként szerzett tapasztalatot. A felkelés leverése után Bécsbe menekült, ahol a szlovén származású udvari cenzor és szlavista, Jernej Kopitar irányította figyelmét a népi nyelv és a szóbeli irodalom felé. Ez a bécsi kapcsolat biztosította Vuk számára a tudományos módszertani hátteret és a európai filológiai hálózathoz való csatlakozást.
Vuk nyelvi reformjának alapelve a fonetikus elv volt: „írj úgy, ahogy a köznép beszél” (szerbül: Piši kao što govoriš). A szlavoszerb mesterséges keveréknyelv és az egyházi szláv uralkodó szerepe helyett a népnyelvet (szerbül: narodni jezik) kívánta az irodalmi nyelv (szerbül: književni jezik) alapjává tenni. 1814-ben Bécsben jelentette meg rövid nyelvtanát (Pismenica srpskoga jezika po govoru prostoga naroda), 1815-ben népi nyelvű Újszövetség-fordítását, majd 1818-ban a Srpski rječnik című szerb szótárát, amely mintegy 26 000 szócikket tartalmazott. A szótár nem csupán nyelvi segédlet volt: bevezetője a szerb nyelvjárások leírását adta, és a szócikkekben hatalmas mennyiségű néprajzi és folklór anyagot közölt. Vuk emellett intenzíven gyűjtötte a népi lírai dalokat, hősi epikát, meséket és közmondásokat, amelyekből több kötetes kiadásokat állított össze.
Vuk a szerb nyelv alapjául a štokavski nyelvjárást (szerbül: štokavsko narečje) választotta, mégpedig annak kelet-hercegovinai változatát, amely a legelterjedtebb volt, és amely a hősi epika gazdag hagyományával rendelkezett. Ez a választás tette lehetővé, hogy a reform túllépjen a szűkebb szerbiai nyelvterületen, és kapcsolódjon a horvát illír mozgalom törekvéseihez is. Az illír mozgalom és a nemzeti ébredés című alfejezetben bemutatott horvát értelmiség ugyancsak a štokavski alapot választotta, részben hasonló nyelvészeti megfontolásból. Vuk azonban a nyelvet elsősorban „szerbnek” nevezte, és a szerb nemzetet a štokavski nyelv beszélőihez kötötte, beleértve sok katolikus horvátot és muszlim szlávot is. Ez a felfogás később éles vitákhoz vezetett a horvát és a szerb nemzeti mozgalmak között, mert a nyelvi közösségből nem következett automatikusan az egységes nemzeti identitás.
A reform eleinte heves ellenállásba ütközött. A karlócai konzervatív egyházi vezetés a szlavoszerb írásbeliség védelmében támadta Vukot; a népi nyelvű Újszövetség-fordítást sokan a vallási hagyomány megkerülésének tekintették. Az úgynevezett szerb nyelv és helyesírás háborúja (szerbül: Rat za srpski jezik i pravopis) a 1840-es években tetőzött. A vitában Vuk oldalára állt a fiatalabb, részben külföldön képzett értelmiség – köztük Đuro Daničić –, és 1847-re a fonetikus helyesírás, valamint a népi nyelv alapú irodalmi norma győzött. Az 1850-es bécsi irodalmi egyezményben Vuk és több horvát író és filológus megerősítette, hogy a szerbek és horvátok közös irodalmi nyelvet használnak, bár arról már akkor is eltérően gondolkodtak, hogy ez a közös nyelv szerb, horvát vagy szerb-horvát nevet viseljen-e. Ez az egyezmény a későbbi délszláv nyelvi egység dokumentumaként vált ismertté, de korabeli jogi és politikai jelentősége korlátozott volt.
A 18. századi értelmiségi törekvések nem egy már meglévő tömeges nemzeti tudatot fejeztek ki, hanem éppen fordítva: a nemzeti identitás kialakulásának folyamatát indították el vagy gyorsították fel. A „szerb” kategória a 18. században elsősorban vallási és rendi jelleget hordozott. Az ortodox millet keretei között a szerb név a jogi és adózási státusszal, az egyházi szervezettel és a szentek, uralkodók emlékezetével kapcsolódott össze. A 19. századra a nyelv, a történeti elbeszélés és a politikai program hatására ez a vallási-kulturális közösség fokozatosan modern politikai nemzetté alakult. Ezt a folyamatot a későbbi szerb nacionalista történetírás gyakran úgy ábrázolta, mintha a nemzet mindig is létezett volna, csupán „felébredt”. A mai kritikai történetírás szerint azonban a nemzeti azonosság nem biológiai adottság, hanem történelmi konstrukció, amely a 18–19. századi intézményi, nyelvi és politikai feltételek között jött létre.
A Habsburg oldalon a szerb identitás terjedését az iskolarendszer, a bécsi szerb sajtó és a polgári egyesületek segítették. 1813-tól Bécsben jelent meg a Novine serbske című szerb újság, amely híreket, irodalmat és nyelvi vitákat közvetített. A karlócai, újvidéki és később a zágrábi szerb iskolák a népi nyelvű tanítás felé fordultak. Fontos szerepet játszott a szóbeli epika és a gusle (szerbül: gusle, egyhúros vonós hangszer) mellett énekelt hősi énekek, amelyeket az értelmiség „nemzeti” kincsként kezdett gyűjteni. Vuk gyűjteményei megőrizték a paraszti és pásztorközösségek történeti emlékezetét, közvetve pedig beemelték a női előadókat is a nemzeti kultúra látható tereibe: a lírai dalok és balladák jelentős része női énekesektől származott, bár a formális irodalmi kánon kezdetben továbbra is férfiközpontú maradt.
Az oszmán oldalon a nemzeti ébredés lassabban és más formában haladt. Az ortodox falvak önkormányzatai, a családi nagycsaládok (szerbül: zadruga) és a faluelöljárók (szerbül: knez vagy oborknez) a mindennapi élet kereteit adták, de az írástudás alacsony szintje és a könyvnyomtatás korlátozottsága miatt a nemzeti nyelvi program alig jutott el a falvakba. A nemzeti tudat terjedésében az 1804-es első szerb felkelés hozott áttörést, de a felkelés kezdeti motivációi elsősorban helyi sérelmek, adóterhek és a janicsárok önkénye elleni tiltakozás voltak, nem pedig egy részletesen kidolgozott modern nemzeti program. A „szerb nemzet” kifejezés már megjelent a felkelők nyilatkozataiban, ám annak tartalma ekkor még közel állt az orthodox közösséghez és a régi szerb uralkodói hagyományhoz. A nemzeti ébredés tehát nem egységesen, hanem társadalmi rétegenként és területenként eltérő ütemben zajlott.
A nők szerepe a nemzeti ébredésben többnyire közvetett volt. Az írásbeliség és az iskolázás férfi kiváltságnak számított, a nők viszont a családi emlékezet, a szóbeli éneklés és a vallásgyakorlat hordozóiként vettek részt a közösségi kultúra fenntartásában. A 19. század közepén megjelenő jótékonysági egyletek és leányiskolák – például Újvidéken és Karlócán – fokozatosan tágították a női műveltség terét, de a politikai nemzeti mozgalom vezetése hosszú ideig férfiak kezében maradt. A parasztok, a határőrök és a szegényebb városi rétegek mindennapi identitása szintén alig dokumentált: róluk többnyire az egyházi anyakönyvek, adóösszeírások és a népi epika közvetített képet.
A nemzeti ébredés a 19. század közepén politikai formát is kapott. Az 1848-as európai forradalmi hullám idején a Habsburg Monarchia szerb közössége a magyar rendi és kormányzati törekvésekkel szemben saját területi-önkormányzati követeléseket fogalmazott meg. 1848 májusában Karlócán szerb nemzeti gyűlést tartottak, amely kikiáltotta a Szerb Vajdaságot (szerbül: Srpska Vojvodina, németül: Serbische Woiwodschaft), és a karlócai metropolitát pátriárkává emelte. A bécsi udvar kezdetben támogatta a szerb követeléseket, mert azok gyengítették a magyar forradalmi kormányt; később azonban az 1849-es neoabszolutista rendezés a szerb autonómiát részben korlátozta. Az 1848–1849-es események nem tartoznak szorosan a nyelvi és kulturális ébredéshez, de jelzik, hogy a felvilágosodásból kiindult értelmiségi mozgalom a század közepére politikai nemzeti mozgalommá szélesedett, és ez az út vezetett az A szerb forradalom című alfejezetben tárgyalt államalapítási folyamatokhoz, illetve a szerb–magyar viszony későbbi konfliktusaihoz.
A Habsburg keretben megerősödő szerb nemzeti mozgalom tehát nem csupán nyelvi program volt, hanem egy sajátos rendi-egyházi autonómiából kinövő, fokozatosan polgári-nemzeti követelésekké alakuló folyamat. Ez a kettősség – a vallási közösségből örökölt intézményi keret és a felvilágosult-nyelvi modernizáció – végigkísérte a szerb nemzeti ébredés egészét, és máig ható vitákat hagyott maga után a nemzetfogalom értelmezéséről.
A szerb nemzeti ébredés vizsgálatához többféle elsődleges forrás áll rendelkezésre, amelyek azonban egyenetlenül világítják meg a folyamatot. Az 1690–1695 közötti Habsburg kiváltságleveleket bécsi és budapesti levéltárak őrzik; ezek a dokumentumok az egyházi autonómia jogi keretét rögzítik, de a tényleges végrehajtásról keveset árulnak el. A karlócai metropólia zsinati jegyzőkönyvei, egyházmegyei összeírásai és iskolai iratai a hivatalos egyházi álláspontot mutatják, a társadalom többségét kitevő parasztok és asszonyok hangja azonban alig jelenik meg bennük. Dositej Obradović önéletírása (1783) és Jovan Rajić történeti műve (1794) nyomtatott forrásként hozzáférhetők, de mindkettő erősen szerzői programot tükröz. Vuk Karadžić 1814-es nyelvtana, 1818-as szótára, valamint népi énekgyűjteményei a nyelvi reform elsődleges dokumentumai; levelezése és Kopitarral folytatott eszmecseréje a reform keletkezéstörténetének kulcsforrása.
A bizonytalanságok elsősorban a korai modern demográfiában, az identitás fogalmi rekonstrukciójában és a nyelvi reform társadalmi fogadtatásában jelentkeznek. Az 1690-es nagy vándorlás létszámára vonatkozó adatok hiányosak; a nemzeti történetírásban elterjedt magas számok inkább a későbbi identitáspolitikai igényeket, mint a dokumentált valóságot tükrözik. A „szerb” név korabeli jelentése sem feleltethető meg egyértelműen a mai etnikai kategóriának: a forrásokban felekezeti, rendi és regionális értelemben egyaránt előfordul. A Vuk-féle reform terjedésének üteme is vitatott: az egyházi ellenállás mértékét egyes szerzők eltúlozzák, mások a reform gyors győzelmét idealizálják. A nők, a szegényparasztok és a roma közösségek identitása a 18–19. század fordulóján alig rekonstruálható, mert a rájuk vonatkozó források többsége adójellegű vagy hatósági irat, amelyben saját önértelmezésük nem jelenik meg.
A szerb és a horvát nyelvi közösség kérdése a későbbi délszláv politikai viták miatt is terhelt. A 19. században Vuk és a horvát illírek egyaránt a štokavski alapot választották, ám a közös nyelvi norma nemzeti értelmezése soha nem volt egységes. A mai történetírás és nyelvtudomány abban általában egyetért, hogy a nyelvi sztenderdizáció folyamata párhuzamosan, részben kölcsönhatásban zajlott, de a szerb, a horvát és a későbbi bosnyák sztenderdnyelvek önállósága nem vezethető le mechanikusan a 19. századi állapotokból.