Narodowcy wraz z środowiskami konserwatywnymi reprezentującymi opcję prorosyjską, w Warszawie w listopadzie 1914 r. powołali Komitet Narodowy Polski, który nawoływał przede wszystkim do walki z Niemcami, których uznano za najważniejszych wrogów Polski. KNP próbował utworzyć niezależne wojsko polskie, tzw. Legion Puławski, jednak przedsięwzięcie to nie udało się z powodu braku zaangażowania władz rosyjskich, które jedynie ograniczyły się do ogólnikowych deklaracji w sprawie przyszłego zjednoczenia ziem polskich.

W kolejnym roku ofensywa niemiecka doprowadziła do zajęcia Warszawy przez Niemców. Wobec takiej sytuacji środowisko KNP zdecydowało się na przeniesienie się do Rosji. Od 1916 r., wobec słabnięcia Rosji, Dmowski uznał, że należy skupić się na zachodnich sojusznikach i we Francji oraz Wielkiej Brytanii rozpoczął kampanię na rzecz odbudowy niepodległej Polski.

Po rewolucji lutowej w Rosji Dmowski wraz z współpracownikami i sojusznikami 15 sierpnia 1917 r. w Lozannie utworzyli nowy Komitet Narodowy Polski, na czele którego stanął sam Dmowski. Innymi jego członkami byli konserwatysta Erazm Piltz czy hrabia Maurycy Zamoyski, jeden z najbogatszych Polaków, z którego pieniędzy była finansowana działalność organizacji. Innym istotnym jego członkiem był pianista i późniejszy premier Polski Ignacy Jan Paderewski, pracujący na rzecz rodaków w Stanach Zjednoczonych.

Komitet Narodowy Polski stał się ciałem uznawanym przez państwa Ententy za politycznego partnera i przedstawiciela Polaków w relacjach międzynarodowych.  Z inicjatywy Komitetu m.in. została utworzona Armia Polska we Francji, licząca ok. 100 tys. żołnierzy, z gen. Józefem Hallerem na czele, nazywana od kolorów mundurów Błękitną Armią. Jesienią 1918 roku za pośrednictwem Komitetu Piłsudski jako Naczelnik Państwa uzyskał międzynarodowe uznanie dla odbudowywanego państwa. Również na bazie Komitetu, poszerzonego o przedstawicieli rządu w Warszawie, sformowana została delegacja polska na konferencję pokojową w Paryżu w 1919 r.

Gdy wybuchła wojna Piłsudski nakazał mobilizację Strzelca, Związku Strzeleckiego i Polskich Drużyn Strzeleckich. Z ich członków wywodziły się 144 osoby, które weszły w skład Pierwszej Kompanii Kadrowej, która miała stać się kadrą przyszłej armii polskiej. Piłsudski stanął na czele oddziału, który zorganizował się w koszarach przy krakowskiej ulicy Oleandry. Stąd 6 sierpnia 1914 roku Pierwsza Kompania Kadrowa wyruszyła i przekroczyła granicę austriacko-rosyjską. Zamiarem Piłsudskiego było wywołanie powszechnego, antyrosyjskiego powstania. Zamiar ten skończył się jednak porażką – powstanie nie wybuchło. Jesienią dzięki porozumieniu rządu i polskich stronnictw politycznych z Galicji stojących na stanowisku lojalności wobec Austro-Węgier utworzono Legiony Polskie złożone z trzech brygad. Dowódcą Pierwszej Brygady mianowano Józefa Piłsudskiego. Piłsudskiemu nie ufano, ale sądzono, że włączenie go Legionów pozwoli zachować kontrolę nad jego działaniami. Legiony walczyły przeciwko Rosji do 1917 roku, kiedy to Piłsudski wezwał żołnierzy do odmowy złożenia przysięgi na wierność cesarzowi Niemiec. W wyniku tego oddziały zostały rozwiązane. Legioniści, którzy odmówili przysięgi, w tym Józef Piłsudski, zostali internowani, a pozostałych wcielono do powołanego pod komendą niemiecką Polskiego Korpusu Posiłkowego.