A rendszerváltás előtt a Pénzügyminisztérium munkatársa volt, majd a bankszektorban helyezkedett el. 1992-től az OTP Bank elnök-vezérigazgatója. Magyarország egyik leggazdagabb emberének számít. Édesapja Csányi József, a jászárokszállási tsz mezőőre, édesanyja Ballagó Amália, a háziipari szövetkezetben fonalhajtója Volt. Két fiútestvére van. Szülei méhészkedéssel és háztáji cukorrépa-termesztéssel foglalkoztak. Csányi nős, öt gyermek édesapja.
Tizennégy éves koráig szülővárosában lakott, ezt követően a budapesti I. István Közgazdasági Szakközépiskola (jelenleg: Szent István SZKI) tanulója lett. 1971-ben érettségizett, majd felvették a Pénzügyi és Számviteli Főiskolára (PSZF). Főiskolai tanulmányai alatt a középiskolájának éjszakai kollégiumi nevelőtanára volt. 1974-ben szerzett főiskolai diplomát. Ennek megszerzése után először a Pénzügyminisztérium bevételi főigazgatóságán, majd a minisztérium titkárságon dolgozott 1983-ig.
Közben elkezdte a Marx Károly Közgazdaságtudományi Egyetem pénzügy szakát, ahol 1980-ban szerzett diplomát, majd egyetemi doktori címet szerzett. Disszertációja a Lakossági hitelezés és betétgyűjtés alakulása, továbbfejlesztésének lehetőségei címet viselte. 1983-ban a Mezőgazdasági és Élelmezésügyi Minisztériumba került mint osztályvezető, ami alacsonyabb beosztást, de szolgálati lakást jelentett. 1986-ban a Magyar Hitelbank főosztályvezetője, majd 1989-től az Országos Kereskedelmi és Hitelbank stratégiai vezérigazgató-helyettese lett. 1991-ben Csepi Lajos, az Állami Vagyonügynökség (ÁVÜ) akkori vezérigazgatója felkérte Csányit a Budapest Bank (BB) elnök-vezérigazgatói posztjára. Csányi elfogadta a felkérést, később azonban pályázati úton kívánták betölteni a tisztséget. Csányi ekkor közölte, hogy nem pályázik, ekkor arra kérték, hogy egy önéletrajzot adjon be, de ezt sem tette meg.
1992-ben a OTP Bank Rt. elnök-vezérigazgatójává nevezték ki. Először átalakította a bank vezetését, majd a privatizáció után is megtarthatta tisztségét és jelentős tulajdonrészt szerzett a vállalatban. A bank később kiterjedt a környező országokra is, így pl. Szerbiába és Romániába. 1997 és 2008 között a Magyar Bankszövetség elnökségi tagja volt.
Banktevékenységén túl 1998-ban rövid ideig a Malév felügyelőbizottságának elnöke volt, később az Europay (1998-től), a Tiszamenti Vegyiművek Rt. (1998–1999), a Matáv Rt. (2000–2003) igazgatótanácsának tagja volt. Emellett több éven át a Mol Rt. igazgatóságának alelnöke. Emellett 1997 és 2000 között a Magyar Kereskedelmi és Iparkamara, valamint 2002 és 2008 között a Magyar Közgazdasági Társaság alelnöke volt. 2002-ben a Vállalkozók Országos Szövetsége társelnökévé választották. 2003-tól a Prima Primissima-díj kuratóriumának elnöke. 2004-ben a Nyugat-magyarországi Egyetem címzetes egyetemi tanárává avatta. 2010-ben a Magyar Labdarúgó-szövetség elnökévé választották.
Befektetési portfóliója az elmúlt egy évtizedben egyre terebélyesedett: a borászattól, a hús- és tejipartól az ingatlanokon át a telekommunikációig számos vállalatot vett, és működtet. 2004-ben 75%-os tulajdont vásárolt a Magyar Lőszergyártó Rt-ben, 2005 januárjában százszázalékos tulajdonosa lett a légijármű-kölcsönzéssel, illetve nem menetrendszerű légi szállítással foglalkozó Alexand-Air Kft.-nek. Nathaniel Rothschilddel 2005 augusztusában megvásárolta a Demján Sándor vezette Trigánit 25%-os tulajdonhányadát. Tulajdonában van a Sole-Mizo Zrt., a Délhús és más élelmiszer-ipari vállalat is.