Petualangan Khedira berlanjut setelah pada tahun 2010 Real Madrid memboyongnya. Pelatih Madrid saat itu, Jose Mourinho, secara spesial memasukkan Khedira sebagai syarat untuk dibeli agar dirinya mau menangani Los Galacticos. Tak heran karena Mourinho memang dikenal sangat senang dengan para pemain bertahan yang kuat.
Bersama rekan senegaranya, Mesut Ozil, Khedira langsung menjadi kekuatan utama di lini tengah Real Madrid. Dia membuat para pemain yang lebih senior seperti Lassana Diarra, Fernando Gago dan Mahamadou Diarra lebih banyak duduk di kursi bangku cadangan.
Pada tahun keduanya di Spanyol, Khedira ikut mengantarkan Real Madrid memenangkan LaLiga. Tak hanya itu, Madrid juga membukukan rekor dengan meraih 100 poin dan keunggulan 15 poin yang belum pernah terjadi sebelumnya atas rival bebuyutan Barcelona.
Cristiano Ronaldo, Mesut Ozil, Karim Benzema, Kaka, dan Gonzalo Higuain mungkin menjadi bintang tim Madrid saat itu, tetapi mereka tidak akan bisa menjadi unit penyerang yang mematikan tanpa kehadiran Khedira di lini tengah.
Pergantian pelatih dari Jose Mourinho ke Carlo Ancelotti pada musim 2013-2014 tak membuat posisi Khedira tersingkir di skuad Real Madrid. Sempat terganggu cedera ligamen di tengah musim, Khedira kembali pada saat yang tepat.
Dia cukup beruntung bermain di final Liga Champions musim itu karena absennya Xabi Alonso yang harus menjalani hukuman akumulasi kartu kuning.
Khedira menjadi starter pada partai final kontra Atletico Madrid di Lisbon, Portugal. Real Madrid menang 4-1 atas rival sekotanya itu dan merebut gelar Liga Champions kesepuluh dalam sejarah klub itu, sekaligus yang pertama dan terakhir bagi Khedira.
