Joeova palača istražuje odnos između dva središnja lika: Elliota Grahama (Michael Gambon), povučenoga milijardera, i tinejdžera Joea (Danny Lee Wynter), sina čistačice koja se brine o velikoj, praznoj Elliotovoj vili. Elliot živi u blizini, ali ne može živjeti u toj kući nalik na palaču koju je naslijedio. U njoj ima previše odjeka prošlosti. Kuća je nekoć bila mjesto raskošnih zabava i večera, a sad je postala nasljeđe koje guši i progoni Elliota, prepuno misterija i neodgovorenih pitanja. Dijelom dostavljač, a dijelom štićenik, Joe je Elliotova veza s vanjskim svijetom, dok se njihova priča i priče posjetitelja prazne građevine odbijaju od zidova i odjekuju.
Ambiciozni ministar Richard (Rupert Penry-Jones) u Elliotovoj praznoj vili održava nedopuštenu vezu sa Charlotte (Kelly Reilly). Ljubavnicima ta građevina pruža luksuzno utočište, ali kako vrijeme prolazi, postaje sve sličnija zatvoru. Joe, Elliot i Tina (Rebecca Hall), mlada žena s kojom se sprijatelje u lokalnoj delikatesnoj trgovini, udružuju snage i otkrivaju mračnu tajnu u Elliotovoj prošlosti.