Počátky města sahají do 2. poloviny 13. století, kdy se za vlády Přemysla Otakara II. začala rozrůstat slovanská osada „Oustí“. Později bylo Ústí v majetku církve a řady významných šlechtických rodů. V 16. století se úspěšně rozvíjela řemesla, především tkalcovství. Po výstavbě železnice v roce 1845 zde zahájily výrobu textilní továrny, a právě prudký rozvoj textilní produkce přinesl městu označení „východočeský Manchester“. Dnes je jedním z center Podorlicka, historickým i průmyslovým městem a železniční křižovatkou.