Zgrada Knjižnice i opere Haskell nalazi se točno na međunarodnoj granici između Sjedinjenih Država i Kanade. I to nije slučajno: bogata obitelj Haskell odabrala je lokaciju na samoj granici kako bi sagradila kulturnu ustanovu koju će u jednakoj mjeri koristiti i Amerikanci i Kanađani.
Elegantna viktorijanska zgrada sagrađena je između 1901. i 1904. godine. Njezinu izgradnju naručila je Martha Stewart Haskell iz gradića Derby Linea u američkoj saveznoj državi Vermont, kojega od obližnjeg kanadskog gradića Stansteada dijeli samo međunarodna granica. Martha Haskell naslijedila je bogatstvo od pokojnih roditelja Horacea Stewarta i Catherine Hinman porijeklom iz Quebeca, te od supruga Carlosa Haskella, poslovnog čovjeka koji je tragično poginuo u relativno mladoj dobi.
Martha je željela ostaviti nešto svojoj zajednici i budućim naraštajima, pa je zajedno sa sinom Horaceom došla na sasvim originalnu ideju: sagradit će besplatnu javnu knjižnicu i operu. Međutim, postavilo se pitanje gdje će se zgrada nalaziti. Kako je Martha imala mješovito američko-kanadsko podrijetlo i čitav je život bila vezana za obje zemlje, odlučila je zgradu sagraditi na samoj granici. Lokalne američke i kanadske vlasti nisu u tome vidjele nikakav problem - naprotiv, to im se učinilo kao dobra ideja koja će privlačiti turiste u to zabačeno pogranično područje.
Doista, otkad je zgrada sagrađena, posjećuju je deseci tisuća ljudi svake godine - Amerikanci i Kanađani, ali i turisti iz čitavog svijeta - a u objema zemljama stavljena je na popise nacionalne kulturne baštine. Zgrada Haskell ima dvije ravnopravne adrese: 93 Caswell Avenue, Derby Line, Vermont, i 1 Church Street, Stanstead, Quebec. Zbirka knjižnice i operna pozornica nalaze se u Kanadi, ali glavni ulaz i većina sjedala u dvorani opere nalaze se u SAD-u. U šali se zbog toga Haskell ponekad naziva 'jedinom knjižnicom u SAD-u bez knjiga' i 'jedinom opernom kućom u Kanadi bez publike'.
S kanadske strane nema službenog ulaza, ali postoje požarne stepenice i izlaz u slučaju nužde. Svi posjetitelji stoga moraju ulaziti u zgradu s američkog teritorija, a onima koji dolaze iz Kanade omogućen je pristup bez potrebe da se prijave carini ali uz obavezno korištenje propisane rute preko nogostupa u Church Streetu, pod uvjetom da se istim putem vrate u Kanadu odmah po izlasku iz zgrade.
Obitelj Haskell zgradu je donirala gradovima Derby Lineu i Stansteadu, a danas njome upravlja privatni međunarodni odbor u kojemu su četiri američka i tri kanadska člana. Ipak, da ne bi bilo nikakve zabune, posred zgrade - ispod sjedala operne dvorane i dijagonalno preko središnje čitaonice knjižnice - prolazi debela crna linija kako bi označila međunarodnu granicu između dviju zemalja.