1951年近代物理研究所全體人員，1954年初全部遷入原子能樓。前排左起：胡文琦、肖振熹、鄧稼先、彭桓武、趙忠堯、錢三強、何澤慧、肖健、王素銘。中排左起：金建中、彭XX、畢先文、黃祖洽、蔣錚、李德平、陸祖蔭、劉杰、葉銘漢、殷鵬程、許槑、忻賢杰。后排左起：葉恭先、XXX、XXX、周中治、白國良、李壽楠、盧竹軒、容霖漢、XXX、高義、王平、于敏、陳耕燕。

當(dāng)時，此樓成為中關(guān)村科學(xué)城中的第一家研究機構(gòu)，稱為“中關(guān)村物理樓”。1958年，更名為“原子能研究所”，原子能樓由此得名。

中科院辦公廳原副主任柳懷祖回憶說：“當(dāng)時物理所是按照最好的標(biāo)準(zhǔn)建造，鋼筋混凝土結(jié)構(gòu)，地板是水磨地，質(zhì)量非常好。唐山大地震時，北京地區(qū)很多建筑都有不同的受損，但是這座樓仍‘固若金湯’。”

大樓是中關(guān)村地區(qū)第一棟現(xiàn)代化的科研建筑，一共五層。西側(cè)是靜電加速器的大廳，有四層樓高，安裝的是70萬伏大氣型質(zhì)子靜電加速器和250萬伏高氣型質(zhì)子靜電加速器。由于體量太大，在樓西側(cè)還留下兩層貫通的入口，并在樓頂特制三角頂板。大廳安裝了起重吊車，吊車可以伸到大廳的外面，為的就是把250萬伏高氣型質(zhì)子靜電加速器的鋼筒等設(shè)備運進樓內(nèi)。該樓還建有半地下室，半地下室西邊是庫房，東邊是工廠，搞機械加工。

70萬伏的質(zhì)子靜電加速器是我國第一臺粒子加速器，1958年被運往新建的中國科技大學(xué)供教學(xué)使用。而那臺250萬伏質(zhì)子靜電加速器至今還在這座樓中。