1860年（万延元年）、32歳のときに大老井伊直弼の抜擢により、日米修好通商条約批准のため徳川幕府から派遣された万延元年遣米使節団に目付（正使・副使に次ぐNo.3）として参加。米艦ポーハタン号で渡米し各地を周り、幕府首脳陣からの密命であった通貨問題解決のためアメリカ政府と交渉にあたる。喜望峰廻りで地球を一周し帰国。

帰国後、幕府解散までの8年間に、4度の勘定奉行、外国奉行、軍艦奉行等、多岐にわたる役職を歴任。江戸幕府の財政再建はじめ内政・外交を支えたほか、フランスの協力を得て横須賀製鉄所（造船所）の建設、洋式軍隊の整備、日本初の株式会社である兵庫商社の設立、日本初の本格的ホテルである築地ホテルの建設、郵便制度・鉄道建設・郡県制度・中央銀行設立の提唱等、海外から得た知見をもとに日本の近代化を推し進めた。

大政奉還後、知行地である上野国群馬郡権田村に移住し、村人のため水路を整備したり塾を開く構想を立て静かな生活を送っていたところ、新政府軍に捕縛され、家臣とともに取り調べなく斬首される。享年42歳。身重の小栗夫人達は村人に守られ会津まで逃避行を遂げ、第一子である遺児を出産。