最初，單于説許以豐厚的奉祿和高官，但蘇武嚴辭拒絕了。匈奴見勸説沒有用，就決定用酷刑。當時正值嚴冬，天上下着鵝毛大雪。單于命人把蘇武關進一個露天的大地穴，斷絕提供食品和水，希望這樣可以改變蘇武的信念。時間一天天過去，蘇武在地窖裏受盡了折磨。渴了，他就吃一把雪，餓了，就嚼身上穿的羊皮襖，冷了，就縮在角里與皮襖取暖。過了好些天，單于見瀕臨死亡的蘇武仍然沒有屈服的表示，只好把蘇武放出來了。單于知道無論軟的，還是硬的，勸説蘇武投降都沒有希望，但越發敬重蘇武的氣節，不忍心殺蘇武，又不想讓他返回自己的國家，於是決定把蘇武流放到西伯利亞的貝加爾湖一帶，讓他去牧羊。臨行前，單于召見蘇武説：“既然你不投降，那我就讓你去放羊，什麼時候這些公羊生了羊羔，我就讓你回到中原去。”
與他的同伴分開後，蘇武被流放到了人跡罕至的貝加爾湖邊在這裏，單憑個人的能力是無論如何也逃不掉的。唯一與蘇武作伴的，是那根代表漢朝的使節和一小羣羊。蘇武每天拿着這根使節放羊，心想總有一天能夠拿着回到自己的國家。渴了，他就吃一把雪，餓了，就挖野草逮兔子，冷了，就與羊取暖。這樣日復一日，年復一年，使節上掛着的旄牛尾裝飾物都掉光了，蘇武的頭髮和鬍鬚也都變花白了。
