張大千的家族原住廣東番禺，在清康熙廿二年遷到四川，住在內江。父親號悲生，和母親曾太夫人育有十男一女，兄弟都是單名，大哥滎，二哥澤（善子），三哥信，四哥楫，五哥、六哥、七哥早故，他行八，名爰，九弟名端，十弟名璽。他生在1898年舊曆四月一日。
1916年，張大千到重慶求精中學唸書，放暑假時回內江途中，被土匪綁去當了一百天黑筆師爺。押到一個叫“千斤磅”的地方，土匪們一面休息，一面清查俘虜的底細。張大千這才弄明白，土匪把他們當肉票，要他們寫信回家去勒索錢。輪到張大千寫信時，一個姓邱的土匪一看到他的字，讚賞的叫：“這娃兒字寫得漂亮，我看留他作黑筆師爺好了！”
雖然張大千不肯，但在生死關頭，由不得他。第二天，土匪還要去打劫峯高鋪，那個姓邱的土匪派了兩個兄弟夥，一乘轎子，送張大千回龍井口窩子裏去。一路上，在路邊放哨的土匪，居然對着他的轎子行舉手禮，他弄不清該不該神氣？到了龍井口，土匪頭送他一對象牙章，帶紅結子的瓜皮帽，把他打扮成師爺樣。可是，在龍井口沒有安頓兩天，政府軍要來攻了，土匪們趕緊轉移陣地，把他移交給一個叫老康的另一個土匪頭子。
有一回，張大千被迫跟着老康去搶劫，他站在一旁看熱鬧。有人警告他説：“你也要動手拿東西，否則要犯忌諱的，黑道上的朋友不能空手而回。”他看看四周，有不少書，就在書房裏拿了一部《詩學涵英》。另一個土匪馬上訓他：“什麼不好搶？怎麼搶書？‘輸’是犯忌的。”逼他換別的，他只得拿了牆上掛的四幅《百忍圖》，和《詩學涵英》一起帶走。
“搶”到匪窟的《詩學涵英》，真派上用場。張大千學作詩，就從那時候起。俘虜中，一個受虐待的老進士還教他平仄對仗，真是少見的奇人奇事。
後來，老康暗中與官方的人接頭，接受招安，到鬆溉去接受改編。老康被改編作了連長，恢復本姓趙，而張大千就成了趙連長的司書了。過了一個多月，地方軍隊來打趙連長，把整個連都消滅了。張大千被捕後才知道，當時地方軍隊雖説招安土匪，但絕不是真的信任土匪，等到機會，安排妥當了就圍剿。所幸，張大千被捕後不久，他的四哥就趕來營救他，結束了前後整整一百天的綁票。
歷險歸來，張大千原想到上海二哥處尋師學畫，可是，父母不同意，他只得在1919年，到日本京都學染織。跟日本人賭氣在日本四年，因為賭氣，他僱用一位翻譯，而不肯説一句日本話。張大千説，世界上有兩國人最沒有語言天才，一是日本人，二是印度人，他們説英語的發音真難聽。他忍不住對一個日本人説，日本人的英文真蹩腳，而那個日本人卻説：“你不知道？亡國奴的舌頭是軟的，要侍候人當然先得學好話。”“自己學不好，反而刻薄別人！”張大千發了火，“好！我就是不學日本話，我出錢，僱日本人來侍候我。”於是，他花了幾百塊錢，僱了一個在天津長大的日本人作翻譯。
