Frank James se pět měsíců po bratrově smrti sám dobrovolně vzdal. Souzen byl pouze za dvě z mnoha loupeží, nakonec byl ale osvobozen. Následujících třicet let se stále stěhoval a vystřídal nejrůznější zaměstnání. Pracoval například jako prodavač bot nebo kontroloval vstupenky v divadle, kde se hrála burleskní představení. Stáří dožil na rodné farmě, kde za 25 centů provázel zvědavé turisty. Zemřel 18. února 1915 ve věku 72 let. Zanechal po sobě syna Roberta a manželku Annie.