結論から書くと、デフォルトで使ってる限り枠が表示される
TeXShopやMacデフォルトのプレビューで見えないのは、ビューワーのせいらしい
■ 参考 : no border around hyperlinks with hyperref
↑のリンク先にあるAnswerの画像がとてもわかりやすい
逆にこの枠があると困る場合は、hidelinksのオプションを追加する
\usepackage[dvipdfmx, hidelinks]{hyperref}
他にもリンクしている部分を色付けたいときは
ただし全部に目次とかのページも色が付くのでそこだけ外すとかした方がいいかもしれないけど
\usepackage[dvipdfmx, colorlinks=true]{hyperref}