すたらSample

[ ... ] (1文字でくくられた文字列)

くくり文字が1文字なら、苦労はありません。

/\[([^\[\]\s　]+)/g

[aaa[bbb][ccc ddd[][ eee検出

[start] ... [end] (2文字以上でくくられた文字列)

文字列をくくり文字とすると、難解になります。
否定先読みを利用して抽出しています。

/\[start\]((?:(?!\[start\]|\[end\])[^\s　])+)/g

[start]aaa[start]bbb[end][start]ccc[end2][start]ddd eee[start][end][start] fff検出

[ ... ]

上の正規表現は、1文字のくくり文字でも有効です。

/\[((?:(?!\[|\])[^\s　])+)/g

[aaa[bbb][ccc ddd[][ eee検出

[ ... ] (1文字でくくられた文字列)

/\[([^\[\s　]+)\]/g

[aaa[bbb][ccc ddd[][ eee検出

[start] ... [end] (2文字以上でくくられた文字列)

/\[start\]((?:(?!\[start\])[^\s　])+)\[end\]/g

[start]aaa[start]bbb[end][start]ccc[end2][start]ddd eee[start][end][start] fff検出