公開中で認証が不要なWebページからのデータ取り込みを行いたい場合、当社提供のクローリング機能を活用してください。
ただし、クローリングの過程でエラーや問題が発生することが考えられます。その際は、お気軽にサポート窓口へご連絡ください。お問い合わせ
以下の手順でクローリングを行うことができます
ex. https://www.notion.so/SmartSearch-d0489083dba14f54bb2fa939f134f343
クローリングの際、指定した開始URLのページ内のaタグを探索し、それを基に再起的にクローリングを行います。これにより、深くページ構造を探索することができます。
例を挙げると、Webサイト構造が以下のような場合