こんにちは！プロダクト部の小西です。
私は、コンテンツや情報セキュリティ関連の業務に加え、プロダクトの品質を保証するテスターを務めています。
開発現場でのAIの活用が日々広がっていますが、テスターの業務についてもAIを活用しています。AIエージェント「Devin」を使ってテスト仕様書を作成し、その効果を検証した結果をお話しします。
Devinとは？
Devinは、「世界初のAIソフトウェアエンジニア」と謳われる、自律型AIエージェントです。弊社では2025年1月からDevinの利用をスタートし、開発業務の特に小さめのタスクを処理するときに活用しています。
Devinを含めた開発現場でのAIツールの使い分けの過去記事はこちら。
Devin活用のきっかけ：テスト仕様書作成の課題
開発業務において、テスト仕様書の作成は重要な工程です。しかし、これがまた時間のかかる作業で、仕様書を読み込み、理解し、テストパターンを一つひとつ洗い出す…。この手動での作業に多くのリソースが割かれていました。
「この作業をAIで効率化できないか？」
そう考え、Devinに以下のプロンプトを読み込ませてテスト仕様書の作成を試みました。
【プロンプト例】
ユーザーストーリーの内容を元に以下の項目が含まれたテスト仕様書を作成してください。
- 影響ページURL
- テスト条件
- テスト手順
- 期待される出力
作業時間25%削減、そして品質向上も
Devinにプロンプトを読み込ませたところ、数秒後にはテスト仕様書のドラフトが完成します。
手動での作成時と比べてみたところ、Devinを活用した場合は、テスト計画書作成にかかる時間を約25%削減することができました。これは非常に大きな成果です。
しかし、出力された内容をそのまま使うことはできませんでした。Devinが生成したテスト仕様書には、やはり手直しが必要な部分がありました。
とはいえ、ゼロから仕様書を作成するのとは全く違います。Devinが叩き台を作ってくれたおかげで、仕様書と見比べながら、添削と修正を行うだけで済みます。これにより、仕様書の内容をすべて読み解くという、時間のかかる作業を大幅に短縮できました。
特にAIのパワーを感じたのが、テストパターンの網羅性です。手動でテスト仕様書を作成する際には見落としがちな、より細かいテストパターンを多数提案してくれました。これにより、テストの精度が向上し、リリース後のバグ発生リスクを低減できるという、品質面での大きなメリットも得られました。
まとめ：Devinは「優秀なアシスタント」
今回の検証で分かったのは、Devinはすべての作業を完璧にこなしてくれる「魔法のツール」ではないということです。やはりDevinのアウトプットにはレビューと手直しが必要です。しかし、非常に優秀な「アシスタント」として、作業を強力にサポートしてくれます。
「AIに仕事を奪われる」のではなく、「AIをいかに活用するか」
Devinと一緒にテスト業務を進めていると、AIが人間の創造性や判断力を代替するのではなく、それらを最大限に引き出すためのツールだと日々実感しています。今後も、新しいツールを積極的に活用し、開発プロセス全体の効率と品質を高めていきたいと考えています。
AIを活用したプロダクト開発に興味がある方を積極的に募集していますので、ぜひお問い合わせください。
（小西）
