Databricks Certified Generative AI Engineer Associate 試験勉強まとめ
Contents
試験勉強に使用した教材
公式
その他
試験結果
- Design Applications : 100 %
- Data Preparation : 71 %
- Application Development : 78 %
- Assembling and Deploying Apps : 70 %
- Governance : 100 %
- Evaluation and Monitoring : 80 %
まとめ
試験対策
| 質問 | 回答 |
|---|---|
| チャンキング戦略とパラメータを最適化するために、ジェネレーティブAIエンジニアが取るべき2つの戦略はどれか？ | 適切な評価指標（リコールやNDCGなど）を選択し、段落や章ごとにチャンクを分割するなど、チャンキング戦略を変更して実験する。最も良いパフォーマンス指標を与える戦略を選択する。/ LLM-as-a-judgeメトリックを作成し、過去の質問に対して最適なチャンクでどの程度答えられるかを評価する。メトリックの値に基づいてチャンキングパラメータを最適化する。 |
| ジェネレーティブAIエンジニアが、新しいスポーツを学ぶ際に技術的な規則に関するユーザーの質問に答えるためのRAGアプリケーションを設計しています。このRAGアプリケーションを構築し、デプロイするために必要なステップは何ですか？ | Ingest documents from a source –> Index the documents and save to Vector Search –> User submits queries against an LLM –> LLM retrieves relevant documents –> LLM generates a response -> Evaluate model –> Deploy it using Model Serving |
| あるAIエンジニアは、あるデジタルマーケティング企業で、カスタマーサービスからの問い合わせに対応するLLMアプリケーションをデプロイしたばかりです。本番稼動中のカスタマーサービスLLMアプリケーションで監視すべき指標はどれですか？ | 単位時間当たりに処理された顧客からの問い合わせの数 |
| ジェネレーティブAIエンジニアは、新たにスコープされたプロジェクトに最適な社員メンバーを提案するジェネレーティブAIシステムを構築している。チームメンバーは非常に大規模なチームから選ばれる。マッチングは、プロジェクトの日程の都合と、従業員のプロフィールがプロジェクトのスコープにどれだけマッチしているかに基づいて行われる。従業員プロファイルとプロジェクトスコープはどちらも構造化されていないテキストです。ジェネレーティブAIエンジニアはどのようにシステムをアーキテクトすべきか？ | プロジェクトの日程から利用可能なチームメンバーを見つけるツールを作成する。チームプロファイルをベクトルストアに埋め込み、プロジェクトスコープとフィルタリングを使用して検索を実行し、利用可能なベストマッチのチームメンバーを見つける。 |
| ジェネレーティブAIエンジニアは、LLMを活用したスポーツ実況解説プラットフォームを設計している。このプラットフォームは、古くなる可能性のある一連のニュース記事を読むのではなく、ライブの要約を希望するユーザーのために、リアルタイムの最新情報とLLMが生成した分析を提供する。最新のゲームスコアに基づいてゲーム分析を生成するために、プラットフォームがリアルタイムのデータにアクセスできるツールはどれか？ | Feature Serving |
| あるAIエンジニアは、RAGアプリケーションの一部としてプロビジョニングされたスループットモデルのサービングエンドポイントを持っており、サービングエンドポイントの受信リクエストと送信レスポンスを監視したいと考えている。現在のアプローチは、エンドポイントとユーザーインターフェースの間にマイクロサービスを組み込み、リモートサーバーにログを書き込むことです。同じタスクを実行するために、代わりにどのDatabricks機能を使うべきでしょうか？ | Inference Tables |
| ジェネレーティブAIエンジニアは、攻撃的な出力に対処することでRAGの品質を向上させる任務を負っている。攻撃的なテキスト出力の問題を軽減するのに最も効果的なアクションはどれか？ | RAGシステムに投入する前に、手動レビューを含む適切なアップストリームデータのキュレーションを行う。 |
| あるジェネレーティブ・アル・エンジニアがLLMベースのアプリケーションを作成している。そのリトリーバー用のドキュメントは、それぞれ最大512トークンにチャンクされている。Generative Al Engineerは、このアプリケーションでは品質よりもコストとレイテンシが重要であることを知っている。彼らはいくつかのコンテキスト長レベルから選ぶことができる。どれが彼らのニーズを満たすだろうか？ | context length 512: smallest model is 0.13GB and embedding dimension 384 |
| がん研究分野の小規模でコスト意識の高い新興企業が、Foundation Model APIを使用してRAGアプリケーションを構築したいと考えています。この新興企業が、コストに配慮しつつ、顧客のニーズに応えながら、良質なRAGアプリケーションを構築することを可能にする戦略はどれか。 | ドメインに特化した小規模なLLMを選択する。 |
| マルチステップLLMベースのワークフローを構築するのに最も適したライブラリーは？ | LangChain |
| LLMアプリケーションを開発する場合、モデルのトレーニングに使用するデータが法的リスクを回避するためにライセンス要件に準拠していることを確認することが極めて重要です。法的リスクを避けるために適切でない行動はどれですか？ | モデルの使用を開始した後にデータキュレーターに直接連絡して知らせる。 |
| ジェネレーティブAIエンジニアがLangChainのシンプルなプロンプトテンプレートを以下のコードでテストしていますが、エラーが発生します。APIキーが適切に定義されていると仮定して、Generative AI Engineerは彼らのチェーンを修正するためにどのような変更を行う必要がありますか？ | 使用するLLMモデルのインスタンス化 |
| あるジェネレーティブAIエンジニアは、1918年のニュース記事からユーザーのクエリに関連する記事を検索して要約するLLMシステムを作成している。このエンジニアは要約がうまく生成されることに気づいたが、しばしば要約がどのように生成されたかの説明も含まれており、これは望ましくない。この問題を軽減するために、ジェネレーティブAIエンジニアが実行できる変更はどれか？ | システムおよび／またはユーザー・プロンプトに、希望する出力フォーマットの例をいくつか示す。 |
| Generative Al Engineerは、会社の内部方針に関する質問に答えるLLMアプリケーションを開発した。ジェネレーティブAIエンジニアは、アプリケーションが幻覚を見たり、機密データを漏えいしたりしないようにしなければならない。幻覚や機密データの漏洩を軽減するために使用してはならないアプローチはどれか？ | データ上でモデルを微調整し、何が適切で何が適切でないかを学習させる。（ファインチューニングだけではハルシネーションを防ぐことはできない。まらファインチューニング時に機密データの情報が学習に使用されてしまう。） |
| ジェネレーティブAIエンジニアは、製品の在庫状況について問い合わせる顧客からの電話に対して訓練されたプロンプト／レスポンス動作を持つLLMとインターフェースをとる。LLMは、製品が入手可能な場合は「在庫あり」、そうでない場合は「在庫切れ」のみを出力するように設計されています。エンジニアがコール分類ラベルに正しく応答できるようにするには、どのプロンプトが有効ですか？ | 顧客から製品の在庫状況について質問された通話記録が渡されます。出力は「在庫あり」か「在庫切れ」のどちらかです。出力をJSONでフォーマットする： {「call_id」： 「123「, 」label"： 「在庫あり"}。 |
| あるジェネレーティブAIエンジニアは、社内の専門家からなる少人数のグループが、社内の知識ベースで補強された特定の質問に答えるのを助けるRAGアプリケーションの開発を任されている。彼らは回答において可能な限り最高の品質を求め、ユーザーグループが小規模であり、彼らが最高の回答を待つことを厭わないことを考えると、待ち時間もスループットも大きな懸念事項ではない。トピックは本質的にデリケートであり、データは非常に機密性が高いため、規制上の要件により、どの情報も第三者への送信は許可されていない。このような状況で、ジェネレーティブAIエンジニアのニーズをすべて満たすモデルはどれか？ | |
| Llama2-70B (大規模モデルによる高度な理解と生成能力、サードパーティへのデータ送信不要、オンプレミス環境での完全な機密性確保) | |
| 生成AIエンジニアが、LLMベースの質問応答アプリケーションの構築を依頼された。このアプリケーションは、頻繁に発表される新しい文書を考慮しなければならない。エンジニアは、このアプリケーションを最小のコストと最小の開発工数で構築し、可能な限り低コストで運用したいと考えています。このような要件を満たすチェーンコンポーネントと構成の組み合わせはどれか。 | プロンプト、リトリーバー、LLMを使用し、リトリーバーの出力をプロンプトに挿入してLLMで回答を生成する。 |
| あるジェネレーティブAIエンジニアが、お気に入りのモンスタートラックチームのためにエージェントベースのLLMシステムを作っている。このシステムは、モンスタートラックチームに関するテキストベースの質問に答えたり、APIコールを介してイベントの日付を調べたり、チームの最新の順位に関するテーブルを照会したりすることができる。ジェネレーティブAIエンジニアは、どのようにこれらの機能をシステムに組み込むのがベストでしょうか？ | エージェントに利用可能なツールを一覧で示すシステムプロンプトを作成し、クエリを解決するために複数の呼び出しを行うエージェントシステムに組み込む。 |
| ジェネレーティブAIエンジニアは、次のビジネス目標を達成するLLMベースのアプリケーションの設計を依頼されました。人事のPDF文書を使用して、従業員の人事に関する質問に答える。生成AIエンジニアのシステムが実行すべき高レベルのタスクはどれですか？ | HRドキュメントをチャンクに分割し、ベクトルストアに埋め込む。従業員の質問を使って、最もよくマッチした文書の塊を検索し、LLMを使って、検索された文書に基づいて従業員への回答を生成する。 |
| あるエレクトロニクス企業のジェネレーティブAIエンジニアは、顧客が同社が扱う製品について質問するためのRAGアプリケーションを導入したばかりだ。しかし、RAGの応答がしばしば無関係な製品に関する情報を返すというフィードバックを受けました。RAGの回答の関連性を改善するために、エンジニアは何ができるでしょうか？ | 検索されたコンテキストの品質を評価する。(リランキングメカニズムの導入、関連性スコアの閾値設定、セマンティック類似性の精度向上、メタデータフィルタリング、ドキュメント関連性の事前評価) |
| ジェネレーティブAIエンジニアは、保険関連のクエリでユーザーを支援するように設計されたチャットボットを開発しています。このチャットボットは大規模言語モデル（LLM）上に構築され、会話形式で行われます。しかし、チャットボットのフォーカスを維持し、会社のポリシーに準拠するためには、政治に関する質問に対して回答を提供してはならない。代わりに、政治的な問い合わせがあった場合、チャットボットは標準的なメッセージで応答する必要がある：「申し訳ありませんが、お答えできません。私は保険に関する質問にしか答えられないチャットボットです。」これを解決するために実装すべきフレームワークのタイプはどれか？ | Safety Guardrail |
| あるジェネレーティブAIエンジニアは、LLMベースのソリューションを構築し、一般的な顧客からの問い合わせに自動的に対応することで、レストランのオンライン予約における顧客体験の向上を支援したいと考えている。このソリューションの目標は、パーソナライズされたインタラクションを維持しながら、人的介入や電話へのエスカレーションを最小限に抑えることである。ソリューションを設計するために、ジェネレーティブAIエンジニアは、LLMへの入力データとLLMが実行すべきタスクを定義する必要がある。どの入力と出力のペアが彼らの目標をサポートするでしょうか？ | 入力： オンラインチャットログ; 出力： 出力：予約詳細の選択肢を表すボタン |
| LLMにプロンプトを送信する前に、カスタムコードを使用してプロンプトを前処理する効果的な方法は何ですか？ | MLflow PyFuncモデルを作成し、プロンプトを処理するための別の関数を持つ。 |
| あるジェネレーティブAIエンジニアが、ユーザーが自分の名前に基づいてパーソナライズされた誕生日の詩を生成するために使用できるLLMアプリケーションを開発している。悪意のあるユーザー入力の可能性を考慮すると、アプリケーションを保護するために最も効果的な技術はどれか。 | |
| 有害な入力を検出するセーフティフィルタを実装し、LLMに支援できない旨の応答を求める。 | |
| 翻訳ユースケースに対するLLMの応答を定性的に評価する場合、LLM出力の安全性を評価するために考慮すべき指標はどれですか？ | 応答の正確さと関連性 |
| あるジェネレーティブAIエンジニアは、患者向けのヘルスケアに特化したチャットボットを開発しています。患者の質問が医療上の緊急事態でない場合、チャットボットは患者から医院に渡すための詳細情報を求め、事前に承認された関連する医療記事をいくつか提案し、読むように勧めます。患者の質問が緊急の場合は、地元の救急サービスに電話するよう患者に指示します。「ここ2日間、ひどい頭痛とめまいがします。」のようなユーザー入力があった場合、チャットボットが生成する最も適切な応答はどれですか？ | お近くの救急隊にご連絡ください。 |
| Generative AI エンジニアは、最大 1 億個の埋め込みを読み込むベクターデータベースに 1 億 5,000 万個の埋め込みをロードしています。レコード数を減らすために実行できる 2 つのアクションはどれですか? | ドキュメント チャンク サイズを増やす / チャンク間の重複を減らす |
| Generative AI エンジニアは、自動車部品の販売を支援するために開発中の顧客向け GenAI アプリケーションからの応答を評価しています。このアプリケーションでは、顧客が質問に回答するために、account_id と transaction_id を明示的に入力する必要があります。最初のリリース後、顧客からのフィードバックでは、アプリケーションは注文と請求の詳細にはうまく回答しているが、配送と予想到着日に関する質問には正確に回答していないというものでした。次のレシーバーのうち、これらの質問に回答するアプリケーションの機能を向上させるものはどれですか。 | 請求書データと予想配達日が入力された、transaction_id を主キーとする機能ストアテーブルを作成する。 |
| ソース ドキュメントからテキストを抽出するには、どの Python パッケージを使用する必要がありますか? | pytesseract |