Multi-source search & quantitative analysis for AI: Meta-Search (SearXNG 70+ engines + 14 Vertical Engines) → Crawl & Extract → Dedup/Consensus/Rerank → Synthesize with
[n]citations, packaged as REST API + SSE Streaming + MCP Server + Automated Daily Briefings Blog + Web UI. Hệ thống tìm kiếm đa nguồn & phân tích định lượng phục vụ AI: Meta-Search (SearXNG 70+ engines + 14 Vertical Engines) → Crawl & Extract → Dedup/Consensus/Rerank → Synthesize có trích dẫn[n], đóng gói thành REST API + SSE Streaming + MCP Server + Automated Daily Briefings Blog + Web UI.
Languages: English · Tiếng Việt
A multi-source search & quantitative analysis system for AI: Meta-Search (SearXNG 70+ engines + 14 Vertical Engines) → Crawl & Extract → Dedup/Consensus/Rerank → Synthesize with
[n]citations, packaged as REST API + SSE Streaming + MCP Server + Automated Daily Briefings Blog + Web UI.
Status: v3.3.0 — Omni-Channel Equity Sentiment (docs/27), Streaming Rich-Content Web UI (docs/28), Unified Extractive run_digest & Boundary Convergence (docs/29), Full-App mypy & UI Parity (SentimentPanel, SpacesPanel, Watchlist Podcast), preceded by v3.2.0 (docs/25, docs/26):
-
v3.3.0 Convergence, Quant Grounding & Web UI Parity (docs/27, docs/28, docs/29):
-
Omni-Channel Bilingual Equity Sentiment (
docs/27): 5-layer VI/EN query fan-out + quantitative gateways, anti-collision entity resolution (VNM,GAS,SSI,FPT,POW), coordinated social seeding / unverified rumor filtering,Tier_Weight × Time_Decay, Loughran-McDonald TF-IDF + Tetlock pessimism + consensus polarization, CNN Fear & Greed (0..100), 7-pillar quantitative checklist, live^VIX/^VIX3Mproxies (Yahoo Finance v8keyless) & keylessSimplizeVN FA fallback (POST /v1/market/sentiment, MCPequity_sentiment), with strictnullhandling and no fabricated figures. -
Streaming Rich-Content Web UI (
docs/28) & Parity Tabs: upgradedAnswerMarkdown(lazy Prism code blocks, KaTeX math withtrust: false& currency guards, serial strict-sandbox Mermaid diagrams,O(n)bounded emphasis scanning, StrictMode pacing gate), added📊 Tâm lý & Dòng tiền(SentimentPanel.tsx+ cross-link fromComparePanel.tsx),🗂️ Spaces & KG(SpacesPanel.tsxCRUD/Crawl/202 KG build+poll/query +POST /v1/hybrid),🎧 Podcast Watchlist(/v1/podcast/personal*inNewsPanel.tsx), and🌐 Bản tin chung(run_digestbadge & sort-first). -
Unified Extractive Digest & Hardening (
docs/29): strictly extractiveAutomatedScannerpublishing unifiedrun_digestbriefings with optional opt-in guarded synthesis (SCHEDULER_LLM_SYNTHESIS_ENABLED=falsedefault, SEC-07 delimiters,validate_citations, 12s fail-open), serialized SQLite writes (sqlite_write_lock()),DEFER-A/B/Chardening (admissionLRU,auth/v1/hybridcost, CSV formula escaping, min-heap cache TTL, SSRF TOCTOU re-checks), and full-appmypyenforced across allapp/(159files) plustests/test_proposals_wave.py.
-
Omni-Channel Bilingual Equity Sentiment (
-
v3.2.0 4-Repo AI Infra Integration (docs/25): Native in-repo (Lite-safe) integration of
OmniRoute(17KEY_FORMAT_SPECS, SSRF-safe live key probing via shared HTTP pool,ProviderHealthTracker+ EWMA/breaker failover routing,LLM_ALLOW_KEYLESS_FALLBACK=false),headroom(ContentRouter+SmartCrusher+ verbatimSearchCompressorwith 4 skill-driven compression profiles +CacheAlignermemory delimiters),one-skill-to-rule-them-all(10 unified skills + boundedTaskObservertelemetry,GET /v1/skills,GET /v1/ops/skills), andclaude-mem(per-keykind="observation"distillation, bounded recall, 3-layer progressive disclosure/v1/memory/search|timeline|observations+ 3 MCP tools). Hardened across 5 audit passes + 13 tests intests/test_phase4_ai_infra.py; OpenAPI snapshot regenerated. -
v3.1.0 Lite Web UI + no-popup jobs + P3 fixes (docs/08 §Lite, docs/24 §8): Web UI static export (
npm run build:export→frontend/out) được API mount tại/trên cùng cổng khiSERVE_UI=true— Lite còn một tiến trình duy nhất, UI ởhttp://127.0.0.1:8000/; watchdog chạy-WindowStyle Hiddenvà manager có mutex theo port nên không popup cửa sổ console hay chạy chồng (đã có thì bỏ qua), thêmmetasearch-lite.ps1 open;POST /v1/spaces/{slug}/graph/buildchuyển sang job nền 202 single-flight +GET .../graph/status(admit tierkg); fix tokenize tiếng Việt: stopword so trên token gốc trước khi fold nên "cổ phiếu"/"thị trường" không bị nuốt. Test mớitests/test_v31_lite_ui.py+ graph job test; OpenAPI snapshot regen. -
v3.0.0 Wave P2 (docs/24, from docs/20 §4): P2-1 PDF page-level retrieval — pypdf extracts per-page text into
## p.Nmarkdown (scraper hook after the challenge-page check) + optional vision-embed API (VISION_EMBED_API_BASE_URL, dim-guarded) writing to the samechunks.embeddingcolumn; P2-2 per-Space knowledge graph (LightRAG-lite:kg_nodes/kg_edgesalembic 0009 with unique constraints,POST /v1/spaces/{slug}/graph/build|query, entity-centric 1-hop queries); P2-3 vi-first — diacritic folding intokenize()(default on) + extended VI stopwords +evals/golden_v3_vi.json(25 queries); P2-4 online interleaving — deterministic hash-bucketed variant per (query, owner), variant in the search cache key, treatment RRF weight,GET /v1/ops/interleavestats from explicit 👍/👎; P2-5 personalized podcast from the caller's watchlist (/v1/podcast/personal*,personal-<hash>-<date>.mp3, same retention); P2-6 structured JSON output (response_format={json_schema}, jsonschema-validated, errors reported never fabricated); P2-7 domain reputation tiers (official→unknown) feedingdomain_authorityand exposed asdomain_tieron every search result. 43 new tests; OpenAPI snapshot regenerated. -
v2.6.0 Deep Intelligence wave P1 (docs/22, from docs/20 §4): IRCoT research loop (reformulate each hop from gathered evidence + coverage gate over planner sub-questions,
coveragein SSE events); adaptive complexity router (heuristic, autodeep=truefor multi-hop/comparative/long queries); late chunking for long docs (segment windows +embed_many, chunks inherit their segment's vector at persist time); hybrid dense+sparse chunk index (chunks.tsvtsvector on Postgres,POST /v1/hybridRRF-fused at chunk level); per-key memory (Mem0-lite:/v1/memoryCRUD, 👍/👎 feedback aggregated into domain boosts,DELETEwipes all — privacy); Spaces (/v1/spaces+space=<slug>on search/answer, domain scope post-cache + pinned-URL boosts);POST /v1/map+POST /v1/crawlfor agents (sitemap-first, same-host BFS through the guarded scraper, defusedxml, persisted into the index); configurable freshness half-lives (news unchanged, non-news 45d). 38 new tests; OpenAPI snapshot regenerated. -
v2.5.0 Retrieval Quality wave (docs/21, from docs/20 P0): Reciprocal Rank Fusion (k=60) in the merger blended with the heuristic signals (
RRF_WEIGHT); optional localbge-reranker-v2-m3ONNX reranker (RERANKER=bge, int8 preferred, lazy HF download, fail-open); multi-query expansion fused by RRF (deep/long queries only, variants fan out to general engines only); claim-level citation check reportingunsupported_markers; follow-up question chips after each answer; per-key custom rerank boosts viaPOST /v1/prefs/boosts(Goggles-lite, key-scoped cache keys); agent-friendlyextras=["contents","highlights","answer"]on/v1/search; eval harness v2 (scripts/eval_v2.py+evals/golden_v2.json, 29 EN/VI queries, nDCG/MRR/recall/context precision+recall/claim support, report delta vs previous run). 37 new tests. -
v2.4.0 Global Deep Search (docs/19): search now spans the globe in English + Vietnamese — new keyless engines for Hacker News, Stack Exchange network (forums), Bluesky, OpenAlex, Crossref, Europe PMC (scholarly journals/fund research), GDELT (global news/events, 100+ languages) on top of existing Reddit/GitHub/SO/arXiv/PubMed/S2; SearXNG expanded with 15 real upstream engines (stackoverflow, askubuntu, superuser, mastodon users/hashtags, github, youtube, arxiv, pubmed, crossref, semantic scholar, wikidata, goodreads, imdb, openverse — audit round 9 removed 4 fake names: reddit/twitter/linkedin/dblp are NOT upstream SearXNG engines; Reddit is covered by MetaSearch's own adapter) and
default_lang: auto.langnow reaches Google News (hl/gl), GDELT (sourcelang), OpenAlex (language:filter); UI has an Auto/VI/EN selector.deep: trueon/v1/search+/v1/answerfans out to every enabled engine (category filter off) for the deepest possible result set; category auto-inference now covers social/academic/global-finance terms. 25 new tests; OpenAPI snapshot regenerated. -
v2.3.0 feature roadmap (docs/18): A voice input via Web Speech dictation (
vi-VN, mic buttons in the search box and news filter) + a 🔬 Deep Research tab consuming the existing FR-9 job API with live SSE report + per-section read-aloud playlist; BPOST /v1/fa/compare(cross-source fundamentals for up to 5 symbols, per-fieldsource/as_of/validated, never fabricated) with a ⚖️ compare tab, andPOST /v1/market/ohlcv(VNDIRECT candles primary, SSI fallback, one strict shared parser — schema drift refuses the series, timestamps are never synthesized) rendered withlightweight-charts@5.3.0(pinned) + stats computed from the payload; C per-key watchlist (CRUD/v1/watchlist, cap 20) +GET /v1/watchlist/alertspoll-on-demand (no background poller burning search budget — client-owned schedule), DB-down bounded in-memory fallback with throttled DB re-probe; D podcast news briefing behind VoiceStudio:POST /v1/podcast/briefing(idempotent per day, single-flight) +/status+/latest(audio/mpeg) +/feed.xml(RSS, auth-protected), files inapi/podcast_data/with 7-day retention; 503tts_disableduntil configured. 3 audit loops (8 expert lenses each) fixed every P0/P1/P2 found — see docs/18 §8 and CHANGELOG. -
News tab + Vietnamese TTS (
v2.2.0): 6 preset categories (macro economy, finance–stock market, business, tech–AI, banking–monetary, world economy) calling/v1/searchwithengines=["google_news"],news: true; the freshness window is mapped server-side by the backend (freshness_days→when:{n}d) (end-anchored ASCII guard never duplicates an operator; the client only sends structured params, never engine operators). Read-aloud via the Web Speech API (the OS voice stack, free, zero backend egress) for answers + whole digests/each news item; the UI truthfully reports whether the voice in use is local (stays on-device) or online (sent to the TTS vendor).safeHref()wraps every href coming from payloads. Details: docs/16-web-ui-news-tts.md. -
Process hardening (
v2.2.0): the pre-commit gate verifiesapi/uv.lockmatches thepyproject.tomlversion (fail-closed);clean_workspacenever deletes local runtime data (api/*.db*,*.retention,api/.env.*) and never crashes on files locked by a local process; CI addsnpm auditover dev deps too, plus vitest (16 tests) in the 3-OS frontend matrix. -
Optional server-side TTS via VoiceStudio (
v2.2.0, full profile only): a second read-aloud engine next to the browser's Web Speech API — neural on-device voices (OmniVoice, Vietnamese included), fully offline, $0. Backend proxyPOST /v1/tts/synthesize+GET /v1/tts/capabilities; UI engine picker in the News tab; compose profiletts. Web Speech stays the default and Lite-compatible path. Details: docs/17-voicestudio-integration.md. -
Multi-source FA, eliminating the single-source weakness (
v2.1.0): direct adapters for SSI (OHLCV), TCBS (ratios), FireAnt (financial statements, JWTFA_FIREANT_TOKEN) — no vnstock/wrapper; breaker-gatedFAAggregatorfan-out with 0.5% cross-validation, and when all sources fail it returns empty fields +missing_fields(never fabricates);VietStockAdapterfalls back concurrently VNDIRECT→SSI, Simplize→TCBS/FireAnt, with provenance recording the real source. Details: docs/15-fa-sources-plan.md. -
Ready for external systems (
v2.0.0): security, data integrity, load, observability, operations, CI:-
/v1/contextreturns onlychunks+sourcesby default (opt in viainclude); BYO LLM off by default; per-API-key data isolation; some routes admin-only; SuperAgent off by default. - No estimated financial figures or static tables in the runtime; every result and chunk carries source marks (
source_url,as_of) and timestamps. - Per-request budgets, admission control, single-flight, shared HTTP layer, CPU off the event loop.
- Metrics + alerts, bounded queue for DB writes, retention, meaningful
/readyz, Lite runs Alembic. - Lite on Windows as a service (
scripts/windows/), with Win32_Process command-line checks to eliminate PID-reuse collisions after incidents/reboots; integration contract indocs/15-integration-guide.md. - All 13 deep-audit findings F1–F13 remediated (durable LLM Council verdict storage, retention cycle, import optimization).
- CI:
uvlockfile, mypy (app/core,app/api), coverage ≥ 84%, gitleaks, promtool, nightly. - Measured on harness: search c=1 p95 197 ms (was 875 ms), c=20 0% errors (was 100%), Lite context c=10 0% errors (was 100%). Not yet measured on real Postgres/Redis/SearXNG, Linux, or long soaks.
-
-
Financial Data Integrity & Real Market Grounding (
v1.3.1):- Removed 100% of simulated
sin/coscandle series; strict Zero-Hallucination & Grounded Data policy. - Direct real OHLCV candles from the VNDIRECT dchart TradingView Feed for 1,518 Vietnamese tickers (HSX, HNX, UPCOM; universe
app/retrieval/data/vn_tickers.json, withas_ofdate) and market indices (VNINDEX,VN30). - Real fundamentals from the Simplize API via the dynamic
_build_dynamic_company_financialsalgorithm. -
published_attimestamps normalized from real EOD candle dates and financial-statement update dates; fabricatingdatetime.now(UTC)is strictly forbidden. -
_VIET_STOCK_STOP_WORDSfilter prevents injecting ticker symbols into generic market queries. - Completed a 3-Round Expert Audit (Solution Architect, Financial Quant / BA, QA/Security/Perf), all tests green at that version, 7 Quality Gates passed.
- Removed 100% of simulated
-
Autonomous Super-Agent Engine (
v1.3.0): distilled from thedeepseek-ai/dsh-superagent-prototypearchitecture on top of MetaSearch:-
Router–Worker Decoupling (
app.orchestration.superagent.router): a centralSuperAgentRouterowns the ticket queue, decoupled from isolatedIsolatedSuperAgentWorkercompute workers — solving the human attention bottleneck. -
"Quiet Autonomy" & Human Escalation: the agent silently executes multi-step ReAct and only surfaces finished artifacts (
SuperAgentArtifact) or high-risk situations needing a human decision (EscalationRequest). - Observe Mode (Shadow Evaluation): shadow planning/assessment that consumes no live API quota; auto-triggered by webhooks/events.
-
Proactive Event Ingestion (
app.orchestration.superagent.events): listens to real-time event streams (new financial statements, market news, CVE security alerts, GitHub issues) to auto-activate domain tickets. -
Watchdog Supervisor & Circuit Breaker (
app.orchestration.superagent.watchdog): monitors worker heartbeats, trips the circuit and recovers on hung tasks, latency breaches, or token bursts (TOKEN_BURST).
-
Router–Worker Decoupling (
-
Multi-Platform Matrix CI on every commit (
v1.2.1): GitHub Actions runs in parallel on Windows (windows-latest), macOS (macos-latest), and Linux (ubuntu-latest) with automated jobs (backend tests, frontend build, release pipeline gate, Docker smoke test) on every commit and PR. -
Cross-Platform Automatic Pre-Commit Hook:
.githooks/pre-commitauto-detects the Python runtime (.venv/Scripts/python.exe,.venv/bin/python3, PATHpython3/python),chmod +xon Unix, and enforces the quality gates (lockfile check first) before allowing any commit. -
26 Search Adapters (5 general/keyed:
searxng,ddg,tavily,serper,brave+ 21 vertical/global:viet_stock,stooq,yahoo_finance,sec_edgar,fengshui,google_news,arxiv,pubmed,semanticscholar,github,huggingface,stackoverflow,reddit,wikipedia+ v2.4 global:hackernews,stackexchange,bluesky,openalex,crossref,europepmc,gdelt) with Smart Category Routing anddeepmode fanning out to ALL enabled engines. -
Multi-Endpoint LLM Council & Anonymous Cross-Review: calls many free LLM endpoints concurrently (
openrouter/free,pollinations,groq,gemini,nvidia_nim,cerebras,sambanova), anonymized asCandidate A, B, C...so models peer-review each other on domain rubrics without bias, combining a deterministic audit score (deterministic_score40%) and peer score (peer_score60%) for the Chairman's final verdict. -
Dream-RSI (Recursive Self-Improvement via Replay World): stores verdict trajectories in a Replay Buffer, computes UCB1 exploration scores, replays historical queries in a simulated world (Dream Replay) to evolve council-selection policy and per-domain temperature.
-
Extended Free-LLM Catalog (20 presets) from nejib1/Free-LLM & awesome-freellm-apis, plus the OpenRouter Free Router ($0/M) and BYO-LLM.
-
Universal Multi-Domain Deep Intelligence: deep domain assessment across verticals with Finance & Financial-Statement Forensics (
financial) as the flagship pilot plus 7 packs (biomedical_health,technology_ai,academic_research,legal_macro_policy,eastern_metaphysics,news_geopolitics,general_discovery). -
Industry-Specific Financial Forensics (
financial_forensics.py): branch by industry — Banking (CAMELS / Basel II-III: CAR, NPL, Group-2 loans, LLR, NIM, CASA, LDR, CIR), Brokerage (Margin/collateral vs 200% cap, FVTPL/HTM/AFS, capital adequacy), Real Estate & Industrial Parks (advances from buyers / unbilled, inventory/assets), Manufacturing (debt structure, DSO, CFO/Net Income) plus Altman Z-Score, Beneish M-Score, Piotroski F-Score (9 criteria). -
Quantitative Technical Analysis (
technical_analysis.py): Fibonacci Retracement & Golden Pocket (61.8%–65.0%) + Extensions (127.2%,261.8%), Ichimoku Kinko Hyo (Tenkan/Kijun/Senkou A-B/Chikou Span), true EMA-based MACD, Wilder's RSI & 2x ATR Trailing Stop, Stochastic (%K,%D), Multi-EMA Ribbon (20/50/200), linear regression channel ±2σ ($R^2$ ), 8 chart patterns, and a Custom Indicator Query Parser (RSI 9,MACD 8 21 5,Bollinger 15 2.5...). -
Strict Pre-Commit & Release Process: the mandatory
.githooks/pre-commithook blocks any commit that fails a gate (lockfile check runs first); 1135 backend tests collected (1127 passed + 8 skipped for compose/tiktoken) + 109 frontend tests (vitest) PASS,86.87%backend coverage, full-appmypy(159files),ruff0 issues,bandit0 security issues, clean Next.js 15 build + static export (frontend/out), CI 13/13 jobs across 3 OS. Full design in docs/, detailed plan in docs/12-roadmap-plan.md.
| Real-world problem | How MetaSearch handles it |
|---|---|
| LLM hallucinations, stale knowledge | Every answer is synthesized from real web pages & reports with mandatory [n] citations mapped back to sources; citations are validated after generation |
| One search engine = one point of view | Concurrent fan-out to 70+ engines via SearXNG + 14 vertical adapters (VN/global finance, SEC filings, PubMed biomedicine, arXiv/S2 academia, GitHub/SO/HF code, Google News, Ba Trach feng shui) |
| Stock analysis that only reads raw ratios (P/E, ROE) | Industry-specific financial forensics (banking CAMELS, brokerage margin/FVTPL, real-estate unbilled bookings, Altman Z, Beneish M, Piotroski F) combined with quantitative technicals (Fibonacci Golden Pocket, Ichimoku Cloud, true EMA MACD, Wilder's RSI/ATR, ±2σ regression channel, 8 chart patterns) |
| Web content full of HTML/JS/ads/CAPTCHA junk | Extraction pipeline (trafilatura → crawl4ai → Jina Reader) with SSRF IP-pinning & anti-challenge escalation turns any URL into clean LLM-ready Markdown |
| Duplicated, irrelevant results | Canonical URL + 64-bit SimHash dedup → consensus scoring + curated domain authority → heuristic-first rerank (0 ms), optional int8 ONNX or API rerank |
| AI agents need a search tool | MCP Server with 9 tools: web_search, web_scrape, web_search_and_scrape, deep_research, research_status, memory_search, memory_timeline, memory_get_observations, equity_sentiment (stdio + HTTP) |
| Monthly search API costs | Self-host SearXNG or run the Lite Profile (keyless DuckDuckGo + SQLite + keyless Jina) = $0 for search, API ~100 MB RAM |
flowchart LR
subgraph Clients
UI[Web UI Next.js<br/>Search · Answer · News+TTS · Blog]
AGENT[AI Agent / MCP Client]
DEV[Developer / REST]
end
subgraph Interface["Interface Layer"]
API[FastAPI Gateway<br/>REST + SSE + RBAC]
MCP[MCP Server<br/>FastMCP 9 Tools]
end
subgraph Orchestration["Orchestration Layer"]
QU[Smart Category Routing<br/>intent · lang · profile]
PL[Planner / Harness²]
EX[Executor<br/>fan-out · budget]
SYN[Synthesizer<br/>citations]
SCN[Automated Scanner<br/>Daily Briefings Blog]
end
subgraph Retrieval["Retrieval & Quantitative Layer"]
SA[26 Search Adapters<br/>SearXNG · DDG · Tavily · Serper · Brave<br/>VietStock · Stooq · YahooFin · SEC<br/>arXiv · PubMed · S2 · GitHub · HF · SO · Reddit · Wiki · News · FengShui]
QUANT[Financial Forensics & Technicals<br/>CAMELS · Altman Z · Beneish M · Piotroski F<br/>Fibonacci · Ichimoku · MACD · Wilder RSI/ATR]
MG[Merger<br/>dedup · SimHash · consensus · diversity]
SC[Scraper Pool<br/>trafilatura · crawl4ai · Jina]
RR[Reranker<br/>heuristic-first · ONNX · API]
end
subgraph Platform["Platform Layer"]
LLM[LLM Gateway<br/>OpenAI · Anthropic · Ollama · vLLM]
DB[(Postgres + pgvector / SQLite)]
RD[(Redis / In-Process Cache)]
OBS[Observability<br/>OTel · Prometheus · Langfuse]
end
UI --> API
DEV --> API
AGENT --> MCP
MCP --> API
API --> QU --> PL --> EX
SCN --> EX
EX --> SA --> QUANT --> MG --> SC --> RR --> SYN
SYN --> LLM
EX -.-> RD
SYN --> DB
API -.-> OBS
Full details: docs/02-system-architecture.md · stage-by-stage pipeline: docs/03-search-pipeline.md
git clone https://github.com/hunglinhpt/MetaSearch.git
cd MetaSearch/api
python -m venv .venv
.venv/Scripts/python.exe -m pip install -e ".[dev]" # Windows; Linux: .venv/bin/pip
cp ../deploy/.env.lite.example .env # DuckDuckGo keyless + SQLite + Jina keyless + 14 vertical engines
.venv/Scripts/python.exe -m uvicorn app.main:app --port 8000
# Swagger: http://localhost:8000/docsgit clone https://github.com/hunglinhpt/MetaSearch.git
cd MetaSearch
cp deploy/.env.example deploy/.env # compose reads .env from deploy/ (NOT repo root)
docker compose -f deploy/docker-compose.yml up -d
# SearXNG : http://localhost:8080
# API : http://localhost:8000/docs
# Web UI : http://localhost:3000
# compose enforces AUTH_ENABLED=true - create a key first (from api/ after `uv sync`):
.venv/Scripts/metasearch keys create # prints an msk_... key
curl -X POST http://localhost:8000/v1/search \
-H "Content-Type: application/json" \
-H "Authorization: Bearer msk_YOUR_NEW_KEY" \
-d '{"query": "Phan tich BCCT phap y va ky thuat Fibonacci Ichimoku co phieu FPT RSI 9", "lang": "vi"}'
# CLI (from api/ with the venv active)
metasearch search "Phan tich co phieu FPT va VCB"
metasearch answer "Phan tich co phieu FPT va VCB" --streamWeb UI: open http://localhost:3000 — pick a category (Finance & Stocks, News, Programming, Academia & Biomedicine, Feng Shui...) and the AI Answer mode (with a Vietnamese read-aloud button), Search, the News tab (6 economy/finance/tech categories, read-aloud for the whole digest or each item), or the Daily Briefings & Blog tab.
MetaSearch/
├── README.md ← this file — bilingual (English + Tiếng Việt in one file)
├── AGENTS.md ← agent onboarding guide (status, conventions, checklist)
├── CHANGELOG.md ← version history (Keep a Changelog — current v3.3.0)
├── CONTRIBUTING.md ← setup + workflow + gates guideline
├── docs/ ← detailed design (16 documents + ADRs)
│ ├── 01-product-requirements.md
│ ├── 02-system-architecture.md
│ ├── 03-search-pipeline.md
│ ├── 04-agents-orchestration.md
│ ├── 05-data-model.md
│ ├── 06-api-spec.md
│ ├── 07-mcp-integration.md
│ ├── 08-deployment.md
│ ├── 09-observability-eval.md
│ ├── 10-security-compliance.md
│ ├── 11-testing-strategy.md
│ ├── 12-roadmap-plan.md ← detailed Phase 0–5 plan + KPI + verify matrix (source of truth)
│ ├── 13-versioning-and-release.md
│ ├── 15-fa-sources-plan.md ← 21 vetted VN financial sources + direct SSI/TCBS/FireAnt adapters (v2.1.0)
│ ├── 15-integration-guide.md ← external-system integration contract (v2.0.0)
│ ├── 16-web-ui-news-tts.md ← News tab + Vietnamese TTS, server-side when:Nd mapping (v2.2.0)
│ ├── 17-voicestudio-integration.md ← optional server-side VoiceStudio TTS engine (docs/17)
│ ├── 18-feature-roadmap-v2.3.md ← v2.3.0 roadmap: dictation, Deep Research UI, compare + chart, watchlist, podcast (v2.3.0)
│ ├── 19-global-deep-search-v2.4.md ← v2.4.0 Global Deep Search: 7 global engines, EN end-to-end, deep mode (v2.4.0)
│ ├── 20-research-landscape-and-future-roadmap.md ← research 2026 + proposed roadmap (P0/P1/P2)
│ ├── 21-retrieval-quality-v2.5.md ← v2.5.0 wave P0 implemented: RRF fusion, BGE reranker local, query expansion, claim-level citation check, follow-ups, per-key boosts, agent extras on /v1/search, eval harness v2
│ └── 22-deep-intelligence-wave-v2.6.md ← v2.6.0 wave P1 implemented: IRCoT research loop, adaptive router, late chunking, hybrid chunk search, per-key memory, Spaces, map/crawl, freshness half-life
│ └── 24-wave-p2-v3.0.md ← v3.0.0 wave P2 implemented: PDF page retrieval, per-Space KG, vi-first BM25 + VI golden eval, online interleaving, personalized podcast, structured JSON output, domain tiers
│ └── adr/ ← Architecture Decision Records
├── api/ ← FastAPI orchestration + Quantitative Engines
│ ├── app/
│ │ ├── core/ ← auth (API key + RBAC + sliding-window), errors, logging, middleware, metrics
│ │ ├── db/ ← SQLAlchemy dialect-aware models (Postgres+pgvector & SQLite)
│ │ ├── api/ ← ops (/healthz, /readyz, /metrics) + v1 (search, answer, scrape, research, digests, engines, queries, ops_status)
│ │ ├── retrieval/ ← 26 adapters, financial_forensics.py, technical_analysis.py, registry, merger, scoring, simhash, reranker
│ │ ├── extraction/ ← ssrf, pinning, robots, scraper (trafilatura→crawl4ai→jina), chunker
│ │ ├── orchestration/ ← pipeline (search+answer), research (Harness² 8 profiles), research_jobs, scheduler (Daily Briefings), persist, engine_store
│ │ ├── mcp/ ← FastMCP server + REST client (9 tools, stdio + HTTP)
│ │ └── llm/ ← gateway streaming, prompts, citations, embeddings, tokens, langfuse
│ ├── alembic/versions/ ← migrations (Postgres + pgvector / SQLite auto-bootstrap)
│ ├── evals/golden.json ← 46 golden evaluation queries across domains (EN + VI), plus golden_v2.json & golden_v3_vi.json
│ ├── scripts/ ← eval_run.py (--judge-faithfulness), eval_v2.py + perf_load.py
│ ├── tests/ ← 1135 collected tests (compose integration gated by METASEARCH_INTEGRATION=1)
│ └── pyproject.toml
├── frontend/ ← Next.js 15 + React 19 (streaming Web UI + category chips + News tab + TTS + blog reader)
│ ├── app/ · lib/api.ts ← SSE client + ApiError + Digests API + safeHref
│ ├── lib/tts.ts ← Vietnamese TTS via Web Speech API (+ vitest tests)
│ ├── components/NewsPanel.tsx ← News tab: 6 categories + read digest/each item
│ └── package.json
├── deploy/
│ ├── docker-compose.yml ← full stack + observability profile
│ ├── searxng/ · prometheus/ · grafana/ · k6/
│ └── .env.example · .env.lite.example
├── scripts/ ← release.py (pre-commit gate + release) · guard_local_data.py
├── .githooks/pre-commit ← mandatory gate: uv.lock check → ruff → bandit → E2E → full pytest
└── .github/workflows/ci.yml ← CI matrix on 3 OS: backend + frontend (vitest, npm audit incl. dev) + pipeline gate + gitleaks/promtool/docker smoke
| Document | Answers |
|---|---|
| 01 Product Requirements | Who uses it, for what, acceptance criteria? |
| 02 System Architecture | Layers, components, data flow, tech stack, 16 GB hardware profile? |
| 03 Search Pipeline | How does one query pass through 11 stages, latency budget? |
| 04 Agents Orchestration | Planner/Executor, deep research loop, Harness² profiles, budget control? |
| 05 Data Model | Postgres/SQLite schema, Redis cache, vector, retention? |
| 06 API Spec | REST/SSE endpoints (/v1/search, /v1/answer, /v1/research, /v1/digests, /v1/engines), error model? |
| 07 MCP Integration | Tools for AI agents, contract, call examples? |
| 08 Deployment | Lite profile (no Docker) vs Docker Compose dev 16 GB / prod VPS? |
| 09 Observability & Eval | Traces/metrics/logs, 40 golden queries + faithfulness judge? |
| 10 Security & Compliance | SSRF IP-pinning, admin RBAC, robots.txt, rate limit, secrets? |
| 11 Testing Strategy | Test strategy, 1135 backend tests (1127 active + 8 conditional skip) & 109 frontend tests, golden set, citation accuracy? |
| 12 Roadmap & Plan | Detailed Phase 0–5 plan, KPI, risks & mitigations, post-v2.0.0 version status |
| 13 Versioning & Release | SemVer rules, Quality Gates, automated release script & CI/CD |
| 15 FA Sources Plan | 21 vetted VN financial data sources; direct SSI/TCBS/FireAnt adapters, FAAggregator cross-validation (v2.1.0)? |
| 15 Integration Guide | Contract for external systems: auth, rate limit, error model, Lite on Windows as a service (v2.0.0)? |
| 16 Web UI News + TTS | 6-category News tab + Vietnamese TTS; server-side freshness_days→when:Nd; voice privacy policy (v2.2.0)? |
| 17 VoiceStudio Integration | Optional server-side VoiceStudio TTS engine (comparison, enabling, licensing, extra-feature roadmap)? |
| 25 4-Repo AI Infra Integration | Native OmniRoute validator/router, Headroom compression, One-Skill orchestrator & Claude-Mem observations (v3.2.0) |
| 26 Principal Architect Review | 22 boundary hardening findings F-01..F-22 & non-regression guardrails (test_w5_guardrails.py) |
| 27 Market Sentiment Standards | Omni-channel equity sentiment formulas, 7-pillar checklist, ^VIX/^VIX3M & zero-fabrication rules |
| 28 Rich-Content Web UI | Streaming Markdown/Prism/KaTeX/Mermaid integration & 3-round adversarial audit |
| 29 Master Plan 5-Stage | Unified run_digest, DEFER-A/B/C hardening, env/doc parity & verification criteria |
MetaSearch does not reinvent the wheel — this design distills the best of leading open-source systems:
| Reference | What MetaSearch borrows |
|---|---|
| assafelovic/gpt-researcher | Planner & Executor pattern: split big questions → sub-queries, fan out in parallel, synthesize with sources; retrievers/ + scraper/ abstractions |
| ItzCrazyKns/Perplexica (Vane) | SearXNG as unified search API; chunk filtering before the LLM; streaming answers |
| rashadphz/farfalle | Clean layer separation (search/scraper/LLM provider), flexible cloud ↔ local LLM swap |
| miurla/morphic · scira-ai/scira | Generative UI: card/table result rendering, multi-tool calling |
| searxng/searxng | The heart of meta-search: 70+ engines, dedup, consensus ranking, JSON output |
| unclecode/crawl4ai | LLM-dedicated extraction: strips ads/menus, outputs Markdown, JS rendering |
| jina-ai/reader | Fallback extractor for hard pages (r.jina.ai when self-extraction fails) |
| siosig/searxng-crawl4ai-mcp | Pattern for combining SearXNG + Crawl4AI into a single MCP tool web_search_and_scrape |
| chen150450/multi-search-aggregator | Pluggable engine registry + hot config; multi-signal scoring; per-engine SSE progress (engine_done); graceful degradation |
What makes MetaSearch different: a thin orchestration layer on top of 4 "giants" — SearXNG (meta-search), crawl4ai (JS extraction), trafilatura (static extraction), FastMCP (agent interface) — combined with a deep Financial Forensics (CAMELS / Altman Z / Beneish M / Piotroski F) and Quantitative Technical Analysis (Fibonacci / Ichimoku / MACD / Wilder's RSI & ATR) layer. Strategy details: ADR-007.
This project is released under the GNU General Public License v3.0 (GPL-3.0-or-later).
We warmly welcome community contributions (issues, feature requests, pull requests)! See CONTRIBUTING.md for the development setup, workflow, and quality gates before submitting.
Note: all web scraping and searching must respect robots.txt and the terms of service of the source platforms (see docs/10-security-compliance.md).
Hệ thống tìm kiếm đa nguồn & phân tích định lượng phục vụ AI: Meta-Search (SearXNG 70+ engines + 14 Vertical Engines) → Crawl & Extract → Dedup/Consensus/Rerank → Synthesize có trích dẫn
[n], đóng gói thành REST API + SSE Streaming + MCP Server + Automated Daily Briefings Blog + Web UI.
Trạng thái: v3.3.0 — Tâm lý Cổ phiếu Đa kênh (docs/27), Streaming Rich-Content Web UI (docs/28), Unified Extractive run_digest & Hội tụ ranh giới (docs/29), mypy toàn bộ app/ & Đồng bộ Web UI (SentimentPanel, SpacesPanel, Podcast Watchlist), kế tiếp v3.2.0 (docs/25, docs/26):
-
v3.3.0 Hội tụ Chất lượng, Grounding Định lượng & Đồng bộ Web UI (docs/27, docs/28, docs/29):
-
Tâm lý Cổ phiếu Đa kênh Song ngữ (
docs/27): fan-out 5 lớp VI/EN + cổng định lượng, chống trùng mã đa thị trường (VNM,GAS,SSI,FPT,POW), lọc seeding/tin đồn chưa kiểm chứng,Tier_Weight × Time_Decay, Loughran-McDonald TF-IDF + Tetlock pessimism + độ phân cực đồng thuận, CNN Fear & Greed (0..100), bảng kiểm 7 trụ cột định lượng, proxy^VIX/^VIX3Mtrực tiếp (Yahoo Finance v8không cần key) & fallback FA Việt Nam từSimplize(POST /v1/market/sentiment, MCPequity_sentiment), tuyệt đối giữnullkhi thiếu dữ liệu. -
Streaming Rich-Content Web UI (
docs/28) & Tab Parity: nâng cấpAnswerMarkdown(CodeBlock lazy Prism, công thức KaTeXtrust: falsekèm guard tiền tệ, Mermaid strict-sandbox render tuần tự, emphasis scan có cậnO(n), StrictMode gate), bổ sung tab📊 Tâm lý & Dòng tiền(SentimentPanel.tsx+ nút chuyển nhanh từComparePanel.tsx), tab🗂️ Spaces & KG(SpacesPanel.tsxCRUD/Crawl/202 KG build+poll/query +POST /v1/hybrid), nút🎧 Podcast Watchlist(/v1/podcast/personal*trongNewsPanel.tsx), và badge/ưu tiên hiển thị🌐 Bản tin chung(run_digest). -
Unified Extractive Digest & Hardening (
docs/29): viết lạiAutomatedScannerhoàn toàn extractive tạo bản tin tổng hợprun_digest, thêm tùy chọn tóm tắt điều hành có kiểm định (SCHEDULER_LLM_SYNTHESIS_ENABLED=falsemặc định, rào SEC-07,validate_citations, fail-open 12s), tuần tự hóa ghi SQLite (sqlite_write_lock()), hoàn tấtDEFER-A/B/C(admissionLRU,auth/v1/hybridcost, chống CSV injection, cache min-heap TTL, SSRF TOCTOU re-check), và mở rộngmypyqua toàn bộapp/(159file) kèmtests/test_proposals_wave.py.
-
Tâm lý Cổ phiếu Đa kênh Song ngữ (
-
v3.2.0 Tích hợp 4-Repo AI Infra (docs/25): Tích hợp trực tiếp in-repo (tương thích Lite zero-Docker):
OmniRoute(17KEY_FORMAT_SPECS, probe key an toàn SSRF qua shared HTTP pool,ProviderHealthTracker+ EWMA/breaker failover,LLM_ALLOW_KEYLESS_FALLBACK=false),headroom(ContentRouter+SmartCrusher+SearchCompressornguyên văn với 4 profile nén theo skill +CacheAlignerbọc ranh giới memory),one-skill-to-rule-them-all(9 skills hợp nhất +TaskObserverring-buffer telemetry,GET /v1/skills,GET /v1/ops/skills), vàclaude-mem(kind="observation"theo key, recall có ngân sách, REST Progressive Disclosure/v1/memory/search|timeline|observations+ 3 MCP tools). Kiểm toán 5 lượt + 13 test mới (tests/test_phase4_ai_infra.py) + OpenAPI snapshot regen. -
v3.1.0 Lite Web UI + job không popup + fix P3 (docs/08 §Lite, docs/24 §8): Web UI static export (
npm run build:export→frontend/out) được API mount tại/trên cùng cổng khiSERVE_UI=true— Lite còn một tiến trình duy nhất, UI ởhttp://127.0.0.1:8000/; watchdog chạy-WindowStyle Hiddenvà manager có mutex theo port nên không popup cửa sổ console hay chạy chồng (đã có phiên thì bỏ qua), thêmmetasearch-lite.ps1 open;POST /v1/spaces/{slug}/graph/buildnay là job nền 202 single-flight +GET .../graph/status(admit tierkg); fix tokenize tiếng Việt: kiểm stopword trên token gốc trước khi fold nên "cổ phiếu"/"thị trường" không bị nuốt. Test mớitests/test_v31_lite_ui.py+ test graph job; OpenAPI snapshot regen. -
v3.0.0 Wave P2 (docs/24, từ docs/20 §4): P2-1 PDF page-level retrieval — pypdf trích text từng trang thành markdown
## p.N(hook vào scraper, sau check challenge page) + API vision-embed tuỳ chọn (VISION_EMBED_API_BASE_URL, guard đúng dim) ghi cùng cộtchunks.embedding; P2-2 knowledge graph theo Space (LightRAG-lite: bảngkg_nodes/kg_edgesalembic 0009 có unique constraint,POST /v1/spaces/{slug}/graph/build|query, query entity-centric 1-hop); P2-3 vi-first — fold dấu trongtokenize()(mặc định bật) + stopword VI mở rộng +evals/golden_v3_vi.json(25 câu); P2-4 online interleaving — variant hash-bucket deterministic theo (query, owner), variant nằm trong search cache key, treatment RRF weight riêng,GET /v1/ops/interleavethống kê từ 👍/👎 explicit; P2-5 podcast cá nhân hoá theo watchlist của caller (/v1/podcast/personal*, filepersonal-<hash>-<date>.mp3, cùng retention); P2-6 structured JSON output (response_format={json_schema}, validate bằng jsonschema, lỗi thì báo không bịa); P2-7 domain reputation tiers (official→unknown) nuôidomain_authorityvà trảdomain_tiertrên mọi result của search. 43 test mới; OpenAPI snapshot regen. -
v2.6.0 Deep Intelligence wave P1 (docs/22, từ docs/20 §4): vòng research IRCoT (mỗi hop reformulate từ evidence đã thu thập + coverage gate trên sub-question của planner, có
coveragetrong sự kiện SSE); adaptive router (heuristic, tự bậtdeep=truecho câu đa hop/so sánh/dài); late chunking cho doc dài (cửa sổ segment +embed_many, chunk kế thừa vector của segment lúc persist); chỉ mục chunk hybrid dense+sparse (cộtchunks.tsvtsvector trên Postgres,POST /v1/hybridfuse bằng RRF ở mức chunk); memory theo key (Mem0-lite: CRUD/v1/memory, feedback 👍/👎 gộp thành boost theo domain,DELETExoá toàn bộ — privacy); Spaces (/v1/spaces+space=<slug>trên search/answer, domain scope hậu-cache + boost URL đã ghim);POST /v1/map+POST /v1/crawlcho agent (sitemap trước, BFS same-host qua scraper đã guard, defusedxml, persist vào index); half-life freshness cấu hình được (news giữ nguyên, non-news 45 ngày). 38 test mới; OpenAPI snapshot regen. -
v2.5.0 Retrieval Quality (docs/21, từ docs/20 P0): RRF fusion (k=60) trong merger trộn với signals (
RRF_WEIGHT); reranker localbge-reranker-v2-m3ONNX tuỳ chọn (RERANKER=bge, prefer int8, tự tải HF, fail-open); mở rộng multi-query rồi fuse bằng RRF (chỉ câu deep/dài, variant chỉ chạy engine general); kiểm citation từng claim báounsupported_markers; chip câu hỏi tiếp theo sau mỗi câu trả lời; boost tuỳ biến theo key quaPOST /v1/prefs/boosts(Goggles-lite, cache key theo key); extras cho agent trên/v1/search(extras=["contents","highlights","answer"]); eval harness v2 (scripts/eval_v2.py+evals/golden_v2.json, 29 query Anh/Vi, nDCG/MRR/recall/context precision+recall/claim support, so delta với report trước). 37 test mới. -
v2.4.0 Global Deep Search (docs/19): tìm kiếm toàn cầu Anh + Việt — thêm engine keyless mới cho Hacker News, Stack Exchange (diễn đàn), Bluesky, OpenAlex, Crossref, Europe PMC (tạp chí học thuật/nghiên cứu quỹ), GDELT (tin tức/sự kiện toàn cầu 100+ ngôn ngữ) bên cạnh Reddit/GitHub/SO/arXiv/PubMed/S2 đã có; SearXNG bật thêm 15 engine thật (stackoverflow, askubuntu, superuser, mastodon users/hashtags, github, youtube, arxiv, pubmed, crossref, semantic scholar, wikidata, goodreads, imdb, openverse — audit vòng 9 bỏ 4 tên không tồn tại: reddit/twitter/linkedin/dblp không có module upstream; Reddit do adapter riêng của MetaSearch cover) +
default_lang: auto.langnay tới được Google News (hl/gl), GDELT (sourcelang), OpenAlex (filter=language:); UI có bộ chọn ngôn ngữ Tự động/VI/EN.deep: truetrên/v1/search+/v1/answerfan-out tới MỌI engine đã bật (bỏ lọc chuyên ngành) cho tập kết quả sâu/rộng nhất; category tự suy luận nay có thêm nhóm social/học thuật/tài chính toàn cầu. 25 test mới; OpenAPI snapshot regen. -
Feature roadmap v2.3.0 (docs/18): A nhập bằng giọng nói qua Web Speech (dictation
vi-VN, nút mic ở ô tìm kiếm + ô lọc tin) + tab 🔬 Deep Research tiêu thụ API job FR-9 đã có: báo cáo SSE live + đọc theo từng section; BPOST /v1/fa/compare(so sánh tối đa 5 mã, mỗi field cósource/as_of/validated, không bịa số) với tab ⚖️, vàPOST /v1/market/ohlcv(nến VNDIRECT chính, fallback SSI, một parser strict dùng chung — feed đổi schema thì từ chối cả series, không bao giờ bịa timestamp) vẽ bằnglightweight-charts@5.3.0(đã pin), thống kê tính từ payload; C watchlist theo key (CRUD/v1/watchlist, cap 20) +GET /v1/watchlist/alertspoll-on-demand (không có poller nền đốt budget search — client tự hẹn lịch), DB chết thì fallback bộ nhớ có giới hạn + re-probe DB throttle 30s để migrate về DB khi nó sống lại; D podcast bản tin qua VoiceStudio:POST /v1/podcast/briefing(idempotent theo ngày, single-flight) +/status+/latest(audio/mpeg) +/feed.xml(RSS, sau auth), file ởapi/podcast_data/retention 7 ngày; chưa cấu hình thì 503tts_disabled. 3 vòng audit (8 lens chuyên gia mỗi vòng) đã fix hết mọi P0/P1/P2 — xem docs/18 §8 và CHANGELOG. -
Tab Tin tức + TTS tiếng Việt (
v2.2.0): 6 mục preset (kinh tế vĩ mô, tài chính–chứng khoán, kinh doanh, công nghệ–AI, ngân hàng–tiền tệ, kinh tế thế giới) gọi/v1/searchvớiengines=["google_news"],news: true; cửa sổ thời gian do backend mapfreshness_days→when:{n}dserver-side (guard end-anchored ASCII không nhân đôi operator; client chỉ gửi param có cấu trúc, không nhét operator vào query). Đọc máy qua Web Speech API (voice stack của OS, free, không egress backend) cho câu trả lời + cả bản tin/từng tin; UI công khai đúng giọng đang dùng là local (giữ trên máy) hay online (gửi tới máy chủ TTS).safeHref()gói mọi href từ payload. Chi tiết: docs/16-web-ui-news-tts.md. -
Process hardening (
v2.2.0): pre-commit gate kiểm traapi/uv.lockkhớp version vớipyproject.toml(fail-closed);clean_workspacekhông bao giờ xoá dữ liệu runtime local (api/*.db*,*.retention,api/.env.*) và không crash khi file bị tiến trình local giữ lock; CI thêmnpm auditcả dev deps + vitest (16 test) vào frontend matrix 3 OS. -
Engine đọc máy server-side tuỳ chọn: VoiceStudio (
v2.2.0, chỉ full profile): thêm lựa chọn đọc bên cạnh Web Speech API của trình duyệt — giọng neural on-device (OmniVoice, có tiếng Việt), offline 100%, $0. Backend proxyPOST /v1/tts/synthesize+GET /v1/tts/capabilities; UI có menu chọn giọng ở tab Tin tức; compose profiletts. Web Speech vẫn là mặc định và tương thích Lite. Chi tiết: docs/17-voicestudio-integration.md. -
Multi-source FA, bỏ điểm hụt đơn nguồn (
v2.1.0): adapter trực tiếp SSI (OHLCV), TCBS (ratios), FireAnt (BCTC, JWTFA_FIREANT_TOKEN) — không qua vnstock/wrapper;FAAggregatorfan-out breaker-gated, cross-validate 0.5%, hết nguồn thì trả trường rỗng +missing_fields(không ngụy tạo);VietStockAdapterfallback đồng thời VNDIRECT→SSI, Simplize→TCBS/FireAnt, provenance ghi đúng nguồn thật. Chi tiết: docs/15-fa-sources-plan.md. -
Sẵn sàng cho hệ thống bên ngoài (
v2.0.0): Readiness: an toàn, liêm chính dữ liệu, tải, quan sát, vận hành, CI — giữ nguyên như cũ:-
/v1/contextmặc định chỉ trảchunks+sources(xin thêm quainclude); BYO LLM tắt mặc định; cách ly dữ liệu theo API key; vài route chỉ admin; SuperAgent tắt mặc định. - Không số liệu tài chính ước lượng hay bảng tĩnh trong runtime; mọi kết quả, chunk có mốc nguồn (
source_url,as_of) và thời gian. - Ngân sách theo request, admission control, single-flight, lớp HTTP dùng chung, CPU ra khỏi event loop.
- Metric + alert, ghi DB qua hàng đợi có giới hạn, retention,
/readyzcó nghĩa, Lite chạy Alembic. - Lite trên Windows như dịch vụ (
scripts/windows/), tự động kiểm tra dòng lệnh tiến trình (uvicorn ... app.main:app) qua Win32_Process để triệt tiêu va chạm tái sử dụng PID sau sự cố/reboot; hợp đồng tích hợpdocs/15-integration-guide.md. - Hoàn tất khắc phục triệt để 13 phát hiện kiểm toán chuyên sâu F1–F13 (lưu trữ bền vững phán quyết LLM Council, chu kỳ retention, tối ưu imports module).
- CI: lockfile
uv, mypy (app/core,app/api), coverage ≥ 84%, gitleaks, promtool, nightly. - Đo trên harness: search c=1 p95 197 ms (trước 875 ms), c=20 0% lỗi (trước 100%), Lite context c=10 0% lỗi (trước 100%). Chưa đo Postgres/Redis/SearXNG thật, Linux, soak dài.
-
-
Liêm Chính Dữ Liệu Tài Chính & Nguồn Công Khai Thực Tế (
v1.3.1):- Loại bỏ triệt để 100% các chuỗi nến giả lập bằng hàm
sin/cos, kiên quyết thực hiện nguyên tắc Zero-Hallucination & Grounded Data. - Kết nối trực tiếp dữ liệu nến thật từ VNDIRECT dchart TradingView Feed cho 1.518 mã chứng khoán Việt Nam (HSX, HNX, UPCOM; danh mục
app/retrieval/data/vn_tickers.json, có ngàyas_of) và chỉ số thị trường (VNINDEX,VN30). - Kết nối dữ liệu cơ bản thực tế từ Simplize API với thuật toán động
_build_dynamic_company_financials. - Chuẩn hóa liêm chính mốc thời gian
published_attheo ngày nến EOD thực tế và ngày cập nhật BCTC, nghiêm cấm ngụy tạodatetime.now(UTC). - Bộ lọc
_VIET_STOCK_STOP_WORDSngăn chặn việc tự ý inject mã cổ phiếu vào các truy vấn thị trường chung. - Hoàn tất 3-Round Expert Audit (Solution Architect, Financial Quant / BA, QA/Security/Perf), 698 unit & E2E tests pass 100%, 7 Quality Gates passed.
- Loại bỏ triệt để 100% các chuỗi nến giả lập bằng hàm
-
Kiến Trúc Autonomous Super-Agent Engine (
v1.3.0): Tích hợp các tinh hoa kiến trúc từ nguyên mẫudeepseek-ai/dsh-superagent-prototypekết hợp với nền tảng MetaSearch:-
Router - Worker Decoupling (
app.orchestration.superagent.router): Tách biệt Bộ điều phối trung tâm (SuperAgentRouter) quản lý hàng đợi tickets khỏi các công nhân tính toán độc lập (IsolatedSuperAgentWorker), giải quyết nút thắt chú ý của con người. -
Triết Lý "Quiet Autonomy" & Human Escalation: Agent tự chủ im lặng thực thi đa bước ReAct và chỉ thông báo khi có thành phẩm hoàn chỉnh (
SuperAgentArtifact) hoặc phát sinh tình huống rủi ro cao cần con người ra quyết định (EscalationRequest). - Observe Mode (Shadow Evaluation): Chế độ chạy ngầm thẩm định và lập kế hoạch hành động mà không tiêu tốn tài nguyên live API; tự động kích hoạt khi có webhook/event.
-
Proactive Event Ingestion (
app.orchestration.superagent.events): Lắng nghe các luồng sự kiện thời gian thực (báo cáo BCTC mới, tin tức thị trường, cảnh báo CVE bảo mật, GitHub issues) để tự động kích hoạt ticket chuyên ngành. -
Watchdog Supervisor & Circuit Breaker (
app.orchestration.superagent.watchdog): Giám sát nhịp tim worker, tự động ngắt mạch (trip circuit) và phục hồi khi phát hiện task bị treo, vượt ngưỡng latency hoặc bùng nổ token (TOKEN_BURST).
-
Router - Worker Decoupling (
-
Multi-Platform Matrix CI trên mọi commit (
v1.2.1): GitHub Actions chạy song song trên cả 3 hệ điều hành Windows (windows-latest), macOS (macos-latest), và Linux (ubuntu-latest) với 4 jobs tự động hóa (Backend tests, Frontend build, Release pipeline gate, Docker smoke test) cho mỗi commit và Pull Request. -
Pre-commit Hook Đa Nền Tảng Tự Động:
.githooks/pre-committự động nhận diện Python (.venv/Scripts/python.exe,.venv/bin/python3, PATHpython3/python), tự động cấp quyềnchmod +xtrên Unix, cưỡng chế 7 Quality Gates trước khi cho phép commit. -
19 Search Engines (5 General/Keyed:
searxng,ddg,tavily,serper,brave+ 14 Vertical Engines:viet_stock,stooq,yahoo_finance,sec_edgar,fengshui,google_news,arxiv,pubmed,semanticscholar,github,huggingface,stackoverflow,reddit,wikipedia) kèm cơ chế Smart Category Routing tự động kích hoạt chuyên ngành. -
Hội Đồng Phán Quyết Đa Endpoint (LLM Council) & Anonymous Cross-Review: Gọi đồng thời nhiều Free LLM endpoints song song (
openrouter/free,pollinations,groq,gemini,nvidia_nim,cerebras,sambanova), ẩn danh thànhCandidate A, B, C...để các model chấm chéo theo thang rubric chuyên ngành mà không bị bias, kết hợp điểm kiểm toán định lượng tất định (deterministic_score40%) và điểm bình duyệt (peer_score60%) để Chủ tịch (Chairman) tổng hợp phán quyết tối hậu. -
Dream-RSI (Recursive Self-Improvement via Replay World): Lưu trữ quỹ đạo phán quyết vào Replay Buffer, tính điểm tiềm năng UCB1, mô phỏng lại các truy vấn lịch sử qua thế giới ảo (Dream Replay) để tự động tiến hóa chính sách chọn lựa hội đồng và tinh chỉnh nhiệt độ tối ưu theo từng miền chuyên sâu.
-
Tích Hợp Danh Mục Free LLM Mở Rộng (20 Presets) từ nejib1/Free-LLM & awesome-freellm-apis kèm OpenRouter Free Router ($0/M) và BYO-LLM.
-
Kiến Trúc Universal Multi-Domain Deep Intelligence: Khả năng thẩm định bản chất chuyên sâu đa lĩnh vực với Tài chính & Pháp y BCTC (
financial) giữ vai trò Flagship Pilot cùng 7 gói chuyên sâu (biomedical_health,technology_ai,academic_research,legal_macro_policy,eastern_metaphysics,news_geopolitics,general_discovery). -
Thẩm Định Pháp Y BCTC Chuyên Sâu (
financial_forensics.py): Phân nhánh theo đặc thù ngành — Ngân hàng (CAMELS / Basel II-III: CAR, NPL, Nợ nhóm 2, LLR, NIM, CASA, LDR, CIR), Chứng khoán (Margin/VCSH so với trần 200%, FVTPL/HTM/AFS, Tỷ lệ an toàn tài chính), Bất động sản & KCN (Người mua trả tiền trước / Của để dành, Tồn kho/Tài sản), Sản xuất (Cấu trúc nợ, DSO, CFO/Net Income) kèm Altman Z-Score, Beneish M-Score, Piotroski F-Score (9 tiêu chí). -
Phân Tích Kỹ Thuật Định Lượng (
technical_analysis.py): Fibonacci Retracement & Golden Pocket (61.8%–65.0%) + Extensions (127.2%,261.8%), Ichimoku Kinko Hyo (Tenkan/Kijun/Senkou A-B/Chikou Span), True EMA-based MACD, Wilder's RSI & 2x ATR Trailing Stop, Stochastic (%K,%D), Multi-EMA Ribbon (20/50/200), Kênh hồi quy tuyến tính$\pm 2\sigma$ ($R^2$ ), 8 mẫu hình giá/nến, và Custom Indicator Query Parser (RSI 9,MACD 8 21 5,Bollinger 15 2.5...). -
Quy Trình Pre-Commit & Release Nghiêm Ngặt: Cưỡng chế bắt buộc hook
.githooks/pre-commitchặn mọi commit nếu trượt bất kỳ kiểm định nào (kiểm trauv.locktrước tiên); 1135 backend tests collected (1127 passed + 8 skipped có điều kiện) + 109 frontend tests (vitest) PASS,86.87%coverage,mypytoàn bộapp/(159file),ruff0 lỗi,bandit0 lỗi bảo mật, Next.js 15 build + static export (frontend/out) sạch, CI 13/13 jobs trên 3 OS. Thiết kế đầy đủ nằm trong docs/, plan chi tiết ở docs/12-roadmap-plan.md.
| Vấn đề thực tế | Cách MetaSearch xử lý |
|---|---|
| LLM bị "ảo giác", kiến thức cũ | Mọi câu trả lời được tổng hợp từ trang web & báo cáo thật, bắt buộc có trích dẫn [n] map ngược về nguồn; citation được validate sau khi sinh |
| Một search engine = một góc nhìn | Fan-out đồng thời 70+ engines qua SearXNG + 14 Vertical Adapters chuyên sâu (Tài chính chứng khoán VN/Quốc tế, Pháp lý SEC, Y sinh PubMed, Học thuật arXiv/S2, Code GitHub/SO/HF, Tin tức Google News, Phong thủy Bát Trạch) |
| Phân tích cổ phiếu chỉ đọc chỉ số thô (P/E, ROE) | Bóc tách Pháp y BCTC theo ngành (CAMELS ngân hàng, Margin/FVTPL chứng khoán, Unbilled Bookings BĐS/KCN, Altman Z, Beneish M, Piotroski F) kết hợp Kỹ thuật định lượng (Fibonacci Golden Pocket, Ichimoku Cloud, True EMA MACD, Wilder's RSI/ATR, Kênh hồi quy |
| Nội dung web đầy rác HTML/JS/ads/CAPTCHA | Extraction pipeline (trafilatura → crawl4ai → Jina Reader) kèm SSRF IP-pinning & Anti-challenge escalation biến URL → Markdown sạch tối ưu cho context LLM
|
| Kết quả trùng lặp, kém liên quan | Canonical URL + SimHash 64-bit dedup → consensus scoring + curated domain authority → rerank heuristic-first (0ms), tuỳ chọn int8 ONNX hoặc API rerank |
| AI Agent cần công cụ tìm kiếm |
MCP Server với 9 tool: web_search, web_scrape, web_search_and_scrape, deep_research, research_status, memory_search, memory_timeline, memory_get_observations, equity_sentiment (stdio + HTTP) |
| Chi phí API search hàng tháng | Self-host SearXNG hoặc chạy Lite Profile (DuckDuckGo keyless + SQLite + Jina keyless) = $0 cho phần search, API chỉ ~100MB RAM |
flowchart LR
subgraph Clients
UI[Web UI Next.js<br/>Search · Answer · News+TTS · Blog]
AGENT[AI Agent / MCP Client]
DEV[Developer / REST]
end
subgraph Interface["Interface Layer"]
API[FastAPI Gateway<br/>REST + SSE + RBAC]
MCP[MCP Server<br/>FastMCP 9 Tools]
end
subgraph Orchestration["Orchestration Layer"]
QU[Smart Category Routing<br/>intent · lang · profile]
PL[Planner / Harness²]
EX[Executor<br/>fan-out · budget]
SYN[Synthesizer<br/>citations]
SCN[Automated Scanner<br/>Daily Briefings Blog]
end
subgraph Retrieval["Retrieval & Quantitative Layer"]
SA[26 Search Adapters<br/>SearXNG · DDG · Tavily · Serper · Brave<br/>VietStock · Stooq · YahooFin · SEC<br/>arXiv · PubMed · S2 · GitHub · HF · SO · Reddit · Wiki · News · FengShui]
QUANT[Financial Forensics & Technicals<br/>CAMELS · Altman Z · Beneish M · Piotroski F<br/>Fibonacci · Ichimoku · MACD · Wilder RSI/ATR]
MG[Merger<br/>dedup · SimHash · consensus · diversity]
SC[Scraper Pool<br/>trafilatura · crawl4ai · Jina]
RR[Reranker<br/>heuristic-first · ONNX · API]
end
subgraph Platform["Platform Layer"]
LLM[LLM Gateway<br/>OpenAI · Anthropic · Ollama · vLLM]
DB[(Postgres + pgvector / SQLite)]
RD[(Redis / In-Process Cache)]
OBS[Observability<br/>OTel · Prometheus · Langfuse]
end
UI --> API
DEV --> API
AGENT --> MCP
MCP --> API
API --> QU --> PL --> EX
SCN --> EX
EX --> SA --> QUANT --> MG --> SC --> RR --> SYN
SYN --> LLM
EX -.-> RD
SYN --> DB
API -.-> OBS
Chi tiết đầy đủ: docs/02-system-architecture.md · Pipeline từng stage: docs/03-search-pipeline.md
git clone https://github.com/hunglinhpt/MetaSearch.git
cd MetaSearch/api
python -m venv .venv
.venv/Scripts/python.exe -m pip install -e ".[dev]" # Windows; Linux: .venv/bin/pip
cp ../deploy/.env.lite.example .env # DuckDuckGo keyless + SQLite + Jina keyless + 14 Vertical Engines
.venv/Scripts/python.exe -m uvicorn app.main:app --port 8000
# Swagger: http://localhost:8000/docsgit clone https://github.com/hunglinhpt/MetaSearch.git
cd MetaSearch
cp deploy/.env.example deploy/.env # compose đọc .env trong deploy/ (KHÔNG phải root repo)
docker compose -f deploy/docker-compose.yml up -d
# SearXNG : http://localhost:8080
# API : http://localhost:8000/docs
# Web UI : http://localhost:3000
# compose ép AUTH_ENABLED=true - tạo key trước (từ api/ sau `uv sync`):
.venv/Scripts/metasearch keys create # in ra key msk_...
curl -X POST http://localhost:8000/v1/search \
-H "Content-Type: application/json" \
-H "Authorization: Bearer msk_KEY_MOI_TAO" \
-d '{"query": "Phân tích BCTC pháp y và kỹ thuật Fibonacci Ichimoku cổ phiếu FPT RSI 9", "lang": "vi"}'
# CLI
metasearch search "Phân tích cổ phiếu FPT và VCB"
metasearch answer "Phân tích cổ phiếu FPT và VCB" --streamWeb UI: mở http://localhost:3000 — chọn chuyên mục (Tài chính & Cổ phiếu, Tin tức, Lập trình, Học thuật & Y sinh, Phong thủy...) và chế độ ✨ Trả lời AI (có nút 🔊 đọc câu trả lời tiếng Việt), 🔎 Tìm kiếm, tab 🗞️ Tin Tức (6 mục kinh tế/tài chính/công nghệ, đọc máy cả bản tin), hoặc tab 📰 Bản Tin & Blog Chuyên Sâu.
MetaSearch/
├── README.md ← bạn đang ở đây
├── AGENTS.md ← hướng dẫn AI agent nhận việc (trạng thái, quy ước, checklist)
├── CHANGELOG.md ← lịch sử version (Keep a Changelog — hiện tại v3.3.0)
├── CONTRIBUTING.md ← guideline setup + workflow + gate
├── docs/ ← thiết kế chi tiết (16 tài liệu + ADR)
│ ├── 01-product-requirements.md
│ ├── 02-system-architecture.md
│ ├── 03-search-pipeline.md
│ ├── 04-agents-orchestration.md
│ ├── 05-data-model.md
│ ├── 06-api-spec.md
│ ├── 07-mcp-integration.md
│ ├── 08-deployment.md
│ ├── 09-observability-eval.md
│ ├── 10-security-compliance.md
│ ├── 11-testing-strategy.md
│ ├── 12-roadmap-plan.md ← plan chi tiết Phase 0–5 + KPI + verify matrix (source of truth)
│ ├── 13-versioning-and-release.md
│ ├── 15-fa-sources-plan.md ← 21 nguồn FA VN + adapter trực tiếp SSI/TCBS/FireAnt (v2.1.0)
│ ├── 15-integration-guide.md ← hợp đồng tích hợp hệ thống ngoài (v2.0.0)
│ ├── 16-web-ui-news-tts.md ← tab Tin tức + TTS tiếng Việt, map when:Nd server-side (v2.2.0)
│ ├── 17-voicestudio-integration.md ← engine đọc VoiceStudio server-side tuỳ chọn (docs/17)
│ ├── 18-feature-roadmap-v2.3.md ← roadmap v2.3.0: dictation, UI Deep Research, so sánh + biểu đồ, watchlist, podcast (v2.3.0)
│ ├── 19-global-deep-search-v2.4.md ← v2.4.0 Global Deep Search: 7 engine toàn cầu, EN end-to-end, deep mode (v2.4.0)
│ ├── 20-research-landscape-and-future-roadmap.md ← nghiên cứu 2026 + roadmap đề xuất (P0/P1/P2)
│ ├── 21-retrieval-quality-v2.5.md ← v2.5.0 đã triển khai wave P0: RRF fusion, BGE reranker local, mở rộng query, kiểm citation từng claim, follow-ups, boost theo key, extras cho agent trên /v1/search, eval v2
│ └── 22-deep-intelligence-wave-v2.6.md ← v2.6.0 đã triển khai wave P1: vòng IRCoT, adaptive router, late chunking, hybrid chunk search, memory theo key, Spaces, map/crawl, freshness half-life
│ └── 24-wave-p2-v3.0.md ← v3.0.0 đã triển khai wave P2: PDF theo trang, KG theo Space, vi-first BM25 + golden eval VI, interleaving, podcast cá nhân hoá, structured JSON output, domain tiers
│ └── adr/ ← Architecture Decision Records
├── api/ ← FastAPI orchestration + Quantitative Engines
│ ├── app/
│ │ ├── core/ ← auth (API key + RBAC + sliding-window), errors, logging, middleware, metrics
│ │ ├── db/ ← SQLAlchemy dialect-aware models (Postgres+pgvector & SQLite)
│ │ ├── api/ ← ops (/healthz, /readyz, /metrics) + v1 (search, answer, scrape, research, digests, engines, queries, ops_status)
│ │ ├── retrieval/ ← 26 adapters, financial_forensics.py, technical_analysis.py, registry, merger, scoring, simhash, reranker
│ │ ├── extraction/ ← ssrf, pinning, robots, scraper (trafilatura→crawl4ai→jina), chunker
│ │ ├── orchestration/ ← pipeline (search+answer), research (Harness² 8 profiles), research_jobs, scheduler (Daily Briefings), persist, engine_store
│ │ ├── mcp/ ← FastMCP server + REST client (9 tools, stdio + HTTP)
│ │ └── llm/ ← gateway streaming, prompts, citations, embeddings, tokens, langfuse
│ ├── alembic/versions/ ← migrations (Postgres + pgvector / SQLite auto-bootstrap)
│ ├── evals/golden.json ← 46 golden evaluation queries đa miền (EN + VI), kèm golden_v2.json & golden_v3_vi.json
│ ├── scripts/ ← eval_run.py (--judge-faithfulness), eval_v2.py + perf_load.py
│ ├── tests/ ← 1135 tests collected (integration gated bằng METASEARCH_INTEGRATION=1)
│ └── pyproject.toml
├── frontend/ ← Next.js 15 + React 19 (Web UI streaming + Category Chips + News tab + TTS + Blog Reader)
│ ├── app/ · lib/api.ts ← SSE client + ApiError + Digests API + safeHref
│ ├── lib/tts.ts ← Web Speech API TTS tiếng Việt (+ test vitest)
│ ├── components/NewsPanel.tsx ← tab Tin tức 6 mục + đọc bản tin/từng tin
│ └── package.json
├── deploy/
│ ├── docker-compose.yml ← stack đầy đủ + profile observability
│ ├── searxng/ · prometheus/ · grafana/ · k6/
│ └── .env.example · .env.lite.example
├── scripts/ ← release.py (pre-commit gate + release) · guard_local_data.py
├── .githooks/pre-commit ← gate bắt buộc: kiểm tra uv.lock → ruff → bandit → E2E → full pytest
└── .github/workflows/ci.yml ← CI matrix 3 OS: backend + frontend (vitest, npm audit cả dev) + pipeline gate + gitleaks/promtool/docker smoke
| Tài liệu | Trả lời câu hỏi |
|---|---|
| 01 Product Requirements | Ai dùng, dùng để làm gì, tiêu chí chấp nhận? |
| 02 System Architecture | Các tầng, component, luồng dữ liệu, công nghệ, hardware profile 16GB? |
| 03 Search Pipeline | 1 câu hỏi đi qua 11 stage như thế nào, latency budget? |
| 04 Agents Orchestration | Planner/Executor, Deep Research loop, Harness² profiles, budget control? |
| 05 Data Model | Schema Postgres/SQLite, cache Redis, vector, retention? |
| 06 API Spec | Endpoint REST/SSE (/v1/search, /v1/answer, /v1/research, /v1/digests, /v1/engines), error model? |
| 07 MCP Integration | Tool cho AI Agent, contract, ví dụ gọi? |
| 08 Deployment | Lite profile (không Docker) vs Docker Compose dev 16GB / prod VPS? |
| 09 Observability & Eval | Trace/metrics/log, eval 40 golden queries + faithfulness judge? |
| 10 Security & Compliance | SSRF IP-pinning, RBAC admin, robots.txt, rate limit, secrets? |
| 11 Testing Strategy | Test strategy, 1135 backend tests (1127 chạy thực tế + 8 skip có điều kiện) & 109 frontend tests, golden set, đo citation accuracy? |
| 12 Roadmap & Plan | Plan chi tiết Phase 0–5, KPI, rủi ro & mitigation, trạng thái các version sau v2.0.0 |
| 13 Versioning & Release | Quy chuẩn SemVer, Quality Gates, script release tự động & CI/CD |
| 15 FA Sources Plan | 21 nguồn dữ liệu tài chính VN đã thẩm định; adapter trực tiếp SSI/TCBS/FireAnt, FAAggregator cross-validate (v2.1.0)? |
| 15 Integration Guide | Hợp đồng cho hệ thống ngoài: auth, rate limit, error model, Lite trên Windows như dịch vụ (v2.0.0)? |
| 16 Web UI News + TTS | Tab Tin tức 6 mục + TTS tiếng Việt; map freshness_days→when:Nd server-side; chính sách riêng tư giọng đọc (v2.2.0)? |
| 17 VoiceStudio Integration | Engine đọc VoiceStudio server-side tuỳ chọn (so sánh, cách bật, license, roadmap tính năng thêm)? |
| 25 4-Repo AI Infra Integration | Tích hợp in-repo OmniRoute validator/router, Headroom compression, One-Skill orchestrator & Claude-Mem observations (v3.2.0) |
| 26 Principal Architect Review | 22 finding hardening ranh giới F-01..F-22 & kiểm tự động chống tái phát (test_w5_guardrails.py) |
| 27 Market Sentiment Standards | Tiêu chuẩn đo tâm lý cổ phiếu đa kênh, checklist 7 trụ cột, ^VIX/^VIX3M & zero-fabrication |
| 28 Rich-Content Web UI | Tích hợp streaming Markdown/Prism/KaTeX/Mermaid & 3 vòng audit đối kháng |
| 29 Master Plan 5-Stage | Unified run_digest, hoàn tất DEFER-A/B/C, đồng bộ env/docs & tiêu chí kiểm định |
MetaSearch không phát minh lại bánh xe — thiết kế này tổng hợp tinh hoa từ các hệ thống mã nguồn mở tiêu biểu:
| Nguồn tham khảo | Điều mượn vào MetaSearch |
|---|---|
| assafelovic/gpt-researcher | Mẫu Planner & Executor: tách câu hỏi lớn → sub-queries, gọi song song, tổng hợp có dẫn nguồn; abstraction retrievers/ + scraper/ |
| ItzCrazyKns/Perplexica (Vane) | Tích hợp SearXNG làm unified search API; lọc đoạn văn trước khi đưa vào LLM; streaming answer |
| rashadphz/farfalle | Tách lớp sạch (search/scraper/LLM provider), hoán đổi linh hoạt cloud ↔ local LLM |
| miurla/morphic · scira-ai/scira | Generative UI: hiển thị kết quả dạng thẻ/bảng, multi-tool calling |
| searxng/searxng | Trái tim meta-search: 70+ engines, khử trùng lặp, consensus ranking, xuất JSON |
| unclecode/crawl4ai | Extraction dành riêng cho LLM: loại ads/menu, xuất Markdown, JS rendering |
| jina-ai/reader | Fallback extractor cho trang khó (dùng r.jina.ai khi self-extract thất bại) |
| siosig/searxng-crawl4ai-mcp | Mẫu ghép SearXNG + Crawl4AI thành MCP tool duy nhất web_search_and_scrape |
| chen150450/multi-search-aggregator | Engine registry pluggable + hot config; multi-signal scoring; SSE per-engine progress (engine_done); graceful degradation |
Điểm khác biệt của MetaSearch: orchestration mỏng đứng trên 4 "gã khổng lồ" — SearXNG (meta-search), crawl4ai (JS extraction), trafilatura (static extraction), FastMCP (agent interface) — kết hợp cùng tầng Pháp Y Tài Chính (CAMELS / Altman Z / Beneish M / Piotroski F) và Phân Tích Kỹ Thuật Định Lượng (Fibonacci / Ichimoku / MACD / Wilder's RSI & ATR) chuyên sâu. Chiến lược chi tiết: ADR-007.
Dự án được phát hành dưới giấy phép mã nguồn mở GNU General Public License v3.0 (GPL-3.0-or-later).
Chúng tôi rất hoan nghênh và chào đón mọi sự đóng góp từ cộng đồng (Issues, Feature Requests, Pull Requests)! Vui lòng xem hướng dẫn chi tiết tại CONTRIBUTING.md để bắt đầu thiết lập môi trường phát triển, nắm rõ workflow và quy ước kiểm thử chất lượng trước khi gửi đóng góp.
Lưu ý: Mọi hoạt động thu thập dữ liệu web và tìm kiếm cần tuân thủ robots.txt cũng như điều khoản dịch vụ của các nền tảng nguồn (xem thêm tại docs/10-security-compliance.md).