pip install duckdb cpgqls-client sentence-transformers

# Полный экспорт с проверкой
python -m src.cpg_export.exporter \
    --endpoint localhost:8080 \
    --workspace myproject.cpg \
    --db cpg.duckdb

# Проверка статуса экспорта
python -m src.cpg_export.exporter --db cpg.duckdb --status

# Проверка существующей базы данных
python -m src.cpg_export.exporter --db cpg.duckdb --validate-only

from src.cpg_export import JoernToDuckDBExporter

# Создание экспортера
exporter = JoernToDuckDBExporter(
    server_endpoint="localhost:8080",
    workspace="myproject.cpg",
    db_path="cpg.duckdb",
    batch_size=10000
)

# Полный экспорт с автоматической проверкой
results = exporter.export_full_cpg()

# Проверка результатов
print(f"Экспортировано узлов: {sum(results['node_stats'].values())}")
print(f"Экспортировано рёбер: {sum(results['edge_stats'].values())}")

# Возобновление прерванного экспорта
python -m src.cpg_export.exporter --db cpg.duckdb

# Принудительный полный экспорт (удаляет существующие данные)
python -m src.cpg_export.exporter --db cpg.duckdb --force

# Тестирование с ограниченным объёмом данных
python -m src.cpg_export.exporter --db cpg.duckdb --limit 1000

# Обработка большого кода с меньшими пакетами
python -m src.cpg_export.exporter --db cpg.duckdb --batch-size 5000

-- Запрос с использованием графа свойств
FROM GRAPH_TABLE(cpg
    MATCH (m:METHOD)-[c:CALLS]->(callee:METHOD)
    WHERE m.name = 'main'
    COLUMNS (m.name AS caller, callee.full_name AS callee)
)

======================================================================
ОТЧЁТ О ПРОВЕРКЕ ЭКСПОРТА CPG
======================================================================
[OK]       nodes_method                      1234 /     1234 (100.0%)
[OK]       nodes_call                       45678 /    45678 (100.0%)
[ОТСУТСТВУЕТ]  nodes_identifier             89000 /    89012 ( 99.9%)
----------------------------------------------------------------------
ИТОГО                                     134912 /   134924 ( 99.9%)
======================================================================

# Просто запустите снова — возобновление произойдёт автоматически
python -m src.cpg_export.exporter --db cpg.duckdb

# Через CLI
python -m src.cpg_export.exporter --db cpg.duckdb --status

-- Прямой SQL-запрос
SELECT entity_type, status, exported_count, last_offset
FROM export_progress
ORDER BY entity_type;

python -m src.cpg_export.exporter --db cpg.duckdb --skip-validation

# CLI
python -m src.cpg_export.exporter --db cpg.duckdb --validate-only

# Python API
from src.cpg_export import validate_export
from src.execution.joern_client import JoernClient
import duckdb

joern = JoernClient("localhost:8080", "myproject.cpg")
conn = duckdb.connect("cpg.duckdb")

results = validate_export(joern, conn, print_report=True)

# Повторный экспорт только узлов
exporter = JoernToDuckDBExporter(...)
exporter.connect_db()
node_stats = exporter.export_nodes_only(limit=None)

# Повторный экспорт только рёбер
edge_stats = exporter.export_edges_only(limit=None)

from src.cpg_export.incremental_exporter import IncrementalCPGExporter

exporter = IncrementalCPGExporter(
    repo_path="/path/to/repo",
    db_path="cpg.duckdb",
    joern_path="/path/to/joern"
)

# Обновление на основе изменений в git
result = exporter.update_from_git_diff(
    from_ref="HEAD~5",  # Последние 5 коммитов
    to_ref="HEAD"
)

print(f"Статус: {result.status}")
print(f"Изменённые файлы: {len(result.changed_files)}")
print(f"Обновлено узлов: {result.nodes_updated}")
print(f"Время выполнения: {result.duration_seconds} с")

from src.cpg_export.add_vector_embeddings import add_embeddings_to_methods

# Добавить вложения в таблицу методов
add_embeddings_to_methods(
    db_path="cpg.duckdb",
    model_name="all-MiniLM-L6-v2",
    batch_size=100
)

# Семантический поиск
from src.cpg_export.add_vector_embeddings import find_similar_methods

results = find_similar_methods(
    db_path="cpg.duckdb",
    query="parse user input safely",
    top_k=10
)

-- Найти все методы в файле
SELECT name, full_name, line_number
FROM nodes_method
WHERE filename LIKE '%auth%'
ORDER BY line_number;

-- Найти вызовы опасных функций
SELECT nc.code, nc.filename, nc.line_number
FROM nodes_call nc
WHERE nc.name IN ('system', 'exec', 'eval');

-- Подсчёт узлов по типам
SELECT 'METHOD' as type, COUNT(*) as cnt FROM nodes_method
UNION ALL
SELECT 'CALL', COUNT(*) FROM nodes_call
UNION ALL
SELECT 'IDENTIFIER', COUNT(*) FROM nodes_identifier;

-- Найти цепочки вызовов
FROM GRAPH_TABLE(cpg
    MATCH (caller:METHOD)-[c:CALLS]->(callee:METHOD)
    WHERE caller.name = 'process_input'
    COLUMNS (
        caller.full_name AS caller,
        callee.full_name AS callee
    )
)
LIMIT 100;

-- Найти пути потока данных
FROM GRAPH_TABLE(cpg
    MATCH (src:IDENTIFIER)-[:REACHING_DEF*1..5]->(sink:CALL)
    WHERE sink.name = 'execute'
    COLUMNS (
        src.name AS source_var,
        sink.code AS sink_call,
        sink.line_number AS line
    )
)

from src.cpg_export.duckdb_cpg_client_v2 import DuckDBCPGClient

client = DuckDBCPGClient("cpg.duckdb")

# Найти методы по шаблону
methods = client.find_methods_by_name("parse%")

# Получить граф вызовов для метода
callgraph = client.get_callgraph("UserController::authenticate")

# Получить статистику
stats = client.get_stats()
print(f"Всего методов: {stats['nodes_method']}")
print(f"Всего вызовов: {stats['nodes_call']}")

Ошибка: Не удалось подключиться к серверу Joern

# Проверка подключения
curl http://localhost:8080/result

Ошибка: База данных исчерпала память